小對象存儲

① 使用MinIO搭建對象存儲服務

之前我使用的是阿里雲OSS,想了解阿里雲OSS的小夥伴參考SpringBoot整合阿里雲OSS

docker run -d -p 9000:9000 -p 9001:9001 --name minio -e MINIO_ACCESS_KEY=qbb -e MINIO_SECRET_KEY=startqbb -v /opt/minio/data:/data -v /opt/minio/config:/root/.minio minio/minio server /data --console-address ":9000" --address ":9001"

注意:9000是我們瀏覽器訪問控制台的埠,而9001是SDK代碼操作的埠

yum -y install ntp ntpdate :安裝插件工具
hwclock --systohc :同步時間
docker restart minio鏡像ID :重啟鏡像

② 數據存儲形式有哪幾種

【塊存儲】

典型設備：磁碟陣列，硬碟

塊存儲主要是將裸磁碟空間整個映射給主機使用的，就是說例如磁碟陣列裡面有5塊硬碟（為方便說明，假設每個硬碟1G），然後可以通過劃邏輯盤、做Raid、或者LVM（邏輯卷）等種種方式邏輯劃分出N個邏輯的硬碟。（假設劃分完的邏輯盤也是5個，每個也是1G，但是這5個1G的邏輯盤已經於原來的5個物理硬碟意義完全不同了。例如第一個邏輯硬碟A裡面，可能第一個200M是來自物理硬碟1，第二個200M是來自物理硬碟2，所以邏輯硬碟A是由多個物理硬碟邏輯虛構出來的硬碟。）

接著塊存儲會採用映射的方式將這幾個邏輯盤映射給主機，主機上面的操作系統會識別到有5塊硬碟，但是操作系統是區分不出到底是邏輯還是物理的，它一概就認為只是5塊裸的物理硬碟而已，跟直接拿一塊物理硬碟掛載到操作系統沒有區別的，至少操作系統感知上沒有區別。

此種方式下，操作系統還需要對掛載的裸硬碟進行分區、格式化後，才能使用，與平常主機內置硬碟的方式完全無異。

優點：

1、 這種方式的好處當然是因為通過了Raid與LVM等手段，對數據提供了保護。

2、 另外也可以將多塊廉價的硬碟組合起來，成為一個大容量的邏輯盤對外提供服務，提高了容量。

3、 寫入數據的時候，由於是多塊磁碟組合出來的邏輯盤，所以幾塊磁碟可以並行寫入的，提升了讀寫效率。

4、 很多時候塊存儲採用SAN架構組網，傳輸速率以及封裝協議的原因，使得傳輸速度與讀寫速率得到提升。

缺點：

1、採用SAN架構組網時，需要額外為主機購買光纖通道卡，還要買光纖交換機，造價成本高。

2、主機之間的數據無法共享，在伺服器不做集群的情況下，塊存儲裸盤映射給主機，再格式化使用後，對於主機來說相當於本地盤，那麼主機A的本地盤根本不能給主機B去使用，無法共享數據。

3、不利於不同操作系統主機間的數據共享：另外一個原因是因為操作系統使用不同的文件系統，格式化完之後，不同文件系統間的數據是共享不了的。例如一台裝了WIN7/XP，文件系統是FAT32/NTFS，而Linux是EXT4，EXT4是無法識別NTFS的文件系統的。就像一隻NTFS格式的U盤，插進Linux的筆記本，根本無法識別出來。所以不利於文件共享。

【文件存儲】

典型設備：FTP、NFS伺服器

為了克服上述文件無法共享的問題，所以有了文件存儲。

文件存儲也有軟硬一體化的設備，但是其實普通拿一台伺服器/筆記本，只要裝上合適的操作系統與軟體，就可以架設FTP與NFS服務了，架上該類服務之後的伺服器，就是文件存儲的一種了。

主機A可以直接對文件存儲進行文件的上傳下載，與塊存儲不同，主機A是不需要再對文件存儲進行格式化的，因為文件管理功能已經由文件存儲自己搞定了。

優點：

1、造價交低：隨便一台機器就可以了，另外普通乙太網就可以，根本不需要專用的SAN網路，所以造價低。

2、方便文件共享：例如主機A（WIN7，NTFS文件系統），主機B（Linux，EXT4文件系統），想互拷一部電影，本來不行。加了個主機C（NFS伺服器），然後可以先A拷到C，再C拷到B就OK了。（例子比較膚淺，請見諒……）

缺點：

讀寫速率低，傳輸速率慢：乙太網，上傳下載速度較慢，另外所有讀寫都要1台伺服器裡面的硬碟來承擔，相比起磁碟陣列動不動就幾十上百塊硬碟同時讀寫，速率慢了許多。

【對象存儲】

典型設備：內置大容量硬碟的分布式伺服器

對象存儲最常用的方案，就是多台伺服器內置大容量硬碟，再裝上對象存儲軟體，然後再額外搞幾台服務作為管理節點，安裝上對象存儲管理軟體。管理節點可以管理其他伺服器對外提供讀寫訪問功能。

之所以出現了對象存儲這種東西，是為了克服塊存儲與文件存儲各自的缺點，發揚它倆各自的優點。簡單來說塊存儲讀寫快，不利於共享，文件存儲讀寫慢，利於共享。能否弄一個讀寫快，利 於共享的出來呢。於是就有了對象存儲。

首先，一個文件包含了了屬性（術語叫metadata，元數據，例如該文件的大小、修改時間、存儲路徑等）以及內容（以下簡稱數據）。

以往像FAT32這種文件系統，是直接將一份文件的數據與metadata一起存儲的，存儲過程先將文件按照文件系統的最小塊大小來打散（如4M的文件，假設文件系統要求一個塊4K，那麼就將文件打散成為1000個小塊），再寫進硬碟裡面，過程中沒有區分數據/metadata的。而每個塊最後會告知你下一個要讀取的塊的地址，然後一直這樣順序地按圖索驥，最後完成整份文件的所有塊的讀取。

這種情況下讀寫速率很慢，因為就算你有100個機械手臂在讀寫，但是由於你只有讀取到第一個塊，才能知道下一個塊在哪裡，其實相當於只能有1個機械手臂在實際工作。

而對象存儲則將元數據獨立了出來，控制節點叫元數據伺服器（伺服器+對象存儲管理軟體），裡面主要負責存儲對象的屬性（主要是對象的數據被打散存放到了那幾台分布式伺服器中的信息），而其他負責存儲數據的分布式伺服器叫做OSD，主要負責存儲文件的數據部分。當用戶訪問對象，會先訪問元數據伺服器，元數據伺服器只負責反饋對象存儲在哪些OSD，假設反饋文件A存儲在B、C、D三台OSD，那麼用戶就會再次直接訪問3台OSD伺服器去讀取數據。

這時候由於是3台OSD同時對外傳輸數據，所以傳輸的速度就加快了。當OSD伺服器數量越多，這種讀寫速度的提升就越大，通過此種方式，實現了讀寫快的目的。

另一方面，對象存儲軟體是有專門的文件系統的，所以OSD對外又相當於文件伺服器，那麼就不存在文件共享方面的困難了，也解決了文件共享方面的問題。

所以對象存儲的出現，很好地結合了塊存儲與文件存儲的優點。

最後為什麼對象存儲兼具塊存儲與文件存儲的好處，還要使用塊存儲或文件存儲呢？

1、有一類應用是需要存儲直接裸盤映射的，例如資料庫。因為資料庫需要存儲裸盤映射給自己後，再根據自己的資料庫文件系統來對裸盤進行格式化的，所以是不能夠採用其他已經被格式化為某種文件系統的存儲的。此類應用更適合使用塊存儲。

2、對象存儲的成本比起普通的文件存儲還是較高，需要購買專門的對象存儲軟體以及大容量硬碟。如果對數據量要求不是海量，只是為了做文件共享的時候，直接用文件存儲的形式好了，性價比高。

③ Java中數組對象的存儲位置

原帖地址：http://hi..com/sqldebug/blog/item/9758b9ffa605e51a09244d91.html

數組單一說在棧中還是堆中都是錯誤的，分為幾種情況：

1、固定數組在函數體內分配是在棧中的

我們做一個試驗，一般DELPHI程序線程的棧大小是1M，如果我們函數體中申請4M大小的數組，報棧溢出，則表示數據的大小是在棧中的。

const
CArrayCount = 1024*1024*4;

procere TForm1.btnMainThreadClick(Sender: TObject);
var
MainThreadArray: array[1..CArrayCount] of Char;
i: Integer;
begin
for i := Low(MainThreadArray) to High(MainThreadArray) do
MainThreadArray[i] := #0;
end;

我把以上代碼在主線程中測試時，確實報了棧溢出，如果這時你把DELPHI程序的棧調大為6M則正確，表示在函數體中申請的數組是在棧中的。

2、固定數組在類中分配是在堆中的

我們在類中加一下定義語句

FFixArray: array[1..CArrayCount] of Char;

程序正常，表示在類中分配固定數組是在堆中的。

3、固定數組全局變數是在堆中的

我們在程序定義全部數組

GFixArray: array[1..CArrayCount] of Char;

程序也正常，表示全局固定長度是在堆中的。

3、動態數組不管在函數體中、類中、全局變數都是在堆中

如果你會匯編，看一下匯編就明白了。DELPHI這么實現是合理的，在函數里中分配的固定長度數組放在棧中可以加快運行效率，而且在多線程的情況下，不用像堆分配有加鎖。只是大家在寫程序的過程中注意在函數里定義太長的數組需要注意，否則棧溢出，程序就崩潰了。

④ 大量小文件存儲，如何選擇存儲方案

1、Raid0
2、固態硬碟
3、Fat32：拷貝大量小文件(如拷貝照片、文檔轉移等)速度很快，但不支持存儲單個大於4GB的文件。
NTFS：支持大文件存儲，管理性能比Fat32強很多，但是拷貝大量小文件時速度較慢。

⑤ 不屬於對象存儲的存儲類型

塊存儲和文件存儲。

1、塊存儲

以下列出的兩種存儲方式都是塊存儲類型：

1） DAS（Direct AttachSTorage）：是直接連接於主機伺服器的一種儲存方式，每一台主機伺服器有獨立的儲存設備，每台主機伺服器的儲存設備無法互通，需要跨主機存取資料時，必須經過相對復雜的設定，若主機伺服器分屬不同的操作系統，要存取彼此的資料，更是復雜，有些系統甚至不能存取。通常用在單一網路環境下且數據交換量不大，性能要求不高的環境下，可以說是一種應用較為早的技術實現。

2）SAN（Storage Area Network）：是一種用高速（光纖）網路聯接專業主機伺服器的一種儲存方式，此系統會位於主機群的後端，它使用高速I/O 聯結方式， 如 SCSI, ESCON及 Fibre- Channels。一般而言，SAN應用在對網路速度要求高、對數據的可靠性和安全性要求高、對數據共享的性能要求高的應用環境中，特點是代價高，性能好。例如電信、銀行的大數據量關鍵應用。它採用SCSI 塊I/O的命令集，通過在磁碟或FC（Fiber Channel）級的數據訪問提供高性能的隨機I/O和數據吞吐率，它具有高帶寬、低延遲的優勢，在高性能計算中佔有一席之地，但是由於SAN系統的價格較高，且可擴展性較差，已不能滿足成千上萬個CPU規模的系統。

2、文件存儲

通常，NAS產品都是文件級存儲。NAS（Network Attached Storage）：是一套網路儲存設備，通常是直接連在網路上並提供資料存取服務，一套 NAS 儲存設備就如同一個提供數據文件服務的系統，特點是性價比高。例如教育、政府、企業等數據存儲應用。

它採用NFS或CIFS命令集訪問數據，以文件為傳輸協議，通過TCP/IP實現網路化存儲，可擴展性好、價格便宜、用戶易管理，如目前在集群計算中應用較多的NFS文件系統，但由於NAS的協議開銷高、帶寬低、延遲大，不利於在高性能集群中應用。

下面，我們對DAS、NAS、SAN三種技術進行比較和分析：

表格 1 三種技術的比較

⑥ 海量小文件用什麼存儲好

海量小文件優先選擇對象存儲，不用考慮元數據管理的問題，如果是老系統的話需要改造支持對象存儲。我們公司現在用的元核雲的YC-DOS分布式對象存儲，穩定性和性能都還不錯。

⑦ oss對象存儲會減小頁面的資源大小嗎

對的！
在當今的雲計算世界中，對象存儲是一種使用HTTP API存儲和檢索非結構化數據和元數據對象的工具。這樣的服務不是將文件分成塊並使用文件系統將它們存儲在磁碟上，而是與存儲在網路上的整個對象一起工作。這些對象可以是圖像文件，日誌，HTML文件或任何自主位元組塊。它們是非結構化的，因為它們沒有必須響應的特定方案或格式。

由於API由標准HTTP請求組成，因此很快就會出現大多數編程語言的庫。要保存數據對象，只需向對象庫發送HTTP PUT請求即可。可以使用常規GET請求檢索文件和元數據。大多數對象存儲服務還可以向用戶發布文件，從而無需維護Web伺服器來託管靜態資產。

此外，對象存儲服務僅針對已用空間收費（對於某些用戶，還支付HTTP請求和帶寬）。對於可以獲得高質量存儲，放置資產而不會過度支付的小型應用程序而言，這是一個很好的選擇，並根據需要擴展存儲。

⑧ 對象存儲是什麼對象存儲的基本定義

對象存儲是一種將數據作為對象進行管理的計算機數據存儲體系結構，與其他存儲體系結構（例如將數據作為文件層級管理的文件系統）以及將數據作為塊和扇區內的塊進行管理的塊存儲相對。每個對象通常包括數據本身，可變數量的元數據和全局獨立標識符。

對象存儲可以在多個級別實現，包括設備級別（對象存儲設備），系統級別和介面級別。在每種情況下，對象存儲都試圖實現其他存儲架構無法解決的功能，例如可以由應用程序直接編程的介面，可以再多個物理硬體實例的命名空間，以及數據管理功能，如數據復制和數據分發在對象級粒度。

相比於資料庫這種面向結構化數據存儲的技術，對象存儲主要面向存儲大量的非結構化數據。

(8)小對象存儲擴展閱讀：

對象存儲、文件存儲和塊存儲的區別如下：

1、速度不同

塊存儲：低延遲（10ms），熱點突出；

文件存儲：不同技術各有不同；

對象存儲：100ms-1s，冷數據；

2、可分步性不同

塊存儲：異地不現實；

文件存儲：可分布式，但有瓶頸；

對象存儲：分步並發能力高；

3、文件大小不同

塊存儲：大小都可以，熱點突出；

文件存儲：適合大文件；

對象存儲：適合各種大小；

4、介面不同

塊存儲：Driver，kernel mole ；

文件存儲：POSIX；

對象存儲：Restful API ；

5、典型技術不同

塊存儲：SAN；

文件存儲： HDFS，GFS；

對象存儲：Swift，Amazon S3；

6、適合場景不同

塊存儲：銀行；

文件存儲：數據中心；

對象存儲：網路媒體文件存儲。

⑨ 分布式存儲極簡藝術Minio解析

 MinIO 對象存儲系統是為海量數據存儲、人工智慧、大數據分析而設計，基於
Apache License v2.0 開源協議的對象存儲系統，它完全兼容 Amazon S3 介面，單個對象的最大可達 5TB，適合存儲海量圖片、視頻、日誌文件、備份數據和容器/虛擬機鏡像等。作為一個開源服務，MinIO 在設計上汲取了Glusterfs的相關經驗不教訓，系統復雜度上作了大量簡化，目前大小隻有40+M，部署只需要一個命令即可完成！另外，minio舍棄了傳統分布式存儲擴容所需要的遷移流程，採用聯盟模式添加集群的方式，極大簡化了擴容流程；除此之外，minio還具有糾刪編碼、比特位保護、單寫多讀（worm)、下面來依次簡要解析一下Mioio的特點及具體實現：

  元數據和數據一起存放在磁碟上。元數據以明文形式存放在元數據文件里（xl.json）。假定對象名字為key_name, 它所在桶的名字是bucket_name, disk路徑就是/disk，那麼存儲路徑就是：/disk/bucket_name/key_name，windows下C盤存放桶名為test，對象名為minio.exe示例如圖：

其中part.1是實際存儲數據（單機模式為原生數據，分布式為糾刪碼分塊），xl.json是如下所示的json字元串：

  在同一集群內，MinIO 自己會自勱生成若干糾刪組，用於分布存放桶數據。一個糾刪組中的一定數量的磁碟發生的故障（故障磁碟的數量小於等於校驗盤的數量），通過糾刪碼校驗演算法可以恢復出正確的數據。MinIO 集成了 Reed-Solomon 糾刪碼庫，MinIO 存儲對象數據時，首先把它分成若乾等長的片段（對於大對象，默認按 5MB 切片)，然後每一個片段會糾刪演算法分成若干分片，包括數據分片不校驗分片，每個分片放置在一個糾刪組的某個節點上。對象的每一個數據分片、校驗分片都被「防比特位衰減」演算法所保護。

  MinIO 會根據對象名（類似於文件系統的全路徑名)，使用 crc32 哈希演算法計算出一個整數。然後使用這個整數除以糾刪組的個數，得到一個余數。這個余數，可以作為糾刪組的序號，這樣就確定了這個對象所在的糾刪組。MinIO 採用 CRC32 哈希演算法，不 glusterfs 的Davies Meyer哈希演算法（性能、沖突概率不md4, md5相近）不一樣的是，CRC32演算法的哈希值分布較不均勻，但運算速度極快，高出 md4 數倍。相對於容量均衡，MinIO 更看重數據的寫入速度。

糾刪組如何配置？
官方文檔說明如下：

 也就是說糾刪組的總大小隻能從這7中情況中根據你提供的盤的個數（或者說路徑個數）來自動選取最大值的，我們 不能靈活地配置m+k糾刪存儲格式。但這樣說又不是很准確 ，因為雖然不能配置任意的m+k，但是在系統已經選取好擦除編碼集的的個數後（也就是m+k），可以使用storage class存儲類來自定義m和k的數量，默認是1:1的。
存儲類：
 MinIO支持配置兩種存儲類別，精簡冗餘類別和標准類別，默認是標准類別（1：1），可以在啟動MinIO伺服器之前使用設置的環境變數來定義這些類。使用環境變數定義每個存儲類別的數據和奇偶校驗磁碟後，您可以 在上傳對象時通過請求元數據欄位設置對象的存儲類別x-amz-storage-class 。然後，MinIO伺服器通過將對象保存在特定數量的數據和奇偶校驗磁碟中來兌現存儲類。具體配置和使用可以參考官方文檔 https://github.com/minio/minio/tree/master/docs/erasure/storage-class

傳統的擴展方式的劣勢
  通過增加節點來擴展單集群，一般需要進行數據均衡，否則群集內各存儲節點會因負載不均而出現新的瓶頸。除了數據均衡操作的時機這個問題以外，在均衡過程中一般需要仍存儲使用率高的節點吐使用率低的節點遷移數據。當集群擴容後，大量已經寫入的文件落點會出現改變，文件需要遷移到真實的落點。當存儲系統容量比較大時，則會發生大量的文件/對象進行遷移,遷移過程可能由於佔用大量資源而導致上層應用性能下降。而且當文件/對象遷移過程中，機器故障可能會導致一些意想不到的情冴,尤其是有大量業務的時候。當然針對此類問題，Gluterfs之類的文件系統有一些比較復雜的處理辦法。
不支持擴展優勢

⑩ 對象存儲、塊存儲、文件存儲分別是什麼有什麼區別

你可以把塊理解成整個硬碟，文件理解成硬碟中的文件，對象理解成很多台伺服器中的很多塊硬碟。