對象存儲標准

1. 對象存儲又是什麼鬼

對象存儲，也叫做基於對象的存儲，是用來描述解決和處理離散單元的方法的通用術語，這些離散單元被稱作為對象。
就像文件一樣，對象包含數據，但是和文件不同的是，對象在一個層結構中不會再有層級結構。每個對象都在一個被稱作存儲池的扁平地址空間的同一級別里，一個對象不會屬於另一個對象的下一級。
文件和對象都有與它們所包含的數據相關的元數據，但是對象是以擴展元數據為特徵的。每個對象都被分配一個唯一的標識符，允許一個伺服器或者最終用戶來檢索對象，而不必知道數據的物理地址。這種方法對於在雲計算環境中自動化和簡化數據存儲有幫助。
對象存儲經常被比作在一家高級餐廳代客停車。當一個顧客需要代客停車時，他就把鑰匙交給別人，換來一張收據。這個顧客不用知道他的車被停在哪，也不用知道在他用餐時服務員會把他的車移動多少次。在這個比喻中，一個存儲對象的唯一標識符就代表顧客的收據。[1]
由於對象存儲將遍布於很多節點且最新的數據並非總是可用，這將成為對象存儲最終一致性的問題。
所有的數據存儲都涉及到簡稱為CAP的三個元素：一致性、可用性和分區。
如果只是執行了寫操作從而改變了一個對象，但有人正在從另外的節點訪問這個對象。節點可能會在不同的物理位置，因為對象存儲支持很大的地理擴展。新用戶可能正在讀取對象，但那是舊版本。這就是對象存儲的最終一致性問題，此時並沒有及時的同步。
這將成為問題，特別是利用對象存儲做協同的時候，廠商為保證對象存儲的一致性做了很好的工作，像是Joyent以及他的Manta 存儲服務，一旦對象更改將不支持讀取舊的內容。你必須等待，但你所讀取的內容會是一致的。[2]

對象存儲數據遷移和訪問
企業對存儲的訴求有一定的延續性，但其訪問的介質不外乎是主機、PC、移動端以及應用，針對不同的訪問介質來看，面向對象存儲的解決方案也有所不同。然而如果應用軟體不支持HTTP下REST API的方式，需要以傳統文件伺服器協議的方式訪問，則需要在面向存儲對象前面加一個網關進行協議的轉換。
沒有了文件存儲系統中的NFS或CIFS來給應用提供數據，面向對象的存儲系統需要替換掉位於磁碟上的原始數據塊和應用可以理解的文件之間的這個抽象層。現在的面向對象的系統使用類似REST標準的API或者私有的API來告訴應用如何存儲和讀取對象標識。
總體而言，對於面向對象的存儲的操作的本質並不會改變。開源對象存儲系統O基本上就是POST，GET ，PUT和 DELETE操作，如果需要上傳大量的數據，則需要編寫一個腳本就可以實現。

2. 什麼是對象存儲

在2004年， ANSI 推出了基於對象的存儲設備（OSD）的1.0版本規范。它定義了基於對象的存儲設備的通訊協議。OSD規范描述了一個 SCSI 命令集合，由他提供一個高水平的OSD介面。這個介面允許客戶端， 比如文件系統和資料庫存放和索引數據。 SNIA』S 技術工作組當前正在開發OSD 規范的2.0版本，這個版本年內完成。

基於對象的存儲

在2004年， ANSI 推出了基於對象的存儲設備（OSD）的1.0版本規范。它定義了基於對象的存儲設備的通訊協議。OSD規范描述了一個 SCSI 命令集合，由他提供一個高水平的OSD介面。這個介面允許客戶端， 比如文件系統和資料庫存放和索引數據。 SNIA』S 技術工作組當前正在開發OSD 規范的2.0版本，這個版本年內完成。

一個OSD設備存放對象，他控制著從對象到物理介質的映射圖。設備同時也跟蹤作為屬性的元數據，例如建立時間標記，從而允許在客戶端非常容易地共享數據。

可以說，OSD最大的賣點在於它結合了SAN的可擴展性和NAS的數據共享。早期的NAS架構的擴展性能並不好，因為所有的元數據的處理都集中在NAS伺服器上。在有限的NAS頭下擴張更多的存儲受到限制，而且這個時候，NAS上的元數據處理變成了瓶頸。如果想擴展，就需要增加更多的NAS伺服器，但是此時的管理成為頭疼的事情，因為數據是分散的， 這就是我們常說到的「NAS 孤島」

OSD的能力在於它將客戶端和OSD設備直接聯系起來，並不需要中間環節管理元數據。Panasas 公司，全球第一家提供商用OSD產品的公司，同時提供面向對象的存儲和並行文件系統。Panasas 公司的 DirectFLOW 的設計，客戶端從帶外管理的控制刀片得到目標的分布和安全屬性。所有的數據流都直接從OSD存儲刀片到客戶端。盡管商用的OSD產品還只是鳳毛麟角，但是OSD技術還是在日新月異。 西捷和IBM已經展示了OSDc產品。 HP已經和開放源代碼廠家 Lustre 文件系統合作，使用OSD作為他的StorageWork 可擴展文件系統的重要部分。

3. 對象存儲、文件存儲和塊存儲有什麼區別

區別如下：

1、速度不同

塊存儲：低延遲（10ms），熱點突出；

文件存儲：不同技術各有不同；

對象存儲：100ms-1s，冷數據；

2、可分步性不同

塊存儲：異地不現實；

文件存儲：可分布式，但有瓶頸；

對象存儲：分步並發能力高；

3、文件大小不同

塊存儲：大小都可以，熱點突出；

文件存儲：適合大文件；

對象存儲：適合各種大小；

4、介面不同

塊存儲：Driver，kernel mole ；

文件存儲：POSIX；

對象存儲：Restful API ；

5、典型技術不同

塊存儲：SAN；

文件存儲：HDFS，GFS；

對象存儲：Swift，Amazon S3；

6、適合場景不同

塊存儲：銀行；

文件存儲：數據中心；

對象存儲：網路媒體文件存儲；

(3)對象存儲標准擴展閱讀：

文件存儲的優缺點：

優點

（1）、造價低：隨便一台機器就可以，另外普通的乙太網就可以，根本不需要專用的SAN網路，所以造價低。

（2）、方便文件共享。

缺點

（1）、讀寫速率低，傳輸速率慢：乙太網，上傳下載速度較慢，另外所有讀寫都要1台伺服器裡面的硬碟來承受，相比起磁碟陣列動不動就十幾上百塊硬碟同時讀寫，速率慢了許多。

4. 塊存儲、文件存儲、對象存儲這三者的本質差別是什麼

一、概念及區別

針對不同的應用場景，選擇的分布式存儲方案也會不同，因此有了對象存儲、塊存儲、文件系統存儲。這三者的主要區別在於它們的存儲介面：

1. 對象存儲:

也就是通常意義的鍵值存儲，其介面就是簡單的GET,PUT,DEL和其他擴展，

2. 塊存儲:

這種介面通常以QEMU Driver或者Kernel Mole的方式存在，這種介面需要實現Linux的BlockDevice的介面或者QEMU提供的BlockDriver介面，如Sheepdog，AWS的EBS，青雲的雲硬碟和阿里雲的盤古系統，還有Ceph的RBD(RBD是Ceph面向塊存儲的介面)

3. 文件存儲:

通常意義是支持POSIX介面，它跟傳統的文件系統如Ext4是一個類型的，但區別在於分布式存儲提供了並行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存儲的介面)，但是有時候又會把GFS，HDFS這種非POSIX介面的類文件存儲介面歸入此類。

二、IO特點

按照這三種介面和其應用場景，很容易了解這三種類型的IO特點，括弧里代表了它在非分布式情況下的對應:1. 對象存儲(鍵值資料庫):

介面簡單，一個對象我們可以看成一個文件，只能全寫全讀，通常以大文件為主，要求足夠的IO帶寬。

2. 塊存儲(硬碟):

它的IO特點與傳統的硬碟是一致的，一個硬碟應該是能面向通用需求的，即能應付大文件讀寫，也能處理好小文件讀寫。但是硬碟的特點是容量大，熱點明顯。因此塊存儲主要可以應付熱點問題。另外，塊存儲要求的延遲是最低的。

3. 文件存儲(文件系統):

支持文件存儲的介面的系統設計跟傳統本地文件系統如Ext4這種的特點和難點是一致的，它比塊存儲具有更豐富的介面，需要考慮目錄、文件屬性等支持，實現一個支持並行化的文件存儲應該是最困難的。但像HDFS、GFS這種自己定義標準的系統，可以通過根據實現來定義介面，會容易一點。

因此，這三種介面分別以非分布式情況下的鍵值資料庫、硬碟和文件系統的IO特點來對應即可。至於冷熱、快慢、大小文件而言更接近於業務。但是因為存儲系統是通用化實現，通常來說，需要盡量滿足各種需求，而介面定義已經一定意義上就砍去了一些需求，如對象存儲會以冷存儲更多，大文件為主。

5. 對象存儲系統的對象存儲系統組成

對象(Object)
包含了文件數據以及相關的屬性信息，可以進行自我管理
OSD（Object-based Storage Device)
一個智能設備，是Object的集合
文件系統
文件系統運行在客戶端上，將應用程序的文件系統請求傳輸到MDS和OSD上
元數據伺服器(Metadata Server，MDS)
系統提供元數據、Cache一致性等服務
網路連接
1. 對象(Object)
對象存儲的基本單元。每個Object是數據和數據屬性集的綜合體。數據屬性可以根據應用的需求進行設置，包括數據分布、服務質量等。在傳統的存儲中，塊設備要記錄每個存儲數據塊在設備上的位置。Object維護自己的屬性，從而簡化了存儲系統的管理任務，增加了靈活性。Object的大小可以不同，可以包含整個數據結構，如文件、資料庫表項等。
2、OSD（Object-based Storage Device)
每個OSD都是一個智能設備，具有自己的存儲介質、處理器、內存以及網路系統等，負責管理本地的Object，是對象存儲系統的核心。OSD同塊設備的不同不在於存儲介質，而在於兩者提供的訪問介面。
OSD的主要功能
數據存儲和安全訪問
OSD使用Object對所保存的數據進行管理。它將數據存放到磁碟的磁軌和扇區，將若干磁軌和扇區組合起來構成Object，並且通過此Object向外界提供對數據的訪問。每個Object同傳統的文件相似，使用同文件類似的訪問介面，包括Open、Read、Write等。但是兩者並不相同，每個Object可能包括若干個文件，也可能是某個文件的一部分，且是獨立於操作系統的。除了具體的用戶數據外，OSD還記錄了每個Object的屬性信息，主要是物理視圖信息。將這些信息放到OSD上，大大減輕了元數據伺服器的負擔，增強了整個存儲系統的並行訪問性能和可擴展性。
3、文件系統
文件系統對用戶的文件操作進行解釋，並在元數據伺服器和OSD間通信，完成所請求的操作。
現有的應用對數據的訪問大部分都是通過POSIX文件方式進行的，對象存儲系統提供給用戶的也是標準的POSIX文件訪問介面。
介面具有和通用文件系統相同的訪問方式，同時為了提高性能，也具有對數據的Cache功能和文件的條帶功能。
同時，文件系統必須維護不同客戶端上Cache的一致性，保證文件系統的數據一致
文件系統讀訪問實例：
客戶端應用發出讀請求;
文件系統向元數據伺服器發送請求，獲取要讀取的數據所在的OSD;
然後直接向每個OSD發送數據讀取請求；
OSD得到請求以後，判斷要讀取的Object，並根據此Object要求的認證方式，對客戶端進行認證，如果此客戶端得到授權，則將Object的數據返回給客戶端；
文件系統收到OSD返回的數據以後，讀操作完成。
4.元數據伺服器 (Metadata Server)
為客戶端提供元數據，主要是文件的邏輯視圖，包括文件與目錄的組織關系、每個文件所對應的OSD等。
在傳統的文件系統中，元數據由本機或者文件伺服器負責維護，每次對數據塊的操作都要獲取元數據。
在對象存儲系統中，由於每次操作只有一次對元數據的訪問，具體的數據傳輸都由OSD和客戶端通過直接連接進行，大大減少了元數據的操作，降低了元數據伺服器的負擔，從而為系統的擴展提供了可能性。
特點
客戶端採用Cache來緩存數據
當多個客戶端同時訪問某些數據時，MDS提供分布的鎖機制來確保Cache的一致性。
5. 網路連接
為客戶端提供認證
為了增強系統的安全性，MDS為客戶端提供認證方式。OSD將依據MDS的認證來決定是否為客戶端提供服務。
網路連接是對象存儲系統的重要組成部分。它將客戶端、MDS和OSD連接起來，構成了一個完整的系統。

6. 什麼是對象存儲

對象存儲，也叫做基於對象的存儲，是用來描述解決和處理離散單元的方法的通用術語，這些離散單元被稱作為對象。
存儲區域網（SAN）和網路附加存儲（NAS）是目前兩種主流網路存儲架構，而對象存儲（Object-based Storage)是一種新的網路存儲架構，基於對象存儲技術的設備就是對象存儲設備（Object-based Storage Device）簡稱OSD。1999年成立的全球網路存儲工業協會（SNIA）的對象存儲設備工作組發布了ANSI的X3T10標准。總體上來講，對象存儲綜合了NAS和SAN的優點，同時具有SAN的高速直接訪問和NAS的分布式數據共享等優勢，提供了具有高性能、高可靠性、跨平台以及安全的數據共享的存儲體系結構。

7. 對象存儲為什麼能吸引很多對象 五大技術優勢彰

大家眾說紛「雲」，其中，雲存儲已經成為業界最為火熱的概念之一。大數據時代，沒有存儲或存儲技術，一切都將成為「浮雲」!

對象存儲本身是一種與傳統完全不同的解決方案，類似於當前正在興起的軟體定義存儲趨勢。客戶會利用伺服器——多數情況下為商用伺服器——來實現存儲功能，而供應商必須理解並接受這一點。因此對於硬體供應商來說，他們需要做的不再是單純依靠存儲業務部門銷售陣列或者文件存儲設備，而是再加深入地推動伺服器業務升級。這給新興的軟體定義存儲廠商留下了很大的想像空間。

事實上，對象存儲與塊存儲、文件存儲，都是圍繞數據而衍生的三個概念，而對於數據來說有不同外延，例如數據的存儲，數據的分布，數據的讀寫速度......，是否可以圍繞數據處理的不同維度，來區分塊存儲、文件存儲、對象存儲的概念？

簡單來說，塊存儲讀寫快，不利於共享；文件存儲讀寫慢，利於共享；對象存儲是集成二者優點，是一個利於共享、讀寫快的網路存儲技術，對象存儲技術一問世，便受到CIO們的追捧！

那麼對象存儲技術到底能解決企業哪些問題並給我們帶來哪些好處呢？

「對象存儲是一種分布式存儲，可以幫助企業解決面對非結構化數據快速增長帶來的問題。對象存儲最常用的方案，就是多台伺服器內置大容量硬碟，再裝上對象存儲軟體，然後再額外搞幾台伺服器作為管理節點，安裝上對象存儲管理軟體。管理節點可以管理其他伺服器、提供可視化和自動化的運維等功能。奧思將全面呈現對象存儲技術和在各行各業的應用。大數據時代，用戶對數據的利用非常靈活，隨時調用各種數據或介面滿足用戶各種需求是存儲技術發展的趨勢，未來，在氣象、醫療、金融等領域，奧思分布式對象存儲技術具有廣泛的應用空間和應用場景，必將引領對象存儲技術發展的新潮流」，奧思創始人兼CTO李明宇在接受記者采訪時認為。

「分布式對象存儲技術是雲計算在企業應用落地的一個實實在在的點，可以大大降低存儲成本，提高使用效率。」CIO時代學院院長姚樂在分析中認為。

對象存儲之所以能吸引很多對象，也是因為自身擁有很多魅力和優勢的，具體體現在以下五個方面：

高可靠性。如果其中一個或多個磁碟或設備故障，所有集群中的其他磁碟可以進行替代並保證系統照常運行。數據恢復只需要數分鍾便可以完成，而且數據可用性不會中斷。相反，在傳統存儲中，當一個RAID磁碟出現故障，系統會慢如蝸牛需要數小時或數天來重建陣列。

集群性。對象存儲系統可以在一個集群內以ScaleOut方式線性擴展，可以直接根據儲存數規模增減儲存節點，甚至跨地域實現一個集群，而不受文件數量、文件大小和文件系統容量的限制。更好的支持業務靈活性；免去傳統硬體移植或者大規模硬體升級的麻煩。

共享性。對象存儲軟體相當於一個專門的文件系統，提供服務化的介面，因此能夠很方便地實現數據共享。

易於維護。對象存儲空間可以統一管理，基於單一的平面地址空間，可以實現數據合理自動路由的存儲，省去了使企業存儲系統時刻處於生產工作狀態的復雜和昂貴的管理成本。

負載均衡。對象存儲集群的每個節點都是獨立的，訪問負載可以平均分配到集群中的所有節點上，避免出現NAS和集群文件系統中常見的資源利用不合理的問題。並且可以讓數據讀取自動選擇合理的節點，保證系統性能最大化。

綜上所述，對象存儲技術將越來越多地作為一套訪問協議存在，而非架構設計思路。事實上，CIO並不會真正將大部分精力投入到內部設計身上，而更傾向於關注自身交付給用戶的應用程序的實際表現。

最後，在筆者看來，對象存儲技術將成為未來存儲技術的重要組成部分，並將以這種方式被眾多大型供應商添加到面向商用硬體設備的轉型嘗試當中，對象存儲技術必將影響未來網路存儲市場走向，這是趨勢!

8. yottachain對象存儲介面規范是

ObjectOutputStream 將 Java 對象的基本數據類型和圖形寫入 OutputStream。可以使用 ObjectInputStream 讀取（重構）對象。通過在流中使用文件可以實現對象的持久存儲。如果流是網路套接字流，則可以在另一台主機上或另一個進程中重構對象。

9. 現在比較火熱的對象存儲應用場景是什麼

對象存儲系統的出現主要是為了滿足數據歸檔和雲服務兩大需求，我們對這兩種場景可進行進一步的細化：
● 存儲資源池(空間租賃)
使用對象存儲構建類似存儲空間租賃服務，向個人、企業或應用提供按需擴展的彈性存儲服務。用戶向資源池運營商按需購買存儲資源後，通過基於web協議訪問和使用存儲資源,而無需采購和運維存儲設備。多租戶模型將不同的用戶的數據隔離開來，確保用戶的數據安全。
● 網盤應用
在海量存儲資源池基礎上，使用圖形用戶界面(GUI)實現對象存儲資源的封裝，向用戶提供類似DropBox的網盤業務。用戶可通過PC客戶端、手機客戶端、Web頁面完成數據的上傳、下載、管理與分享。在網盤幫助下個人和家庭用戶能夠實現數據安全、持久的保存和不同終端之間的數據同步;企業客戶通過網盤應用可實現更高效的信息分享、協同辦公和非結構化數據管理，同時企業網盤還可用於實現低成本的Windows遠程備份，確保企業數據安全。
● 集中備份
在大型企業或科研機構中，對象存儲通過與ComvaultSimpana、SymantecNBU等主流備份軟體結合，可向用戶提供更具成本效益、更低TCO的集中備份方案。相對原有的磁帶庫或虛擬磁帶庫等備份方案：重復數據刪除特性能夠幫助用戶減少低設備采購，智能管理特性使得備份系統無需即時維護，從而降低CAPEX和OPEX;分布式並行讀寫帶來的巨大吞吐量和在線/近線的存儲模式有效降低RTO和RPO。
● 歸檔和分級存儲
對象存儲通過與歸檔軟體、分級存儲軟體結合，將在線系統中的數據無縫歸檔/分級存儲到對象存儲，釋放在線系統存儲資源。對象存儲提供幾乎可無限擴展的容量，智能管理能力，幫助用戶降低海量數據歸檔的TCO;對象歸檔採用主動歸檔模式使得歸檔數據能夠被按需訪問，而無需長時間的等待和延遲。

10. 不屬於對象存儲的存儲類型

塊存儲和文件存儲。

1、塊存儲

以下列出的兩種存儲方式都是塊存儲類型：

1） DAS（Direct AttachSTorage）：是直接連接於主機伺服器的一種儲存方式，每一台主機伺服器有獨立的儲存設備，每台主機伺服器的儲存設備無法互通，需要跨主機存取資料時，必須經過相對復雜的設定，若主機伺服器分屬不同的操作系統，要存取彼此的資料，更是復雜，有些系統甚至不能存取。通常用在單一網路環境下且數據交換量不大，性能要求不高的環境下，可以說是一種應用較為早的技術實現。

2）SAN（Storage Area Network）：是一種用高速（光纖）網路聯接專業主機伺服器的一種儲存方式，此系統會位於主機群的後端，它使用高速I/O 聯結方式， 如 SCSI, ESCON及 Fibre- Channels。一般而言，SAN應用在對網路速度要求高、對數據的可靠性和安全性要求高、對數據共享的性能要求高的應用環境中，特點是代價高，性能好。例如電信、銀行的大數據量關鍵應用。它採用SCSI 塊I/O的命令集，通過在磁碟或FC（Fiber Channel）級的數據訪問提供高性能的隨機I/O和數據吞吐率，它具有高帶寬、低延遲的優勢，在高性能計算中佔有一席之地，但是由於SAN系統的價格較高，且可擴展性較差，已不能滿足成千上萬個CPU規模的系統。

2、文件存儲

通常，NAS產品都是文件級存儲。NAS（Network Attached Storage）：是一套網路儲存設備，通常是直接連在網路上並提供資料存取服務，一套 NAS 儲存設備就如同一個提供數據文件服務的系統，特點是性價比高。例如教育、政府、企業等數據存儲應用。

它採用NFS或CIFS命令集訪問數據，以文件為傳輸協議，通過TCP/IP實現網路化存儲，可擴展性好、價格便宜、用戶易管理，如目前在集群計算中應用較多的NFS文件系統，但由於NAS的協議開銷高、帶寬低、延遲大，不利於在高性能集群中應用。

下面，我們對DAS、NAS、SAN三種技術進行比較和分析：

表格 1 三種技術的比較