什麼是元數據伺服器

㈠ 有對象存儲了為什麼還要有文件存儲和塊存儲

主要還是因為這三種存儲的使用場景不同，下面對文件存儲，塊存儲的典型代表DAS，NAS，SAN做個一個詳細的對比表，可以看下：

㈡ 無法訪問文件,建議前往安卓存儲訪問框架查看文件

點前往查看，雙擊點andriod文件夾，雙擊點data文件夾，正常訪問。
分布式存儲架構由三個部分組成：客戶端、元數據伺服器和數據伺服器。客戶端負責發送讀寫請求，緩存文件元數據和文件數據。元數據伺服器負責管理元數據和處理客戶端的請求，是整個系統的核心組件。
數據伺服器負責存放文件數據，保證數據的可用性和完整性。REED的主要應用場景為雲存儲服務，可為服務商提供端到端數據加密框架，以及兼容該框架的動態訪問控制和重復數據刪除技術。
通過動態訪問控制，解決用戶對共享雲數據的安全性的擔憂；通過重復數據刪除，降低雲服務商的存儲維護成本。

㈢ 什麼是元數據

元數據（Meta Data）是關於數據倉庫的數據，指在數據倉庫建設過程中所產生的有關數據源定義，目標定義，轉換規則等相關的關鍵數據。同時元數據還包含關於數據含義的商業信息，所有這些信息都應當妥善保存，並很好地管理。為數據倉庫的發展和使用提供方便。

元數據是一種二進制信息，用以對存儲在公共語言運行庫可移植可執行文件 (PE) 文件或存儲在內存中的程序進行描述。將您的代碼編譯為 PE 文件時，便會將元數據插入到該文件的一部分中，而將代碼轉換為 Microsoft 中間語言 (MSIL) 並將其插入到該文件的另一部分中。在模塊或程序集中定義和引用的每個類型和成員都將在元數據中進行說明。當執行代碼時，運行庫將元數據載入到內存中，並引用它來發現有關代碼的類、成員、繼承等信息。

元數據以非特定語言的方式描述在代碼中定義的每一類型和成員。元數據存儲以下信息：

程序集的說明。
標識（名稱、版本、區域性、公鑰）。
導出的類型。
該程序集所依賴的其他程序集。
運行所需的安全許可權。
類型的說明。
名稱、可見性、基類和實現的介面。
成員（方法、欄位、屬性、事件、嵌套的類型）。
屬性。
修飾類型和成員的其他說明性元素。

一、元數據的優點

對於一種更簡單的編程模型來說，元數據是關鍵，該模型不再需要介面定義語言 (IDL) 文件、頭文件或任何外部組件引用方法。元數據允許 .NET 語言自動以非特定語言的方式對其自身進行描述，而這是開發人員和用戶都無法看見的。另外，通過使用屬性，可以對元數據進行擴展。元數據具有以下主要優點：

自描述文件。
公共語言運行庫模塊和程序集是自描述的。模塊的元數據包含與另一個模塊進行交互所需的全部信息。元數據自動提供 COM 中 IDL 的功能，允許將一個文件同時用於定義和實現。運行庫模塊和程序集甚至不需要向操作系統注冊。結果，運行庫使用的說明始終反映編譯文件中的實際代碼，從而提高應用程序的可靠性。

語言互用性和更簡單的基於組件的設計。
元數據提供所有必需的有關已編譯代碼的信息，以供您從用不同語言編寫的 PE 文件中繼承類。您可以創建用任何託管語言（任何面向公共語言運行庫的語言）編寫的任何類的實例，而不用擔心顯式封送處理或使用自定義的互用代碼。

二、屬性。

.NET Framework 允許您在編譯文件中聲明特定種類的元數據（稱為屬性）。在整個 .NET Framework 中到處都可以發現屬性的存在，屬性用於更精確地控制運行時您的程序如何工作。另外，您可以通過用戶定義的自定義屬性向 .NET Framework 文件發出您自己的自定義元數據。有關更多信息，請參見利用屬性擴展元數據。

三、元數據的意義

說到元數據的意義，可以從其應用目的來談的。雖然做數據倉庫言必稱元數據，必稱技術、業務元數據，但其到底用於何處？離開了目標去談元數據，就發現元數據包含太多的東西，因為他是描述數據的數據嘛。

還是那客戶關系系統來比喻，這個系統維護客戶信息當然是有目的的，是要用這些信息進行一些自動的流程處理、去挖掘一些客戶潛在的價值、做好客戶服務。當然沒有必要去維護客戶的生命特徵信息，諸如指紋、犯罪史等，這些信息跟客戶關系管理的目標關系不大。元數據也是如此，你可以將所以數據的結構、大小、什麼時間創建、什麼時間消亡、被那些人使用等等，這些信息可以延伸得太廣，如果不管目標，而試圖去建一個非常完美的元數據管理體系，這是一種絕對的"自上而下"做法，必敗無疑。

四、元數據列舉

基於應用，可以將元數據分成以下的若干中。

數據結構：數據集的名稱、關系、欄位、約束等；
數據部署：數據集的物理位置；
數據流：數據集之間的流程依賴關系（非參照依賴），包括數據集到另一個數據集的規則；
質量度量：數據集上可以計算的度量；
度量邏輯關系：數據集度量之間的邏輯運算關系；
ETL過程：過程運行的順序，並行、串列；
數據集快照：一個時間點上，數據在所有數據集上的分布情況；
星型模式元數據：事實表、維度、屬性、層次等；
報表語義層：報表指標的規則、過濾條件物理名稱和業務名稱的對應；
數據訪問日誌：哪些數據何時被何人訪問；
質量稽核日誌：何時、何度量被稽核，其結果；
數據裝載日誌：哪些數據何時被何人裝載；

五、元數據開發應用的標准化框架

1、數字圖書館資源組織框架

2. 元數據開發應用框架

2.1 元數據的基本意義 Metadata（元數據）是「關於數據的數據」；

元數據為各種形態的數字化信息單元和資源集合提供規范、普遍的描述方法和檢索工具；

元數據為分布的、由多種數字化資源有機構成的信息體系（如數字圖書館）提供整合的工具與紐帶。

離開元數據的數字圖書館將是一盤散沙，將無法提供有效的檢索和處理。

3. 元數據應用環境

3.1 Metadata的應用目的

（1）確認和檢索（Discovery andentification），主要致力於如何幫助人們檢索和確認所需要的資源，數據元素往往限於作者、標題、主題、位置等簡單信息，Dublin Core是其典型代表。

（2）著錄描述（Cataloging），用於對數據單元進行詳細、全面的著錄描述，數據元素囊括內容、載體、位置與獲取方式、製作與利用方法、甚至相關數據單元方面等，數據元素數量往往較多，MARC、GILS和FGDC/CSDGM是這類Metadata的典型代表。

（3）資源管理（Resource Administration），支持資源的存儲和使用管理，數據元素除比較全面的著錄描述信息外，還往往包括權利管理（Rights/Privacy Management）、電子簽名（Digital Signature）、資源評鑒（Seal of Approval/Rating）、使用管理（Access Management）、支付審計（Payment and Accounting）等方面的信息。

（4）資源保護與長期保存（Preservation and Archiving），支持對資源進行長期保存，數據元素除對資源進行描述和確認外，往往包括詳細的格式信息、製作信息、保護條件、轉換方式（Migration Methods）、保存責任等內容。

3.2 Metadata在不同領域的應用 根據不同領域的數據特點和應用需要，90年代以來，許多Metadata格式在各個不同領域出現

例如：
網路資源：Dublin Core、IAFA Template、CDF、Web Collections
文獻資料：MARC（with 856 Field），Dublic Core
人文科學：TEI Header
社會科學數據集：ICPSR SGML Codebook
博物館與藝術作品：CIMI、CDWA、RLG REACH Element Set、VRA Core
政府信息：GILS
地理空間信息：FGDC/CSDGM
數字圖像：MOA2 metadata、CDL metadata、Open Archives Format、VRA Core、NISO/CLIR/RLG Technical Metadata for Images
檔案庫與資源集合：EAD
技術報告：RFC 1807
連續圖像：MPEG-7

3.3 Metadata格式的應用程度

不同領域的Metadata處於不同的標准化階段：
在網路資源描述方面，Dublin Core經過多年國際性努力，已經成為一個廣為接受和應用的事實標准；

在政府信息方面，由於美國政府大力推動和有關法律、標準的實行，GILS已經成為政府信息描述標准，並在世界若干國家得到相當程度的應用，與此類似的還有地理空間信息處理的FGDC/CSDGM；

但在某些領域，由於技術的迅速發展變化，仍然存在多個方案競爭，典型的是數字圖像的Metadata，現在提出的許多標准都處於實驗和完善的階段。
3.4 Metadata格式「標准化」程度問題

Metadata開發應用經驗表明，很難有一個統一的Metadata格式來滿足所有領域的數據描述需要；即使在同一個領域，也可能為了不同目的而需要不同的但可相互轉換的Metadata格式。

同時，統一的集中計劃式的Metadata格式標准也不適合Internet環境，不利於充分利用市場機制和各方面力量。

但在同一領域，應爭取「標准化」，在不同領域，應妥善解決不同格式的互操作問題。

4. 元數據結構

4.1 總體結構定義方式 一個Metadata格式由多層次的結構予以定義：

（1）內容結構（Content Structure），對該Metadata的構成元素及其定義標准進行描述。

（2）句法結構（Syntax Structure），定義Metadata結構以及如何描述這種結構。

（3）語義結構（Semantic Structure），定義Metadata元素的具體描述方法。

4.2 內容結構

內容結構定義Metadata的構成元素，可包括： 描述性元素、技術性元素、管理性元素、結構性元素（例如與編碼語言、Namespace、數據單元等的鏈接）。

這些數據元素很可能依據一定標准來選取，因此元數據內容結構中需要對此進行說明，例如MARC記錄所依據的ISBD，EAD所參照的ISAD（G），ICPSR所依據的ICPSR Data Preparation Manual。

4.3 句法結構

句法結構定義格式結構及其描述方式，例如元素的分區分段組織、元素選取使用規則、元素描述方法（例如Dublin Core採用ISO/IEC 11179標准）、元素結構描述方法（例如MARC記錄結構、SGML結構、XML結構）、結構語句描述語言（例如EBNF Notation）等。

有時，句法結構需要指出元數據是否與所描述的數據對象捆綁在一起、或作為單獨數據存在但以一定形式與數據對象鏈接，還可能描述與定義標准、DTD結構和Namespace等的鏈接方式。

4.4 語義結構 語義結構定義元素的具體描述方法，例如 描述元素時所採用的標准、最佳實踐（Best Practices）或自定義的描述要求（Instructions）。

有些元數據格式本身定義了語義結構，而另外一些則由具體採用單位規定語義結構，例如Dublin Core建議日期元素採用ISO 8601、資源類型採用Dublin Core Types、數據格式可採用MIME、識別號採用URL或DOI或ISBN；
又如OhioLink在使用VRA Core時要求主題元素使用A&AT、TGM和TGN，人名元素用ULAN。

5. 元數據編碼語言與製作方式

5.1 元數據編碼語言

元數據編碼語言（Metadata Encoding Languages）指對元數據元素和結構進行定義和描述的具體語法和語義規則，常稱為定義描述語言（DDL）。

在元數據發展初期人們常使用自定義的記錄語言（例如MARC）或資料庫記錄結構（如ROADS等），但隨著元數據格式的增多和互操作的要求，人們開始採用一些標准化的DDL來描述元數據，例如SGML和XML，其中以XML最有潛力。

5.2 元數據製作方式

（1）專門編制模塊（例如對MARC、GILS、FGDC等）

（2）數據處理時自動編制（例如對Dublin Core等）

（3）數據物理處理時自動編制（例如數字圖像掃描時的某些元數據參數）

（4）共享元數據（例如OCLC/CORC、IMESH

6. 元數據互操作性

6.1 元數據互操作性問題

由於不同的領域（甚至同一領域）往往存在多個元數據格式，當在用不同元數據格式描述的資源體系之間進行檢索、資源描述和資源利用時，就存在元數據的互操作性問題（Interoperability）：
多個不同元數據格式的釋讀、轉換和由多個元數據格式描述的數字化信息資源體系之間的透明檢索。

6.2 元數據格式映射

利用特定轉換程序對不同元數據元格式進行轉換，稱為元數據映射（Metadata Mapping/Crosswalking）。

目前已有大量的轉換程序存在，供若幹流行元數據格式之間的轉化，例如
Dublin Core與USMARC； Dublin Core與EAD
Dublin Core與GILS； GILS與MARC TEI
Header與MARC FGDC與MARC

也可利用一種中介格式對同一格式框架下的多種元數據格式進行轉換，例如UNIverse項目利用GRS格式進行各種MARC格式和其它記錄格式的轉換。格式映射轉換准確、轉換效率較高。不過，這種方法在面對多種元數據格式並存的開放式環境中的應用效率明顯受到限制。

6.3 標准描述框架

解決元數據互操作性的另一種思路是建立一個標準的資源描述框架，用這個框架來描述所有元數據格式，那麼只要一個系統能夠解析這個標准描述框架，就能解讀相應的Metadata格式． 實際上，XML和RDF從不同角度起著類似的作用。

XML通過其標準的DTD定義方式，允許所有能夠解讀XML語句的系統辨識用XML_DTD定義的Metadata格式，從而解決對不同格式的釋讀問題。

RDF定義了由Resources、Properties和Statements等三種對象組成的基本模型，其中Resources和Properties關系類似於E-R模型，而Statements則對該關系進行具體描述。

RDF通過這個抽象的數據模型為定義和使用元數據建立一個框架，元數據元素可看成其描述的資源的屬性。

進一步地，RDF定義了標准Schema，規定了聲明資源類型、聲明相關屬性及其語義的機制，以及定義屬性與其它資源間關系的方法。另外，RDF還規定了利用XML Namespace方法調用已有定義規范的機制，

6.4 數字對象方式

建立包含元數據及其轉換機制的數字對象可能從另一個角度解決元數據互操作性問題。

Cornell/FEDORA項目提出由內核（Structural Kernel）和功能傳播層（Disseminator Layer）組成的復合數字對象。

內核里，可以容納以比特流形式存在的文獻內容、描述該文獻的元數據、以及對這個文獻及元數據進行存取控制的有關數據。

功能傳播層，主功能傳播器（PrimitiveDisseminator）支持有關解構內核數據類型和對內核數據讀取的服務功能，還可有內容類型傳播器（Content-Type Disseminators），它們可內嵌元數據格式轉換機制。

例如，在一個數字對象的內核中存有MARC格式的元數據，在功能傳播層裝載有請求Dublin Core格式及其轉換服務的內容類型傳播器。當數字對象使用者要求讀取以Dublin Core表示的元數據時，相應的內容類型傳播器將通過網路請求存儲有Dublin Core及其轉換服務程序的數字對象，然後將被請求數字對象中的MARC形式元數據轉換為Dublin Core形式，在輸出給用戶。

7. 幾點建議

跟蹤元數據發展、積極參與制定元數據標准、加快元數據應用、注意國際接軌。
加快研究有效利用元數據進行檢索（包括異構系統透明檢索）、相關性學習、個性化處理等的機制。
加快研究元數據與數字對象和數字化資源體系有機整合的途徑與方法。
推進研究利用元數據進行基於知識的數據組織和知識發現。

㈣ 塊儲存，對象存儲，文件存儲的區別和聯系

通常來講，磁碟陣列都是基於Block塊的存儲，而所有的NAS產品都是文件級存儲。
1. 塊存儲：DAS SAN
a) DAS(Direct Attach Storage): 是直接連接於主機伺服器的一種存儲方式，每台伺服器有獨立的存儲設備，每台主機伺服器的存儲設備無法互通，需要跨主機存取資料室，必須經過相對復雜的設定，若主機分屬不同的操作系統，則更復雜。
應用：單一網路環境下且數據交換量不大，性能要求不高的環境，技術實現較早。
b) SAN(Storage Area Network): 是一種高速(光纖)網路聯接專業主機伺服器的一種存儲方式，此系統會位於主機群的後端，它使用高速I/O聯接方式，如：SCSI,ESCON及Fibre-Channels.特點是，代價高、性能好。但是由於SAN系統的價格較高，且可擴展性較差，已不能滿足成千上萬個CPU規模的系統。
應用：對網速要求高、對數據可靠性和安全性要求高、對數據共享的性能要求高的應用環境中。

2. 文件存儲
通常NAS產品都是文件級存儲。
NAS(Network Attached Storage)：是一套網路存儲設備，通常直接連在網路上並提供資料存取服務，一套NAS儲存設備就如同一個提供數據文件服務的系統，特點是性價比高。
它採用NFS或CIFS命令集訪問數據，以文件為傳輸協議，可擴展性好、價格便宜、用戶易管理。目前在集群計算中應用較多的NFS文件系統，但由於NAS的協議開銷高、帶寬低、延遲大，不利於在高性能集群中應用。

3. 對象存儲：
總體上講，對象存儲同時兼具SAN高級直接訪問磁碟特點及NAS的分布式共享特點。
核心是將數據通路(數據讀或寫)和控制通路(元數據)分離，並且基於對象存儲設備(OSD)，構建存儲系統，每個對象存儲設備具備一定的職能，能夠自動管理其上的數據分布。
對象儲存結構組成部分(對象、對象存儲設備、元數據伺服器、對象存儲系統的客戶端)
3.1 對象
一個對象實際就是文件的數據和一組屬性信息的組合。
3.2 對象存儲設備(OSD)
OSD具有一定的智能，它有自己的CPU、內存、網路和磁碟系統。
OSD提供三個主要功能：包括數據存儲和安全訪問
(1)數據存儲 (2)智能分布 (3)每個對象元數據的管理
3.3 元數據伺服器(Metadata Server , MDS)
MDS控制Client與OSD對象的交互，主要提供以下幾個功能：
(1) 對象存儲訪問
允許Client直接訪問對象，OSD接收到請求時先驗證該能力，再訪問。
(2) 文件和目錄訪問管理
MDS在存儲系統上構建一個文件結構，限額控制、包括目錄、文件的創建、訪問控制等
(3) Client Cache 一致性
為提高性能，在對象存儲系統設計時通常支持Client的Cache。因此帶來了Cache一致性的問題，當Cache文件發生改變時，將通知Client刷新Cache,以防Cache不一致引發的問題。
對象存儲：
一個文件包含了屬性(術語叫matadata元數據，例如該文件的大小、修改時間、存儲路徑等)以及內容(簡稱數據)。
以往的文件系統，存儲過程將文件按文件系統的最小塊來打散，再寫進硬碟，過程中沒有區分元數據(metadata)和數據。而在每個塊最後才會告知下一個塊的地址，因此只能一個一個讀，速度慢。
而對象存儲則將元數據獨立出來，控制節點叫元數據伺服器(伺服器+對象存儲管理軟體)，裡面主要存儲對象的屬性(主要是對象的數據被打散存放到了那幾台分布式伺服器中的信息)，而其他負責存儲數據的分布式伺服器叫做OSD，主要負責存儲文件的數據部分。當用戶訪問對象時，會先訪問元數據伺服器，元數據伺服器只負責反饋對象存儲在那些OSD。假設反饋文件A存儲在B,C,D三台OSD，那麼用戶就會再次訪問三台OSD伺服器去讀取數據。
這時三台OSD同時對外傳輸數據，因此傳輸的速度就加快了。OSD伺服器數量越多，這種讀寫速度的提升就越大。
另一方面，對象存儲軟體有專門的文件系統，所以OSD對外又相當於文件伺服器，那麼就不存在文件共享方面的困難了，也解決了文件共享方面的問題。
因此對象存儲的出現，很好的結合了塊存儲與文件存儲的優點。

為什麼還要使用塊存儲和文件存儲：
1.有一類應用是需要存儲直接裸盤映射的，比如資料庫。因為資料庫需要存儲裸盤映射給自己後，再根據自己的資料庫文件系統來對了裸盤進行格式化，因此不能採用其他已經被格式化為某種文件系統的存儲。此類更適合塊存儲。
2.對象存儲的成本比普通的文件存儲還是較高，需要購買專門的對象存儲軟體以及大容量硬碟。如果對數據量要求不是海量，只是為了作文件共享的時候，直接用文件存儲的形式就好了，性價比高。