什么是元数据服务器

㈠ 有对象存储了为什么还要有文件存储和块存储

主要还是因为这三种存储的使用场景不同，下面对文件存储，块存储的典型代表DAS，NAS，SAN做个一个详细的对比表，可以看下：

㈡ 无法访问文件,建议前往安卓存储访问框架查看文件

点前往查看，双击点andriod文件夹，双击点data文件夹，正常访问。
分布式存储架构由三个部分组成：客户端、元数据服务器和数据服务器。客户端负责发送读写请求，缓存文件元数据和文件数据。元数据服务器负责管理元数据和处理客户端的请求，是整个系统的核心组件。
数据服务器负责存放文件数据，保证数据的可用性和完整性。REED的主要应用场景为云存储服务，可为服务商提供端到端数据加密框架，以及兼容该框架的动态访问控制和重复数据删除技术。
通过动态访问控制，解决用户对共享云数据的安全性的担忧；通过重复数据删除，降低云服务商的存储维护成本。

㈢ 什么是元数据

元数据（Meta Data）是关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息，所有这些信息都应当妥善保存，并很好地管理。为数据仓库的发展和使用提供方便。

元数据是一种二进制信息，用以对存储在公共语言运行库可移植可执行文件 (PE) 文件或存储在内存中的程序进行描述。将您的代码编译为 PE 文件时，便会将元数据插入到该文件的一部分中，而将代码转换为 Microsoft 中间语言 (MSIL) 并将其插入到该文件的另一部分中。在模块或程序集中定义和引用的每个类型和成员都将在元数据中进行说明。当执行代码时，运行库将元数据加载到内存中，并引用它来发现有关代码的类、成员、继承等信息。

元数据以非特定语言的方式描述在代码中定义的每一类型和成员。元数据存储以下信息：

程序集的说明。
标识（名称、版本、区域性、公钥）。
导出的类型。
该程序集所依赖的其他程序集。
运行所需的安全权限。
类型的说明。
名称、可见性、基类和实现的接口。
成员（方法、字段、属性、事件、嵌套的类型）。
属性。
修饰类型和成员的其他说明性元素。

一、元数据的优点

对于一种更简单的编程模型来说，元数据是关键，该模型不再需要接口定义语言 (IDL) 文件、头文件或任何外部组件引用方法。元数据允许 .NET 语言自动以非特定语言的方式对其自身进行描述，而这是开发人员和用户都无法看见的。另外，通过使用属性，可以对元数据进行扩展。元数据具有以下主要优点：

自描述文件。
公共语言运行库模块和程序集是自描述的。模块的元数据包含与另一个模块进行交互所需的全部信息。元数据自动提供 COM 中 IDL 的功能，允许将一个文件同时用于定义和实现。运行库模块和程序集甚至不需要向操作系统注册。结果，运行库使用的说明始终反映编译文件中的实际代码，从而提高应用程序的可靠性。

语言互用性和更简单的基于组件的设计。
元数据提供所有必需的有关已编译代码的信息，以供您从用不同语言编写的 PE 文件中继承类。您可以创建用任何托管语言（任何面向公共语言运行库的语言）编写的任何类的实例，而不用担心显式封送处理或使用自定义的互用代码。

二、属性。

.NET Framework 允许您在编译文件中声明特定种类的元数据（称为属性）。在整个 .NET Framework 中到处都可以发现属性的存在，属性用于更精确地控制运行时您的程序如何工作。另外，您可以通过用户定义的自定义属性向 .NET Framework 文件发出您自己的自定义元数据。有关更多信息，请参见利用属性扩展元数据。

三、元数据的意义

说到元数据的意义，可以从其应用目的来谈的。虽然做数据仓库言必称元数据，必称技术、业务元数据，但其到底用于何处？离开了目标去谈元数据，就发现元数据包含太多的东西，因为他是描述数据的数据嘛。

还是那客户关系系统来比喻，这个系统维护客户信息当然是有目的的，是要用这些信息进行一些自动的流程处理、去挖掘一些客户潜在的价值、做好客户服务。当然没有必要去维护客户的生命特征信息，诸如指纹、犯罪史等，这些信息跟客户关系管理的目标关系不大。元数据也是如此，你可以将所以数据的结构、大小、什么时间创建、什么时间消亡、被那些人使用等等，这些信息可以延伸得太广，如果不管目标，而试图去建一个非常完美的元数据管理体系，这是一种绝对的"自上而下"做法，必败无疑。

四、元数据列举

基于应用，可以将元数据分成以下的若干中。

数据结构：数据集的名称、关系、字段、约束等；
数据部署：数据集的物理位置；
数据流：数据集之间的流程依赖关系（非参照依赖），包括数据集到另一个数据集的规则；
质量度量：数据集上可以计算的度量；
度量逻辑关系：数据集度量之间的逻辑运算关系；
ETL过程：过程运行的顺序，并行、串行；
数据集快照：一个时间点上，数据在所有数据集上的分布情况；
星型模式元数据：事实表、维度、属性、层次等；
报表语义层：报表指标的规则、过滤条件物理名称和业务名称的对应；
数据访问日志：哪些数据何时被何人访问；
质量稽核日志：何时、何度量被稽核，其结果；
数据装载日志：哪些数据何时被何人装载；

五、元数据开发应用的标准化框架

1、数字图书馆资源组织框架

2. 元数据开发应用框架

2.1 元数据的基本意义 Metadata（元数据）是“关于数据的数据”；

元数据为各种形态的数字化信息单元和资源集合提供规范、普遍的描述方法和检索工具；

元数据为分布的、由多种数字化资源有机构成的信息体系（如数字图书馆）提供整合的工具与纽带。

离开元数据的数字图书馆将是一盘散沙，将无法提供有效的检索和处理。

3. 元数据应用环境

3.1 Metadata的应用目的

（1）确认和检索（Discovery andentification），主要致力于如何帮助人们检索和确认所需要的资源，数据元素往往限于作者、标题、主题、位置等简单信息，Dublin Core是其典型代表。

（2）着录描述（Cataloging），用于对数据单元进行详细、全面的着录描述，数据元素囊括内容、载体、位置与获取方式、制作与利用方法、甚至相关数据单元方面等，数据元素数量往往较多，MARC、GILS和FGDC/CSDGM是这类Metadata的典型代表。

（3）资源管理（Resource Administration），支持资源的存储和使用管理，数据元素除比较全面的着录描述信息外，还往往包括权利管理（Rights/Privacy Management）、电子签名（Digital Signature）、资源评鉴（Seal of Approval/Rating）、使用管理（Access Management）、支付审计（Payment and Accounting）等方面的信息。

（4）资源保护与长期保存（Preservation and Archiving），支持对资源进行长期保存，数据元素除对资源进行描述和确认外，往往包括详细的格式信息、制作信息、保护条件、转换方式（Migration Methods）、保存责任等内容。

3.2 Metadata在不同领域的应用 根据不同领域的数据特点和应用需要，90年代以来，许多Metadata格式在各个不同领域出现

例如：
网络资源：Dublin Core、IAFA Template、CDF、Web Collections
文献资料：MARC（with 856 Field），Dublic Core
人文科学：TEI Header
社会科学数据集：ICPSR SGML Codebook
博物馆与艺术作品：CIMI、CDWA、RLG REACH Element Set、VRA Core
政府信息：GILS
地理空间信息：FGDC/CSDGM
数字图像：MOA2 metadata、CDL metadata、Open Archives Format、VRA Core、NISO/CLIR/RLG Technical Metadata for Images
档案库与资源集合：EAD
技术报告：RFC 1807
连续图像：MPEG-7

3.3 Metadata格式的应用程度

不同领域的Metadata处于不同的标准化阶段：
在网络资源描述方面，Dublin Core经过多年国际性努力，已经成为一个广为接受和应用的事实标准；

在政府信息方面，由于美国政府大力推动和有关法律、标准的实行，GILS已经成为政府信息描述标准，并在世界若干国家得到相当程度的应用，与此类似的还有地理空间信息处理的FGDC/CSDGM；

但在某些领域，由于技术的迅速发展变化，仍然存在多个方案竞争，典型的是数字图像的Metadata，现在提出的许多标准都处于实验和完善的阶段。
3.4 Metadata格式“标准化”程度问题

Metadata开发应用经验表明，很难有一个统一的Metadata格式来满足所有领域的数据描述需要；即使在同一个领域，也可能为了不同目的而需要不同的但可相互转换的Metadata格式。

同时，统一的集中计划式的Metadata格式标准也不适合Internet环境，不利于充分利用市场机制和各方面力量。

但在同一领域，应争取“标准化”，在不同领域，应妥善解决不同格式的互操作问题。

4. 元数据结构

4.1 总体结构定义方式 一个Metadata格式由多层次的结构予以定义：

（1）内容结构（Content Structure），对该Metadata的构成元素及其定义标准进行描述。

（2）句法结构（Syntax Structure），定义Metadata结构以及如何描述这种结构。

（3）语义结构（Semantic Structure），定义Metadata元素的具体描述方法。

4.2 内容结构

内容结构定义Metadata的构成元素，可包括： 描述性元素、技术性元素、管理性元素、结构性元素（例如与编码语言、Namespace、数据单元等的链接）。

这些数据元素很可能依据一定标准来选取，因此元数据内容结构中需要对此进行说明，例如MARC记录所依据的ISBD，EAD所参照的ISAD（G），ICPSR所依据的ICPSR Data Preparation Manual。

4.3 句法结构

句法结构定义格式结构及其描述方式，例如元素的分区分段组织、元素选取使用规则、元素描述方法（例如Dublin Core采用ISO/IEC 11179标准）、元素结构描述方法（例如MARC记录结构、SGML结构、XML结构）、结构语句描述语言（例如EBNF Notation）等。

有时，句法结构需要指出元数据是否与所描述的数据对象捆绑在一起、或作为单独数据存在但以一定形式与数据对象链接，还可能描述与定义标准、DTD结构和Namespace等的链接方式。

4.4 语义结构 语义结构定义元素的具体描述方法，例如 描述元素时所采用的标准、最佳实践（Best Practices）或自定义的描述要求（Instructions）。

有些元数据格式本身定义了语义结构，而另外一些则由具体采用单位规定语义结构，例如Dublin Core建议日期元素采用ISO 8601、资源类型采用Dublin Core Types、数据格式可采用MIME、识别号采用URL或DOI或ISBN；
又如OhioLink在使用VRA Core时要求主题元素使用A&AT、TGM和TGN，人名元素用ULAN。

5. 元数据编码语言与制作方式

5.1 元数据编码语言

元数据编码语言（Metadata Encoding Languages）指对元数据元素和结构进行定义和描述的具体语法和语义规则，常称为定义描述语言（DDL）。

在元数据发展初期人们常使用自定义的记录语言（例如MARC）或数据库记录结构（如ROADS等），但随着元数据格式的增多和互操作的要求，人们开始采用一些标准化的DDL来描述元数据，例如SGML和XML，其中以XML最有潜力。

5.2 元数据制作方式

（1）专门编制模块（例如对MARC、GILS、FGDC等）

（2）数据处理时自动编制（例如对Dublin Core等）

（3）数据物理处理时自动编制（例如数字图像扫描时的某些元数据参数）

（4）共享元数据（例如OCLC/CORC、IMESH

6. 元数据互操作性

6.1 元数据互操作性问题

由于不同的领域（甚至同一领域）往往存在多个元数据格式，当在用不同元数据格式描述的资源体系之间进行检索、资源描述和资源利用时，就存在元数据的互操作性问题（Interoperability）：
多个不同元数据格式的释读、转换和由多个元数据格式描述的数字化信息资源体系之间的透明检索。

6.2 元数据格式映射

利用特定转换程序对不同元数据元格式进行转换，称为元数据映射（Metadata Mapping/Crosswalking）。

目前已有大量的转换程序存在，供若干流行元数据格式之间的转化，例如
Dublin Core与USMARC； Dublin Core与EAD
Dublin Core与GILS； GILS与MARC TEI
Header与MARC FGDC与MARC

也可利用一种中介格式对同一格式框架下的多种元数据格式进行转换，例如UNIverse项目利用GRS格式进行各种MARC格式和其它记录格式的转换。格式映射转换准确、转换效率较高。不过，这种方法在面对多种元数据格式并存的开放式环境中的应用效率明显受到限制。

6.3 标准描述框架

解决元数据互操作性的另一种思路是建立一个标准的资源描述框架，用这个框架来描述所有元数据格式，那么只要一个系统能够解析这个标准描述框架，就能解读相应的Metadata格式． 实际上，XML和RDF从不同角度起着类似的作用。

XML通过其标准的DTD定义方式，允许所有能够解读XML语句的系统辨识用XML_DTD定义的Metadata格式，从而解决对不同格式的释读问题。

RDF定义了由Resources、Properties和Statements等三种对象组成的基本模型，其中Resources和Properties关系类似于E-R模型，而Statements则对该关系进行具体描述。

RDF通过这个抽象的数据模型为定义和使用元数据建立一个框架，元数据元素可看成其描述的资源的属性。

进一步地，RDF定义了标准Schema，规定了声明资源类型、声明相关属性及其语义的机制，以及定义属性与其它资源间关系的方法。另外，RDF还规定了利用XML Namespace方法调用已有定义规范的机制，

6.4 数字对象方式

建立包含元数据及其转换机制的数字对象可能从另一个角度解决元数据互操作性问题。

Cornell/FEDORA项目提出由内核（Structural Kernel）和功能传播层（Disseminator Layer）组成的复合数字对象。

内核里，可以容纳以比特流形式存在的文献内容、描述该文献的元数据、以及对这个文献及元数据进行存取控制的有关数据。

功能传播层，主功能传播器（PrimitiveDisseminator）支持有关解构内核数据类型和对内核数据读取的服务功能，还可有内容类型传播器（Content-Type Disseminators），它们可内嵌元数据格式转换机制。

例如，在一个数字对象的内核中存有MARC格式的元数据，在功能传播层装载有请求Dublin Core格式及其转换服务的内容类型传播器。当数字对象使用者要求读取以Dublin Core表示的元数据时，相应的内容类型传播器将通过网络请求存储有Dublin Core及其转换服务程序的数字对象，然后将被请求数字对象中的MARC形式元数据转换为Dublin Core形式，在输出给用户。

7. 几点建议

跟踪元数据发展、积极参与制定元数据标准、加快元数据应用、注意国际接轨。
加快研究有效利用元数据进行检索（包括异构系统透明检索）、相关性学习、个性化处理等的机制。
加快研究元数据与数字对象和数字化资源体系有机整合的途径与方法。
推进研究利用元数据进行基于知识的数据组织和知识发现。

㈣ 块储存，对象存储，文件存储的区别和联系

通常来讲，磁盘阵列都是基于Block块的存储，而所有的NAS产品都是文件级存储。
1. 块存储：DAS SAN
a) DAS(Direct Attach Storage): 是直接连接于主机服务器的一种存储方式，每台服务器有独立的存储设备，每台主机服务器的存储设备无法互通，需要跨主机存取资料室，必须经过相对复杂的设定，若主机分属不同的操作系统，则更复杂。
应用：单一网络环境下且数据交换量不大，性能要求不高的环境，技术实现较早。
b) SAN(Storage Area Network): 是一种高速(光纤)网络联接专业主机服务器的一种存储方式，此系统会位于主机群的后端，它使用高速I/O联接方式，如：SCSI,ESCON及Fibre-Channels.特点是，代价高、性能好。但是由于SAN系统的价格较高，且可扩展性较差，已不能满足成千上万个CPU规模的系统。
应用：对网速要求高、对数据可靠性和安全性要求高、对数据共享的性能要求高的应用环境中。

2. 文件存储
通常NAS产品都是文件级存储。
NAS(Network Attached Storage)：是一套网络存储设备，通常直接连在网络上并提供资料存取服务，一套NAS储存设备就如同一个提供数据文件服务的系统，特点是性价比高。
它采用NFS或CIFS命令集访问数据，以文件为传输协议，可扩展性好、价格便宜、用户易管理。目前在集群计算中应用较多的NFS文件系统，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。

3. 对象存储：
总体上讲，对象存储同时兼具SAN高级直接访问磁盘特点及NAS的分布式共享特点。
核心是将数据通路(数据读或写)和控制通路(元数据)分离，并且基于对象存储设备(OSD)，构建存储系统，每个对象存储设备具备一定的职能，能够自动管理其上的数据分布。
对象储存结构组成部分(对象、对象存储设备、元数据服务器、对象存储系统的客户端)
3.1 对象
一个对象实际就是文件的数据和一组属性信息的组合。
3.2 对象存储设备(OSD)
OSD具有一定的智能，它有自己的CPU、内存、网络和磁盘系统。
OSD提供三个主要功能：包括数据存储和安全访问
(1)数据存储 (2)智能分布 (3)每个对象元数据的管理
3.3 元数据服务器(Metadata Server , MDS)
MDS控制Client与OSD对象的交互，主要提供以下几个功能：
(1) 对象存储访问
允许Client直接访问对象，OSD接收到请求时先验证该能力，再访问。
(2) 文件和目录访问管理
MDS在存储系统上构建一个文件结构，限额控制、包括目录、文件的创建、访问控制等
(3) Client Cache 一致性
为提高性能，在对象存储系统设计时通常支持Client的Cache。因此带来了Cache一致性的问题，当Cache文件发生改变时，将通知Client刷新Cache,以防Cache不一致引发的问题。
对象存储：
一个文件包含了属性(术语叫matadata元数据，例如该文件的大小、修改时间、存储路径等)以及内容(简称数据)。
以往的文件系统，存储过程将文件按文件系统的最小块来打散，再写进硬盘，过程中没有区分元数据(metadata)和数据。而在每个块最后才会告知下一个块的地址，因此只能一个一个读，速度慢。
而对象存储则将元数据独立出来，控制节点叫元数据服务器(服务器+对象存储管理软件)，里面主要存储对象的属性(主要是对象的数据被打散存放到了那几台分布式服务器中的信息)，而其他负责存储数据的分布式服务器叫做OSD，主要负责存储文件的数据部分。当用户访问对象时，会先访问元数据服务器，元数据服务器只负责反馈对象存储在那些OSD。假设反馈文件A存储在B,C,D三台OSD，那么用户就会再次访问三台OSD服务器去读取数据。
这时三台OSD同时对外传输数据，因此传输的速度就加快了。OSD服务器数量越多，这种读写速度的提升就越大。
另一方面，对象存储软件有专门的文件系统，所以OSD对外又相当于文件服务器，那么就不存在文件共享方面的困难了，也解决了文件共享方面的问题。
因此对象存储的出现，很好的结合了块存储与文件存储的优点。

为什么还要使用块存储和文件存储：
1.有一类应用是需要存储直接裸盘映射的，比如数据库。因为数据库需要存储裸盘映射给自己后，再根据自己的数据库文件系统来对了裸盘进行格式化，因此不能采用其他已经被格式化为某种文件系统的存储。此类更适合块存储。
2.对象存储的成本比普通的文件存储还是较高，需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量，只是为了作文件共享的时候，直接用文件存储的形式就好了，性价比高。