对象存储标准

1. 对象存储又是什么鬼

对象存储，也叫做基于对象的存储，是用来描述解决和处理离散单元的方法的通用术语，这些离散单元被称作为对象。
就像文件一样，对象包含数据，但是和文件不同的是，对象在一个层结构中不会再有层级结构。每个对象都在一个被称作存储池的扁平地址空间的同一级别里，一个对象不会属于另一个对象的下一级。
文件和对象都有与它们所包含的数据相关的元数据，但是对象是以扩展元数据为特征的。每个对象都被分配一个唯一的标识符，允许一个服务器或者最终用户来检索对象，而不必知道数据的物理地址。这种方法对于在云计算环境中自动化和简化数据存储有帮助。
对象存储经常被比作在一家高级餐厅代客停车。当一个顾客需要代客停车时，他就把钥匙交给别人，换来一张收据。这个顾客不用知道他的车被停在哪，也不用知道在他用餐时服务员会把他的车移动多少次。在这个比喻中，一个存储对象的唯一标识符就代表顾客的收据。[1]
由于对象存储将遍布于很多节点且最新的数据并非总是可用，这将成为对象存储最终一致性的问题。
所有的数据存储都涉及到简称为CAP的三个元素：一致性、可用性和分区。
如果只是执行了写操作从而改变了一个对象，但有人正在从另外的节点访问这个对象。节点可能会在不同的物理位置，因为对象存储支持很大的地理扩展。新用户可能正在读取对象，但那是旧版本。这就是对象存储的最终一致性问题，此时并没有及时的同步。
这将成为问题，特别是利用对象存储做协同的时候，厂商为保证对象存储的一致性做了很好的工作，像是Joyent以及他的Manta 存储服务，一旦对象更改将不支持读取旧的内容。你必须等待，但你所读取的内容会是一致的。[2]

对象存储数据迁移和访问
企业对存储的诉求有一定的延续性，但其访问的介质不外乎是主机、PC、移动端以及应用，针对不同的访问介质来看，面向对象存储的解决方案也有所不同。然而如果应用软件不支持HTTP下REST API的方式，需要以传统文件服务器协议的方式访问，则需要在面向存储对象前面加一个网关进行协议的转换。
没有了文件存储系统中的NFS或CIFS来给应用提供数据，面向对象的存储系统需要替换掉位于磁盘上的原始数据块和应用可以理解的文件之间的这个抽象层。现在的面向对象的系统使用类似REST标准的API或者私有的API来告诉应用如何存储和读取对象标识。
总体而言，对于面向对象的存储的操作的本质并不会改变。开源对象存储系统O基本上就是POST，GET ，PUT和 DELETE操作，如果需要上传大量的数据，则需要编写一个脚本就可以实现。

2. 什么是对象存储

在2004年， ANSI 推出了基于对象的存储设备（OSD）的1.0版本规范。它定义了基于对象的存储设备的通讯协议。OSD规范描述了一个 SCSI 命令集合，由他提供一个高水平的OSD接口。这个接口允许客户端， 比如文件系统和数据库存放和索引数据。 SNIA’S 技术工作组当前正在开发OSD 规范的2.0版本，这个版本年内完成。

基于对象的存储

在2004年， ANSI 推出了基于对象的存储设备（OSD）的1.0版本规范。它定义了基于对象的存储设备的通讯协议。OSD规范描述了一个 SCSI 命令集合，由他提供一个高水平的OSD接口。这个接口允许客户端， 比如文件系统和数据库存放和索引数据。 SNIA’S 技术工作组当前正在开发OSD 规范的2.0版本，这个版本年内完成。

一个OSD设备存放对象，他控制着从对象到物理介质的映射图。设备同时也跟踪作为属性的元数据，例如建立时间标记，从而允许在客户端非常容易地共享数据。

可以说，OSD最大的卖点在于它结合了SAN的可扩展性和NAS的数据共享。早期的NAS架构的扩展性能并不好，因为所有的元数据的处理都集中在NAS服务器上。在有限的NAS头下扩张更多的存储受到限制，而且这个时候，NAS上的元数据处理变成了瓶颈。如果想扩展，就需要增加更多的NAS服务器，但是此时的管理成为头疼的事情，因为数据是分散的， 这就是我们常说到的“NAS 孤岛”

OSD的能力在于它将客户端和OSD设备直接联系起来，并不需要中间环节管理元数据。Panasas 公司，全球第一家提供商用OSD产品的公司，同时提供面向对象的存储和并行文件系统。Panasas 公司的 DirectFLOW 的设计，客户端从带外管理的控制刀片得到目标的分布和安全属性。所有的数据流都直接从OSD存储刀片到客户端。尽管商用的OSD产品还只是凤毛麟角，但是OSD技术还是在日新月异。 西捷和IBM已经展示了OSDc产品。 HP已经和开放源代码厂家 Lustre 文件系统合作，使用OSD作为他的StorageWork 可扩展文件系统的重要部分。

3. 对象存储、文件存储和块存储有什么区别

区别如下：

1、速度不同

块存储：低延迟（10ms），热点突出；

文件存储：不同技术各有不同；

对象存储：100ms-1s，冷数据；

2、可分步性不同

块存储：异地不现实；

文件存储：可分布式，但有瓶颈；

对象存储：分步并发能力高；

3、文件大小不同

块存储：大小都可以，热点突出；

文件存储：适合大文件；

对象存储：适合各种大小；

4、接口不同

块存储：Driver，kernel mole ；

文件存储：POSIX；

对象存储：Restful API ；

5、典型技术不同

块存储：SAN；

文件存储：HDFS，GFS；

对象存储：Swift，Amazon S3；

6、适合场景不同

块存储：银行；

文件存储：数据中心；

对象存储：网络媒体文件存储；

(3)对象存储标准扩展阅读：

文件存储的优缺点：

优点

（1）、造价低：随便一台机器就可以，另外普通的以太网就可以，根本不需要专用的SAN网络，所以造价低。

（2）、方便文件共享。

缺点

（1）、读写速率低，传输速率慢：以太网，上传下载速度较慢，另外所有读写都要1台服务器里面的硬盘来承受，相比起磁盘阵列动不动就十几上百块硬盘同时读写，速率慢了许多。

4. 块存储、文件存储、对象存储这三者的本质差别是什么

一、概念及区别

针对不同的应用场景，选择的分布式存储方案也会不同，因此有了对象存储、块存储、文件系统存储。这三者的主要区别在于它们的存储接口：

1. 对象存储:

也就是通常意义的键值存储，其接口就是简单的GET,PUT,DEL和其他扩展，

2. 块存储:

这种接口通常以QEMU Driver或者Kernel Mole的方式存在，这种接口需要实现Linux的BlockDevice的接口或者QEMU提供的BlockDriver接口，如Sheepdog，AWS的EBS，青云的云硬盘和阿里云的盘古系统，还有Ceph的RBD(RBD是Ceph面向块存储的接口)

3. 文件存储:

通常意义是支持POSIX接口，它跟传统的文件系统如Ext4是一个类型的，但区别在于分布式存储提供了并行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存储的接口)，但是有时候又会把GFS，HDFS这种非POSIX接口的类文件存储接口归入此类。

二、IO特点

按照这三种接口和其应用场景，很容易了解这三种类型的IO特点，括号里代表了它在非分布式情况下的对应:1. 对象存储(键值数据库):

接口简单，一个对象我们可以看成一个文件，只能全写全读，通常以大文件为主，要求足够的IO带宽。

2. 块存储(硬盘):

它的IO特点与传统的硬盘是一致的，一个硬盘应该是能面向通用需求的，即能应付大文件读写，也能处理好小文件读写。但是硬盘的特点是容量大，热点明显。因此块存储主要可以应付热点问题。另外，块存储要求的延迟是最低的。

3. 文件存储(文件系统):

支持文件存储的接口的系统设计跟传统本地文件系统如Ext4这种的特点和难点是一致的，它比块存储具有更丰富的接口，需要考虑目录、文件属性等支持，实现一个支持并行化的文件存储应该是最困难的。但像HDFS、GFS这种自己定义标准的系统，可以通过根据实现来定义接口，会容易一点。

因此，这三种接口分别以非分布式情况下的键值数据库、硬盘和文件系统的IO特点来对应即可。至于冷热、快慢、大小文件而言更接近于业务。但是因为存储系统是通用化实现，通常来说，需要尽量满足各种需求，而接口定义已经一定意义上就砍去了一些需求，如对象存储会以冷存储更多，大文件为主。

5. 对象存储系统的对象存储系统组成

对象(Object)
包含了文件数据以及相关的属性信息，可以进行自我管理
OSD（Object-based Storage Device)
一个智能设备，是Object的集合
文件系统
文件系统运行在客户端上，将应用程序的文件系统请求传输到MDS和OSD上
元数据服务器(Metadata Server，MDS)
系统提供元数据、Cache一致性等服务
网络连接
1. 对象(Object)
对象存储的基本单元。每个Object是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。
2、OSD（Object-based Storage Device)
每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。
OSD的主要功能
数据存储和安全访问
OSD使用Object对所保存的数据进行管理。它将数据存放到磁盘的磁道和扇区，将若干磁道和扇区组合起来构成Object，并且通过此Object向外界提供对数据的访问。每个Object同传统的文件相似，使用同文件类似的访问接口，包括Open、Read、Write等。但是两者并不相同，每个Object可能包括若干个文件，也可能是某个文件的一部分，且是独立于操作系统的。除了具体的用户数据外，OSD还记录了每个Object的属性信息，主要是物理视图信息。将这些信息放到OSD上，大大减轻了元数据服务器的负担，增强了整个存储系统的并行访问性能和可扩展性。
3、文件系统
文件系统对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作。
现有的应用对数据的访问大部分都是通过POSIX文件方式进行的，对象存储系统提供给用户的也是标准的POSIX文件访问接口。
接口具有和通用文件系统相同的访问方式，同时为了提高性能，也具有对数据的Cache功能和文件的条带功能。
同时，文件系统必须维护不同客户端上Cache的一致性，保证文件系统的数据一致
文件系统读访问实例：
客户端应用发出读请求;
文件系统向元数据服务器发送请求，获取要读取的数据所在的OSD;
然后直接向每个OSD发送数据读取请求；
OSD得到请求以后，判断要读取的Object，并根据此Object要求的认证方式，对客户端进行认证，如果此客户端得到授权，则将Object的数据返回给客户端；
文件系统收到OSD返回的数据以后，读操作完成。
4.元数据服务器 (Metadata Server)
为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。
在传统的文件系统中，元数据由本机或者文件服务器负责维护，每次对数据块的操作都要获取元数据。
在对象存储系统中，由于每次操作只有一次对元数据的访问，具体的数据传输都由OSD和客户端通过直接连接进行，大大减少了元数据的操作，降低了元数据服务器的负担，从而为系统的扩展提供了可能性。
特点
客户端采用Cache来缓存数据
当多个客户端同时访问某些数据时，MDS提供分布的锁机制来确保Cache的一致性。
5. 网络连接
为客户端提供认证
为了增强系统的安全性，MDS为客户端提供认证方式。OSD将依据MDS的认证来决定是否为客户端提供服务。
网络连接是对象存储系统的重要组成部分。它将客户端、MDS和OSD连接起来，构成了一个完整的系统。

6. 什么是对象存储

对象存储，也叫做基于对象的存储，是用来描述解决和处理离散单元的方法的通用术语，这些离散单元被称作为对象。
存储局域网（SAN）和网络附加存储（NAS）是目前两种主流网络存储架构，而对象存储（Object-based Storage)是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。1999年成立的全球网络存储工业协会（SNIA）的对象存储设备工作组发布了ANSI的X3T10标准。总体上来讲，对象存储综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的分布式数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。

7. 对象存储为什么能吸引很多对象 五大技术优势彰

大家众说纷“云”，其中，云存储已经成为业界最为火热的概念之一。大数据时代，没有存储或存储技术，一切都将成为“浮云”!

对象存储本身是一种与传统完全不同的解决方案，类似于当前正在兴起的软件定义存储趋势。客户会利用服务器——多数情况下为商用服务器——来实现存储功能，而供应商必须理解并接受这一点。因此对于硬件供应商来说，他们需要做的不再是单纯依靠存储业务部门销售阵列或者文件存储设备，而是再加深入地推动服务器业务升级。这给新兴的软件定义存储厂商留下了很大的想象空间。

事实上，对象存储与块存储、文件存储，都是围绕数据而衍生的三个概念，而对于数据来说有不同外延，例如数据的存储，数据的分布，数据的读写速度......，是否可以围绕数据处理的不同维度，来区分块存储、文件存储、对象存储的概念？

简单来说，块存储读写快，不利于共享；文件存储读写慢，利于共享；对象存储是集成二者优点，是一个利于共享、读写快的网络存储技术，对象存储技术一问世，便受到CIO们的追捧！

那么对象存储技术到底能解决企业哪些问题并给我们带来哪些好处呢？

“对象存储是一种分布式存储，可以帮助企业解决面对非结构化数据快速增长带来的问题。对象存储最常用的方案，就是多台服务器内置大容量硬盘，再装上对象存储软件，然后再额外搞几台服务器作为管理节点，安装上对象存储管理软件。管理节点可以管理其他服务器、提供可视化和自动化的运维等功能。奥思将全面呈现对象存储技术和在各行各业的应用。大数据时代，用户对数据的利用非常灵活，随时调用各种数据或接口满足用户各种需求是存储技术发展的趋势，未来，在气象、医疗、金融等领域，奥思分布式对象存储技术具有广泛的应用空间和应用场景，必将引领对象存储技术发展的新潮流”，奥思创始人兼CTO李明宇在接受记者采访时认为。

“分布式对象存储技术是云计算在企业应用落地的一个实实在在的点，可以大大降低存储成本，提高使用效率。”CIO时代学院院长姚乐在分析中认为。

对象存储之所以能吸引很多对象，也是因为自身拥有很多魅力和优势的，具体体现在以下五个方面：

高可靠性。如果其中一个或多个磁盘或设备故障，所有集群中的其他磁盘可以进行替代并保证系统照常运行。数据恢复只需要数分钟便可以完成，而且数据可用性不会中断。相反，在传统存储中，当一个RAID磁盘出现故障，系统会慢如蜗牛需要数小时或数天来重建阵列。

集群性。对象存储系统可以在一个集群内以ScaleOut方式线性扩展，可以直接根据储存数规模增减储存节点，甚至跨地域实现一个集群，而不受文件数量、文件大小和文件系统容量的限制。更好的支持业务灵活性；免去传统硬件移植或者大规模硬件升级的麻烦。

共享性。对象存储软件相当于一个专门的文件系统，提供服务化的接口，因此能够很方便地实现数据共享。

易于维护。对象存储空间可以统一管理，基于单一的平面地址空间，可以实现数据合理自动路由的存储，省去了使企业存储系统时刻处于生产工作状态的复杂和昂贵的管理成本。

负载均衡。对象存储集群的每个节点都是独立的，访问负载可以平均分配到集群中的所有节点上，避免出现NAS和集群文件系统中常见的资源利用不合理的问题。并且可以让数据读取自动选择合理的节点，保证系统性能最大化。

综上所述，对象存储技术将越来越多地作为一套访问协议存在，而非架构设计思路。事实上，CIO并不会真正将大部分精力投入到内部设计身上，而更倾向于关注自身交付给用户的应用程序的实际表现。

最后，在笔者看来，对象存储技术将成为未来存储技术的重要组成部分，并将以这种方式被众多大型供应商添加到面向商用硬件设备的转型尝试当中，对象存储技术必将影响未来网络存储市场走向，这是趋势!

8. yottachain对象存储接口规范是

ObjectOutputStream 将 Java 对象的基本数据类型和图形写入 OutputStream。可以使用 ObjectInputStream 读取（重构）对象。通过在流中使用文件可以实现对象的持久存储。如果流是网络套接字流，则可以在另一台主机上或另一个进程中重构对象。

9. 现在比较火热的对象存储应用场景是什么

对象存储系统的出现主要是为了满足数据归档和云服务两大需求，我们对这两种场景可进行进一步的细化：
● 存储资源池(空间租赁)
使用对象存储构建类似存储空间租赁服务，向个人、企业或应用提供按需扩展的弹性存储服务。用户向资源池运营商按需购买存储资源后，通过基于web协议访问和使用存储资源,而无需采购和运维存储设备。多租户模型将不同的用户的数据隔离开来，确保用户的数据安全。
● 网盘应用
在海量存储资源池基础上，使用图形用户界面(GUI)实现对象存储资源的封装，向用户提供类似DropBox的网盘业务。用户可通过PC客户端、手机客户端、Web页面完成数据的上传、下载、管理与分享。在网盘帮助下个人和家庭用户能够实现数据安全、持久的保存和不同终端之间的数据同步;企业客户通过网盘应用可实现更高效的信息分享、协同办公和非结构化数据管理，同时企业网盘还可用于实现低成本的Windows远程备份，确保企业数据安全。
● 集中备份
在大型企业或科研机构中，对象存储通过与ComvaultSimpana、SymantecNBU等主流备份软件结合，可向用户提供更具成本效益、更低TCO的集中备份方案。相对原有的磁带库或虚拟磁带库等备份方案：重复数据删除特性能够帮助用户减少低设备采购，智能管理特性使得备份系统无需即时维护，从而降低CAPEX和OPEX;分布式并行读写带来的巨大吞吐量和在线/近线的存储模式有效降低RTO和RPO。
● 归档和分级存储
对象存储通过与归档软件、分级存储软件结合，将在线系统中的数据无缝归档/分级存储到对象存储，释放在线系统存储资源。对象存储提供几乎可无限扩展的容量，智能管理能力，帮助用户降低海量数据归档的TCO;对象归档采用主动归档模式使得归档数据能够被按需访问，而无需长时间的等待和延迟。

10. 不属于对象存储的存储类型

块存储和文件存储。

1、块存储

以下列出的两种存储方式都是块存储类型：

1） DAS（Direct AttachSTorage）：是直接连接于主机服务器的一种储存方式，每一台主机服务器有独立的储存设备，每台主机服务器的储存设备无法互通，需要跨主机存取资料时，必须经过相对复杂的设定，若主机服务器分属不同的操作系统，要存取彼此的资料，更是复杂，有些系统甚至不能存取。通常用在单一网络环境下且数据交换量不大，性能要求不高的环境下，可以说是一种应用较为早的技术实现。

2）SAN（Storage Area Network）：是一种用高速（光纤）网络联接专业主机服务器的一种储存方式，此系统会位于主机群的后端，它使用高速I/O 联结方式， 如 SCSI, ESCON及 Fibre- Channels。一般而言，SAN应用在对网络速度要求高、对数据的可靠性和安全性要求高、对数据共享的性能要求高的应用环境中，特点是代价高，性能好。例如电信、银行的大数据量关键应用。它采用SCSI 块I/O的命令集，通过在磁盘或FC（Fiber Channel）级的数据访问提供高性能的随机I/O和数据吞吐率，它具有高带宽、低延迟的优势，在高性能计算中占有一席之地，但是由于SAN系统的价格较高，且可扩展性较差，已不能满足成千上万个CPU规模的系统。

2、文件存储

通常，NAS产品都是文件级存储。NAS（Network Attached Storage）：是一套网络储存设备，通常是直接连在网络上并提供资料存取服务，一套 NAS 储存设备就如同一个提供数据文件服务的系统，特点是性价比高。例如教育、政府、企业等数据存储应用。

它采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，可扩展性好、价格便宜、用户易管理，如目前在集群计算中应用较多的NFS文件系统，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。

下面，我们对DAS、NAS、SAN三种技术进行比较和分析：

表格 1 三种技术的比较