分布式存储的组成
㈠ 分布式存储是什么
分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
分布式和集中式存储
集中存储的优缺点是，物理介质集中布放;视频流上传到中心对机房环境要求高，要求机房空间大，承重、空调等都是需要考虑的问题。
分布存储，集中管理的优缺点是，物理介质分布到不同的地理位置;视频流就近上传，对骨干网带宽没有什么要求;可采用多套低端的小容量的存储设备分布部署，设备价格和维护成本较低;小容量设备分布部署，对机房环境要求低。
链乔教育在线旗下学硕创新区块链技术工作站是中国教育部学校规划建设发展中心开展的“智慧学习工场2020-学硕创新工作站 ”唯一获准的“区块链技术专业”试点工作站。专业站立足为学生提供多样化成长路径，推进专业学位研究生产学研结合培养模式改革，构建应用型、复合型人才培养体系。
㈡ 分布式存储选型
云计算场景中, 通常使用对象存储系统来做保存文件, 例如用户上传的图片, 视频, 文档等, 或是虚拟镜像, iso镜像的内部数据. 公有云厂商通常还会基于对象存储提供SDN服务, 用来加速用户数据的访问. 而块存储则作为一种补充, 提供独立于虚拟机的(虚拟机删除数据不丢失), 方便扩展的存储设备.
对象存储由于是通过网络API提供服务的, 所以可以跨集群访问.
集群内文件共享的方案非常多, windows上的共享磁盘, linux 上的samba, nfs 等项目都提供这样的功能. 集群文件系统通常会和NAS进行对比, 以体现其在成本方面的优势. 但是, 由于传统的基于共享磁盘的集群文件系统在可扩展性方面比较弱, 有催生的分布式的集群文件系统, moosefs 就是典型的分布式集群文件系统.
集群文件系统也可以用来存储虚拟机镜像, 已达到存储节点和计算节点的分离.
直观上看, 对象存储系统与业务系统是平行关系, 而集群文件系统则通常是业务系统的一个组成部分.
分布式存储目前主要分两大类: 块存储(文件系统, 裸设备), 对象存储. 像 NFS 这样只提供, 只提供简单磁盘共享, 缺乏扩展能力的项目, 只能叫集群存储, 而不能算分布式存储.
考虑到未来分布式存储的可能有多种应用场景, 所以我们更关注各个方案的功能是否完备. 以下是本次选型的标准.
|-|Ceph |Taobao TFS |Openstack Swift |MooseFS |
|----|----|----|----|----|----|
|MetaData冗余[1] |YES[选举] |YES[主从] |NO[3] |YES[主从]
|数据冗余[2] |YES |YES |YES |YES
由于块存储是直接挂载到操作系统上使用的, 除了使用软件本身的配额管理工具, 还可以使用操作系统的配个管理工具来实现基于用户的容量配额管理.
根据前述选项标准, 这里推荐部署Ceph系统.
㈢ 分布式存储有哪几种类型
中央存储技术现已发展非常成熟。但是同时，新的问题也出现了，中心化的网络很容易拥挤，数据很容易被滥用。传统的数据传输方式是由客户端向云服务器传输，由服务器向客户端下载。而分布式存储系统QKFile是从客户端传送到 N个节点，然后从这些节点就近下载到客户端内部，因此传输速度非常快。对比中心协议的特点是上传、下载速度快，能够有效地聚集空闲存储资源，并能大大降低存储成本。
在节点数量不断增加的情况下，QKFile市场趋势开始突出，未来用户数量将呈指数增长。分布式存储在未来会有很多应用场景，如数据存储，文件传输，网络视频，社会媒体和去中心化交易等。因特网的控制权越来越集中在少数几个大型技术公司的手中，它的网络被去中心化，就像分布式存储一样，总是以社区为中心，面向用户，而分布式存储就是实现信息技术和未来因特网功能的远景。有了分布式存储，我们可以创造出更加自由、创新和民主的网络体验。是时候把因特网推向新阶段了。
作为今年非常受欢迎的明星项目，关于QKFile的未来发展会推动互联网的进步，给整个市场带来巨大好处。分布式存储是基于因特网的基础结构产生的，区块链分布式存储与人工智能、大数据等有叠加作用。对今天的中心存储是一个巨大的补充，分布式时代的到来并不是要取代现在的中心互联网，而是要使未来的数据存储发展得更好，给整个市场生态带来不可想象的活力。先看共识，后看应用，QKFile创建了一个基础设施平台，就像阿里云，阿里云上面是做游戏的做电商的视频网站，这就叫应用层，现阶段，在性能上，坦白说，与传统的云存储相比，没有什么竞争力。不过另一方面来说，一个新型的去中心化存储的信任环境式非常重要的，在此环境下，自然可以衍生出许多相关应用，市场潜力非常大。
虽然QKFile离真正的商用还有很大的距离，首先QKFile的经济模型还没有定论，其次QKFile需要集中精力发展分布式存储、商业逻辑和 web3.0，只有打通分布式存储赛道，才有实力引领整个行业发展，人们认识到了中心化存储的弊端，还有许多企业开始接受分布式存储模式，即分布式存储 DAPP应用触达用户。所以QKFile将来肯定会有更多的商业应用。创建超本地高效存储方式的能力。当用户希望将数据存储在QKFile网络上时，他们就可以摆脱巨大的集中存储和地理位置的限制，用户可以看到在线存储的矿工及其市场价格，矿工之间相互竞争以赢得存储合约。使用者挑选有竞争力的矿工，交易完成，用户发送数据，然后矿工存储数据，矿工必须证明数据的正确存储才能得到QKFile奖励。在网络中，通过密码证明来验证数据的存储安全性。采矿者通过新区块链向网络提交其储存证明。通过网络发布的新区块链验证，只有正确的区块链才能被接受，经过一段时间，矿工们就可以获得交易存储费用，并有机会得到区块链奖励。数据就在更需要它的地方传播了，旋转数据就在地球范围内流动了，数据的获取就不断优化了，从小的矿机到大的数据中心，所有人都可以通过共同努力，为人类信息社会的建设奠定新的基础，并从中获益。
㈣ 什么是灵动的分布式存储系统
分布式存储简单的来说，就是将数据分散存储到多个存储服务器上，并将这些分散的存储资源构成一个虚拟的存储设备，实际上数据分散的存储在企业的各个角落。
分布式存储架构由三个部分组成：客户端、元数据服务器和数据服务器。客户端负责发送读写请求，缓存文件元数据和文件数据。元数据服务器负责管理元数据和处理客户端的请求，是整个系统的核心组件。数据服务器负责存放文件数据，保证数据的可用性和完整性。该架构的好处是性能和容量能够同时拓展，系统规模具有很强的伸缩性。
基于区块链的分布式存储主要具有如下特点：
高性能：分布式存储可以高效地管理读缓存和写缓存，并且支持自动的分级存储，通过将热点区域内的数据映射到高速存储中，以提高系统响应速度。
分级存储：允许高速存储和低速存储分开部署，或按任意比例混布，在不可预测的业务环境或者敏捷应用情况下，将存储效益发挥极致。
多副本技术：分布式存储采用多副本备份机制，并使用镜像、条带、分布式校验等方式满足用户对于可靠性不同的需求。
容灾与备份：分布式存储支持多时间点快照备份，可同时提取多个时间点样本同时恢复，降低了故障定位的难度，结合周期增量备份机制，确保数据安全高可用。
弹性扩展：得益于合理的分布式架构，还可预估并弹性扩展计算、存储容量和性能，扩展后旧数据会自动迁移至新节点，实现负载均衡，避免单点过热。
总之，分布式存储在架构、灵活性与成本方面的独特价值为政府、企业用户等应用提供了更好的解决方案。
㈤ 分布式存储的三种类型
有关分布式存储的三个基本问题
文件系统vs对象存储——选型和趋势
块存储、文件存储、对象存储这三者的本质差别是什么
分布式存储的应用场景相对于其存储接口，现在流行分为三种:
对象存储: 也就是通常意义的键值存储，其接口就是简单的GET、PUT、DEL和其他扩展，如七牛、又拍、Swift、S3
块存储: 这种接口通常以QEMU Driver或者Kernel Mole的方式存在，这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口，如Sheepdog，AWS的EBS，青云的云硬盘和阿里云的盘古系统，还有Ceph的RBD（RBD是Ceph面向块存储的接口）
文件存储: 通常意义是支持POSIX接口，它跟传统的文件系统如Ext4是一个类型的，但区别在于分布式存储提供了并行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存储的接口)，但是有时候又会把GFS，HDFS这种非POSIX接口的类文件存储接口归入此类。
㈥ 分布式存储与软件定义存储的区别
什么是分布式存储
关于分布式存储实际上并没有一个明确的定义，甚至名称上也没有一个统一的说法，大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。
其中维基网络中给 Distributed data store 的定义是：分布式存储是一种计算机网络，它通常以数据复制的方式将信息存储在多个节点中。
在网络中给出的定义是：分布式存储系统，是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
尽管各方对分布式存储的定义并不完全相同，但有一点是统一的，就是分布式存储将数据分散放置在多个节点中，节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。
什么是软件定义存储
SDS 的全称是 Software Defined Storage ，字面意思直译就是软件定义存储。关于 SDS 的定义可以参考全球网络存储工业协会（Storage Networking Instry Association，SNIA），SNIA 在 2013 正式把 软件定义存储(SDS) 列入研究对象。
SNIA 对软件定义存储(SDS) 的定义是：一种具备服务管理接口的虚拟化存储。 SDS 包括存储池化的功能，并可通过服务管理接口定义存储池的数据服务特征。另外 SNIA 还提出 软件定义存储(SDS) 应该具备以下特性：
自动化程度高 – 通过简化管理，降低存储基础架构的运维开销
标准接口 – 支持 API 管理、发布和运维存储设备和服务
虚拟化数据路径 – 支持多种标准协议，允许应用通过块存储，文件存储或者对象存储接口写入数据
扩展性 – 存储架构具备无缝扩展规模的能力，扩展过程不影响可用性以及不会导致性能下降
透明度 – 存储应为用户提供管理和监控存储的可用资源与开销
分布式存储与软件定义存储的区别与联系
软件定义存储(SDS) 的着重点在于存储资源虚拟化和软件定义，首先在形态上，软件定义存储(SDS)区别于传统的“硬件定义”存储，它不依赖专属的硬件，可以让存储软件运行在通用服务器上，可避免硬件绑定以及有效降低硬件采购成本；拥有标准 API 接口和自动化工具，有效降低运维难度。存储资源虚拟化，支持多种存储协议，可整合企业存储资源，提升存储资源利用率。但从定义上来说，但 软件定义存储(SDS) 从部署形式上来看，并不一定是分布式或者是集中式的，也就是说 SDS 不一定是分布式存储（虽然常见的 软件定义存储(SDS) 更多的是分布式的），SDS 存储内部有可能是单机运行的，不通过网络分散存放数据的，这种形式的软件定义存储(SDS) 的扩展性就可能有比较大的局限。
分布式存储，它的最大特点是多节点部署， 数据通过网络分散放置。分布式存储的特点是扩展性强，通过多节点平衡负载，提高存储系统的可靠性与可用性。与 软件定义存储(SDS)相反，分布式存储不一定是软件定义的，有可能是绑定硬件的，例如 IBM XIV 存储，它本质上是一个分布式存储，但实际是通过专用硬件进行交付的。那么就依然存在硬件绑定，拥有成本较高的问题。
㈦ 灵动的分布式存储是什么呢
当前时代的IT系统架构伴随着软件定义的发展，正发生着巨大的变化，作为IT架构核心数据保险箱的存储单元正在面临着前所未有的挑战。前端业务应用规模从数据量、性能、安全性以及应用类型上都有了成倍的增长，传统的存储设备和解决方案很难满足这种大规模应用场景的需求。不同的应用场景产生的数据类型及访问数据的IO模型各不相同，采用软件定义的分布式存储解决方案可以更好的应对目前的挑战。
分布式存储
分布式存储是软件定义存储解决方案的实现，它是通过软件将硬件进行抽象化管理，将集群全部的CPU资源、内存资源、硬盘资源、网络资源等进行池化，组合成统一资源池，然后通过简单友好的管理界面或API提供给用户个性化的存储解决方案。
软件定义存储解决方案可以使生产系统在线运行的情况下进行纵向扩展（Scale-Up）或横向扩展（Scale-Out），且存储系统在扩展后可以达到容量与性能均线性扩展的效果。其具有以下特性：
高性能
分布式存储系统能够将所有存储节点的处理器资源、硬盘资源、网络资源进行整合，将任务切分给多台存储节点，进行并发数据处理，避免了单个硬盘或设备造成的瓶颈，提升整个集群的处理能力。分布式存储系统具有良好的性能扩展能力，可以满足应用程序对存储性能不断增长的要求。
高扩展性
分布式存储系统通过扩展集群存储节点规模从而提高系统存储容量、计算和性能的能力，通过增加和升级服务器硬件，或者指通过增加存储节点数量来提升服务能力。分布式存储系统支持在线增加存储节点，对前端业务透明，系统整体性能与存储节点数量呈线性关系。
高可用性
分布式存储系统同时基于硬件及软件设计了高可用机制，在面对多种异常时（如存储节点宕机、网络中断、硬盘故障、数据损坏等）仍可提供正常服务，提高分布式存储系统硬件的可用性可以通过增加存储节点数量或者采用多种硬件冗余机制保证。分布式存储系统多采用副本机制或纠删码机制保证数据的高可用性，副本机制可以提供较高的数据冗余度，但会降低存储系统有效空间的利用率，纠删码机制可以在保证一定数据冗余度的情况下，大幅提高存储系统的有效空间利用率。
高安全性
分布式存储系统支持可靠的权限控制及互信确认机制，同时采用私有的数据切片及数据编码机制，可以从多重角度保证集群系统不受恶意访问和攻击，保护存储数据不被窃取。分布式的“四高”特性，使得其在高性能计算、大数据
㈧ 什么是分布式数据存储
什么是分布式存储
这个词汇是源于国外，简称是DSS，简单来说，就是存储设备分布在不同的地理位置，数据就近存储，将数据分散在多个存储节点上，各个节点通过网络相连，对这些节点的资源进行统一的管理，从而大大缓解带宽压力，同时也解决了传统的本地文件系统在文件大小、文件数量等方面的限制。
为什么分布式存储这么重要
分布式存储的诞生有着很强的优越性，主要体现在灵活性、速度、成本等方面。
灵活性方面：分布式存储系统使用强大的标准服务器（在CPU，RAM以及网络连接/接口中），它不再需要专门的盒子来处理存储功能。而且允许标准服务器运行存储，这是一项重大突破，这意味着简化IT堆栈并为数据中心创建单个构建块。通过添加更多服务器进行扩展，从而线性地增加容量和性能。
速度方面：如果你研究一个专门的存储阵列，你会发现它本质上是一个服务器，但是他只能用于存储，为了拥有快速存储系统，你要花费的成本非常高。即使在今天大多数系统中，当你为存储系统进行扩展时，也不会提高整个系统的性能，因为所有流量都必须通过“头节点”或主服务器（充当管理节点）。但是在分布式存储系统中，任何服务器都有CPU，RAM，驱动器和网络接口，它们都表现为一个组。因此，每次添加服务器时，都会增加总资源池，从而提高整个系统的速度。
成本方面：分布式存储组织将最大限度地降低基础设施成本高达90％！没错，是90%，因为驱动器和网络所花费的成本非常低，极大的提高了服务器的使用效率，同时，数据中心所花费的电力、空调费、所占空间等费用也减少了，管理起来更加方面，所需要的人也更少。这也是为什么如今各大公司都在部署分布式存储。
㈨ 什么是分布式存储系统
分布式存储系统
定义
分布式存储系统是大量普通PC服务器通过Internet互联，对外作为一个整体提供存储服务
特性
可扩展
低成本
高性能
易用
挑战
分布式存储系统的挑战主要在于数据、状态信息的持久化，要求在自动迁移、自动容错、并发读写的过程中保证数据的一致性。分布式存储涉及的技术主要来自两个领域：分布式系统以及数据库。
分类
非结构化数据，一般的文档
结构化数据， 存储在关系数据库中
半结构化数据，HTML文档
不同的分布式存储系统适合处理不同类型的数据：
分布式文件系统
非结构化数据，这类数据以对象的形式组织，不同对象之间没有关联，这样的数据一般称为Blob（二进制大对象）数据
典型的有Facebook Haystack 以及 Taobao File System
另外，分布式文件系统也常作为分布式表格系统以及分布式数据库的底层存储，如谷歌的GFS可以作为分布式表格系统Google Bigtable 的底层存储，Amazon的EBS（弹性存储块）系统可以作为分布式数据库（Amazon RDS）的底层存储
总体上看，分布式文件系统存储三种类型的数据：Blob对象、定长块以及大文件
分布式键值系统
较简单的半结构化数据，只提供主键的CRUD（创建、读取、更新、删除）
典型的有Amazon Dynamo 以及 Taobao Tair
分布式表格系统
较复杂的半结构化数据，不仅支持CRUD，而且支持扫描某个主键范围
以表格为单位组织数据，每个表格包括很多行，通过主键标识一行，支持根据主键的CRUD功能以及范围查找功能
典型的有Google Bigtable 以及 Megastore，Microsoft Azure Table Storage，Amazon DynamoDB等
分布式数据库
存储结构化数据，一般是由单机关系数据库扩展而来
典型的包括MySQL数据库分片集群、Amazon RDS以及Microsoft SQL Azure
㈩ 什么是分布式存储
分布式存储简单的来说，就是将数据分散存储到多个存储服务器上，并将这些分散的存储资源构成一个虚拟的存储设备，实际上数据分散的存储在企业的各个角落。
还可以这样理解：
利用分布式技术将标准X86服务器的本地HDD、SSD等存储介质组织成一个大规模存储资源池，同时，对上层的应用和虚拟机提供工业界标准的SCSI、iSCSI和对象访问接口，进而打造一个虚拟的分布式统一存储产品。