windows分布式存储

‘壹’ 什么数据存储软件的兼容性比较高

1. Ceph
Ceph是一个强大的存储系统，它在同一个系统中同时提供了对象，块（通过RBD）和文件存储。无论您是希望在虚拟机中使用块设备，还是将非结构化数据存储在对象存储中，Ceph都可以在一个平台上提供所有功能，并且还能获得出色的灵活性。 Ceph中的所有内容都以对象的形式存储，不管原始的数据类型是什么，RADOS（reliable autonomic distributed object store）都会把它们当做对象来进行存储。

RADOS层确保数据始终保持一致状态并且可靠。Ceph会通过数据复制，故障检测和恢复，以及跨群集节点进行数据迁移和重新平衡来实现数据一致性。 Ceph提供了一个符合POSIX的网络文件系统（CephFS），旨在实现高性能，大数据存储以及与传统应用程序的最大兼容。Ceph可以通过各种编程语言或者radosgw（RGW）实现无缝的访问对象存储，（RGW）这是一种REST接口，它与为S3和Swift编写的应用程序兼容。另一方面，Ceph的RADOS块设备（RBD）可以访问在整个存储集群中条带化和复制的块设备映像。

Ceph的特性
独立、开放和统一的平台：将块，对象和文件存储组合到一个平台中，包括最新添加的CephFS

兼容性：您可以使用Ceph 存储对外提供最兼容Amazon Web Services（AWS）S3的对象存储。

精简配置模式：分配存储空间时，只是虚拟分配容量，在跟进使用情况占用实际磁盘空间。这种模式提供了更多的灵活性和磁盘空间利用率。

副本：在Ceph Storage中，所有存储的数据都会自动从一个节点复制到多个其他节点。默认任何时间群集中的都有三份数据。

自我修复：Ceph Monitors会不断监控你的数据集。一旦出现一个副本丢失，Ceph会自动生成一个新副本，以确保始终有三份副本。

高可用：在Ceph Storage中，所有存储的数据会自动从一个节点复制到多个其他的节点。这意味着，任意节点中的数据集被破坏或被意外删除，在其他节点上都有超过两个以上副本可用，保证您的数据具有很高的可用性。

Ceph很强大：您的集群可以用于任何场景。无论您希望存储非结构化数据或为数据提供块存储或提供文件系统，或者希望您的应用程序直接通过librados使用您的存储，而这些都已经集成在一个Ceph平台上了。

可伸缩性：C

‘贰’ 分布式存储极简艺术Minio解析

 MinIO 对象存储系统是为海量数据存储、人工智能、大数据分析而设计，基于
Apache License v2.0 开源协议的对象存储系统，它完全兼容 Amazon S3 接口，单个对象的最大可达 5TB，适合存储海量图片、视频、日志文件、备份数据和容器/虚拟机镜像等。作为一个开源服务，MinIO 在设计上汲取了Glusterfs的相关经验不教训，系统复杂度上作了大量简化，目前大小只有40+M，部署只需要一个命令即可完成！另外，minio舍弃了传统分布式存储扩容所需要的迁移流程，采用联盟模式添加集群的方式，极大简化了扩容流程；除此之外，minio还具有纠删编码、比特位保护、单写多读（worm)、下面来依次简要解析一下Mioio的特点及具体实现：

  元数据和数据一起存放在磁盘上。元数据以明文形式存放在元数据文件里（xl.json）。假定对象名字为key_name, 它所在桶的名字是bucket_name, disk路径就是/disk，那么存储路径就是：/disk/bucket_name/key_name，windows下C盘存放桶名为test，对象名为minio.exe示例如图：

其中part.1是实际存储数据（单机模式为原生数据，分布式为纠删码分块），xl.json是如下所示的json字符串：

  在同一集群内，MinIO 自己会自劢生成若干纠删组，用于分布存放桶数据。一个纠删组中的一定数量的磁盘发生的故障（故障磁盘的数量小于等于校验盘的数量），通过纠删码校验算法可以恢复出正确的数据。MinIO 集成了 Reed-Solomon 纠删码库，MinIO 存储对象数据时，首先把它分成若干等长的片段（对于大对象，默认按 5MB 切片)，然后每一个片段会纠删算法分成若干分片，包括数据分片不校验分片，每个分片放置在一个纠删组的某个节点上。对象的每一个数据分片、校验分片都被“防比特位衰减”算法所保护。

  MinIO 会根据对象名（类似于文件系统的全路径名)，使用 crc32 哈希算法计算出一个整数。然后使用这个整数除以纠删组的个数，得到一个余数。这个余数，可以作为纠删组的序号，这样就确定了这个对象所在的纠删组。MinIO 采用 CRC32 哈希算法，不 glusterfs 的Davies Meyer哈希算法（性能、冲突概率不md4, md5相近）不一样的是，CRC32算法的哈希值分布较不均匀，但运算速度极快，高出 md4 数倍。相对于容量均衡，MinIO 更看重数据的写入速度。

纠删组如何配置？
官方文档说明如下：

 也就是说纠删组的总大小只能从这7中情况中根据你提供的盘的个数（或者说路径个数）来自动选取最大值的，我们 不能灵活地配置m+k纠删存储格式。但这样说又不是很准确 ，因为虽然不能配置任意的m+k，但是在系统已经选取好擦除编码集的的个数后（也就是m+k），可以使用storage class存储类来自定义m和k的数量，默认是1:1的。
存储类：
 MinIO支持配置两种存储类别，精简冗余类别和标准类别，默认是标准类别（1：1），可以在启动MinIO服务器之前使用设置的环境变量来定义这些类。使用环境变量定义每个存储类别的数据和奇偶校验磁盘后，您可以 在上传对象时通过请求元数据字段设置对象的存储类别x-amz-storage-class 。然后，MinIO服务器通过将对象保存在特定数量的数据和奇偶校验磁盘中来兑现存储类。具体配置和使用可以参考官方文档 https://github.com/minio/minio/tree/master/docs/erasure/storage-class

传统的扩展方式的劣势
  通过增加节点来扩展单集群，一般需要进行数据均衡，否则群集内各存储节点会因负载不均而出现新的瓶颈。除了数据均衡操作的时机这个问题以外，在均衡过程中一般需要仍存储使用率高的节点吐使用率低的节点迁移数据。当集群扩容后，大量已经写入的文件落点会出现改变，文件需要迁移到真实的落点。当存储系统容量比较大时，则会发生大量的文件/对象进行迁移,迁移过程可能由于占用大量资源而导致上层应用性能下降。而且当文件/对象迁移过程中，机器故障可能会导致一些意想不到的情冴,尤其是有大量业务的时候。当然针对此类问题，Gluterfs之类的文件系统有一些比较复杂的处理办法。
不支持扩展优势