杭州编译分布式存储硬盘

㈠ 什么是分布式存储系统

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

(1)杭州编译分布式存储硬盘扩展阅读：

分布式存储，集中管理，在这个方案中，共有三级：

1、上级监控中心：上级监控中心通常只有一个，主要由数字矩阵、认证服务器和VSTARClerk软件等。

2、本地监控中心：本地监控中心可以有多个，可依据地理位置设置，或者依据行政隶属关系设立，主要由数字矩阵、流媒体网关、iSCSI存储设备、VSTARRecorder软件等组成；音视频的数据均主要保存在本地监控中心，这就是分布式存储的概念。

3、监控前端：主要由摄像头、网络视频服务器组成，其中VE4000系列的网络视频服务器可以带硬盘，该硬盘主要是用于网络不畅时，暂时对音视频数据进行保存，或者需要在前端保存一些重要数据的情况。

㈡ 分布式存储网络Filecoin是什么

Filecoion项目可以理解为是运行在IPFS网络里的激励制度。FIL是Filecoin项目基于Filecoin公链发行的Token，全称是Filecoin，中文名叫文件币，符号是FIL。

打开网络APP看高清图片

Filecoin是由美国协议实验室及其首席执行官胡安.贝奈特发起的一个项目，面向大众的加密货币和数字支付系统，是基于IPFS系统开发的去中心化存储项目。IPFS是什么？

Filecoin由区块链，检索节点，存储节点和本机令牌（filecoin）组成。存储节点是矿工，所有储存矿工必须通过承诺存储，提交抵押品并遵守时空证明（PoSt）来参与Filecoin采矿协议。PoST允许网络的任何成员验证存储提供商是否履行其职责：在约定的时间段内存储外包数据。 为了防止不良行为者试图存储的数据副本少于存储的数据副本，filecoin还具有复制证明（PoRep）机制，要求矿工证明他们正在存储他们所说的数据。

系统设计允许用户使用网络的本机加密货币Filcoin在可用设备上租用存储。客户花费文件币来共享和检索数据，反之，矿工通过存储和提供数据来获得Filecoin。为了激励矿工投资存储而不是计算能力，网络选择矿工创建新块的概率与当前使用的与网络其余部分相关的存储成比例。

Filecoin 可以为 IPFS 在全球范围内提供大量节点，同时自身还拥有一个巨大的分布式存储空间，解决了 IPFS 的存储问题。

Filecoin通过预售和初始硬币发行（ICO）销售的2亿个Filecion获得资金，分别为5200万美元和2.058亿美元。

在2017年8月的初始硬币发行（ICO）期间，该项目通过CoinList销售SAFT（未来令牌的简单协议），作为项目上线后未来对filecoin令牌的要求。ICO持续了一个月，当时是迄今为止最大的募集资金ICO，投资额为2.57亿美元，约20亿人民币。

㈢ 什么是分布式存储

分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

(3)杭州编译分布式存储硬盘扩展阅读：

分布式存储，集中管理，在这个方案中，共有三级：

1、上级监控中心：上级监控中心通常只有一个，主要由数字矩阵、认证服务器和VSTARClerk软件等。

2、本地监控中心：本地监控中心可以有多个，可依据地理位置设置，或者依据行政隶属关系设立，主要由数字矩阵、流媒体网关、iSCSI存储设备、VSTARRecorder软件等组成；音视频的数据均主要保存在本地监控中心，这就是分布式存储的概念。

3、监控前端：主要由摄像头、网络视频服务器组成，其中VE4000系列的网络视频服务器可以带硬盘，该硬盘主要是用于网络不畅时，暂时对音视频数据进行保存，或者需要在前端保存一些重要数据的情况。

㈣ 分布式存储需要做磁盘阵列吗云存储呢

感觉概念需要澄清一下：
1、与分布式存储向对应的概念是集中式存储。这两个概念用于描述用户数据存储状态。
2、简单地，可以将磁盘阵列理解为向计算机提供高性能、高可靠性、大容量存储空间的存储系统。分布式存储与集中式存储均可使用磁盘阵列作为计算机存储数据的专用设备。
3、云存储旨在整合用户IT设备为用户提供更强大、更丰富的增值功能的存储系统，较传统磁盘阵列而言，云存储概念更先进，但目前业界对云存储的定义还存在争议并为形成标准，属于技术预研领域。目前在云存储方面势头强劲的主要有：EMC、SUN、Symantec、HuaweiSymantec等专业存储厂商。

㈤ 分布式存储 对于服务器的磁盘性能要求高吗

在多个服务器上运作一般的硬盘也可以了，就像家用的笔记本性能好一点是好事

㈥ 分布式存储支持多节点，节点是什么，一个磁盘还是一个主控

一个节点是存储节点的简称，存储节点一般是一个存储服务器（必然带控制器），服务器之间通过高速网络互连。

现在越来越多的存储服务器使用arm CPU+磁盘阵列节省能耗，提高“容量能耗比”。
现有的分布式存储系统采用了容错机制，会使用副本（一份数据保存多份）或者纠删码（erasure codes，n 个存储节点中任意m 个坏了数据都还可以访问，n>m）。

㈦ 分布式存储和超融合区别及优势

分布式存储是什么

关于分布式存储实际上并没有一个明确的定义，甚至名称上也没有一个统一的说法，大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。

其中维基网络中给 Distributed data store 的定义是：分布式存储是一种计算机网络，它通常以数据复制的方式将信息存储在多个节点中。

在网络中给出的定义是：分布式存储系统，是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

尽管各方对分布式存储的定义并不完全相同，但有一点是统一的，就是分布式存储将数据分散放置在多个节点中，节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。

超融合是什么

参考维基网络中的超融合定义：

超融合基础架构（hyper-converged infrastructure）是一个软件定义的 IT 基础架构，它可虚拟化常见“硬件定义”系统的所有元素。HCI 包含的最小集合是：虚拟化计算（hypervisor），虚拟存储（SDS）和虚拟网络。HCI 通常运行在标准商用服务器之上。

超融合基础架构（hyper-converged infrastructure）与 融合基础架构（converged infrastructure）最大的区别在于，在 HCI 里面，无论是存储底层抽象还是存储网络都是在软件层面实现的（或者通过 hypervisor 层面实现），而不是基于物理硬件实现的。由于所有软件定义的元素都围绕 hypervisor 实现，因此在超融合基础架构上的所有实例可以联合共享所有受管理的资源。

分布式存储和超融合区别及优势？

分布式存储，它的最大特点是多节点部署， 数据通过网络分散放置。分布式存储的特点是扩展性强，通过多节点平衡负载，提高存储系统的可靠性与可用性。

超融合基础架构从定义中明确提出包含软件定义存储(SDS)，具备硬件解耦的能力，可运行在通用服务器之上。超融合基础架构与 Server SAN 提倡的理念类似，计算与存储融合，通过全分布式的架构，有效提升系统可靠性与可用性，并具备易于扩展的特性。

SMTX ZBS 分布式块存储架构

除此之外，超融合基础架构有更进一步的扩展，它强调以虚拟化计算（hypervisor）为核心，以软件定义的方式整合包括虚拟化计算， 软件定义存储以及虚拟网络资源。从笔者来看超融合基础架构未来的可能性更多，可促进计算，存储，网络，安全，容灾等等 IT 服务大融合，降低IT 基础架构的复杂性，重新塑造”软件定义的数据中心”。

㈧ 什么是HDFS硬盘分布式存储

Namenode 是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。
文件操作，NameNode 负责文件元数据的操作，DataNode负责处理文件内容的读写请求，跟文件内容相关的数据流不经过NameNode，只会询问它跟哪个DataNode联系，否则NameNode会成为系统的瓶颈。
副本存放在哪些DataNode上由 NameNode来控制，根据全局情况做出块放置决定，读取文件时NameNode尽量让用户先读取最近的副本，降低带块消耗和读取时延
Namenode 全权管理数据块的复制，它周期性地从集群中的每个Datanode接收心跳信号和块状态报告(Blockreport)。接收到心跳信号意味着该Datanode节点工作正常。块状态报告包含了一个该Datanode上所有数据块的列表。

NameNode支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。 块存储管理，在整个HDFS集群中有且只有唯一一个处于active状态NameNode节点，该节点负责对这个命名空间（HDFS）进行管理。

1、Name启动的时候首先将fsimage（镜像）载入内存，并执行（replay）编辑日志editlog的的各项操作；
2、一旦在内存中建立文件系统元数据映射，则创建一个新的fsimage文件（这个过程不需SecondaryNameNode） 和一个空的editlog；
3、在安全模式下，各个datanode会向namenode发送块列表的最新情况；
4、此刻namenode运行在安全模式。即NameNode的文件系统对于客服端来说是只读的。(显示目录，显示文件内容等。写、删除、重命名都会失败)；
5、NameNode开始监听RPC和HTTP请求
解释RPC:RPC（Remote Procere Call Protocol）——远程过程通过协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议；
6、系统中数据块的位置并不是由namenode维护的，而是以块列表形式存储在datanode中；
7、在系统的正常操作期间，namenode会在内存中保留所有块信息的映射信息。
存储文件，文件被分成block存储在磁盘上，为保证数据安全，文件会有多个副本 namenode和client的指令进行存储或者检索block，并且周期性的向namenode节点报告它存了哪些文件的blo
文件切分成块（默认大小128M），以块为单位，每个块有多个副本存储在不同的机器上，副本数可在文件生成时指定（默认3）
NameNode 是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的块列表以及块所在的DataNode等等
DataNode 在本地文件系统存储文件块数据，以及块数据的校验和。
可以创建、删除、移动或重命名文件，当文件创建、写入和关闭之后不能修改文件内容。

NameNode启动流程
1、Name启动的时候首先将fsimage（镜像）载入内存，并执行（replay）编辑日志editlog的的各项操作；
2、一旦在内存中建立文件系统元数据映射，则创建一个新的fsimage文件（这个过程不需SecondaryNameNode） 和一个空的editlog；
3、在安全模式下，各个datanode会向namenode发送块列表的最新情况；
4、此刻namenode运行在安全模式。即NameNode的文件系统对于客服端来说是只读的。(显示目录，显示文件内容等。写、删除、重命名都会失败)；
5、NameNode开始监听RPC和HTTP请求
解释RPC:RPC（Remote Procere Call Protocol）——远程过程通过协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议；
6、系统中数据块的位置并不是由namenode维护的，而是以块列表形式存储在datanode中；
7、在系统的正常操作期间，namenode会在内存中保留所有块信息的映射信息。
HDFS的特点

优点：
1）处理超大文件
这里的超大文件通常是指百MB、数百TB大小的文件。目前在实际应用中，HDFS已经能用来存储管理PB级的数据了。

2）流式的访问数据
HDFS的设计建立在更多地响应"一次写入、多次读取"任务的基础上。这意味着一个数据集一旦由数据源生成，就会被复制分发到不同的存储节点中，然后响应各种各样的数据分析任务请求。在多数情况下，分析任务都会涉及数据集中的大部分数据，也就是说，对HDFS来说，请求读取整个数据集要比读取一条记录更加高效。

3）运行于廉价的商用机器集群上
Hadoop设计对硬件需求比较低，只须运行在低廉的商用硬件集群上，而无需昂贵的高可用性机器上。廉价的商用机也就意味着大型集群中出现节点故障情况的概率非常高。这就要求设计HDFS时要充分考虑数据的可靠性，安全性及高可用性。

缺点：
1）不适合低延迟数据访问
如果要处理一些用户要求时间比较短的低延迟应用请求，则HDFS不适合。HDFS是为了处理大型数据集分析任务的，主要是为达到高的数据吞吐量而设计的，这就可能要求以高延迟作为代价。

2）无法高效存储大量小文件
因为Namenode把文件系统的元数据放置在内存中，所以文件系统所能容纳的文件数目是由Namenode的内存大小来决定。一般来说，每一个文件、文件夹和Block需要占据150字节左右的空间，所以，如果你有100万个文件，每一个占据一个Block，你就至少需要300MB内存。当前来说，数百万的文件还是可行的，当扩展到数十亿时，对于当前的硬件水平来说就没法实现了。还有一个问题就是，因为Map task的数量是由splits来决定的，所以用MR处理大量的小文件时，就会产生过多的Maptask，线程管理开销将会增加作业时间。举个例子，处理10000M的文件，若每个split为1M，那就会有10000个Maptasks，会有很大的线程开销；若每个split为100M，则只有100个Maptasks，每个Maptask将会有更多的事情做，而线程的管理开销也将减小很多。

1280M 1个文件 10block*150字节 = 1500 字节 =1.5KB
1280M 12.8M 100个 100个block*150字节 = 15000字节 = 15KB

3）不支持多用户写入及任意修改文件
在HDFS的一个文件中只有一个写入者，而且写操作只能在文件末尾完成，即只能执行追加操作。目前HDFS还不支持多个用户对同一文件的写操作，以及在文件任意位置进行修改。

四、HDFS文件 读写流程
4.1 读文件流程

（1） 打开分布式文件
调用 分布式文件 DistributedFileSystem.open()方法。
（2） 从 NameNode 获得 DataNode 地址
DistributedFileSystem 使用 RPC 调用 NameNode， NameNode返回存有该副本的 DataNode 地址， DistributedFileSystem 返回一个输入流 FSDataInputStream对象， 该对象封存了输入流DFSInputStream。
（3） 连接到DataNode
调用 输入流 FSDataInputStream 的 read() 方法， 从而输入流DFSInputStream 连接 DataNodes。
（4） 读取DataNode
反复调用 read()方法， 从而将数据从 DataNode 传输到客户端。
（5） 读取另外的DataNode直到完成
到达块的末端时候， 输入流 DFSInputStream 关闭与DataNode 连接，寻找下一个 DataNode。
（6） 完成读取， 关闭连接
即调用输入流 FSDataInputStream.close() 。

4.2 写文件流程

（1） 发送创建文件请求： 调用分布式文件系统DistributedFileSystem.create()方法；
（2） NameNode中创建文件记录： 分布式文件系统DistributedFileSystem 发送 RPC 请求给namenode， namenode 检查权限后创建一条记录， 返回输出流 FSDataOutputStream， 封装了输出流 DFSOutputDtream；
（3） 客户端写入数据： 输出流 DFSOutputDtream 将数据分成一个个的数据包， 并写入内部队列。 DataStreamer 根据 DataNode 列表来要求 namenode 分配适合的新块来存储数据备份。一组DataNode 构成管线(管线的 DataNode 之间使用 Socket 流式通信)
（4） 使用管线传输数据： DataStreamer 将数据包流式传输到管线第一个DataNode， 第一个DataNode 再传到第二个DataNode ,直到完成。
（5） 确认队列： DataNode 收到数据后发送确认， 管线的DataNode所有的确认组成一个确认队列。 所有DataNode 都确认， 管线数据包删除。
（6） 关闭： 客户端对数据量调用close（） 方法。 将剩余所有数据写入DataNode管线， 并联系NameNode且发送文件写入完成信息之前等待确认。
（7） NameNode确认
（8） 故障处理： 若过程中发生故障， 则先关闭管线， 把队列中所有数据包添加回去队列， 确保数据包不漏。 为另一个正常DataNode的当前数据块指定一个新的标识， 并将该标识传送给NameNode, 一遍故障DataNode在恢复后删除上面的不完整数据块. 从管线中删除故障DataNode 并把余下的数据块写入余下正常的DataNode。 NameNode发现复本两不足时， 会在另一个节点创建一个新的复本

㈨ 请问分布式存储和磁盘阵列（RAID）之间有什么关系吗

你已经理解得很清楚啦为神马还问？
我只打个比方：磁盘阵列就是仓库，分布式存储就是物流系统，不同仓库的物品通过物流系统分发转运。

㈩ 分布式存储支持多节点，节点是什么，一个磁盘还是一个主控

节点是什么？

节点是存储节点的简称，一般来说1个节点是1个存储服务器。

其中一个存储节点坏了是否影响数据的访问？

这个主要取决于你采取的数据保护措施，主要有以下几种：

• 多副本：同一份数据会保存多份（通常设置为 2 副本或 3 副本），即使副本所在的节点宕机也不会造成数据丢失；

• HA（高可用）：节点宕机时，该节点上的虚拟机自动迁移至集群内其它节点，降低业务中断时间；

• 机架感知：根据机房物理拓扑结构，将副本分配在不同的机架、机箱、主机上，有效减少甚至避免物理硬件（电源、交换机等）故障导致的数据丢失。理论上，3 副本结合机架感知配置，系统可最多容忍 2 个机架上的主机全部失效；

• 快照：为虚拟机打快照，在其发生故障时将数据恢复至快照状态；

• 双活：同城双数据中心，灾难时无损快速恢复业务（RPO=0）；

• 备份：异地主备数据中心，灾难时尽可能挽回数据损失。