杭州編譯分布式存儲硬碟

㈠ 什麼是分布式存儲系統

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

(1)杭州編譯分布式存儲硬碟擴展閱讀：

分布式存儲，集中管理，在這個方案中，共有三級：

1、上級監控中心：上級監控中心通常只有一個，主要由數字矩陣、認證伺服器和VSTARClerk軟體等。

2、本地監控中心：本地監控中心可以有多個，可依據地理位置設置，或者依據行政隸屬關系設立，主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成；音視頻的數據均主要保存在本地監控中心，這就是分布式存儲的概念。

3、監控前端：主要由攝像頭、網路視頻伺服器組成，其中VE4000系列的網路視頻伺服器可以帶硬碟，該硬碟主要是用於網路不暢時，暫時對音視頻數據進行保存，或者需要在前端保存一些重要數據的情況。

㈡ 分布式存儲網路Filecoin是什麼

Filecoion項目可以理解為是運行在IPFS網路里的激勵制度。FIL是Filecoin項目基於Filecoin公鏈發行的Token，全稱是Filecoin，中文名叫文件幣，符號是FIL。

打開網路APP看高清圖片

Filecoin是由美國協議實驗室及其首席執行官胡安.貝奈特發起的一個項目，面向大眾的加密貨幣和數字支付系統，是基於IPFS系統開發的去中心化存儲項目。IPFS是什麼？

Filecoin由區塊鏈，檢索節點，存儲節點和本機令牌（filecoin）組成。存儲節點是礦工，所有儲存礦工必須通過承諾存儲，提交抵押品並遵守時空證明（PoSt）來參與Filecoin采礦協議。PoST允許網路的任何成員驗證存儲提供商是否履行其職責：在約定的時間段內存儲外包數據。 為了防止不良行為者試圖存儲的數據副本少於存儲的數據副本，filecoin還具有復制證明（PoRep）機制，要求礦工證明他們正在存儲他們所說的數據。

系統設計允許用戶使用網路的本機加密貨幣Filcoin在可用設備上租用存儲。客戶花費文件幣來共享和檢索數據，反之，礦工通過存儲和提供數據來獲得Filecoin。為了激勵礦工投資存儲而不是計算能力，網路選擇礦工創建新塊的概率與當前使用的與網路其餘部分相關的存儲成比例。

Filecoin 可以為 IPFS 在全球范圍內提供大量節點，同時自身還擁有一個巨大的分布式存儲空間，解決了 IPFS 的存儲問題。

Filecoin通過預售和初始硬幣發行（ICO）銷售的2億個Filecion獲得資金，分別為5200萬美元和2.058億美元。

在2017年8月的初始硬幣發行（ICO）期間，該項目通過CoinList銷售SAFT（未來令牌的簡單協議），作為項目上線後未來對filecoin令牌的要求。ICO持續了一個月，當時是迄今為止最大的募集資金ICO，投資額為2.57億美元，約20億人民幣。

㈢ 什麼是分布式存儲

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

(3)杭州編譯分布式存儲硬碟擴展閱讀：

分布式存儲，集中管理，在這個方案中，共有三級：

1、上級監控中心：上級監控中心通常只有一個，主要由數字矩陣、認證伺服器和VSTARClerk軟體等。

2、本地監控中心：本地監控中心可以有多個，可依據地理位置設置，或者依據行政隸屬關系設立，主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成；音視頻的數據均主要保存在本地監控中心，這就是分布式存儲的概念。

3、監控前端：主要由攝像頭、網路視頻伺服器組成，其中VE4000系列的網路視頻伺服器可以帶硬碟，該硬碟主要是用於網路不暢時，暫時對音視頻數據進行保存，或者需要在前端保存一些重要數據的情況。

㈣ 分布式存儲需要做磁碟陣列嗎雲存儲呢

感覺概念需要澄清一下：
1、與分布式存儲向對應的概念是集中式存儲。這兩個概念用於描述用戶數據存儲狀態。
2、簡單地，可以將磁碟陣列理解為向計算機提供高性能、高可靠性、大容量存儲空間的存儲系統。分布式存儲與集中式存儲均可使用磁碟陣列作為計算機存儲數據的專用設備。
3、雲存儲旨在整合用戶IT設備為用戶提供更強大、更豐富的增值功能的存儲系統，較傳統磁碟陣列而言，雲存儲概念更先進，但目前業界對雲存儲的定義還存在爭議並為形成標准，屬於技術預研領域。目前在雲存儲方面勢頭強勁的主要有：EMC、SUN、Symantec、HuaweiSymantec等專業存儲廠商。

㈤ 分布式存儲 對於伺服器的磁碟性能要求高嗎

在多個伺服器上運作一般的硬碟也可以了，就像家用的筆記本性能好一點是好事

㈥ 分布式存儲支持多節點，節點是什麼，一個磁碟還是一個主控

一個節點是存儲節點的簡稱，存儲節點一般是一個存儲伺服器（必然帶控制器），伺服器之間通過高速網路互連。

現在越來越多的存儲伺服器使用arm CPU+磁碟陣列節省能耗，提高「容量能耗比」。
現有的分布式存儲系統採用了容錯機制，會使用副本（一份數據保存多份）或者糾刪碼（erasure codes，n 個存儲節點中任意m 個壞了數據都還可以訪問，n>m）。

㈦ 分布式存儲和超融合區別及優勢

分布式存儲是什麼

關於分布式存儲實際上並沒有一個明確的定義，甚至名稱上也沒有一個統一的說法，大多數情況下稱作 Distributed Data Store 或者 Distributed Storage System。

其中維基網路中給 Distributed data store 的定義是：分布式存儲是一種計算機網路，它通常以數據復制的方式將信息存儲在多個節點中。

在網路中給出的定義是：分布式存儲系統，是將數據分散存儲在多台獨立的設備上。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

盡管各方對分布式存儲的定義並不完全相同，但有一點是統一的，就是分布式存儲將數據分散放置在多個節點中，節點通過網路互連提供存儲服務。這一點與傳統集中式存儲將數據集中放置的方式有著明顯的區分。

超融合是什麼

參考維基網路中的超融合定義：

超融合基礎架構（hyper-converged infrastructure）是一個軟體定義的 IT 基礎架構，它可虛擬化常見「硬體定義」系統的所有元素。HCI 包含的最小集合是：虛擬化計算（hypervisor），虛擬存儲（SDS）和虛擬網路。HCI 通常運行在標准商用伺服器之上。

超融合基礎架構（hyper-converged infrastructure）與 融合基礎架構（converged infrastructure）最大的區別在於，在 HCI 裡面，無論是存儲底層抽象還是存儲網路都是在軟體層面實現的（或者通過 hypervisor 層面實現），而不是基於物理硬體實現的。由於所有軟體定義的元素都圍繞 hypervisor 實現，因此在超融合基礎架構上的所有實例可以聯合共享所有受管理的資源。

分布式存儲和超融合區別及優勢？

分布式存儲，它的最大特點是多節點部署， 數據通過網路分散放置。分布式存儲的特點是擴展性強，通過多節點平衡負載，提高存儲系統的可靠性與可用性。

超融合基礎架構從定義中明確提出包含軟體定義存儲(SDS)，具備硬體解耦的能力，可運行在通用伺服器之上。超融合基礎架構與 Server SAN 提倡的理念類似，計算與存儲融合，通過全分布式的架構，有效提升系統可靠性與可用性，並具備易於擴展的特性。

SMTX ZBS 分布式塊存儲架構

除此之外，超融合基礎架構有更進一步的擴展，它強調以虛擬化計算（hypervisor）為核心，以軟體定義的方式整合包括虛擬化計算， 軟體定義存儲以及虛擬網路資源。從筆者來看超融合基礎架構未來的可能性更多，可促進計算，存儲，網路，安全，容災等等 IT 服務大融合，降低IT 基礎架構的復雜性，重新塑造」軟體定義的數據中心」。

㈧ 什麼是HDFS硬碟分布式存儲

Namenode 是一個中心伺服器，單一節點（簡化系統的設計和實現），負責管理文件系統的名字空間(namespace)以及客戶端對文件的訪問。
文件操作，NameNode 負責文件元數據的操作，DataNode負責處理文件內容的讀寫請求，跟文件內容相關的數據流不經過NameNode，只會詢問它跟哪個DataNode聯系，否則NameNode會成為系統的瓶頸。
副本存放在哪些DataNode上由 NameNode來控制，根據全局情況做出塊放置決定，讀取文件時NameNode盡量讓用戶先讀取最近的副本，降低帶塊消耗和讀取時延
Namenode 全權管理數據塊的復制，它周期性地從集群中的每個Datanode接收心跳信號和塊狀態報告(Blockreport)。接收到心跳信號意味著該Datanode節點工作正常。塊狀態報告包含了一個該Datanode上所有數據塊的列表。

NameNode支持對HDFS中的目錄、文件和塊做類似文件系統的創建、修改、刪除、列表文件和目錄等基本操作。 塊存儲管理，在整個HDFS集群中有且只有唯一一個處於active狀態NameNode節點，該節點負責對這個命名空間（HDFS）進行管理。

1、Name啟動的時候首先將fsimage（鏡像）載入內存，並執行（replay）編輯日誌editlog的的各項操作；
2、一旦在內存中建立文件系統元數據映射，則創建一個新的fsimage文件（這個過程不需SecondaryNameNode） 和一個空的editlog；
3、在安全模式下，各個datanode會向namenode發送塊列表的最新情況；
4、此刻namenode運行在安全模式。即NameNode的文件系統對於客服端來說是只讀的。(顯示目錄，顯示文件內容等。寫、刪除、重命名都會失敗)；
5、NameNode開始監聽RPC和HTTP請求
解釋RPC:RPC（Remote Procere Call Protocol）——遠程過程通過協議，它是一種通過網路從遠程計算機程序上請求服務，而不需要了解底層網路技術的協議；
6、系統中數據塊的位置並不是由namenode維護的，而是以塊列表形式存儲在datanode中；
7、在系統的正常操作期間，namenode會在內存中保留所有塊信息的映射信息。
存儲文件，文件被分成block存儲在磁碟上，為保證數據安全，文件會有多個副本 namenode和client的指令進行存儲或者檢索block，並且周期性的向namenode節點報告它存了哪些文件的blo
文件切分成塊（默認大小128M），以塊為單位，每個塊有多個副本存儲在不同的機器上，副本數可在文件生成時指定（默認3）
NameNode 是主節點，存儲文件的元數據如文件名，文件目錄結構，文件屬性（生成時間,副本數,文件許可權），以及每個文件的塊列表以及塊所在的DataNode等等
DataNode 在本地文件系統存儲文件塊數據，以及塊數據的校驗和。
可以創建、刪除、移動或重命名文件，當文件創建、寫入和關閉之後不能修改文件內容。

NameNode啟動流程
1、Name啟動的時候首先將fsimage（鏡像）載入內存，並執行（replay）編輯日誌editlog的的各項操作；
2、一旦在內存中建立文件系統元數據映射，則創建一個新的fsimage文件（這個過程不需SecondaryNameNode） 和一個空的editlog；
3、在安全模式下，各個datanode會向namenode發送塊列表的最新情況；
4、此刻namenode運行在安全模式。即NameNode的文件系統對於客服端來說是只讀的。(顯示目錄，顯示文件內容等。寫、刪除、重命名都會失敗)；
5、NameNode開始監聽RPC和HTTP請求
解釋RPC:RPC（Remote Procere Call Protocol）——遠程過程通過協議，它是一種通過網路從遠程計算機程序上請求服務，而不需要了解底層網路技術的協議；
6、系統中數據塊的位置並不是由namenode維護的，而是以塊列表形式存儲在datanode中；
7、在系統的正常操作期間，namenode會在內存中保留所有塊信息的映射信息。
HDFS的特點

優點：
1）處理超大文件
這里的超大文件通常是指百MB、數百TB大小的文件。目前在實際應用中，HDFS已經能用來存儲管理PB級的數據了。

2）流式的訪問數據
HDFS的設計建立在更多地響應"一次寫入、多次讀取"任務的基礎上。這意味著一個數據集一旦由數據源生成，就會被復制分發到不同的存儲節點中，然後響應各種各樣的數據分析任務請求。在多數情況下，分析任務都會涉及數據集中的大部分數據，也就是說，對HDFS來說，請求讀取整個數據集要比讀取一條記錄更加高效。

3）運行於廉價的商用機器集群上
Hadoop設計對硬體需求比較低，只須運行在低廉的商用硬體集群上，而無需昂貴的高可用性機器上。廉價的商用機也就意味著大型集群中出現節點故障情況的概率非常高。這就要求設計HDFS時要充分考慮數據的可靠性，安全性及高可用性。

缺點：
1）不適合低延遲數據訪問
如果要處理一些用戶要求時間比較短的低延遲應用請求，則HDFS不適合。HDFS是為了處理大型數據集分析任務的，主要是為達到高的數據吞吐量而設計的，這就可能要求以高延遲作為代價。

2）無法高效存儲大量小文件
因為Namenode把文件系統的元數據放置在內存中，所以文件系統所能容納的文件數目是由Namenode的內存大小來決定。一般來說，每一個文件、文件夾和Block需要佔據150位元組左右的空間，所以，如果你有100萬個文件，每一個占據一個Block，你就至少需要300MB內存。當前來說，數百萬的文件還是可行的，當擴展到數十億時，對於當前的硬體水平來說就沒法實現了。還有一個問題就是，因為Map task的數量是由splits來決定的，所以用MR處理大量的小文件時，就會產生過多的Maptask，線程管理開銷將會增加作業時間。舉個例子，處理10000M的文件，若每個split為1M，那就會有10000個Maptasks，會有很大的線程開銷；若每個split為100M，則只有100個Maptasks，每個Maptask將會有更多的事情做，而線程的管理開銷也將減小很多。

1280M 1個文件 10block*150位元組 = 1500 位元組 =1.5KB
1280M 12.8M 100個 100個block*150位元組 = 15000位元組 = 15KB

3）不支持多用戶寫入及任意修改文件
在HDFS的一個文件中只有一個寫入者，而且寫操作只能在文件末尾完成，即只能執行追加操作。目前HDFS還不支持多個用戶對同一文件的寫操作，以及在文件任意位置進行修改。

四、HDFS文件 讀寫流程
4.1 讀文件流程

（1） 打開分布式文件
調用 分布式文件 DistributedFileSystem.open()方法。
（2） 從 NameNode 獲得 DataNode 地址
DistributedFileSystem 使用 RPC 調用 NameNode， NameNode返回存有該副本的 DataNode 地址， DistributedFileSystem 返回一個輸入流 FSDataInputStream對象， 該對象封存了輸入流DFSInputStream。
（3） 連接到DataNode
調用 輸入流 FSDataInputStream 的 read() 方法， 從而輸入流DFSInputStream 連接 DataNodes。
（4） 讀取DataNode
反復調用 read()方法， 從而將數據從 DataNode 傳輸到客戶端。
（5） 讀取另外的DataNode直到完成
到達塊的末端時候， 輸入流 DFSInputStream 關閉與DataNode 連接，尋找下一個 DataNode。
（6） 完成讀取， 關閉連接
即調用輸入流 FSDataInputStream.close() 。

4.2 寫文件流程

（1） 發送創建文件請求： 調用分布式文件系統DistributedFileSystem.create()方法；
（2） NameNode中創建文件記錄： 分布式文件系統DistributedFileSystem 發送 RPC 請求給namenode， namenode 檢查許可權後創建一條記錄， 返回輸出流 FSDataOutputStream， 封裝了輸出流 DFSOutputDtream；
（3） 客戶端寫入數據： 輸出流 DFSOutputDtream 將數據分成一個個的數據包， 並寫入內部隊列。 DataStreamer 根據 DataNode 列表來要求 namenode 分配適合的新塊來存儲數據備份。一組DataNode 構成管線(管線的 DataNode 之間使用 Socket 流式通信)
（4） 使用管線傳輸數據： DataStreamer 將數據包流式傳輸到管線第一個DataNode， 第一個DataNode 再傳到第二個DataNode ,直到完成。
（5） 確認隊列： DataNode 收到數據後發送確認， 管線的DataNode所有的確認組成一個確認隊列。 所有DataNode 都確認， 管線數據包刪除。
（6） 關閉： 客戶端對數據量調用close（） 方法。 將剩餘所有數據寫入DataNode管線， 並聯系NameNode且發送文件寫入完成信息之前等待確認。
（7） NameNode確認
（8） 故障處理： 若過程中發生故障， 則先關閉管線， 把隊列中所有數據包添加回去隊列， 確保數據包不漏。 為另一個正常DataNode的當前數據塊指定一個新的標識， 並將該標識傳送給NameNode, 一遍故障DataNode在恢復後刪除上面的不完整數據塊. 從管線中刪除故障DataNode 並把餘下的數據塊寫入餘下正常的DataNode。 NameNode發現復本兩不足時， 會在另一個節點創建一個新的復本

㈨ 請問分布式存儲和磁碟陣列（RAID）之間有什麼關系嗎

你已經理解得很清楚啦為神馬還問？
我只打個比方：磁碟陣列就是倉庫，分布式存儲就是物流系統，不同倉庫的物品通過物流系統分發轉運。

㈩ 分布式存儲支持多節點，節點是什麼，一個磁碟還是一個主控

節點是什麼？

節點是存儲節點的簡稱，一般來說1個節點是1個存儲伺服器。

其中一個存儲節點壞了是否影響數據的訪問？

這個主要取決於你採取的數據保護措施，主要有以下幾種：

• 多副本：同一份數據會保存多份（通常設置為 2 副本或 3 副本），即使副本所在的節點宕機也不會造成數據丟失；

• HA（高可用）：節點宕機時，該節點上的虛擬機自動遷移至集群內其它節點，降低業務中斷時間；

• 機架感知：根據機房物理拓撲結構，將副本分配在不同的機架、機箱、主機上，有效減少甚至避免物理硬體（電源、交換機等）故障導致的數據丟失。理論上，3 副本結合機架感知配置，系統可最多容忍 2 個機架上的主機全部失效；

• 快照：為虛擬機打快照，在其發生故障時將數據恢復至快照狀態；

• 雙活：同城雙數據中心，災難時無損快速恢復業務（RPO=0）；

• 備份：異地主備數據中心，災難時盡可能挽回數據損失。