成都編譯分布式存儲硬碟

❶ 集中式存儲和分布式存儲有什麼區別

區別：

1、物理介質分布不同。

集中存儲：物理介質集中布放。

分布存儲：物理介質分布到不同的地理位置。

2、視頻流上傳不同：

集中存儲：視頻流上傳到中心。

分布存儲：視頻流就近上傳，對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;小容量設備分布部署，對機房環境要求低。

3、對機房有要求不同：

集中存儲：對機房環境要求高，要求機房空間大，承重、空調等都是需要考慮的問題。

分布存儲：對骨幹網帶寬沒有什麼要求，可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;。小容量設備分布部署，對機房環境要求低。

(1)成都編譯分布式存儲硬碟擴展閱讀：

集中存儲：

指建立一個龐大的資料庫，把各種信息存入其中，各種功能模塊圍繞信息庫的周圍並對信息庫進行錄入、修改、查詢、刪除等操作的組織方式。

分布式存儲系統：

是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。

分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

網路-集中存儲

網路-分布式存儲系統

❷ 什麼是分布式存儲

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

(2)成都編譯分布式存儲硬碟擴展閱讀：

分布式存儲，集中管理，在這個方案中，共有三級：

1、上級監控中心：上級監控中心通常只有一個，主要由數字矩陣、認證伺服器和VSTARClerk軟體等。

2、本地監控中心：本地監控中心可以有多個，可依據地理位置設置，或者依據行政隸屬關系設立，主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成；音視頻的數據均主要保存在本地監控中心，這就是分布式存儲的概念。

3、監控前端：主要由攝像頭、網路視頻伺服器組成，其中VE4000系列的網路視頻伺服器可以帶硬碟，該硬碟主要是用於網路不暢時，暫時對音視頻數據進行保存，或者需要在前端保存一些重要數據的情況。

❸ 分布式存儲和超融合區別及優勢

分布式存儲是什麼

關於分布式存儲實際上並沒有一個明確的定義，甚至名稱上也沒有一個統一的說法，大多數情況下稱作 Distributed Data Store 或者 Distributed Storage System。

其中維基網路中給 Distributed data store 的定義是：分布式存儲是一種計算機網路，它通常以數據復制的方式將信息存儲在多個節點中。

在網路中給出的定義是：分布式存儲系統，是將數據分散存儲在多台獨立的設備上。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

盡管各方對分布式存儲的定義並不完全相同，但有一點是統一的，就是分布式存儲將數據分散放置在多個節點中，節點通過網路互連提供存儲服務。這一點與傳統集中式存儲將數據集中放置的方式有著明顯的區分。

超融合是什麼

參考維基網路中的超融合定義：

超融合基礎架構（hyper-converged infrastructure）是一個軟體定義的 IT 基礎架構，它可虛擬化常見「硬體定義」系統的所有元素。HCI 包含的最小集合是：虛擬化計算（hypervisor），虛擬存儲（SDS）和虛擬網路。HCI 通常運行在標准商用伺服器之上。

超融合基礎架構（hyper-converged infrastructure）與 融合基礎架構（converged infrastructure）最大的區別在於，在 HCI 裡面，無論是存儲底層抽象還是存儲網路都是在軟體層面實現的（或者通過 hypervisor 層面實現），而不是基於物理硬體實現的。由於所有軟體定義的元素都圍繞 hypervisor 實現，因此在超融合基礎架構上的所有實例可以聯合共享所有受管理的資源。

分布式存儲和超融合區別及優勢？

分布式存儲，它的最大特點是多節點部署， 數據通過網路分散放置。分布式存儲的特點是擴展性強，通過多節點平衡負載，提高存儲系統的可靠性與可用性。

超融合基礎架構從定義中明確提出包含軟體定義存儲(SDS)，具備硬體解耦的能力，可運行在通用伺服器之上。超融合基礎架構與 Server SAN 提倡的理念類似，計算與存儲融合，通過全分布式的架構，有效提升系統可靠性與可用性，並具備易於擴展的特性。

SMTX ZBS 分布式塊存儲架構

除此之外，超融合基礎架構有更進一步的擴展，它強調以虛擬化計算（hypervisor）為核心，以軟體定義的方式整合包括虛擬化計算， 軟體定義存儲以及虛擬網路資源。從筆者來看超融合基礎架構未來的可能性更多，可促進計算，存儲，網路，安全，容災等等 IT 服務大融合，降低IT 基礎架構的復雜性，重新塑造」軟體定義的數據中心」。

❹ 集中式存儲和分布式存儲的區別在哪裡如何選擇

如今全球數據存儲量呈現爆炸式增長，企業及互聯網數據以每年50%的速率在增長，據Gartner預測，到2020年，全球數據量將達到35ZB，等於80億塊4TB硬碟。數據結構變化給存儲系統帶來新的挑戰。非結構化數據在存儲系統中所佔據比例已接近80%。

互聯網的發展使得數據創造的主體由企業逐漸轉向個人用戶，而個人所產生的絕大部分數據均為圖片、文檔、視頻等非結構化數據；企業辦公流程更多通過網路實現，表單、票據等都實現了以非結構化為主的數字化存檔;同時，基於資料庫應用的結構化數據仍然在企業中占據重要地位，存儲大量的核心信息。

數據業務的急劇增加，傳統單一的SAN存儲或NAS存儲方式已經不適應業務發展需要。SAN存儲：成本高，不適合PB級大規模存儲系統。數據共享性不好，無法支持多用戶文件共享。NAS存儲：共享網路帶寬，並發性能差。隨系統擴展，性能會進一步下降。因此，集中式存儲再次活躍。

那麼集中式存儲和分布式存儲的有缺點分別有哪些呢？在面對二者時我們該如何選擇呢？下面我將為大家介紹和分析集中式存儲和分布式存儲的不同之處以及在應用中我們應做的選擇。


分布式和集中式存儲的選擇

集中存儲的優缺點是，物理介質集中布放;視頻流上傳到中心對機房環境要求高，要求機房空間大，承重、空調等都是需要考慮的問題。

分布存儲，集中管理的優缺點是，物理介質分布到不同的地理位置;視頻流就近上傳，對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;小容量設備分布部署，對機房環境要求低。

❺ 分布式存儲需要做磁碟陣列嗎雲存儲呢

感覺概念需要澄清一下：
1、與分布式存儲向對應的概念是集中式存儲。這兩個概念用於描述用戶數據存儲狀態。
2、簡單地，可以將磁碟陣列理解為向計算機提供高性能、高可靠性、大容量存儲空間的存儲系統。分布式存儲與集中式存儲均可使用磁碟陣列作為計算機存儲數據的專用設備。
3、雲存儲旨在整合用戶IT設備為用戶提供更強大、更豐富的增值功能的存儲系統，較傳統磁碟陣列而言，雲存儲概念更先進，但目前業界對雲存儲的定義還存在爭議並為形成標准，屬於技術預研領域。目前在雲存儲方面勢頭強勁的主要有：EMC、SUN、Symantec、HuaweiSymantec等專業存儲廠商。

❻ 什麼是HDFS硬碟分布式存儲

Namenode 是一個中心伺服器，單一節點（簡化系統的設計和實現），負責管理文件系統的名字空間(namespace)以及客戶端對文件的訪問。
文件操作，NameNode 負責文件元數據的操作，DataNode負責處理文件內容的讀寫請求，跟文件內容相關的數據流不經過NameNode，只會詢問它跟哪個DataNode聯系，否則NameNode會成為系統的瓶頸。
副本存放在哪些DataNode上由 NameNode來控制，根據全局情況做出塊放置決定，讀取文件時NameNode盡量讓用戶先讀取最近的副本，降低帶塊消耗和讀取時延
Namenode 全權管理數據塊的復制，它周期性地從集群中的每個Datanode接收心跳信號和塊狀態報告(Blockreport)。接收到心跳信號意味著該Datanode節點工作正常。塊狀態報告包含了一個該Datanode上所有數據塊的列表。

NameNode支持對HDFS中的目錄、文件和塊做類似文件系統的創建、修改、刪除、列表文件和目錄等基本操作。 塊存儲管理，在整個HDFS集群中有且只有唯一一個處於active狀態NameNode節點，該節點負責對這個命名空間（HDFS）進行管理。

1、Name啟動的時候首先將fsimage（鏡像）載入內存，並執行（replay）編輯日誌editlog的的各項操作；
2、一旦在內存中建立文件系統元數據映射，則創建一個新的fsimage文件（這個過程不需SecondaryNameNode） 和一個空的editlog；
3、在安全模式下，各個datanode會向namenode發送塊列表的最新情況；
4、此刻namenode運行在安全模式。即NameNode的文件系統對於客服端來說是只讀的。(顯示目錄，顯示文件內容等。寫、刪除、重命名都會失敗)；
5、NameNode開始監聽RPC和HTTP請求
解釋RPC:RPC（Remote Procere Call Protocol）——遠程過程通過協議，它是一種通過網路從遠程計算機程序上請求服務，而不需要了解底層網路技術的協議；
6、系統中數據塊的位置並不是由namenode維護的，而是以塊列表形式存儲在datanode中；
7、在系統的正常操作期間，namenode會在內存中保留所有塊信息的映射信息。
存儲文件，文件被分成block存儲在磁碟上，為保證數據安全，文件會有多個副本 namenode和client的指令進行存儲或者檢索block，並且周期性的向namenode節點報告它存了哪些文件的blo
文件切分成塊（默認大小128M），以塊為單位，每個塊有多個副本存儲在不同的機器上，副本數可在文件生成時指定（默認3）
NameNode 是主節點，存儲文件的元數據如文件名，文件目錄結構，文件屬性（生成時間,副本數,文件許可權），以及每個文件的塊列表以及塊所在的DataNode等等
DataNode 在本地文件系統存儲文件塊數據，以及塊數據的校驗和。
可以創建、刪除、移動或重命名文件，當文件創建、寫入和關閉之後不能修改文件內容。

NameNode啟動流程
1、Name啟動的時候首先將fsimage（鏡像）載入內存，並執行（replay）編輯日誌editlog的的各項操作；
2、一旦在內存中建立文件系統元數據映射，則創建一個新的fsimage文件（這個過程不需SecondaryNameNode） 和一個空的editlog；
3、在安全模式下，各個datanode會向namenode發送塊列表的最新情況；
4、此刻namenode運行在安全模式。即NameNode的文件系統對於客服端來說是只讀的。(顯示目錄，顯示文件內容等。寫、刪除、重命名都會失敗)；
5、NameNode開始監聽RPC和HTTP請求
解釋RPC:RPC（Remote Procere Call Protocol）——遠程過程通過協議，它是一種通過網路從遠程計算機程序上請求服務，而不需要了解底層網路技術的協議；
6、系統中數據塊的位置並不是由namenode維護的，而是以塊列表形式存儲在datanode中；
7、在系統的正常操作期間，namenode會在內存中保留所有塊信息的映射信息。
HDFS的特點

優點：
1）處理超大文件
這里的超大文件通常是指百MB、數百TB大小的文件。目前在實際應用中，HDFS已經能用來存儲管理PB級的數據了。

2）流式的訪問數據
HDFS的設計建立在更多地響應"一次寫入、多次讀取"任務的基礎上。這意味著一個數據集一旦由數據源生成，就會被復制分發到不同的存儲節點中，然後響應各種各樣的數據分析任務請求。在多數情況下，分析任務都會涉及數據集中的大部分數據，也就是說，對HDFS來說，請求讀取整個數據集要比讀取一條記錄更加高效。

3）運行於廉價的商用機器集群上
Hadoop設計對硬體需求比較低，只須運行在低廉的商用硬體集群上，而無需昂貴的高可用性機器上。廉價的商用機也就意味著大型集群中出現節點故障情況的概率非常高。這就要求設計HDFS時要充分考慮數據的可靠性，安全性及高可用性。

缺點：
1）不適合低延遲數據訪問
如果要處理一些用戶要求時間比較短的低延遲應用請求，則HDFS不適合。HDFS是為了處理大型數據集分析任務的，主要是為達到高的數據吞吐量而設計的，這就可能要求以高延遲作為代價。

2）無法高效存儲大量小文件
因為Namenode把文件系統的元數據放置在內存中，所以文件系統所能容納的文件數目是由Namenode的內存大小來決定。一般來說，每一個文件、文件夾和Block需要佔據150位元組左右的空間，所以，如果你有100萬個文件，每一個占據一個Block，你就至少需要300MB內存。當前來說，數百萬的文件還是可行的，當擴展到數十億時，對於當前的硬體水平來說就沒法實現了。還有一個問題就是，因為Map task的數量是由splits來決定的，所以用MR處理大量的小文件時，就會產生過多的Maptask，線程管理開銷將會增加作業時間。舉個例子，處理10000M的文件，若每個split為1M，那就會有10000個Maptasks，會有很大的線程開銷；若每個split為100M，則只有100個Maptasks，每個Maptask將會有更多的事情做，而線程的管理開銷也將減小很多。

1280M 1個文件 10block*150位元組 = 1500 位元組 =1.5KB
1280M 12.8M 100個 100個block*150位元組 = 15000位元組 = 15KB

3）不支持多用戶寫入及任意修改文件
在HDFS的一個文件中只有一個寫入者，而且寫操作只能在文件末尾完成，即只能執行追加操作。目前HDFS還不支持多個用戶對同一文件的寫操作，以及在文件任意位置進行修改。

四、HDFS文件 讀寫流程
4.1 讀文件流程

（1） 打開分布式文件
調用 分布式文件 DistributedFileSystem.open()方法。
（2） 從 NameNode 獲得 DataNode 地址
DistributedFileSystem 使用 RPC 調用 NameNode， NameNode返回存有該副本的 DataNode 地址， DistributedFileSystem 返回一個輸入流 FSDataInputStream對象， 該對象封存了輸入流DFSInputStream。
（3） 連接到DataNode
調用 輸入流 FSDataInputStream 的 read() 方法， 從而輸入流DFSInputStream 連接 DataNodes。
（4） 讀取DataNode
反復調用 read()方法， 從而將數據從 DataNode 傳輸到客戶端。
（5） 讀取另外的DataNode直到完成
到達塊的末端時候， 輸入流 DFSInputStream 關閉與DataNode 連接，尋找下一個 DataNode。
（6） 完成讀取， 關閉連接
即調用輸入流 FSDataInputStream.close() 。

4.2 寫文件流程

（1） 發送創建文件請求： 調用分布式文件系統DistributedFileSystem.create()方法；
（2） NameNode中創建文件記錄： 分布式文件系統DistributedFileSystem 發送 RPC 請求給namenode， namenode 檢查許可權後創建一條記錄， 返回輸出流 FSDataOutputStream， 封裝了輸出流 DFSOutputDtream；
（3） 客戶端寫入數據： 輸出流 DFSOutputDtream 將數據分成一個個的數據包， 並寫入內部隊列。 DataStreamer 根據 DataNode 列表來要求 namenode 分配適合的新塊來存儲數據備份。一組DataNode 構成管線(管線的 DataNode 之間使用 Socket 流式通信)
（4） 使用管線傳輸數據： DataStreamer 將數據包流式傳輸到管線第一個DataNode， 第一個DataNode 再傳到第二個DataNode ,直到完成。
（5） 確認隊列： DataNode 收到數據後發送確認， 管線的DataNode所有的確認組成一個確認隊列。 所有DataNode 都確認， 管線數據包刪除。
（6） 關閉： 客戶端對數據量調用close（） 方法。 將剩餘所有數據寫入DataNode管線， 並聯系NameNode且發送文件寫入完成信息之前等待確認。
（7） NameNode確認
（8） 故障處理： 若過程中發生故障， 則先關閉管線， 把隊列中所有數據包添加回去隊列， 確保數據包不漏。 為另一個正常DataNode的當前數據塊指定一個新的標識， 並將該標識傳送給NameNode, 一遍故障DataNode在恢復後刪除上面的不完整數據塊. 從管線中刪除故障DataNode 並把餘下的數據塊寫入餘下正常的DataNode。 NameNode發現復本兩不足時， 會在另一個節點創建一個新的復本

❼ 分布式存儲的數據安全嗎

之前專業做分布式存儲的元核雲公司來我們公司做過技術交流，從描述來看分布式存儲數據安全性是遠大於傳統存儲的，支持多副本、糾刪等多種存儲策略，數據存在不同機櫃不同主機不同硬碟上，不像傳統存儲數據可靠性就在一個盤櫃里靠raid演算法保障，如果出問題整個盤櫃數據就全丟了。

❽ 選擇軟體定義存儲/分布式存儲還是超融合一體機

肯定選擇分布式存儲，非常強調數據安全性，可以規避很多硬碟、伺服器損壞、靜默數據損毀等常見數據丟失風險。如果是普通的中小企業，主要部署一些靜態網站，存儲需求量不大，對數據安全性要求不高，能夠容忍一定的數據丟失風險的，可以用超融合一體機。我們司負責IT的就10來個人，採用的VMware虛擬機加元核雲分布式統一存儲的方案

❾ 什麼是分布式存儲系統

分布式存儲系統，是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

(9)成都編譯分布式存儲硬碟擴展閱讀：

分布式存儲，集中管理，在這個方案中，共有三級：

1、上級監控中心：上級監控中心通常只有一個，主要由數字矩陣、認證伺服器和VSTARClerk軟體等。

2、本地監控中心：本地監控中心可以有多個，可依據地理位置設置，或者依據行政隸屬關系設立，主要由數字矩陣、流媒體網關、iSCSI存儲設備、VSTARRecorder軟體等組成；音視頻的數據均主要保存在本地監控中心，這就是分布式存儲的概念。

3、監控前端：主要由攝像頭、網路視頻伺服器組成，其中VE4000系列的網路視頻伺服器可以帶硬碟，該硬碟主要是用於網路不暢時，暫時對音視頻數據進行保存，或者需要在前端保存一些重要數據的情況。

❿ 分布式存儲的三種類型

有關分布式存儲的三個基本問題

文件系統vs對象存儲——選型和趨勢

塊存儲、文件存儲、對象存儲這三者的本質差別是什麼

分布式存儲的應用場景相對於其存儲介面，現在流行分為三種:

對象存儲: 也就是通常意義的鍵值存儲，其介面就是簡單的GET、PUT、DEL和其他擴展，如七牛、又拍、Swift、S3

塊存儲: 這種介面通常以QEMU Driver或者Kernel Mole的方式存在，這種介面需要實現Linux的Block Device的介面或者QEMU提供的Block Driver介面，如Sheepdog，AWS的EBS，青雲的雲硬碟和阿里雲的盤古系統，還有Ceph的RBD（RBD是Ceph面向塊存儲的介面）

文件存儲: 通常意義是支持POSIX介面，它跟傳統的文件系統如Ext4是一個類型的，但區別在於分布式存儲提供了並行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存儲的介面)，但是有時候又會把GFS，HDFS這種非POSIX介面的類文件存儲介面歸入此類。