分布式視頻存儲

A. 麥客存儲-分布式存儲能發揮什麼作用

增長數據的來源？

數據增長高潮主要的來源是5G和超高清產業，我國5G網路已經商用，外出遊玩出行，使用5G 頻率也會增加，如今5G是通過高帶寬、低時延、多接入的能力，讓萬物互聯成為了可能，海量的連接會增加數據壓力。

關於超高清產業，今年春晚央視就是以4K+5G進行的春晚直播，其實4K這個產業在當下已經普及了，從不稀少的4K 電視就能看出。現在超高清產業已經基本建立8K，8K視頻每一小時的數據量會達到10TB。

互聯網消費行為，如今大家出行一般都會線上支付，這對於金融行業來說，用戶消費行為的變化會帶來對金融科技的挑戰，尤其是網銀，手機銀行等渠道類業務都將面臨集中式架構性能瓶頸問題。
分布式存儲發揮的作用

存算分離

大數據存算分離，目前主要對運營商（5G）、公安、金融這三個行業的大數據有廣泛應用。通過分布式存儲提供原生大數據介面，支撐所有大數據放在一個資料池裡面，任何大數據都可以調用可以實現數據全量的分析，屬於數據價值提升的一個手段。

安全性提高

分布式存儲是把數據打散成數據小塊，分別存儲在不同的伺服器中，比如現在的IPFS分布式存儲，分布式存儲伺服器中的數據，它不是一個整體，都是一段數據的碎片，能夠更好的保護數據安全。

5G的廣泛應用，推動萬物互聯，數據會井噴式增長，那麼數據的隱私性和安全性、價值都尤為的重要。而去中心化的分布式存儲的工作原理，可以保護數據的隱私性、安全性，它會成為未來數字化社會中不可缺少的基建設施。
分布式存儲會促進我國產業結構優化，為推動我國的數字化發展，共鑄鼎盛山河，譜寫時代榮光，作為國內分布式存儲市場的引領者麥客存儲會把以區塊鏈分布式存儲為切入點，助力數字化轉型，經築中國夢，發力向未來。

B. 分布式存儲極簡藝術Minio解析

 MinIO 對象存儲系統是為海量數據存儲、人工智慧、大數據分析而設計，基於
Apache License v2.0 開源協議的對象存儲系統，它完全兼容 Amazon S3 介面，單個對象的最大可達 5TB，適合存儲海量圖片、視頻、日誌文件、備份數據和容器/虛擬機鏡像等。作為一個開源服務，MinIO 在設計上汲取了Glusterfs的相關經驗不教訓，系統復雜度上作了大量簡化，目前大小隻有40+M，部署只需要一個命令即可完成！另外，minio舍棄了傳統分布式存儲擴容所需要的遷移流程，採用聯盟模式添加集群的方式，極大簡化了擴容流程；除此之外，minio還具有糾刪編碼、比特位保護、單寫多讀（worm)、下面來依次簡要解析一下Mioio的特點及具體實現：

  元數據和數據一起存放在磁碟上。元數據以明文形式存放在元數據文件里（xl.json）。假定對象名字為key_name, 它所在桶的名字是bucket_name, disk路徑就是/disk，那麼存儲路徑就是：/disk/bucket_name/key_name，windows下C盤存放桶名為test，對象名為minio.exe示例如圖：

其中part.1是實際存儲數據（單機模式為原生數據，分布式為糾刪碼分塊），xl.json是如下所示的json字元串：

  在同一集群內，MinIO 自己會自勱生成若干糾刪組，用於分布存放桶數據。一個糾刪組中的一定數量的磁碟發生的故障（故障磁碟的數量小於等於校驗盤的數量），通過糾刪碼校驗演算法可以恢復出正確的數據。MinIO 集成了 Reed-Solomon 糾刪碼庫，MinIO 存儲對象數據時，首先把它分成若乾等長的片段（對於大對象，默認按 5MB 切片)，然後每一個片段會糾刪演算法分成若干分片，包括數據分片不校驗分片，每個分片放置在一個糾刪組的某個節點上。對象的每一個數據分片、校驗分片都被「防比特位衰減」演算法所保護。

  MinIO 會根據對象名（類似於文件系統的全路徑名)，使用 crc32 哈希演算法計算出一個整數。然後使用這個整數除以糾刪組的個數，得到一個余數。這個余數，可以作為糾刪組的序號，這樣就確定了這個對象所在的糾刪組。MinIO 採用 CRC32 哈希演算法，不 glusterfs 的Davies Meyer哈希演算法（性能、沖突概率不md4, md5相近）不一樣的是，CRC32演算法的哈希值分布較不均勻，但運算速度極快，高出 md4 數倍。相對於容量均衡，MinIO 更看重數據的寫入速度。

糾刪組如何配置？
官方文檔說明如下：

 也就是說糾刪組的總大小隻能從這7中情況中根據你提供的盤的個數（或者說路徑個數）來自動選取最大值的，我們 不能靈活地配置m+k糾刪存儲格式。但這樣說又不是很准確 ，因為雖然不能配置任意的m+k，但是在系統已經選取好擦除編碼集的的個數後（也就是m+k），可以使用storage class存儲類來自定義m和k的數量，默認是1:1的。
存儲類：
 MinIO支持配置兩種存儲類別，精簡冗餘類別和標准類別，默認是標准類別（1：1），可以在啟動MinIO伺服器之前使用設置的環境變數來定義這些類。使用環境變數定義每個存儲類別的數據和奇偶校驗磁碟後，您可以 在上傳對象時通過請求元數據欄位設置對象的存儲類別x-amz-storage-class 。然後，MinIO伺服器通過將對象保存在特定數量的數據和奇偶校驗磁碟中來兌現存儲類。具體配置和使用可以參考官方文檔 https://github.com/minio/minio/tree/master/docs/erasure/storage-class

傳統的擴展方式的劣勢
  通過增加節點來擴展單集群，一般需要進行數據均衡，否則群集內各存儲節點會因負載不均而出現新的瓶頸。除了數據均衡操作的時機這個問題以外，在均衡過程中一般需要仍存儲使用率高的節點吐使用率低的節點遷移數據。當集群擴容後，大量已經寫入的文件落點會出現改變，文件需要遷移到真實的落點。當存儲系統容量比較大時，則會發生大量的文件/對象進行遷移,遷移過程可能由於佔用大量資源而導致上層應用性能下降。而且當文件/對象遷移過程中，機器故障可能會導致一些意想不到的情冴,尤其是有大量業務的時候。當然針對此類問題，Gluterfs之類的文件系統有一些比較復雜的處理辦法。
不支持擴展優勢

C. 集中式存儲和分布式存儲有什麼區別

區別：

1、物理介質分布不同。

集中存儲：物理介質集中布放。

分布存儲：物理介質分布到不同的地理位置。

2、視頻流上傳不同：

集中存儲：視頻流上傳到中心。

分布存儲：視頻流就近上傳，對骨幹網帶寬沒有什麼要求;可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;小容量設備分布部署，對機房環境要求低。

3、對機房有要求不同：

集中存儲：對機房環境要求高，要求機房空間大，承重、空調等都是需要考慮的問題。

分布存儲：對骨幹網帶寬沒有什麼要求，可採用多套低端的小容量的存儲設備分布部署，設備價格和維護成本較低;。小容量設備分布部署，對機房環境要求低。

(3)分布式視頻存儲擴展閱讀：

集中存儲：

指建立一個龐大的資料庫，把各種信息存入其中，各種功能模塊圍繞信息庫的周圍並對信息庫進行錄入、修改、查詢、刪除等操作的組織方式。

分布式存儲系統：

是將數據分散存儲在多台獨立的設備上。傳統的網路存儲系統採用集中的存儲伺服器存放所有數據，存儲伺服器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。

分布式網路存儲系統採用可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。

網路-集中存儲

網路-分布式存儲系統

D. 分布式存儲有哪幾種類型

中央存儲技術現已發展非常成熟。但是同時，新的問題也出現了，中心化的網路很容易擁擠，數據很容易被濫用。傳統的數據傳輸方式是由客戶端向雲伺服器傳輸，由伺服器向客戶端下載。而分布式存儲系統QKFile是從客戶端傳送到 N個節點，然後從這些節點就近下載到客戶端內部，因此傳輸速度非常快。對比中心協議的特點是上傳、下載速度快，能夠有效地聚集空閑存儲資源，並能大大降低存儲成本。

在節點數量不斷增加的情況下，QKFile市場趨勢開始突出，未來用戶數量將呈指數增長。分布式存儲在未來會有很多應用場景，如數據存儲，文件傳輸，網路視頻，社會媒體和去中心化交易等。網際網路的控制權越來越集中在少數幾個大型技術公司的手中，它的網路被去中心化，就像分布式存儲一樣，總是以社區為中心，面向用戶，而分布式存儲就是實現信息技術和未來網際網路功能的遠景。有了分布式存儲，我們可以創造出更加自由、創新和民主的網路體驗。是時候把網際網路推向新階段了。

作為今年非常受歡迎的明星項目，關於QKFile的未來發展會推動互聯網的進步，給整個市場帶來巨大好處。分布式存儲是基於網際網路的基礎結構產生的，區塊鏈分布式存儲與人工智慧、大數據等有疊加作用。對今天的中心存儲是一個巨大的補充，分布式時代的到來並不是要取代現在的中心互聯網，而是要使未來的數據存儲發展得更好，給整個市場生態帶來不可想像的活力。先看共識，後看應用，QKFile創建了一個基礎設施平台，就像阿里雲，阿里雲上面是做游戲的做電商的視頻網站，這就叫應用層，現階段，在性能上，坦白說，與傳統的雲存儲相比，沒有什麼競爭力。不過另一方面來說，一個新型的去中心化存儲的信任環境式非常重要的，在此環境下，自然可以衍生出許多相關應用，市場潛力非常大。

雖然QKFile離真正的商用還有很大的距離，首先QKFile的經濟模型還沒有定論，其次QKFile需要集中精力發展分布式存儲、商業邏輯和 web3.0，只有打通分布式存儲賽道，才有實力引領整個行業發展，人們認識到了中心化存儲的弊端，還有許多企業開始接受分布式存儲模式，即分布式存儲 DAPP應用觸達用戶。所以QKFile將來肯定會有更多的商業應用。創建超本地高效存儲方式的能力。當用戶希望將數據存儲在QKFile網路上時，他們就可以擺脫巨大的集中存儲和地理位置的限制，用戶可以看到在線存儲的礦工及其市場價格，礦工之間相互競爭以贏得存儲合約。使用者挑選有競爭力的礦工，交易完成，用戶發送數據，然後礦工存儲數據，礦工必須證明數據的正確存儲才能得到QKFile獎勵。在網路中，通過密碼證明來驗證數據的存儲安全性。采礦者通過新區塊鏈向網路提交其儲存證明。通過網路發布的新區塊鏈驗證，只有正確的區塊鏈才能被接受，經過一段時間，礦工們就可以獲得交易存儲費用，並有機會得到區塊鏈獎勵。數據就在更需要它的地方傳播了，旋轉數據就在地球范圍內流動了，數據的獲取就不斷優化了，從小的礦機到大的數據中心，所有人都可以通過共同努力，為人類信息社會的建設奠定新的基礎，並從中獲益。

E. 中興通訊DT部是做分布式存儲的嘛

是的。
中興通訊CSS2000分布式存儲為自主研發的海量非結構化數據存儲產品，適用於視頻、音頻、圖片、日誌、話單等海量文件存儲類應用，具有高可擴展、高可靠、高性能、低成本等特點。產品採用去中心化架構，無單點故障，提供多種數據冗餘備份方案，支持容量和性能的在線橫向擴展，具備完善的配置、管理、監控、告警、統計等功能，主要應用於統一存儲資源池、視頻物聯、媒資雲存儲、醫療影像等場景。
存儲系統本質上是一種特殊的計算機系統，因此存儲系統的發展要基於IT基礎技術，特別是存儲介質和網路技術的發展。

F. 什麼是IPFS分布式存儲

 IPFS全稱是Inter Planetary File System，直接翻譯的話叫做「星際文件系統」，它由Protocol Lab提出，是一種點對點（P2P）的分布式文件系統。

目標是為了補充（甚至是取代）目前統治互聯網的超文本傳輸協議（HTTP），將所有具有相同文件系統的計算設備連接在一起。

原理基於內容的地址代替基於域名的地址，無需驗證發送者身份，而只需驗證內容的哈希，通過這樣 可以讓網頁的速度更快、更安全、更健壯、更持久。

IPFS的目標是為了補充（甚至是取代）目前統治互聯網的超文本傳輸協議（HTTP）。

 全球基於IPFS協議的網路節點已經超過上百萬個；

 存儲在IPFS網路上的文件超過100億份。

 支持瀏覽器谷歌瀏覽器、BRAVE、Firfox火狐瀏覽器、Opera瀏覽器；

 合作方：Netflix（奈飛）、D.Tube、Ujomusic音樂、Viewly視頻等；