數據存儲問題

1. B站崩潰，IPFS如何解決數據存儲之痛

B站伺服器突然宕機

七月十三日晚上，「b站崩盤」沖上微博熱搜第三名。新聞稱，B站疑似發生伺服器宕機事故，頁面提示稱「非常抱歉，該頁面暫時無法訪問」。除了網站和移動端顯示載入錯誤之外，B站出品的輕視頻、剪輯軟體等均無法打開，顯示頁面載入出錯。

在經過B站崩完，一時間承載不了龐大訪問量的A站也崩了。豆瓣、晉江更是緊隨其後。多個app齊崩，官方給出的回應是部分伺服器機房發生故障，同時多個站點出現問題，大概率是與站點沒有關系，應該是和雲伺服器有關。在經過短暫的排除修復之後，造成崩盤的原因應該就是短時間大量重復訪問和數據承載量不足的影響。

IPFS實現存儲「廣撒網」

以HTTP為代表的中心化存儲最常見的弊端就是，網路集中式訪問流量爆棚就容易導致伺服器崩潰，頁面丟失，並且此類事件層出不窮。

一般來說，造成「宕機事故」的4大原因為運行環境問題、伺服器性能問題、復制問題或者數據丟失或損壞。那麼其中的運行環境問題的大頭磁碟空間耗盡與數據損壞丟失問題都可以通過高承載量、安全穩定的去中心化存儲項目——IPFS來解決。

IPFS是用區塊鏈技術打造的一個具有可信任、可溯源、不可篡改等優點的去中心化存儲協議，分布式的存儲形式不會因為部分存儲設備毀壞而丟失數據，存儲「廣撒網」，安全可靠，並且數據可以實現永久存儲。

更重要的是，除了解決數據存儲空間的高需求量問題之外，IPFS的出現更大的意義是為了在互聯網世界中找到一種更好的方式，能夠捍衛用戶應有的權益,比如：用戶的個人信息應該得到保護。

IPFS實現用戶隱私「零泄露」

7月4日晚間，一則《關於下架「滴滴出行」App的通報》的消息迅速引爆輿論。

為什麼國家相關部門把安全監管的板子首先打在滴滴等公司身上？這是因為以滴滴為代表的這些互聯網平台公司手中掌握了巨量的數據資源。其實早在滴滴之前，6月26日，工信部就通報，截至6月21日，APP侵害用戶權益專項整治行動共檢查117萬款APP，對4002款違規APP提出了整改要求，公開通報1248款整改不到位的APP，組織下架329款拒不整改的APP。這些APP主要是在違規收集個人信息、違規使用個人信息、頻繁向用戶騷擾索權、欺騙誘導用戶跳轉頁面四個方面，嚴重損害了用戶的權益，侵犯了用戶的數據隱私。

從宏觀層面上看，數據安全相關法律在持續不斷地完善中。例如，6月10日，第十三屆全國人民代表大會常務委員會第二十九次會議表決通過《中華人民共和國數據安全法》，將於2021年9月1日起施行。

然而，就目前來說，以國內的數據保護相關法律還不足以保護個人信息的隱私安全，很多時候只能起到事後追責的作用。在僅依靠法律手段無法完全避免數據被違規使用甚至泄露的情況下，是否還可以通過其他手段，來共同解決隱私安全問題？

在這樣的背景下，解決數據激增、存儲空間需求暴漲問題的IPFS也被認為是解決用戶隱私問題的最佳利器之一。

IPFS如何提供完美解決方案

當我們把一個文件存放到IPFS上時，IPFS會自動把這份文件存儲到足夠多的、分布全球的存儲節點。這樣就最大程度的實現了數據存儲的去中心化，沒有一台機器可以單獨的掌握完整的數據。同時，這樣的存儲模式也可以有效防止數據損壞或丟失，一個存儲節點的數據碎片丟失，在其他存儲節點那裡仍然可以找到其他的副本，這樣就能最大限度的避免由於存儲硬體的故障而導致的數據丟失，用戶的數據存儲更加穩定安全。

更重要的是，如果數據被篡改或損壞，IPFS系統會自動檢測到。今天，各種各樣的雲存儲提供商都沒有將其用戶的數據進行加密保護。即使有一些提供商增加了靜態加密功能，也只是通過控制用戶的加密密鑰來實現的，而不是創建真正的「不知情」隱秘存儲系統，這意味著客戶數據可能會被黑客或其他攻擊者盜用並泄露或出售，是非常危險的。用戶（或他們使用的應用程序）應在將數據提供給這些雲存儲提供商之前就對他們的數據進行加密，而不管這些數據是否集中。

存放到IPFS的數據幾乎不可能被競爭對手竊取，除了將數據進行分散式存儲之外，IPFS對每一份數據文件都會進行加密，只有用密鑰才能打開進行訪問，而這個密鑰只有用戶一人擁有。黑客或者攻擊者就算能夠盜竊到數據，也會由於沒有密鑰而無法了解到其中的內容。

日漸普遍的移動設備、感測器和「智能」機器都在數字化地跟蹤人們的數據，解決個人信息安全問題已刻不容緩。可以說，IPFS的存儲方式開創了一種全新的安全模式，對所有的內容都進行加密，有效保證了數據的安全，保護了用戶的隱私權，十分適用於解決大數據技術的存儲痛點。

可以預見，在我國加強新基建力度、人工智慧和萬物聯網高速發展的 歷史 潮流下，大數據需要一種安全的存儲方式，也因此，IPFS及其配套產品、服務將會擁有一個越來越廣闊的市場。

2. 海量空間數據存儲

(一)空間數據存儲技術

隨著地理信息系統的發展，空間資料庫技術也得到了很大的發展，並出現了很多新的空間資料庫技術(黃釗等，2003)，其中應用最廣的就是用關系資料庫管理系統(RDBMS)來管理空間數據。

用關系資料庫管理系統來管理空間數據，主要解決存儲在關系資料庫中的空間數據與應用程序之間的數據介面問題，即空間資料庫引擎(SpatialDatabase Engine)(熊麗華等，2004)。更確切地說，空間資料庫技術是解決空間數據對象中幾何屬性在關系資料庫中的存取問題，其主要任務是:

(1)用關系資料庫存儲管理空間數據;

(2)從資料庫中讀取空間數據，並轉換為GIS應用程序能夠接收和使用的格式;

(3)將GIS應用程序中的空間數據導入資料庫，交給關系資料庫管理。

空間資料庫中數據存儲主要有三種模式:拓撲關系數據存儲模式、Oracle Spatial模式和ArcSDE模式。拓撲關系數據存儲模式將空間數據存在文件中，而將屬性數據存在資料庫系統中，二者以一個關鍵字相連。這樣分離存儲的方式由於存在數據的管理和維護困難、數據訪問速度慢、多用戶數據並發共享沖突等問題而不適用於大型空間資料庫的建設。而OracleSpatial實際上只是在原來的資料庫模型上進行了空間數據模型的擴展，實現的是「點、線、面」等簡單要素的存儲和檢索，所以它並不能存儲數據之間復雜的拓撲關系，也不能建立一個空間幾何網路。ArcSDE解決了這些問題，並利用空間索引機制來提高查詢速度，利用長事務和版本機制來實現多用戶同時操縱同一類型數據，利用特殊的表結構來實現空間數據和屬性數據的無縫集成等(熊麗華等，2004)。

ArcSDE是ESRI公司開發的一個中間件產品，所謂中間件是一個軟體，它允許應用元素通過網路連接進行互操作，屏蔽其下的通訊協議、系統結構、操作系統、資料庫和其他應用服務。中間件位於客戶機/伺服器的操作系統之上，管理計算資源和網路通訊，並營造出一個相對穩定的高層應用環境，使開發人員可以集中精力於系統的上層開發，而不用過多考慮系統分布式環境下的移植性和通訊能力。因此，中間件能無縫地連入應用開發環境中，應用程序可以很容易地定位和共享中間件提供的應用邏輯和數據，易於系統集成。在分布式的網路環境下，客戶端的應用程序如果要訪問網路上某個伺服器的信息，而伺服器可能運行在不同於客戶端的操作系統和資料庫系統中。此時，客戶機的應用程序中負責尋找數據的部分只需要訪問一個數據訪問中間件，由該中間件完成網路中數據或服務的查找，然後將查找的信息返回給客戶端(萬定生等，2003)。因此，本系統實現空間資料庫存儲的基本思想就是利用ArcSDE實現各類空間數據的存儲。

目前，空間數據存儲技術已比較成熟，出現了許多類似ArcSDE功能的中間件產品，這些軟體基本上都能實現空間數據的資料庫存儲與管理，但對於海量空間數據的存儲，各種軟體性能差別較大。隨著數據量的增長，計算機在分析處理上會產生很多問題，比如數據不可能一次完全被讀入計算機的內存中進行處理。單純依賴於硬體技術，並不能滿足持續增長的數據的處理要求。因此需要在軟體上找到處理海量數據的策略，並最終通過軟硬體的結合完成對海量數據的處理。在海量數據存儲問題上，許多專家從不同側面進行過研究，Lindstrom在地形簡化中使用了外存模型(Out-of-core)技術;鍾正採用了基於數據分塊、動態調用的策略;汪國平等人在研究使用高速網路進行三維海量地形數據的實時交互瀏覽中，採用了分塊、多解析度模板建立模型等方法。這些技術、方法已經在各自系統上進行了研究和實現。本系統採用的ArcSDE軟體基本上也是採用分塊模型的方法，具體存儲和操作不需要用戶過多了解，已經由ArcSDE軟體實現。因此，對海量數據的存儲管理，更需要從數據的組織方式等方面進行設計。塔里木河流域生態環境動態監測系統採集了大量的遙感影像、正射影像等柵格結構的數據，這些數據具有很大的數據量，為適應流域空間基礎設施的管理需要，採取一種新的方式來管理、分發這些海量數據以適應各部門的快速瀏覽和管理需要。

(二)影像金字塔結構

影像資料庫的組織是影像資料庫效率的關鍵，為了獲得高效率的存取速度，在數據的組織上使用了金字塔數據結構和網格分塊數據結構。該技術主導思想如下:

(1)將資料庫中使用到的紋理處理成為大小一致的紋理塊;

(2)為每塊紋理生成5個細節等級的紋理，分別為0、1、2、3、4，其中1級紋理通過0級紋理1/4壓縮得到，2級紋理通過1級紋理1/4壓縮得到，…，以此類推;

(3)在顯示每個塊數據之前，根據顯示比例的大小，並以此決定該使用那一級的紋理;

(4)在內存中建立紋理緩沖池，使用LRU演算法進行紋理塊的調度，確保使用頻率高的紋理調度次數盡可能少。

(三)影像數據壓縮

影像數據壓縮有無損壓縮和有損壓縮兩個方法，具體採取哪種壓縮方法需根據具體情況確定。對於像元值很重要的數據，如分類數據、分析數據等採用無損壓縮(即LZ77演算法)，否則採用有損壓縮(即JPEG演算法)。通過對影像數據的壓縮，一方面可以節約存儲空間，另一方面可以加快影像的讀取和顯示速度。影像數據的壓縮一般與構建金字塔同時進行，在構建影像金字塔過程中自動完成數據的壓縮。

3. 大數據量數據存儲問題

杉岩數據專注數據存儲解決方案，面對大數據，人工智慧帶來的海量數據存儲挑戰，杉岩海量對象存儲MOS提供完美解決方案，
SandStone MOS是兼具企業級存儲能力和智能檢索處理能力的對象存儲產品。新一代的存儲引擎基於標准伺服器構建一個可以線性擴展、幾乎沒有容量上限的跨地域存儲架構，在提供高可靠和高可用服務能力的同時，集成了數據智能處理和分析能力，簡化了海量數據處理所需的基礎設施，以大幅提升數據處理的效率。

4. 資料庫解決了數據從邏輯結構到物理結構的存儲問題對嗎

數據結構有哪些》一節講到，數據的存儲方式可分為線性表、樹和圖三種存儲結構，而每種存儲結構又可細分為順序存儲結構和鏈式存儲結構。數據存儲方式如此之多，針對不同類型的數據選擇合適的存儲方式是至關重要的。

那麼，到底如何選擇呢？數據存儲結構的選擇取決於兩方面，即數據的邏輯結構和存儲結構（又稱物理結構）。
邏輯結構
數據的邏輯結構，簡單地理解，就是指的數據之間的邏輯關系。

家庭成員關系圖
圖 1 家庭成員關系圖

例如，圖 1 顯示是一張家庭的成員關系圖，從圖中可以看到，張平、張華和張群是兄弟，他們的父親是張亮，其中張平有兩個兒子，分別是張晶和張磊。

以上所說，父子、兄弟等這些關系都指的是數據間的邏輯關系，假設我們要存儲這樣一張家庭成員關系圖，不僅要存儲張平、張華等數據，還要存儲它們之間的關系，兩者缺一不可。
一組數據成功存儲到計算機的衡量標準是要能將其完整的復原。例如圖 1 所示的成員關系圖，如果所存儲的數據能將此成員關系圖徹底復原，則說明數據存儲成功。

「多對多」關系示意圖
圖 2 「多對多」關系示意圖

數據之間的邏輯關系可細分為三類，「一對一」、「一對多」和「多對多」：
「一對一」：類似集合 {1,2,3,...,n} 這類的數據，每個數據的左側有且僅有一個數據與其相鄰（除 1 外）；同樣，每個數據的右側也只有一個數據與其相鄰（除 n 外），所有的數據都是如此，就說數據之間是「一對一」的邏輯關系；
「一對多」：圖 1 中的數據就屬於「一對多」，因為對於張平來說，有且僅有一個父親（張亮），但是有 2（多）個孩子；
「多對多」：拿圖 2 來說，從 V1 可以到達 V2、V3、V4，同樣，從 V2、V3、V4 也可以到達 V1，對於V1、V2、V3和V4來說，它們之間就是「多對多」的關系；

通過學習數據結構，我們可以學到 3 種存儲結構分別存儲這 3 類邏輯關系的數據，換句話說：
線性表用於存儲具有「一對一」邏輯關系的數據；
樹結構用於存儲具有「一對多」關系的數據；
圖結構用於存儲具有「多對多」關系的數據；

由此，我們可以通過分析數據之間的邏輯關系來決定使用哪種存儲結構，但具體使用順序存儲還是鏈式存儲，還要通過數據的物理結構來決定。
存儲結構（物理結構）
數據的存儲結構，也就是物理結構，指的是數據在物理存儲空間上選擇集中存放還是分散存放。假設要存儲大小為 10G 的數據，則集中存放就如圖 3a) 所示，分散存放就如圖 3b）所示。

數據的物理存儲方式
圖 3 數據的物理存儲方式

如果選擇集中存儲，就使用順序存儲結構；反之，就使用鏈式存儲。至於如何選擇，主要取決於存儲設備的狀態以及數據的用途。

我們知道，集中存儲（底層實現使用的是數組）需要使用一大塊連續的物理空間，假設要存儲大小為 1G 的數據，若存儲設備上沒有整塊大小超過 1G 的空間，就無法使用順序存儲，此時就要選擇鏈式存儲，因為鏈式存儲是隨機存儲數據，佔用的都是存儲設備中比較小的存儲空間，因此有一定幾率可以存儲成功。

並且，數據的用途不同，選擇的存儲結構也不同。將數據進行集中存儲有利於後期對數據進行遍歷操作，而分散存儲更有利於後期增加或刪除數據。因此，如果後期需要對數據進行大量的檢索（遍歷），就選擇集中存儲；反之，若後期需要對數據做進一步更新（增加或刪除），則選擇分散存儲。

5. 大數據存儲的常見問題是什麼

數據存儲的常見問題是存儲空間的問題，需要有大容量的存儲空間