數據熱存儲
A. 數據存儲:什麼是冷存儲
眾所周知,隨著科技的發展,在我們生活和工作中產生的數據越來越多。這些數據中有一大部分都屬於冷數據即較長時間之前的狀態數據,其特點是較低的訪問頻率,並且需要最大限度的降低其存儲成本,同時要求隨時可訪問。例如微信和QQ上存儲的大量的圖片信息,社交媒體,智能互聯網時代,大量的社交數據產生,用戶通常查看新發布的圖片、視頻,而對於那些舊的數據,則鮮有人問之。對於照片、視頻等這些非結構化數據通常會佔用大量存儲空間,並且增長速度遠遠超過其他類型的數據。
根據被訪問的頻度不同,數據可以被分為「熱數據、溫數據、冷數據」三種類型。其中,冷數據特指活動不頻繁、不會被經常訪問甚至永遠不會被訪問,但仍然需要長期保留的數據。熱數據受到業務特徵、用戶行為乃至監管政策的影響(例如,醫院的醫學影像文件需要自患者最後一次就診之日起保存不少於15年),經過一段時間的使用後,絕大部分數據都會迅速變「冷」。因此,數據集合中通常有高達80%的部分屬於不常被訪問的冷數據。然而,冷數據並非失去價值,大數據、人工智慧等新興業務對海量冷數據進行檢索和挖掘的需求依然存在而且日益迫切。
金錢貓雲存儲架構下的冷存儲技術產品採用最前沿的AI技術,通過對存儲數據進行智能分析、區分冷熱數據、優化存儲來達到降低存儲系統的整體投資成本及運營成本。據測算可降低伺服器硬碟投資成本50%,節省用電50%。金錢貓雲存儲架構下的冷存儲技術產品是一款節資省電造福於民的產品。金錢貓的服務,走進千家萬戶!
B. 數據備份的熱備方法
就是伺服器高可用應用的另一種說法,英譯為:high available,而我們通常所說的熱備是根據意譯而來,同屬於高可用范疇,而雙機熱備只限定了高可用中的兩台伺服器。熱備軟體是用來解決一種不可避免的計劃和非計劃系統宕機問題的軟體解決方案,當然也有硬體的。是構築高可用集群系統的基礎軟體,對於任何導致系統宕機或服務中斷的故障,都會觸發軟體流程來進行錯誤判定、故障隔離、以及通地聯機恢復來繼續執行被中斷的服務。在這個過程中,用戶只需要經受一定程度可接受的時延,而能夠在最短的時間內恢復服務。
從狹義上講,雙機熱備特指基於高可用系統中的兩台伺服器的熱備(或高可用),因兩機高可用在國內使用較多,故得名雙機熱備,雙機高可用按工作中的切換方式分為:主-備方式(Active-Standby方式)和雙主機方式(Active-Active方式),主-備方式即指的是一台伺服器處於某種業務的激活狀態(即Active狀態),另一台伺服器處於該業務的備用狀態(即Standby狀態)。而雙主機方式即指兩種不同業務分別在兩台伺服器上互為主備狀態(即Active-Standby和Standby-Active狀態)。 註:Active-Standby的狀態指的是某種應用或業務的狀態,並非指的是伺服器狀態。
組成雙機熱備的方案主要有兩種方式:
1.基於共享存儲(磁碟陣列)的方式
共享存儲方式主要通過磁碟陣列提供切換後,對數據完整性和連續性的保障。用戶數據一般會放在磁碟陣列上,當主機宕機後,備機繼續從磁碟陣列上取得原有數據。如下圖所示。 這種方式因為使用一台存儲設備,往往被業內人士稱為磁碟單點故障。但一般來講存儲的安全性較高。所以如果忽略存儲設備故障的情況下,這種方式也是業內採用最多的熱備方式。
2.基於數據復制的方式
這種方式主要利用數據的同步方式,保證主備伺服器的數據一致性。數據同步方式 基本於數據復制的方式有多種方法,其性能和安全也不盡相同,其主要方法有以下幾種: A、單純的文件方式的考貝不適用於資料庫等應用,因為打開的文件是不能被復制的,如果要復制必須將資料庫關閉,這顯然是不可以的。以文件方式的復制主要適用於WEB頁的更新,FTP上傳應用,對主備機數據完整性,連續性要求不高的情況下使用。 B、利用資料庫所帶有復制功能,比如SQLServer2000或2005所帶的定閱復制,這種方式用戶要根據自己的應用小心使用,原因主要是:
(1)SQLServer的定閱復制會在用戶表上增加欄位,對那些應用軟體編程要求較高,如果在應用軟體端書寫時未明確指定欄位的用戶,而使用此功能會造成應用程序無法正常工作。
(2)數據滯留,這個限制怕也是最要命的,因為SQLServer在數據傳輸過程中數據並非實時的到達主備機,而是數據先寫到主機,再寫到備機,如此一來,備機的數據往往來不及更新,此時如果發生切換,備機的數據將不完整,也不連續,如果用戶發現已寫入的數據在備機找不到,重新寫入的話,則主機修復後,就會發生主備機數據嚴重沖突,資料庫會亂掉。
(3)復雜應用切莫使用定閱復制來做雙機熱備,包括數據結構中存儲過程的處理,觸發器和序列,一旦發生沖突,修改起來非常麻煩。
(4)伺服器性能降低,對於大一點的資料庫,SQLServer2000或2005所帶的定閱復制會造成伺服器資料庫運行緩慢。 總之SQLServer2000或2005所帶的定閱復制主要還是應用於數據快照服務,切莫用他來做雙機熱備中的數據同步。 C:硬碟數據攔截,國際國內比較成熟的雙機熱備軟體通常會使用硬碟數據攔截的技術,通常稱為鏡像軟體即Mirror軟體,這種技術當前已非常成熟,攔截的方式也不盡相同。a.分區攔截技術,以Pluswell熱備份產品為例,他採用的是一種分區硬碟扇區攔截的技術,通過驅動級的攔截方式,將數據寫往硬碟的數據提取,並著先寫到備用伺服器,以保證備用伺服器的數據最新,然後再將數據回寫到主機硬碟。這種方式將絕對保證,主備機資料庫的數據完全一致,無論發生哪種切換,都能保證資料庫的完整性與連續性。由於採用分區攔截技術,所以用戶可以根據需要在一塊硬碟上劃分適合大小的分區來完成數據同步工作。 b.硬碟攔截技術,以Symantec的Co-Standby為例,也是一種有效的硬碟攔截軟體,他的攔截主要基於一整塊硬碟,往往在硬碟初始化時需要消耗大量的時間。
(5)最新型技術是通過第三方軟體,雙機熱備軟體通過捕獲資料庫修改操作,並將數據自動實時同步接管功能,可以再主伺服器發生故障時,通過備用機伺服器上自動接管功能,時間系統的正常運行無需任何手動操作業務,目前國外產品中(IBM,賽門特克,Dell等),國內產品有(備特佳,全球盾,優備等)國外產品在實現接管服務時,需要耗時50秒左右,國內全球盾耗時在4秒左右。自動接管主伺服器工作保證7*24小時不停機運行。

