數據中心存儲架構

1. 雲存儲架構分哪些層次,各自實現了什麼功能_雲存儲架構包含哪些內容

(1)存儲層

雲存儲系統對外提供多種不同的存儲服務，各種服務的數據統一存放在雲存儲系統中，形成一個海量數據池。從大多數網路服務後台數據組織方式來看，傳統基於單伺服器的數據組織難以滿足廣域網多用戶條件下的吞吐性能和存儲容量需求；基於P2P架構的數據組織需要龐大的節點數量和復雜編碼演算法保證數據可靠性。相比而言，基於多存儲伺服器的數據組織方法能夠更好滿足在線存儲服務的應用需求，在用戶規模較大時，構建分布式數據中心能夠為不同地理區域的用戶提供更好的服務質量。

雲存儲的存儲層將不同類型的存儲設備互連起來，實現海量數據的統一管理，同時實現對存儲設備的集中管理、狀態監控以及容量的動態擴展，實質是一種面向服務的分布式存儲系統。

(2)基礎管理層

雲存儲系統架構中的基礎管理層為上層提供不同服務間公共管理的統一視圖。通過設計統一的用戶管理、安全管理、副本管理及策略管理等公共數據管理功能，將底層存儲與上層應用無縫銜接起來，實現多存儲設備之間的協悔早同工作，以更好的性能對外提供多種服務。

(3)應用介面層

應用介面層是雲存儲平台中可以靈活擴展的、直接面向用戶的部分。根據用戶需求，可以開發出不同的應用介面，提供相應的服務。比如數據存儲服務、空間租賃服務、公共資源服務、多用戶數據共享服務、數據備份服務等。

(4)訪問層

通過訪問層，任何一個授權用戶都可以在任何地方，使用一台聯網的終端設備，按照標準的公用應用介面來登錄雲存儲平台，享受雲存儲服務。

2雲存儲技術的優勢

作為新興的存儲技術，與傳統的購買存儲設備和部署存儲軟體相比，雲存儲方式存在以下優點：

(1)成本低、見效快

傳統的購買存儲設備或軟體定製方式下，企業根據信息化管理的需求，一次性投入大量資金購置硬體設備首飢、搭建平台。軟體開發則經過漫長的可行性分析、需求調研、軟體設計、編碼、測試這一過程。往往在軟體開發完成以後，業務需求發生變化，不得不對軟體進行返工，不僅影響質量，提高成本，更是延誤了企業信息化進程，同時造成了企業之間的低水平重復投資以及企業內部周期性、高成本的技術升級。在雲存儲方式下，企業除了配置必要的終端設備接收存儲服務外，不需要投入額外的資金來搭建平台。企業只需按用戶數分期租用服務，規避了一次性投資的風險，降低了使用成本，而且對於選定的服務，可以立即投入使用，既方便又快捷。

(2)易者前返於管理

傳統方式下，企業需要配備專業的IT人員進行系統的維護，由此帶來技術和資金成本。雲存儲模式下，維護工作以及系統的更新升級都由雲存儲服務提供商完成，企業能夠以最低的成本享受到最新最專業的服務。

(3)方式靈活

傳統的購買和定製模式下，一旦完成資金的一次性投入，系統無法在後續使用中動態調整。隨著設備的更新換代，落後的硬體平台難以處置；隨著業務需求的不斷變化，軟體需要不斷地更新升級甚至重構來與之相適應，導致維護成本高昂，很容易發展到不可控的程度。而雲存儲方式一般按照客戶數、使用時間、服務項目進行收費。企業可以根據業務需求變化、人員增減、資金承受能力，隨時調整其租用服務方式，真正做到「按需使用」。

3雲存儲技術趨勢

隨著寬頻網路的發展，集群技術、網格技術和分布式文件系統的拓展，CDN內容分發、P2P、數據壓縮技術的廣泛運用，以及存儲虛擬化技術的完善，雲存儲在技術上已經趨於成熟，以「用戶創造內容」和「分享」為精神的Web2.0推動了全網域用戶對在線服務的認知

2. 什麼叫數據架構呢

數據中心是使用復雜的網路、計算和存儲系統來提供對應用程序和數據的共享訪問的設施。行業標準的存在有助於設計、構建和維護數據中心設施和基礎設施，以確保數據的安全性和可用性。
數據中心架構組件
計算、存儲和網路是數據中心中使用的三種主要組件類型。然而，在現代數據中心中，這些組件只是冰山一角。從表面上看，支持基礎設施對於企業數據中心實現服務水平協議的能力至關重要。
數據中心計算
數據中心的生成器是伺服器。在邊緣計算模型中，用於在伺服器上運行應用程序的處理和內存可能是虛擬化的、物理的、分布在容器之間或分布在遠程節點之間。通用cpu可能不是解決人工智慧(AI)和機器學習(ML)問題的最佳選擇，所以數據中心必須使用最適合這項任務的處理器。
數據中心存儲
出於自身的目的和客戶的需要，數據中心保存著大量的機密數據。減少的存儲介質成本增加了數據備份可用的存儲量，無論是本地、遠程還是兩者兼有。由於非易失性存儲介質的進步，數據訪問時間越來越快。此外，就像其他軟體定義的東西一樣，軟體定義的存儲技術在管理數據中心存儲系統時提高了人員的生產力。
數據中心網路
布線、交換機、路由器和防火牆都是數據中心網路設備的例子，這些設備將伺服器彼此連接起來，也將伺服器與外界連接起來。如果設計和組織得當，它們可以在不犧牲效率的情況下處理大量的流量。典型的三層網路拓撲結構包括數據中心邊緣的核心交換機(該交換機將數據中心與Internet連接)和中間聚合層(該聚合層將核心層與接入層結合起來，該接入層承載著伺服器)。由於超大規模網路安全和軟體定義的網路等創新，現設數據中心網路提供雲級的移動性和可伸縮性。

3. 數據存儲的三類簡介

一、DAS(Direct Attached Storage)直接附加存儲，DAS這種存儲方式與我們普通的PC存儲架構一樣，外部存儲設備都是直接掛接在伺服器內部匯流排上，數據存儲設備是整個伺服器結構的一部分。
DAS存儲方式主要適用以下環境：
(1)小型網路
因為網路規模較小，數據存儲量小，且也不是很復雜，採用這種存儲方式對伺服器的影響不會很大。並且這種存儲方式也十分經濟，適合擁有小型網路的企業用戶。
(2)地理位置分散的網路
雖然企業總體網路規模較大，但在地理分布上很分散，通過SAN或NAS在它們之間進行互聯非常困難，此時各分支機構的伺服器也可採用DAS存儲方式，這樣可以降低成本。
(3)特殊應用伺服器
在一些特殊應用伺服器上，如微軟的集群伺服器或某些資料庫使用的原始分區，均要求存儲設備直接連接到應用伺服器。
(4)提高DAS存儲性能
在伺服器與存儲的各種連接方式中，DAS曾被認為是一種低效率的結構，而且也不方便進行數據保護。直連存儲無法共享，因此經常出現的情況是某台伺服器的存儲空間不足，而其他一些伺服器卻有大量的存儲空間處於閑置狀態卻無法利用。如果存儲不能共享，也就談不上容量分配與使用需求之間的平衡。
DAS結構下的數據保護流程相對復雜，如果做網路備份，那麼每台伺服器都必須單獨進行備份，而且所有的數據流都要通過網路傳輸。如果不做網路備份，那麼就要為每台伺服器都配一套備份軟體和磁帶設備，所以說備份流程的復雜度會大大增加。
想要擁有高可用性的DAS存儲，就要首先能夠降低解決方案的成本，例如：LSI的12Gb/s SAS，在它有DAS直聯存儲，通過DAS能夠很好的為大型數據中心提供支持。對於大型的數據中心、雲計算、存儲和大數據，所有這一切都對DAS存儲性能提出了更高的要求，雲和企業數據中心數據的爆炸性增長也推動了市場對於可支持更高速數據訪問的高性能存儲介面的需求，因而LSI 12Gb/s SAS正好是能夠滿足這種性能增長的要求，它可以提供更高的IOPS和更高的吞吐能力，12Gb/s SAS提高了更高的寫入的性能，並且提高了RAID的整個綜合性能。
與直連存儲架構相比，共享式的存儲架構，比如SAN（storage-area network）或者NAS（network-attached storage）都可以較好的解決以上問題。於是乎我們看到DAS被淘汰的進程越來越快了。可是到2012年為止，DAS仍然是伺服器與存儲連接的一種常用的模式。事實上，DAS不但沒有被淘汰，近幾年似乎還有回潮的趨勢。 二、NAS(Network Attached Storage)數據存儲方式
NAS(網路附加存儲)方式則全面改進了以前低效的DAS存儲方式。它採用獨立於伺服器，單獨為網路數據存儲而開發的一種文件伺服器來連接所存儲設備，自形成一個網路。這樣數據存儲就不再是伺服器的附屬，而是作為獨立網路節點而存在於網路之中，可由所有的網路用戶共享。
NAS的優點：
(1)真正的即插即用
NAS是獨立的存儲節點存在於網路之中，與用戶的操作系統平台無關，真正的即插即用。
(2)存儲部署簡單
NAS不依賴通用的操作系統，而是採用一個面向用戶設計的，專門用於數據存儲的簡化操作系統，內置了與網路連接所需要的協議，因此使整個系統的管理和設置較為簡單。
(3)存儲設備位置非常靈活
(4)管理容易且成本低
NAS數據存儲方式是基於現有的企業Ethernet而設計的，按照TCP/IP協議進行通信，以文件的I/O方式進行數據傳輸。
NAS的缺點：
(1)存儲性能較低(2)可靠度不高 三、SAN(Storage Area Network)存儲方式
1991年，IBM公司在S/390伺服器中推出了ESCON(Enterprise System Connection)技術。它是基於光纖介質，最大傳輸速率達17MB/s的伺服器訪問存儲器的一種連接方式。在此基礎上，進一步推出了功能更強的ESCON Director(FC SWitch)，構建了一套最原始的SAN系統。
SAN存儲方式創造了存儲的網路化。存儲網路化順應了計算機伺服器體系結構網路化的趨勢。SAN的支撐技術是光纖通道(FC Fiber Channel)技術。它是ANSI為網路和通道I/O介面建立的一個標准集成。FC技術支持HIPPI、IPI、SCSI、IP、ATM等多種高級協議，其最大特性是將網路和設備的通信協議與傳輸物理介質隔離開，這樣多種協議可在同一個物理連接上同時傳送。
SAN的硬體基礎設施是光纖通道，用光纖通道構建的SAN由以下三個部分組成：
(1)存儲和備份設備：包括磁帶、磁碟和光碟庫等。
(2)光纖通道網路連接部件：包括主機匯流排適配卡、驅動程序、光纜、集線器、交換機、光纖通道和SCSI間的橋接器
(3)應用和管理軟體：包括備份軟體、存儲資源管理軟體和存儲設備管理軟體。
SAN的優勢：
(1)網路部署容易；
(2)高速存儲性能。因為SAN採用了光纖通道技術，所以它具有更高的存儲帶寬，存儲性能明顯提高。SAn的光纖通道使用全雙工串列通信原理傳輸數據，傳輸速率高達1062.5Mb/s。
(3)良好的擴展能力。由於SAN採用了網路結構，擴展能力更強。光纖介面提供了10公里的連接距離，這使得實現物理上分離，不在本地機房的存儲變得非常容易。 DAS、NAS和SAN三種存儲方式比較
存儲應用最大的特點是沒有標準的體系結構，這三種存儲方式共存，互相補充，已經很好滿足企業信息化應用。
從連接方式上對比，DAS採用了存儲設備直接連接應用伺服器，具有一定的靈活性和限制性；NAS通過網路（TCP/IP,ATM,FDDI）技術連接存儲設備和應用伺服器，存儲設備位置靈活，隨著萬兆網的出現，傳輸速率有了很大的提高；SAN則是通過光纖通道（Fibre Channel）技術連接存儲設備和應用伺服器，具有很好的傳輸速率和擴展性能。三種存儲方式各有優勢，相互共存，佔到了磁碟存儲市場的70%以上。SAN和NAS產品的價格仍然遠遠高於DAS.許多用戶出於價格因素考慮選擇了低效率的直連存儲而不是高效率的共享存儲。
客觀的說，SAN和NAS系統已經可以利用類似自動精簡配置（thin provisioning）這樣的技術來彌補早期存儲分配不靈活的短板。然而，之前它們消耗了太多的時間來解決存儲分配的問題，以至於給DAS留有足夠的時間在數據中心領域站穩腳跟。此外，SAN和NAS依然問題多多，至今無法解決。

4. 數據中心的構成是怎麼樣的

數據中心系統總體設計思想是以數據為中心，按照數據中心系統內在的關系來劃分，數據中心系統的總體結構由基礎設施層、信息資源層、應用支撐層、應用層和支撐體系五大部分構成。如下圖所示：

數據中心總體架構

數據中心系統總體架構

數據中心從頂層上規劃總體技術架構、設計技術路線和方法，保證網路、數據資源、應用系統、安全系統等各要素之間構成一個有機的整體，實現企業(機構)數據資源管理的聯動和信息的及時監測、匯總與分析。具體各層介紹如下：

(1)基礎設施層

基礎設施層是指支持整個系統的底層支撐，包括機房、主機、存儲、網路通信環境、各種硬體和系統軟體。

(2)信息資源層

信息資源層包括數據中心的各類數據、資料庫、數據倉庫，負責整個數據中心數據信息的存儲和規劃，涵蓋了信息資源層的規劃和數據流程的定義，為數據中心提供統一的數據交換平台。

(3)應用支撐層

應用支撐層構建應用層所需要的各種組件，是基於組件化設計思想和重用的要求提出並設計的，也包括采購的第三方組件。

(4)應用層

應用層是指為數據中心定製開發的應用系統，他包括標准建設類應用、採集整合類應用、數據服務類應用和管理運維類應用，以及服務於不同對象的企業信息門戶(包括內網門戶和外網門戶)。

(5)支撐體系

支撐體系包括標准規范體系、運維管理體系、安全保障體系和容災備份體系。容災備份體系在傳統的數據中心系統中隸屬於安全保障體系，隨著數據地位的提高，容災備份已自成體系。安全保障體系側重於數據中心的立體安全防護，容災備份體系專注於數據中心的數據和災難恢復。

5. 大數據時代下的三種存儲架構

大數據時代下的三種存儲架構_數據分析師考試

大數據時代，移動互聯、社交網路、數據分析、雲服務等應用的迅速普及，對數據中心提出革命性的需求，存儲基礎架構已經成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業連鎖、醫療、金融、新媒體、廣電等各個領域新興應用層出不窮。數據的價值日益凸顯，數據已經成為不可或缺的資產。作為數據載體和驅動力量，存儲系統成為大數據基礎架構中最為關鍵的核心。

傳統的數據中心無論是在性能、效率，還是在投資收益、安全，已經遠遠不能滿足新興應用的需求，數據中心業務急需新型大數據處理中心來支撐。除了傳統的高可靠、高冗餘、綠色節能之外，新型的大數據中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特徵，才能滿足具備大數據特徵的應用需求。這些史無前例的需求，讓存儲系統的架構和功能都發生了前所未有的變化。

基於大數據應用需求，「應用定義存儲」概念被提出。存儲系統作為數據中心最核心的數據基礎，不再僅是傳統分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特徵之外，還要有虛擬化、並行分布、自動分層、彈性擴展、異構資源整合、全局緩存加速等多方面的特點，才能滿足具備大數據特徵的業務應用需求。

尤其在雲安防概念被熱炒的時代，隨著高清技術的普及，720P、1080P隨處可見，智能和高清的雙向需求、動輒500W、800W甚至上千萬更高解析度的攝像機面市，大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。

目前市場上的存儲架構如下：

（1）基於嵌入式架構的存儲系統

節點NVR架構主要面向小型高清監控系統，高清前端數量一般在幾十路以內。系統建設中沒有大型的存儲監控中心機房，存儲容量相對較小，用戶體驗度、系統功能集成度要求較高。在市場應用層面，超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。

（2）基於X86架構的存儲系統

平台SAN架構主要面向中大型高清監控系統，前端路數成百上千甚至上萬。一般多採用IPSAN或FCSAN搭建高清視頻存儲系統。作為監控平台的重要組成部分，前端監控數據通過錄像存儲管理模塊存儲到SAN中。

此種架構接入高清前端路數相對節點NVR有了較高提升，具備快捷便利的可擴展性，技術成熟。對於IPSAN而言，雖然在ISCSI環節數據並發讀寫傳輸速率有所消耗，但其憑借擴展性良好、硬體平台通用、海量數據可充分共享等優點，仍然得到很多客戶的青睞。FCSAN在行業用戶、封閉存儲系統中應用較多，比如縣級或地級市高清監控項目，大數據量的並發讀寫對千兆網路交換提出了較大的挑戰，但應用FCSAN構建相對獨立的存儲子系統，可以有效解決上述問題。

面對視頻監控系統大文件、隨機讀寫的特點，平台SAN架構系統不同存儲單元之間的數據共享冗餘方面還有待提高；從高性能伺服器轉發視頻數據到存儲空間的策略，從系統架構而言也增加了隱患故障點、ISCSI帶寬瓶頸導致無法充分利用硬體數據並發性能、接入前端數據較少。上述問題催生了平台NVR架構解決方案。

該方案在系統架構上省去了存儲伺服器，消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲系統的寫入和檢索速度；同時也徹底消除了傳統文件系統由於供電和網路的不穩定帶來的文件系統損壞等問題。

平台NVR中存儲的數據可同時供多個客戶端隨時查詢，點播，當用戶需要查看多個已保存的視頻監控數據時，可通過授權的視頻監控客戶端直接查詢並點播相應位置的視頻監控數據進行歷史圖像的查看。由於數據管理伺服器具有監控系統所有監控點的錄像文件的索引，因此通過平台CMS授權，視頻監控客戶端可以查詢並點播整個監控系統上所有監控點的數據，這個過程對用戶而言也是透明的。

（3）基於雲技術的存儲方案

當前，安防行業可謂「雲」山「物」罩。隨著視頻監控的高清化和網路化，存儲和管理的視頻數據量已有海量之勢，雲存儲技術是突破IP高清監控存儲瓶頸的重要手段。雲存儲作為一種服務，在未來安防監控行業有著客觀的應用前景。

與傳統存儲設備不同，雲存儲不僅是一個硬體，而是一個由網路設備、存儲設備、伺服器、軟體、接入網路、用戶訪問介面以及客戶端程序等多個部分構成的復雜系統。該系統以存儲設備為核心，通過應用層軟體對外提供數據存儲和業務服務。

一般分為存儲層、基礎管理層、應用介面層以及訪問層。存儲層是雲存儲系統的基礎，由存儲設備（滿足FC協議、iSCSI協議、NAS協議等）構成。基礎管理層是雲存儲系統的核心，其擔負著存儲設備間協同工作，數據加密，分發以及容災備份等工作。應用介面層是系統中根據用戶需求來開發的部分，根據不同的業務類型，可以開發出不同的應用服務介面。訪問層指授權用戶通過應用介面來登錄、享受雲服務。其主要優勢在於：硬體冗餘、節能環保、系統升級不會影響存儲服務、海量並行擴容、強大的負載均衡功能、統一管理、統一向外提供服務，管理效率高，雲存儲系統從系統架構、文件結構、高速緩存等方面入手，針對監控應用進行了優化設計。數據傳輸可採用流方式，底層採用突破傳統文件系統限制的流媒體數據結構，大幅提高了系統性能。

高清監控存儲是一種大碼流多並發寫為主的存儲應用，對性能、並發性和穩定性等方面有很高的要求。該存儲解決方案採用獨特的大緩存順序化演算法，把多路隨機並發訪問變為順序訪問，解決了硬碟磁頭因頻繁尋道而導致的性能迅速下降和硬碟壽命縮短的問題。

針對系統中會產生PB級海量監控數據，存儲設備的數量達數十台上百台，因此管理方式的科學高效顯得十分重要。雲存儲可提供基於集群管理技術的多設備集中管理工具，具有設備集中監控、集群管理、系統軟硬體運行狀態的監控、主動報警，圖像化系統檢測等功能。在海量視頻存儲檢索應用中，檢索性能尤為重要。傳統文件系統中，文件檢索採用的是「目錄-》子目錄-》文件-》定位」的檢索步驟，在海量數據的高清視頻監控，目錄和文件數量十分可觀，這種檢索模式的效率就會大打折扣。採用序號文件定位可以有效解決該問題。

雲存儲可以提供非常高的的系統冗餘和安全性。當在線存儲系統出現故障後，熱備機可以立即接替服務，當故障恢復時，服務和數據回遷；若故障機數據需要調用，可以將故障機的磁碟插入到冷備機中，實現所有數據的立即可用。

對於高清監控系統，隨著監控前端的增加和存儲時間的延長，擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展櫃擴展模式和性能容量同步線性擴展的堆疊擴展模式。

雲存儲系統除上述優點之外，在平台對接整合、業務流程梳理、視頻數據智能分析深度挖掘及成本方面都將面臨挑戰。承建大型系統、構建雲存儲的商業模式也亟待創新。受限於寬頻網路、web2.0技術、應用存儲技術、文件系統、P2P、數據壓縮、CDN技術、虛擬化技術等的發展，未來雲存儲還有很長的路要走。

以上是小編為大家分享的關於大數據時代下的三種存儲架構的相關內容，更多信息可以關注環球青藤分享更多干貨