lun拷貝異構存儲
Ⅰ 什麼叫虛擬存儲器怎麼樣確定虛擬存儲器的容量
隨著圍繞數字化、網路化開展的各種多媒體處理業務的不斷增加,存儲系統網路平台已經成為一個核心平台,同時各種應用對平台的要求也越來越高,不光是在存儲容量上,還包括數據訪問性能、數據傳輸性能、數據管理能力、存儲擴展能力等等多個方面。可以說,存儲網路平台的綜合性能的優劣,將直接影響到整個系統的正常運行。
為達到這些要求,一種新興的技術正越來越受到大家的關注,即虛擬存儲技術。
其實虛擬化技術並不是一件很新的技術,它的發展,應該說是隨著計算機技術的發展而發展起來的,最早是始於70年代。由於當時的存儲容量,特別是內存容量成本非常高、容量也很小,對於大型應用程序或多程序應用就受到了很大的限制。為了克服這樣的限制,人們就採用了虛擬存儲的技術,最典型的應用就是虛擬內存技術。隨著計算機技術以及相關信息處理技術的不斷發展,人們對存儲的需求越來越大。這樣的需求刺激了各種新技術的出現,比如磁碟性能越來越好、容量越來越大。但是在大量的大中型信息處理系統中,單個磁碟是不能滿足需要,這樣的情況下存儲虛擬化技術就發展起來了。在這個發展過程中也由幾個階段和幾種應用。首先是磁碟條帶集(RAID,可帶容錯)技術,將多個物理磁碟通過一定的邏輯關系集合起來,成為一個大容量的虛擬磁碟。而隨著數據量不斷增加和對數據可用性要求的不斷提高,又一種新的存儲技術應運而生,那就是存儲區域網路(SAN)技術。SAN的廣域化則旨在將存儲設備實現成為一種公用設施,任何人員、任何主機都可以隨時隨地獲取各自想要的數據。目前討論比較多的包括iSCSI、FC Over IP 等技術,由於一些相關的標准還沒有最終確定,但是存儲設備公用化、存儲網路廣域化是一個不可逆轉的潮流。
一、虛擬存儲的概念
所謂虛擬存儲,就是把多個存儲介質模塊(如硬碟、RAID)通過一定的手段集中管理起來,所有的存儲模塊在一個存儲池(Storage Pool)中得到統一管理,從主機和工作站的角度,看到就不是多個硬碟,而是一個分區或者卷,就好象是一個超大容量(如1T以上)的硬碟。這種可以將多種、多個存儲設備統一管理起來,為使用者提供大容量、高數據傳輸性能的存儲系統,就稱之為虛擬存儲。
二、虛擬存儲的分類
目前虛擬存儲的發展尚無統一標准,從虛擬化存儲的拓撲結構來講主要有兩種方式:即對稱式與非對稱式。對稱式虛擬存儲技術是指虛擬存儲控制設備與存儲軟體系統、交換設備集成為一個整體,內嵌在網路數據傳輸路徑中;非對稱式虛擬存儲技術是指虛擬存儲控制設備獨立於數據傳輸路徑之外。從虛擬化存儲的實現原理來講也有兩種方式;即數據塊虛擬與虛擬文件系統。具體如下:
1.對稱式虛擬存儲
圖1對稱式虛擬存儲解決方案的示意圖
在圖1所示的對稱式虛擬存儲結構圖中,存儲控制設備 High Speed Traffic Directors(HSTD)與存儲池子系統Storage Pool集成在一起,組成SAN Appliance。可以看到在該方案中存儲控制設備HSTD在主機與存儲池數據交換的過程中起到核心作用。該方案的虛擬存儲過程是這樣的:由HSTD內嵌的存儲管理系統將存儲池中的物理硬碟虛擬為邏輯存儲單元(LUN),並進行埠映射(指定某一個LUN能被哪些埠所見),主機端將各可見的存儲單元映射為操作系統可識別的盤符。當主機向SAN Appliance寫入數據時,用戶只需要將數據寫入位置指定為自己映射的盤符(LUN),數據經過HSTD的高速並行埠,先寫入高速緩存,HSTD中的存儲管理系統自動完成目標位置由LUN到物理硬碟的轉換,在此過程中用戶見到的只是虛擬邏輯單元,而不關心每個LUN的具體物理組織結構。該方案具有以下主要特點:
(1)採用大容量高速緩存,顯著提高數據傳輸速度。
緩存是存儲系統中廣泛採用的位於主機與存儲設備之間的I/O路徑上的中間介質。當主機從存儲設備中讀取數據時,會把與當前數據存儲位置相連的數據讀到緩存中,並把多次調用的數據保留在緩存中;當主機讀數據時,在很大幾率上能夠從緩存中找到所需要的數據。直接從緩存上讀出。而從緩存讀取數據時的速度只受到電信號傳播速度的影響(等於光速),因此大大高於從硬碟讀數據時碟片機械轉動的速度。當主機向存儲設備寫入數據時,先把數據寫入緩存中,待主機端寫入動作停止,再從緩存中將數據寫入硬碟,同樣高於直接寫入硬碟的速度
(2)多埠並行技術,消除了I/O瓶頸。
傳統的FC存儲設備中控制埠與邏輯盤之間是固定關系,訪問一塊硬碟只能通過控制它的控制器埠。在對稱式虛擬存儲設備中,SAN Appliance的存儲埠與LUN的關系是虛擬的,也就是說多台主機可以通過多個存儲埠(最多8個)並發訪問同一個LUN;在光纖通道100MB/帶寬的大前提下,並行工作的埠數量越多,數據帶寬就越高。
(3)邏輯存儲單元提供了高速的磁碟訪問速度。
在視頻應用環境中,應用程序讀寫數據時以固定大小的數據塊為單位(從512byte到1MB之間)。而存儲系統為了保證應用程序的帶寬需求,往往設計為傳輸512byte以上的數據塊大小時才能達到其最佳I/O性能。在傳統SAN結構中,當容量需求增大時,唯一的解決辦法是多塊磁碟(物理或邏輯的)綁定為帶區集,實現大容量LUN。在對稱式虛擬存儲系統中,為主機提供真正的超大容量、高性能LUN,而不是用帶區集方式實現的性能較差的邏輯卷。與帶區集相比,Power LUN具有很多優勢,如大塊的I/O block會真正被存儲系統所接受,有效提高數據傳輸速度;並且由於沒有帶區集的處理過程,主機CPU可以解除很大負擔,提高了主機的性能。
(4)成對的HSTD系統的容錯性能。
在對稱式虛擬存儲系統中,HSTD是數據I/O的必經之地,存儲池是數據存放地。由於存儲池中的數據具有容錯機制保障安全,因此用戶自然會想到HSTD是否有容錯保護。象許多大型存儲系統一樣,在成熟的對稱式虛擬存儲系統中,HSTD是成對配製的,每對HSTD之間是通過SAN Appliance內嵌的網路管理服務實現緩存數據一致和相互通信的。
(5)在SAN Appliance之上可方便的連接交換設備,實現超大規模Fabric結構的SAN。
因為系統保持了標準的SAN結構,為系統的擴展和互連提供了技術保障,所以在SAN Appliance之上可方便的連接交換設備,實現超大規模Fabric結構的SAN。
2.非對稱式虛擬存儲系統
圖2非對稱式虛擬存儲系統示意圖
在圖2所示的非對稱式虛擬存儲系統結構圖中,網路中的每一台主機和虛擬存儲管理設備均連接到磁碟陣列,其中主機的數據路徑通過FC交換設備到達磁碟陣列;虛擬存儲設備對網路上連接的磁碟陣列進行虛擬化操作,將各存儲陣列中的LUN虛擬為邏輯帶區集(Strip),並對網路上的每一台主機指定對每一個Strip的訪問許可權(可寫、可讀、禁止訪問)。當主機要訪問某個Strip時,首先要訪問虛擬存儲設備,讀取Strip信息和訪問許可權,然後再通過交換設備訪問實際的Strip中的數據。在此過程中,主機只會識別到邏輯的Strip,而不會直接識別到物理硬碟。這種方案具有如下特點:
(1)將不同物理硬碟陣列中的容量進行邏輯組合,實現虛擬的帶區集,將多個陣列控制器埠綁定,在一定程度上提高了系統的可用帶寬。
(2)在交換機埠數量足夠的情況下,可在一個網路內安裝兩台虛擬存儲設備,實現Strip信息和訪問許可權的冗餘。
但是該方案存在如下一些不足:
(1)該方案本質上是帶區集——磁碟陣列結構,一旦帶區集中的某個磁碟陣列控制器損壞,或者這個陣列到交換機路徑上的銅纜、GBIC損壞,都會導致一個虛擬的LUN離線,而帶區集本身是沒有容錯能力的,一個LUN的損壞就意味著整個Strip裡面數據的丟失。
(2)由於該方案的帶寬提高是通過陣列埠綁定來實現的,而普通光纖通道陣列控制器的有效帶寬僅在40MB/S左右,因此要達到幾百兆的帶寬就意味著要調用十幾台陣列,這樣就會佔用幾十個交換機埠,在只有一兩台交換機的中小型網路中,這是不可實現的。
(3)由於各種品牌、型號的磁碟陣列其性能不完全相同,如果出於虛擬化的目的將不同品牌、型號的陣列進行綁定,會帶來一個問題:即數據寫入或讀出時各並發數據流的速度不同,這就意味著原來的數據包順序在傳輸完畢後被打亂,系統需要佔用時間和資源去重新進行數據包排序整理,這會嚴重影響系統性能。
3.數據塊虛擬與虛擬文件系統
以上從拓撲結構角度分析了對稱式與非對稱式虛擬存儲方案的異同,實際從虛擬化存儲的實現原理來講也有兩種方式;即數據塊虛擬與虛擬文件系統。
數據塊虛擬存儲方案著重解決數據傳輸過程中的沖突和延時問題。在多交換機組成的大型Fabric結構的SAN中,由於多台主機通過多個交換機埠訪問存儲設備,延時和數據塊沖突問題非常嚴重。數據塊虛擬存儲方案利用虛擬的多埠並行技術,為多台客戶機提供了極高的帶寬,最大限度上減少了延時與沖突的發生,在實際應用中,數據塊虛擬存儲方案以對稱式拓撲結構為表現形式。
虛擬文件系統存儲方案著重解決大規模網路中文件共享的安全機制問題。通過對不同的站點指定不同的訪問許可權,保證網路文件的安全。在實際應用中,虛擬文件系統存儲方案以非對稱式拓撲結構為表現形式。
三、虛擬存儲技術的實現方式
目前實現虛擬存儲主要分為如下幾種:
1.在伺服器端的虛擬存儲
伺服器廠商會在伺服器端實施虛擬存儲。同樣,軟體廠商也會在伺服器平台上實施虛擬存儲。這些虛擬存儲的實施都是通過伺服器端將鏡像映射到外圍存儲設備上,除了分配數據外,對外圍存儲設備沒有任何控制。伺服器端一般是通過邏輯卷管理來實現虛擬存儲技術。邏輯卷管理為從物理存儲映射到邏輯上的卷提供了一個虛擬層。伺服器只需要處理邏輯卷,而不用管理存儲設備的物理參數。
用這種構建虛擬存儲系統,伺服器端是一性能瓶頸,因此在多媒體處理領域幾乎很少採用。
2.在存儲子系統端的虛擬存儲
另一種實施虛擬的地方是存儲設備本身。這種虛擬存儲一般是存儲廠商實施的,但是很可能使用廠商獨家的存儲產品。為避免這種不兼容性,廠商也許會和伺服器、軟體或網路廠商進行合作。當虛擬存儲實施在設備端時,邏輯(虛擬)環境和物理設備同在一個控制范圍中,這樣做的益處在於:虛擬磁碟高度有效地使用磁碟容量,虛擬磁帶高度有效地使用磁帶介質。
在存儲子系統端的虛擬存儲設備主要通過大規模的RAID子系統和多個I/O通道連接到伺服器上,智能控制器提供LUN訪問控制、緩存和其他如數據復制等的管理功能。這種方式的優點在於存儲設備管理員對設備有完全的控制權,而且通過與伺服器系統分開,可以將存儲的管理與多種伺服器操作系統隔離,並且可以很容易地調整硬體參數。
3.網路設備端實施虛擬存儲
網路廠商會在網路設備端實施虛擬存儲,通過網路將邏輯鏡像映射到外圍存儲設備,除了分配數據外,對外圍存儲設備沒有任何控制。在網路端實施虛擬存儲具有其合理性,因為它的實施既不是在伺服器端,也不是在存儲設備端,而是介於兩個環境之間,可能是最「開放」的虛擬實施環境,最有可能支持任何的伺服器、操作系統、應用和存儲設備。從技術上講,在網路端實施虛擬存儲的結構形式有以下兩種:即對稱式與非對稱式虛擬存儲。
從目前的虛擬存儲技術和產品的實際情況來看,基於主機和基於存儲的方法對於初期的採用者來說魅力最大,因為他們不需要任何附加硬體,但對於異構存儲系統和操作系統而言,系統的運行效果並不是很好。基於互聯設備的方法處於兩者之間,它迴避了一些安全性問題,存儲虛擬化的功能較強,能減輕單一主機的負載,同時可獲得很好的可擴充性。
不管採用何種虛擬存儲技術,其目的都使為了提供一個高性能、安全、穩定、可靠、可擴展的存儲網路平台,滿足節目製作網路系統的苛刻要求。根據綜合的性能價格比來說,一般情況下,在基於主機和基於存儲設備的虛擬存儲技術能夠保證系統的數據處理能力要求時,優先考慮,因為這兩種虛擬存儲技術構架方便、管理簡單、維護容易、產品相對成熟、性能價格比高。在單純的基於存儲設備的虛擬存儲技術無法保證存儲系統性能要求的情況下,我們可以考慮採用基於互連設備的虛擬存儲技術。
四、虛擬存儲的特點
虛擬存儲具有如下特點:
(1)虛擬存儲提供了一個大容量存儲系統集中管理的手段,由網路中的一個環節(如伺服器)進行統一管理,避免了由於存儲設備擴充所帶來的管理方面的麻煩。例如,使用一般存儲系統,當增加新的存儲設備時,整個系統(包括網路中的諸多用戶設備)都需要重新進行繁瑣的配置工作,才可以使這個「新成員」加入到存儲系統之中。而使用虛擬存儲技術,增加新的存儲設備時,只需要網路管理員對存儲系統進行較為簡單的系統配置更改,客戶端無需任何操作,感覺上只是存儲系統的容量增大了。
(2)虛擬存儲對於視頻網路系統最有價值的特點是:可以大大提高存儲系統整體訪問帶寬。存儲系統是由多個存儲模塊組成,而虛擬存儲系統可以很好地進行負載平衡,把每一次數據訪問所需的帶寬合理地分配到各個存儲模塊上,這樣系統的整體訪問帶寬就增大了。例如,一個存儲系統中有4個存儲模塊,每一個存儲模塊的訪問帶寬為50MBps,則這個存儲系統的總訪問帶寬就可以接近各存儲模塊帶寬之和,即200MBps。
(3)虛擬存儲技術為存儲資源管理提供了更好的靈活性,可以將不同類型的存儲設備集中管理使用,保障了用戶以往購買的存儲設備的投資。
(4)虛擬存儲技術可以通過管理軟體,為網路系統提供一些其它有用功能,如無需伺服器的遠程鏡像、數據快照(Snapshot)等。
五、虛擬存儲的應用 由於虛擬存儲具有上述特點,虛擬存儲技術正逐步成為共享存儲管理的主流技術,其應用具體如下:
1.數據鏡像
數據鏡像就是通過雙向同步或單向同步模式在不同的存儲設備間建立數據復本。一個合理的解決方案應該能在不依靠設備生產商及操作系統支持的情況下,提供在同一存儲陣列及不同存儲陣列間製作鏡像的方法。
2.數據復制
通過IP地址實現的遠距離數據遷移(通常為非同步傳輸)對於不同規模的企業來說,都是一種極為重要的數據災難恢復工具。好的解決方案不應當依賴特殊的網路設備支持,同時,也不應當依賴主機,以節省企業的管理費用。
3.磁帶備份增強設備
過去的幾年,在磁帶備份技術上鮮有新發展。盡管如此,一個網路存儲設備平台亦應能在磁帶和磁碟間搭建橋路,以高速、平穩、安全地完成備份工作。
4.實時復本
出於測試、拓展及匯總或一些別的原因,企業經常需要製作數據復本。
5.實時數據恢復
利用磁帶來還原數據是數據恢復工作的主要手段,但常常難以成功。數據管理工作其中一個重要的發展新方向是將近期內的備分數據(可以是數星期前的歷史數據)轉移到磁碟介質,而非磁帶介質。用磁碟恢復數據就象閃電般迅速(所有文件能在60秒內恢復),並遠比用磁帶恢復數據安全可靠。同時,整卷(Volume)數據都能被恢復。
6.應用整合
存儲管理發展的又一新方向是,將服務貼近應用。沒有一個信息技術領域的管理人員會單純出於對存儲設備的興趣而去購買它。存儲設備是用來服務於應用的,比如資料庫,通訊系統等等。通過將存儲設備和關鍵的企業應用行為相整合,能夠獲取更大的價值,同時,大大減少操作過程中遇到的難題。
7.虛擬存儲在數字視頻網路中的應用
現在我著重介紹虛擬存儲在數字視頻網路中的應用。
數字視頻網路對廣播電視行業來說已經不是一個陌生的概念了,由於它在廣播電視技術數字化進程中起到了重要的作用,國內各級電視台對其給予極大的關注,並且開始構造和應用這類系統,在數字視頻網的概念中完全打破了以往一台錄象機、一個編輯系統、一套播出系統的傳統結構,而代之以上載工作站、編輯製作工作站、播出工作站及節目存儲工作站的流程,便於操作和管理。節目上載、節目編輯、節目播出在不同功能的工作站上完成,可成倍提高工作效率。同時,由於採用非線性編輯系統,除了採集時的壓縮損失外。信號在製作、播出過程中不再有任何損失,節目的技術質量將大大提高。
在現有的視頻網路系統中,雖然電腦的主頻、網路的傳輸速率以及交換設備的性能,已經可以滿足絕大多數應用的要求,但其中存儲設備的訪問帶寬問題成為了系統的一個主要性能瓶頸。視頻編輯、製作具有數據量存儲大、碼流高、實時性強、安全性重要等特點。這就要求應用於視頻領域的存儲技術和產品必須具有足夠的帶寬並且穩定性要好。
在單機應用時,為了保證一台編輯站點有足夠的數據帶寬,SCSI技術、本地獨立磁碟冗餘陣例RAID(Rendant Array of Independent Disks)技術(包括軟體和硬體)被廣泛應用,它通過把若干個SCSI硬碟加上控制器組成一個大容量,快速響應,高可靠性的存儲子系統,從用戶看可作為一個邏輯盤或者虛擬盤,從而大大提高了數據傳輸率和存儲容量,同時利用糾錯技術提高了存儲的可靠性,並可滿足帶寬要求。
隨著節目製作需求的發展,要求2—3台站點共享編輯數據。這時可利用SCSI網路技術實現這一要求。幾台編輯站點均配置高性能的SCSI適配器,連接至共享的SCSI磁碟陣列,既可以實現幾個站點共享數據,又可以保證每一台單機的工作帶寬。
光纖通道技術的成熟應用對視頻網路的發展具有里程碑的意義,從此主機與共享存儲設備之間的連接距離限制從幾米、十幾米,擴展到幾百米、幾千米,再配合光纖通道交換設備,網路規模得到幾倍、十幾倍的擴充。這時候的FC(Fibre Channel光纖通道)磁碟陣列——RAID容錯技術、相對SCSI的高帶寬、大容量,成為視頻網路中的核心存儲設備。
隨著電視台規模的發展,全台級大規模視頻網路的應用被提出。在這種需求下,就必須將更先進的存儲技術與產品引入視頻領域。存儲區域網(SAN)的發展目前正處於全速上升期,各種概念層出不窮。其中具有劃時代意義的是虛擬存儲概念的提出。相對於傳統的交換機加RAID陣列,主機通過硬體層直接訪問陣列中的硬碟的SAN結構,虛擬存儲的定位是將數據存儲功能從實際的、物理的數據存取過程中抽象出來,使普通用戶在訪問數據時不必關心具體的存儲設備的配置參數、物理位置及容量,從而簡化用戶和系統管理人員的工作難度。
在設計一個視頻網路系統的時候,對存儲系統的選用,主要考慮如下幾個因素:(1)總體帶寬性能;(2)可管理性;(3)安全性;(4)可擴展性;(5)系統成本。
當然,這些因素之間有時是相互制約的,特別是系統成本與性能和安全性的關系。如何在這些因素之間尋求合理的、實用的、經濟的配合,是一個需要解決的課題。虛擬存儲技術的出現,為我們在構建視頻網路系統時提供了一個切實可行的高性能價格比的解決方案。
從拓撲結構來講,對稱式的方案具有更高的帶寬性能,更好的安全特性,因此比較適合大規模視頻網路應用。非對稱式方案由於採用了虛擬文件原理,因此更適合普通區域網(如辦公網)的應用。
Ⅱ SAN環境中怎麼在LUN之間Copy遷移數據存儲陣列是EMC Clariion
EMC SAN Copy能在EMC中端存儲VNX/CLARiiON之間遷移數據,也可以在VNX/CLARiiON、EMC Symmetrix和第三方非EMC的存儲之間實現數據遷移和保護。
使用SAN Copy可以選擇完整拷貝(Full)或者增量拷貝(Incremental)。增量復制僅復制上次復制完成後發生改變的數據,這極大地減少了數據復制時間並且最大限度地減小對主機應用程序的中斷,從而實現在線遷移。
詳細方法參考:https://community.emc.com/videos/4028
Ⅲ 網路傳輸大型文件怎麼傳跪求方法~~~~~
你把你那文件在哪下的告訴他啊,讓他自己去下
還有好不容易查到的資料,看看對你有沒有幫助,
隨著圍繞數字化、網路化開展的各種多媒體處理業務的不斷增加,存儲系統網路平台已經成為一個核心平台,同時各種應用對平台的要求也越來越高,不光是在存儲容量上,還包括數據訪問性能、數據傳輸性能、數據管理能力、存儲擴展能力等等多個方面。可以說,存儲網路平台的綜合性能的優劣,將直接影響到整個系統的正常運行。
為達到這些要求,一種新興的技術正越來越受到大家的關注,即虛擬存儲技術。
其實虛擬化技術並不是一件很新的技術,它的發展,應該說是隨著計算機技術的發展而發展起來的,最早是始於70年代。由於當時的存儲容量,特別是內存容量成本非常高、容量也很小,對於大型應用程序或多程序應用就受到了很大的限制。為了克服這樣的限制,人們就採用了虛擬存儲的技術,最典型的應用就是虛擬內存技術。隨著計算機技術以及相關信息處理技術的不斷發展,人們對存儲的需求越來越大。這樣的需求刺激了各種新技術的出現,比如磁碟性能越來越好、容量越來越大。但是在大量的大中型信息處理系統中,單個磁碟是不能滿足需要,這樣的情況下存儲虛擬化技術就發展起來了。在這個發展過程中也由幾個階段和幾種應用。首先是磁碟條帶集(RAID,可帶容錯)技術,將多個物理磁碟通過一定的邏輯關系集合起來,成為一個大容量的虛擬磁碟。而隨著數據量不斷增加和對數據可用性要求的不斷提高,又一種新的存儲技術應運而生,那就是存儲區域網路(SAN)技術。SAN的廣域化則旨在將存儲設備實現成為一種公用設施,任何人員、任何主機都可以隨時隨地獲取各自想要的數據。目前討論比較多的包括iSCSI、FC Over IP 等技術,由於一些相關的標准還沒有最終確定,但是存儲設備公用化、存儲網路廣域化是一個不可逆轉的潮流。
一、虛擬存儲的概念
所謂虛擬存儲,就是把多個存儲介質模塊(如硬碟、RAID)通過一定的手段集中管理起來,所有的存儲模塊在一個存儲池(Storage Pool)中得到統一管理,從主機和工作站的角度,看到就不是多個硬碟,而是一個分區或者卷,就好象是一個超大容量(如1T以上)的硬碟。這種可以將多種、多個存儲設備統一管理起來,為使用者提供大容量、高數據傳輸性能的存儲系統,就稱之為虛擬存儲。
二、虛擬存儲的分類
目前虛擬存儲的發展尚無統一標准,從虛擬化存儲的拓撲結構來講主要有兩種方式:即對稱式與非對稱式。對稱式虛擬存儲技術是指虛擬存儲控制設備與存儲軟體系統、交換設備集成為一個整體,內嵌在網路數據傳輸路徑中;非對稱式虛擬存儲技術是指虛擬存儲控制設備獨立於數據傳輸路徑之外。從虛擬化存儲的實現原理來講也有兩種方式;即數據塊虛擬與虛擬文件系統。具體如下:
1.對稱式虛擬存儲
圖1對稱式虛擬存儲解決方案的示意圖
在圖1所示的對稱式虛擬存儲結構圖中,存儲控制設備 High Speed Traffic Directors(HSTD)與存儲池子系統Storage Pool集成在一起,組成SAN Appliance。可以看到在該方案中存儲控制設備HSTD在主機與存儲池數據交換的過程中起到核心作用。該方案的虛擬存儲過程是這樣的:由HSTD內嵌的存儲管理系統將存儲池中的物理硬碟虛擬為邏輯存儲單元(LUN),並進行埠映射(指定某一個LUN能被哪些埠所見),主機端將各可見的存儲單元映射為操作系統可識別的盤符。當主機向SAN Appliance寫入數據時,用戶只需要將數據寫入位置指定為自己映射的盤符(LUN),數據經過HSTD的高速並行埠,先寫入高速緩存,HSTD中的存儲管理系統自動完成目標位置由LUN到物理硬碟的轉換,在此過程中用戶見到的只是虛擬邏輯單元,而不關心每個LUN的具體物理組織結構。該方案具有以下主要特點:
(1)採用大容量高速緩存,顯著提高數據傳輸速度。
緩存是存儲系統中廣泛採用的位於主機與存儲設備之間的I/O路徑上的中間介質。當主機從存儲設備中讀取數據時,會把與當前數據存儲位置相連的數據讀到緩存中,並把多次調用的數據保留在緩存中;當主機讀數據時,在很大幾率上能夠從緩存中找到所需要的數據。直接從緩存上讀出。而從緩存讀取數據時的速度只受到電信號傳播速度的影響(等於光速),因此大大高於從硬碟讀數據時碟片機械轉動的速度。當主機向存儲設備寫入數據時,先把數據寫入緩存中,待主機端寫入動作停止,再從緩存中將數據寫入硬碟,同樣高於直接寫入硬碟的速度
(2)多埠並行技術,消除了I/O瓶頸。
傳統的FC存儲設備中控制埠與邏輯盤之間是固定關系,訪問一塊硬碟只能通過控制它的控制器埠。在對稱式虛擬存儲設備中,SAN Appliance的存儲埠與LUN的關系是虛擬的,也就是說多台主機可以通過多個存儲埠(最多8個)並發訪問同一個LUN;在光纖通道100MB/ 帶寬的大前提下,並行工作的埠數量越多,數據帶寬就越高。
(3)邏輯存儲單元提供了高速的磁碟訪問速度。
在視頻應用環境中,應用程序讀寫數據時以固定大小的數據塊為單位(從512byte到1MB之間)。而存儲系統為了保證應用程序的帶寬需求,往往設計為傳輸512byte以上的數據塊大小時才能達到其最佳I/O性能。在傳統SAN結構中,當容量需求增大時,唯一的解決辦法是多塊磁碟(物理或邏輯的)綁定為帶區集,實現大容量LUN。在對稱式虛擬存儲系統中,為主機提供真正的超大容量、高性能LUN,而不是用帶區集方式實現的性能較差的邏輯卷。與帶區集相比,Power LUN具有很多優勢,如大塊的I/O block會真正被存儲系統所接受,有效提高數據傳輸速度;並且由於沒有帶區集的處理過程,主機CPU可以解除很大負擔,提高了主機的性能。
(4)成對的HSTD系統的容錯性能。
在對稱式虛擬存儲系統中,HSTD是數據I/O的必經之地,存儲池是數據存放地。由於存儲池中的數據具有容錯機制保障安全,因此用戶自然會想到HSTD是否有容錯保護。象許多大型存儲系統一樣,在成熟的對稱式虛擬存儲系統中,HSTD是成對配製的,每對HSTD之間是通過SAN Appliance內嵌的網路管理服務實現緩存數據一致和相互通信的。
(5)在SAN Appliance之上可方便的連接交換設備,實現超大規模Fabric結構的SAN。
因為系統保持了標準的SAN結構,為系統的擴展和互連提供了技術保障,所以在SAN Appliance之上可方便的連接交換設備,實現超大規模Fabric結構的SAN。
2.非對稱式虛擬存儲系統
圖2非對稱式虛擬存儲系統示意圖
在圖2所示的非對稱式虛擬存儲系統結構圖中,網路中的每一台主機和虛擬存儲管理設備均連接到磁碟陣列,其中主機的數據路徑通過FC交換設備到達磁碟陣列;虛擬存儲設備對網路上連接的磁碟陣列進行虛擬化操作,將各存儲陣列中的LUN虛擬為邏輯帶區集(Strip),並對網路上的每一台主機指定對每一個 Strip的訪問許可權(可寫、可讀、禁止訪問)。當主機要訪問某個Strip時,首先要訪問虛擬存儲設備,讀取Strip信息和訪問許可權,然後再通過交換設備訪問實際的Strip中的數據。在此過程中,主機只會識別到邏輯的Strip,而不會直接識別到物理硬碟。這種方案具有如下特點:
(1)將不同物理硬碟陣列中的容量進行邏輯組合,實現虛擬的帶區集,將多個陣列控制器埠綁定,在一定程度上提高了系統的可用帶寬。
(2)在交換機埠數量足夠的情況下,可在一個網路內安裝兩台虛擬存儲設備,實現Strip信息和訪問許可權的冗餘。
但是該方案存在如下一些不足:
(1)該方案本質上是帶區集——磁碟陣列結構,一旦帶區集中的某個磁碟陣列控制器損壞,或者這個陣列到交換機路徑上的銅纜、GBIC損壞,都會導致一個虛擬的LUN離線,而帶區集本身是沒有容錯能力的,一個LUN的損壞就意味著整個Strip裡面數據的丟失。
(2)由於該方案的帶寬提高是通過陣列埠綁定來實現的,而普通光纖通道陣列控制器的有效帶寬僅在40MB/S左右,因此要達到幾百兆的帶寬就意味著要調用十幾台陣列,這樣就會佔用幾十個交換機埠,在只有一兩台交換機的中小型網路中,這是不可實現的。
(3)由於各種品牌、型號的磁碟陣列其性能不完全相同,如果出於虛擬化的目的將不同品牌、型號的陣列進行綁定,會帶來一個問題:即數據寫入或讀出時各並發數據流的速度不同,這就意味著原來的數據包順序在傳輸完畢後被打亂,系統需要佔用時間和資源去重新進行數據包排序整理,這會嚴重影響系統性能。
3.數據塊虛擬與虛擬文件系統
以上從拓撲結構角度分析了對稱式與非對稱式虛擬存儲方案的異同,實際從虛擬化存儲的實現原理來講也有兩種方式;即數據塊虛擬與虛擬文件系統。
數據塊虛擬存儲方案著重解決數據傳輸過程中的沖突和延時問題。在多交換機組成的大型Fabric結構的SAN中,由於多台主機通過多個交換機埠訪問存儲設備,延時和數據塊沖突問題非常嚴重。數據塊虛擬存儲方案利用虛擬的多埠並行技術,為多台客戶機提供了極高的帶寬,最大限度上減少了延時與沖突的發生,在實際應用中,數據塊虛擬存儲方案以對稱式拓撲結構為表現形式。
虛擬文件系統存儲方案著重解決大規模網路中文件共享的安全機制問題。通過對不同的站點指定不同的訪問許可權,保證網路文件的安全。在實際應用中,虛擬文件系統存儲方案以非對稱式拓撲結構為表現形式。
三、虛擬存儲技術的實現方式
目前實現虛擬存儲主要分為如下幾種:
1.在伺服器端的虛擬存儲
伺服器廠商會在伺服器端實施虛擬存儲。同樣,軟體廠商也會在伺服器平台上實施虛擬存儲。這些虛擬存儲的實施都是通過伺服器端將鏡像映射到外圍存儲設備上,除了分配數據外,對外圍存儲設備沒有任何控制。伺服器端一般是通過邏輯卷管理來實現虛擬存儲技術。邏輯卷管理為從物理存儲映射到邏輯上的卷提供了一個虛擬層。伺服器只需要處理邏輯卷,而不用管理存儲設備的物理參數。
用這種構建虛擬存儲系統,伺服器端是一性能瓶頸,因此在多媒體處理領域幾乎很少採用。
2.在存儲子系統端的虛擬存儲
另一種實施虛擬的地方是存儲設備本身。這種虛擬存儲一般是存儲廠商實施的,但是很可能使用廠商獨家的存儲產品。為避免這種不兼容性,廠商也許會和伺服器、軟體或網路廠商進行合作。當虛擬存儲實施在設備端時,邏輯(虛擬)環境和物理設備同在一個控制范圍中,這樣做的益處在於:虛擬磁碟高度有效地使用磁碟容量,虛擬磁帶高度有效地使用磁帶介質。
在存儲子系統端的虛擬存儲設備主要通過大規模的RAID子系統和多個I/O通道連接到伺服器上,智能控制器提供LUN訪問控制、緩存和其他如數據復制等的管理功能。這種方式的優點在於存儲設備管理員對設備有完全的控制權,而且通過與伺服器系統分開,可以將存儲的管理與多種伺服器操作系統隔離,並且可以很容易地調整硬體參數。
3.網路設備端實施虛擬存儲
網路廠商會在網路設備端實施虛擬存儲,通過網路將邏輯鏡像映射到外圍存儲設備,除了分配數據外,對外圍存儲設備沒有任何控制。在網路端實施虛擬存儲具有其合理性,因為它的實施既不是在伺服器端,也不是在存儲設備端,而是介於兩個環境之間,可能是最「開放」的虛擬實施環境,最有可能支持任何的伺服器、操作系統、應用和存儲設備。從技術上講,在網路端實施虛擬存儲的結構形式有以下兩種:即對稱式與非對稱式虛擬存儲。
從目前的虛擬存儲技術和產品的實際情況來看,基於主機和基於存儲的方法對於初期的採用者來說魅力最大,因為他們不需要任何附加硬體,但對於異構存儲系統和操作系統而言,系統的運行效果並不是很好。基於互聯設備的方法處於兩者之間,它迴避了一些安全性問題,存儲虛擬化的功能較強,能減輕單一主機的負載,同時可獲得很好的可擴充性。
不管採用何種虛擬存儲技術,其目的都使為了提供一個高性能、安全、穩定、可靠、可擴展的存儲網路平台,滿足節目製作網路系統的苛刻要求。根據綜合的性能價格比來說,一般情況下,在基於主機和基於存儲設備的虛擬存儲技術能夠保證系統的數據處理能力要求時,優先考慮,因為這兩種虛擬存儲技術構架方便、管理簡單、維護容易、產品相對成熟、性能價格比高。在單純的基於存儲設備的虛擬存儲技術無法保證存儲系統性能要求的情況下,我們可以考慮採用基於互連設備的虛擬存儲技術。
四、虛擬存儲的特點
虛擬存儲具有如下特點:
(1)虛擬存儲提供了一個大容量存儲系統集中管理的手段,由網路中的一個環節(如伺服器)進行統一管理,避免了由於存儲設備擴充所帶來的管理方面的麻煩。例如,使用一般存儲系統,當增加新的存儲設備時,整個系統(包括網路中的諸多用戶設備)都需要重新進行繁瑣的配置工作,才可以使這個「新成員」加入到存儲系統之中。而使用虛擬存儲技術,增加新的存儲設備時,只需要網路管理員對存儲系統進行較為簡單的系統配置更改,客戶端無需任何操作,感覺上只是存儲系統的容量增大了。
(2)虛擬存儲對於視頻網路系統最有價值的特點是:可以大大提高存儲系統整體訪問帶寬。存儲系統是由多個存儲模塊組成,而虛擬存儲系統可以很好地進行負載平衡,把每一次數據訪問所需的帶寬合理地分配到各個存儲模塊上,這樣系統的整體訪問帶寬就增大了。例如,一個存儲系統中有4個存儲模塊,每一個存儲模塊的訪問帶寬為50MBps,則這個存儲系統的總訪問帶寬就可以接近各存儲模塊帶寬之和,即200MBps。
(3)虛擬存儲技術為存儲資源管理提供了更好的靈活性,可以將不同類型的存儲設備集中管理使用,保障了用戶以往購買的存儲設備的投資。
(4)虛擬存儲技術可以通過管理軟體,為網路系統提供一些其它有用功能,如無需伺服器的遠程鏡像、數據快照(Snapshot)等。
五、虛擬存儲的應用 由於虛擬存儲具有上述特點,虛擬存儲技術正逐步成為共享存儲管理的主流技術,其應用具體如下:
1.數據鏡像
數據鏡像就是通過雙向同步或單向同步模式在不同的存儲設備間建立數據復本。一個合理的解決方案應該能在不依靠設備生產商及操作系統支持的情況下,提供在同一存儲陣列及不同存儲陣列間製作鏡像的方法。
2.數據復制
通過IP地址實現的遠距離數據遷移(通常為非同步傳輸)對於不同規模的企業來說,都是一種極為重要的數據災難恢復工具。好的解決方案不應當依賴特殊的網路設備支持,同時,也不應當依賴主機,以節省企業的管理費用。
3.磁帶備份增強設備
過去的幾年,在磁帶備份技術上鮮有新發展。盡管如此,一個網路存儲設備平台亦應能在磁帶和磁碟間搭建橋路,以高速、平穩、安全地完成備份工作。
4.實時復本
出於測試、拓展及匯總或一些別的原因,企業經常需要製作數據復本。
5.實時數據恢復
利用磁帶來還原數據是數據恢復工作的主要手段,但常常難以成功。數據管理工作其中一個重要的發展新方向是將近期內的備分數據(可以是數星期前的歷史數據)轉移到磁碟介質,而非磁帶介質。用磁碟恢復數據就象閃電般迅速(所有文件能在60秒內恢復),並遠比用磁帶恢復數據安全可靠。同時,整卷(Volume)數據都能被恢復。
6.應用整合
存儲管理發展的又一新方向是,將服務貼近應用。沒有一個信息技術領域的管理人員會單純出於對存儲設備的興趣而去購買它。存儲設備是用來服務於應用的,比如資料庫,通訊系統等等。通過將存儲設備和關鍵的企業應用行為相整合,能夠獲取更大的價值,同時,大大減少操作過程中遇到的難題。
7.虛擬存儲在數字視頻網路中的應用
現在我著重介紹虛擬存儲在數字視頻網路中的應用。
數字視頻網路對廣播電視行業來說已經不是一個陌生的概念了,由於它在廣播電視技術數字化進程中起到了重要的作用,國內各級電視台對其給予極大的關注,並且開始構造和應用這類系統,在數字視頻網的概念中完全打破了以往一台錄象機、一個編輯系統、一套播出系統的傳統結構,而代之以上載工作站、編輯製作工作站、播出工作站及節目存儲工作站的流程,便於操作和管理。節目上載、節目編輯、節目播出在不同功能的工作站上完成,可成倍提高工作效率。同時,由於採用非線性編輯系統,除了採集時的壓縮損失外。信號在製作、播出過程中不再有任何損失,節目的技術質量將大大提高。
在現有的視頻網路系統中,雖然電腦的主頻、網路的傳輸速率以及交換設備的性能,已經可以滿足絕大多數應用的要求,但其中存儲設備的訪問帶寬問題成為了系統的一個主要性能瓶頸。視頻編輯、製作具有數據量存儲大、碼流高、實時性強、安全性重要等特點。這就要求應用於視頻領域的存儲技術和產品必須具有足夠的帶寬並且穩定性要好。
在單機應用時,為了保證一台編輯站點有足夠的數據帶寬,SCSI技術、本地獨立磁碟冗餘陣例RAID(Rendant Array of Independent Disks)技術(包括軟體和硬體)被廣泛應用,它通過把若干個SCSI硬碟加上控制器組成一個大容量,快速響應,高可靠性的存儲子系統,從用戶看可作為一個邏輯盤或者虛擬盤,從而大大提高了數據傳輸率和存儲容量,同時利用糾錯技術提高了存儲的可靠性,並可滿足帶寬要求。
隨著節目製作需求的發展,要求2—3台站點共享編輯數據。這時可利用SCSI網路技術實現這一要求。幾台編輯站點均配置高性能的SCSI適配器,連接至共享的SCSI磁碟陣列,既可以實現幾個站點共享數據,又可以保證每一台單機的工作帶寬。
光纖通道技術的成熟應用對視頻網路的發展具有里程碑的意義,從此主機與共享存儲設備之間的連接距離限制從幾米、十幾米,擴展到幾百米、幾千米,再配合光纖通道交換設備,網路規模得到幾倍、十幾倍的擴充。這時候的FC(Fibre Channel光纖通道)磁碟陣列——RAID容錯技術、相對SCSI的高帶寬、大容量,成為視頻網路中的核心存儲設備。
隨著電視台規模的發展,全台級大規模視頻網路的應用被提出。在這種需求下,就必須將更先進的存儲技術與產品引入視頻領域。存儲區域網(SAN)的發展目前正處於全速上升期,各種概念層出不窮。其中具有劃時代意義的是虛擬存儲概念的提出。相對於傳統的交換機加RAID陣列,主機通過硬體層直接訪問陣列中的硬碟的SAN結構,虛擬存儲的定位是將數據存儲功能從實際的、物理的數據存取過程中抽象出來,使普通用戶在訪問數據時不必關心具體的存儲設備的配置參數、物理位置及容量,從而簡化用戶和系統管理人員的工作難度。
在設計一個視頻網路系統的時候,對存儲系統的選用,主要考慮如下幾個因素:(1)總體帶寬性能;(2)可管理性;(3)安全性;(4)可擴展性;(5)系統成本。
當然,這些因素之間有時是相互制約的,特別是系統成本與性能和安全性的關系。如何在這些因素之間尋求合理的、實用的、經濟的配合,是一個需要解決的課題。虛擬存儲技術的出現,為我們在構建視頻網路系統時提供了一個切實可行的高性能價格比的解決方案。
從拓撲結構來講,對稱式的方案具有更高的帶寬性能,更好的安全特性,因此比較適合大規模視頻網路應用。非對稱式方案由於採用了虛擬文件原理,因此更適合普通區域網(如辦公網)的應用。
TOP
Ⅳ 華為OceanStor S2600T的產品參數
型號 華為S2600T 硬體特性 存儲處理器 多核多處理器組 緩存 8GB/16GB 最大快閃記憶體(Smartcache) 1.2TB 控制器數 2 前端通道埠類型 8Gbps FC,1/10GE(iSCSI) 後端通道埠類型 6Gbps SAS2.0寬埠 板載I/O埠數 12x1Gbps前端iSCSI及4xSAS2.0後端SAS寬埠 擴展I/O模塊數 2(每個模塊提供4埠8Gbps FC/4埠GE iSCSI/2埠10GE iSCSI) 最大盤位數 276 支持的硬碟類型 SAS,NL SAS,SATA,SSD 軟體特性 RAID 支持 0,1,3,5,6,10,50 支持LUN數量 2048 支持快照數量 256 TurboMole 支持 其他功能軟體 HyperImage(快照),HyperCopy(LUN拷貝),HyperClone(分裂鏡像),HyperMirror(同步/非同步遠程復制),HyperThin(自動精簡配置),UltraPath(多路徑軟體),DiskGuard(主機端數據保護軟體),SmartCache(TurboBoost中的動態數據緩存技術) 操作系統兼容 AIX,HP-UX,Solaris,Linux,Windows,VMware等 物理特性電源交流:100V~127V或200V~240V 直流:-48V~-60V功耗2U控制框≤380W(含12 SAS盤) 4U硬碟框≤441W(滿配600GB SAS)尺寸2U控制框:86.1mm(H)*446mm(W)*582mm(D) 4U硬碟框:175mm(H)*446mm(W)*412mm(D)重量2U控制框≤22.98kg 4U硬碟框≤25.2kg
Ⅳ 關於IBM、HP等中低端存儲詳細綜合分析報告。
中產階級的品質可以反映出一個國家的發展前景,而中端存儲就是外部磁碟存儲市場的中產階級,不僅起著承上啟下的作用,也是整個市場狀況的晴雨表。
Gartner和IDC在3月初公布的2005年外部磁碟存儲市場調查報告都得出了全年收入增長達兩位數(11.2%和12.1%)的結論,其中中端存儲系統的貢獻最大:
在過去兩年中,按季度計算的收入增長率(與一年前同期相比),EMC的CLARiiON家族除2005年第三季度為20%,其餘11個季度都超過了30%!尤其在Symmetrix DMX-3推出之前,是CLARiiON的出色表現彌補了高端存儲系統相對低迷造成的損失;
惠普(HP)2005年第四季度和全年的收入增長均略低於市場平均水平,但EVA中端存儲陣列的「強勢」增長和高端XP系列的增長幫助其保住了第二的位置;
2005年全年IBM收入增長在25%左右,第四季度的增長率更接近50%,而中端存儲系統收入在4Gb/s的TotalStorage DS4800的推動下增長超過40%;
以中端存儲為主的戴爾(Dell)全年增長約40%,第四季度更接近60%;
Network Appliance(NetApp)第四季度和全年的收入增長均在23%左右,在FAS3000系列的推動下超越Sun排名第六……
可是,上述廠商能否代表整個市場呢?當然!根據Gartner的統計,加上HDS(日立存儲系統)和Sun,前七大廠商在2005年第四季度和全年所佔的市場份額分別為83.5%和81.6%,比一年前的75.8%和77.8%有所上升。由此可見,大型廠商對存儲行業的控制是相當……的強。
從上面的分析可以看到,把中端存儲系統的研究范圍圈定在EMC、惠普、IBM、HDS、戴爾、NetApp和Sun這前七大存儲系統廠商的相應產品中應該具有足夠的代表性。不過,我們下面只列舉了其中六家的產品,因為戴爾的中端存儲系統OEM自EMC。事實上,EMC CLARiiON家族的驕人業績便有戴爾一份功勞。
如何界定中端存儲系統?
在中端存儲系統的界定上,我們主要參考各廠商自己的定義:部分廠商對自己的產品有明確的分類——IBM和HP用「Mid-range」,Sun用「Midrange」,一目瞭然;其他廠商雖然沒有寫得這么直白,但每個系列產品的定位大家也都是很清楚的。不同廠商的中端存儲系統在配置上會有高下之分,不過並不足以形成明顯的分野。
嚴格說來,公認的中端存儲系統范圍要更小一些。舉例來說,HDS將TagmaStore NSC55定位在中端存儲系統中的高端,表面看來其最大72TB的容量確實比地道的中端系統TagmaStore AMS500還低,可實際上NSC55與高端的TagmaStore USP有著密切的血緣關系,稱之為入門級的高端存儲系統恐怕更為合適——HDS的兩個OEM客戶HP和Sun就是這么做的。同樣的規則也可以解釋IBM為何要把最大容量只有38.4TB的TotalStorage DS6800劃入企業級(Enterprise,相當於「高端」)存儲系統的行列。
NSC55與DS6800偏小的容量部分歸因於它們僅支持高性能的FC硬碟驅動器(最大300GB),而那些只能使用大容量的SATA/PATA硬碟驅動器(最大500GB)的存儲系統也不能算作中端——如最大容量58TB的StorageTek FlexLine FLX680。最大容量96.7TB的NearStore R200也屬於這類產品,NetApp將它與NearStore虛擬磁帶庫(VTL)一並列為近線存儲(Nearline Storage)是很合理的。
中端存儲系統應該在功能、性能、容量和價格之間取得較好的平衡,並能適應主存儲和近線存儲等多種不同的應用需求。高性能的FC硬碟驅動器傳統上一直是主存儲的首選,但SATA硬碟驅動器的經濟性對非實時交易的數據倉庫、目錄服務、軟體開發和災難恢復系統等性能「夠用就好」的應用具有越來越難以抗拒的吸引力,更不要說非常在意容量和單位價格的二級存儲了,因此同時支持FC和SATA硬碟驅動器已成為中端存儲系統必備的素質。
性能與經濟性不可偏廢
眾所周知,FC(確切地說是FC-AL)和SATA是兩種互不兼容的介面標准,對此最常見的解決方法是同時提供兩種內部介面不同而外部統一為FC連接的磁碟櫃,EMC CLARiiON CX家族和HDS Thunder 9500V系列就是這種做法的代表,我們不妨稱之為磁碟櫃層面的(FC和SATA)混用。
2004年4月,HP宣布聯合希捷(Seagate)推出FATA(Fibre Attached Technology Adapted,光纖連接技術改造)硬碟驅動器,並於當年7月在其EVA 3000/5000中提供了250GB FATA硬碟驅動器的選項。同月,FATA所代表的「低成本、高容量FC介面硬碟驅動器」獲得了FCIA(Fibre Channel Instry Association,光纖通道工業協會)的認可。
FATA硬碟驅動器相當於改用FC介面的SATA硬碟驅動器,從而能夠與傳統的FC硬碟驅動器使用同一種磁碟櫃,用戶可以根據實際需要隨意選擇高性能而昂貴(FC)或大容量且廉價(FATA)的硬碟驅動器,提高了靈活性和任務彈性。與SATA相比,FC介面電路較為復雜,加之產量較小,使得FATA硬碟驅動器的價格要高於SATA硬碟驅動器,不過磁碟櫃的精簡可以大致抵消這一不利因素。此外,EMC Symmetrix DMX-3企業級存儲系統中採用的LC-FC(Low Cost Fibre Channel,低成本FC)硬碟驅動器實質上也等同於FATA,但目前尚不清楚會否應用在下一代CLARiiON產品中。
得益於FC的雙埠特性,FATA(或LC-FC)硬碟驅動器的可靠性略高於SATA硬碟驅動器,不過與「正宗的」FC硬碟驅動器還差得遠,出故障的幾率較大。同時,FATA/SATA硬碟驅動器動輒數百GB的容量和相對緩慢的速度使RAID組重建的時間成倍增加,在此期間出現第二個故障硬碟的風險很高。為了避免由此導致的數據丟失,那些能夠在同一RAID組中有兩個硬碟出故障的情況下保護數據的RAID技術開始受到青睞,如HDS所採用的RAID 6(從RAID 5發展而來)和NetApp獨有的RAID-DP(RAID Double Parity,建立在RAID 4基礎上的雙校驗)。
4GFC和iSCSI:旗鼓相當,沖線在即
4Gb/s FC(4GFC)和iSCSI都是中端存儲系統領域的熱點話題,它們代表了兩個方向——單純提升速度和擴展連接能力。
4GFC從2005年開始升溫,由於從那時起只有對其持保守態度的EMC更新了高端存儲系統(Symmetrix DMX-3),因此中端存儲系統理所當然地成為4GFC發展的主戰場。
2005年6月IBM率先以TotalStorage DS4800響應4GFC,HDS TagmaStore AMS系列隨後跟進,HP StorageWorks EVA4000/6000/8000也在半年之後加入行列。EMC雖然升級了CLARiiON CX300/500/700,卻沒有4GFC什麼事,理由是整個大環境還沒有成熟。
現在支持4GFC的HBA和交換機已不難獲得,問題在於硬碟驅動器還沒有到位,甚至AMS系列和EVA4000/6000/8000的後端磁碟介面也還停留在2Gb/s FC(2GFC),只有DS4800剛剛用上支持4GFC的磁碟櫃。
當然,在設計得當的情況下只有主機端連接達到4Gb/s的速度一樣可以提高性能。IBM正計劃為高端的DS6000和DS8000系列提供4GFC支持,EMC也很可能在第二季度推出支持4GFC和iSCSI、代號Sledgehammer(大錘)的新一代CLARiiON系統。
HP為EVA提供的iSCSI連接選件(上),其功能類似於博科iSCSI網關(下)
與對待4GFC的消極態度相比,EMC在iSCSI上的表現要積極得多,因為iSCSI能夠讓用戶在缺乏FC基礎設施的環境中構建(IP)SAN,擴大了市場覆蓋。由於CLARiiON CX300/500/700中沒有必需的乙太網支持,EMC專門推出了僅支持iSCSI的CLARiiON CX300i和500i。類似的問題也困擾著其他廠商——HP的解決之道是通過一個類似iSCSI網關設備的HP StorageWorks EVA iSCSI連接選件使EVA能同時支持FC和iSCSI,而HDS讓AMS系列在2006年初支持iSCSI的計劃還沒有實現。在這方面以NAS起家的NetApp顯然得天獨厚,其FAS3000從一開始就FC、iSCSI和NAS通吃,iSCSI SAN市場排名第一(2005年26.2%)真不是蓋的。
IBM的策略與EMC形成鮮明對照——充當4GFC排頭兵的同時卻對iSCSI很不感冒。iSCSI SAN市場規模還不夠大(2005年增長130%之後仍不到1億美元)的解釋固然有理,藍色巨人在iSCSI上因過於激進屢遭挫折的歷史恐怕也不能忽略。
粗略統計下來,前七大廠商現有的中端存儲系統中4GFC(HDS、HP、IBM、Sun/StorageTek)和iSCSI(Dell、EMC、HP、NetApp)的支持者打了個平手。可以肯定的是,這些產品的下一代都會同時支持4GFC和iSCSI,而EMC的Sledgehammer將是第一個。
EMC CLARiiON:老當益壯,換代可期
在過去的一年中,幾乎所有主要的存儲系統廠商都推出了新一代的中端存儲產品,只有EMC仍在靠兩年前就已問世的CLARiiON CX300/500/700打天下。
不過,這兩年中EMC沒有停止對CLARiiON CX300/500/700的更新和升級。大約在一年前,EMC推出了支持本地iSCSI的CLARiiON CX300i和CX500i,它們採用1Gb乙太網介面,而不是CLARiiON CX300和CX500的2Gb FC介面。最高端的CLARiiON CX700沒有相對應的iSCSI版本。顯然,目前的CLARiiON CX還不能在一個系統內同時支持FC和iSCSI。
又過了半年,EMC宣布對CLARiiON家族進行升級,新版本的CLARiiON包括CX300s、CX500s和CX700s,後面增加的「s」代表scale。硬碟驅動器和存儲控制器之間的點對點連接取代了過時的FC-AL(Fibre Channel arbitrated loop,光纖通道仲裁環路)架構。新的結構改善了錯誤隔離,使系統能檢測到將要出故障的硬碟驅動器,這在FC-AL的設計下是比較困難的。EMC將這種點對點連接稱為「UltraPoint」,並特別說明不是一種交換式設計,後者能夠形成冗餘性更好的架構。用戶可通過支持UltraPoint的新磁碟陣列櫃升級現有的CLARiiON型號。內建的直流電源支持允許電信、軍事、油氣勘探公司等機構在野外通過電池來驅動CLARiiON。
被引用了兩年的一張「合影」:CX300、CX700和CX500
新的CLARiiON軟體功能包括:虛擬邏輯單元號(Virtual LUN),允許用戶移動CLARiiON上的數據時無需中斷應用;為改善SnapView和MirrorView產品的復制能力,加入了一致性組支持(MirrorView/S),可以在跨多個卷的時間點和遠程復制時保證數據的一致性;能夠拷貝的LUN數量加倍——MirrorView從50到100,SnapView從100到200;SAN Copy的升級SAN Copy/E允許用戶在CX系列和CLARiiON AX100之間復制,而以前用戶只能在CX500和CX700之間復制。EMC宣稱,新的軟體允許用戶從像分支辦公室這樣的「邊緣」位置向中央數據中心等「核心」位置移動數據,供備份、恢復和報告使用。CLARiiON管理軟體Navisphere Manager也進行了升級,能從一個控制台管理AX100和CX系列。
對4Gb/s FC(4GFC)的支持沒有在這次升級中加入進來,因為當時EMC認為4GFC的環境還沒有真正形成——支持4GFC的交換機、HBA和硬碟驅動器相對缺乏。前不久有消息稱,EMC可能會在今年4月或6月推出支持4GFC和iSCSI連接的新一代CLARiiON CX。
CLARiiON CX300/500/700支持最大容量300GB的FC硬碟驅動器和最大容量500GB的SATA硬碟驅動器,兩種磁碟櫃可同時使用。支持RAID 0, 1, 10, 3, 5,一個RAID組最多可包括16個硬碟驅動器。可配置全局熱備份(hot spare)磁碟,重建優先順序可調整。
HDS AMS:可靠與速度兼顧
2005年7月,HDS推出了4款模塊化存儲產品,即TagmaStore工作組模塊化存儲系統(Workgroup Molar Storage)WMS100,TagmaStore可調整模塊化存儲系統(Adaptable Molar Storage)AMS200、AMS500和TagmaStore網路存儲控制器(Network Storage Controller)NSC55,其中兩款AMS較為符合人們通常對中端存儲的定義。
AMS200和AMS500的目標市場均為中型企業,分別用來取代Thunder 9530V入門級存儲系統和Thunder 9570V高端模塊化存儲系統。兩者均採用共享匯流排的雙控制器架構(可單控制器),數據緩存容量分別是1GB~4GB和2GB~8GB,最大LUN數量分別為512個和2048個。AMS200可升級為AMS500。
最初只有AMS500支持4Gb/s FC(4GFC),現在AMS200以及更低端的WMS100頁都支持4Gb/s主機連接。三款產品均具有4個4Gb/s FC主機埠,能夠更充分地發揮帶主機存儲域的512個虛擬埠的作用。不過,它們的後端磁碟介面還是2Gb/s FC-AL的規格。
HDS TagmaStore AMS200和AMS500
AMS200和AMS500的控制器為4U規格,內置15個FC硬碟驅動器。AMS對FC和SATA混插(intermix)的支持是通過外接不同類型的磁碟櫃(3U,15個驅動器)實現的:AMS200可外接6個,最大硬碟驅動器數量105個,總容量40.5TB(300GB FC硬碟驅動器和400GB SATA硬碟驅動器,下同);AMS500可外接14個,最大硬碟驅動器數量225個,總容量67.5TB(全FC)或88.5TB。
容量更大而可靠性相對較低的SATA硬碟驅動器的使用,意味著RAID組在重建過程中遭遇又一次硬碟故障的風險大為增加,因此AMS200和AMS500除常見的RAID 1, 10, 5之外,加入了對採用雙校驗盤的RAID 6(6D+2P)的支持。與NSC55和WMS100不同的是,AMS200和AMS500還支持強調性能而毫無冗餘度可言的RAID 0,但作用對象僅限於FC硬碟驅動器。通過支持動態備份盤(熱備援)的漫遊,AMS200和AMS500減少了內部拷貝的工作,陣列的性能也會得到一定的提高。
AMS200和AMS500不僅可以作為FC SAN的成員,還具備多達8個的NAS連接能力,支持NFS v2/v3、CIFS、FTP和用於管理的HTTP等網路協議。此外,HDS還計劃在2006年上半年為AMS200和AMS500提供本地iSCSI連接能力。
高速緩存分區管理(Cache Partition Manager)在AMS200和AMS500所應用的技術中最為引人注目,它將高速緩存進一步細分,每個高速緩存劃分的部分稱為分區(AMS200最多8個,AMS500最多16個),並有效地使用。LUN定義於WMS和AMS存儲系統內,可以分配給一個分區,客戶可以指定分區的大小。優化主機收集/發送的數據的方法就是根據從主機收到的應用(數據),將最適合的分配分配給LUN。視應用的特性,可以用多種不同的方法優化同一AMS存儲系統。
AMS200和AMS500支持的其他軟體包括Hitachi Resource Manager工具包、HiCommand套件、Hitachi ShadowImage In-System Replication、Hitachi Copy-on-Write Snapshot、Hitachi Volume Security、Hitachi Data Retention Utility、Hitachi Dynamic Link Manager、Hitachi HiCommand Storage Services Manager(AppIQ),此外AMS500還多一個用於遠程拷貝和D2D備份的Hitachi TrueCopy Remote Replication(同步)。
HP EVA:循序漸進,左右逢源
2005年5月中,惠普(HP)在其年度StorageWorks大會上宣布推出企業虛擬陣列(Enterprise Virtual Array,EVA)家族的最新產品EVA4000/6000/8000。
EVA4000和EVA8000分別取代問世已有兩年之久的EVA3000和EVA5000,原有的兩款產品間過大的空檔被EVA6000填補。三款產品均採用4U機架規格的FC雙HSV200控制器,一個42U的機櫃(cabinet)最多可以容納12個M5314B磁碟櫃,因此EVA8000在單個機櫃內支持的硬碟驅動器數量為168個,要達到240個的最大數量還需要增加一個工具機櫃。
EVA4000 2C1D、EVA6000 2C4D和EVA8000 2C12D
FATA(Fibre Attached Technology Adapted,光纖連接技術改造)是EVA4000/6000/8000從EVA3000/5000繼承的「遺產」中最值得一提的技術。作為一種相對廉價的大容量硬碟驅動器,FATA硬碟驅動器採用FC介面——而不是常見的SATA介面,因此可以與高性能的FC硬碟驅動器使用同樣的磁碟櫃,這也是同代的其他中端存儲系統所欠缺的能力。
EVA家族採用將每個邏輯卷都分攤到所有硬碟上的Vraid(Virtual RAID)技術,以充分利用每塊硬碟的性能。EVA4000/6000/8000可管理多達1024個虛擬磁碟(256個/HBA),每個虛擬磁碟的容量在1GB到2TB之間,能夠以1GB為增量動態擴展容量(需要主機操作系統支持)。
今年2月,EVA家族成為業內第一批能夠同時支持iSCSI和4Gb/s FC(4GFC)連接的中端存儲系統。通過使用具有2個乙太網(GbE)埠和2個FC埠的HP StorageWorks EVA iSCSI連接選件,EVA家族可以獲得iSCSI連接能力;而4GFC連接僅限於主機埠,磁碟埠仍然是2Gb/s(2GFC)。此外,還支持EVA陣列連接到XP陣列上以提高虛擬化能力並允許從HP的單一界面對多個廠商的陣列的數據管理。
Ⅵ 快照技術的技術類型
有兩大類存儲快照,一種叫做即寫即拷(-on-write)快照,另一種叫做分割鏡像快照。
即寫即拷快照可以在每次輸入新數據或已有數據被更新時生成對存儲數據改動的快照。這樣做可以在發生硬碟寫錯誤、文件損壞或程序故障時迅速地恢復數據。但是,如果需要對網路或存儲媒介上的所有數據進行完全的存檔或恢復時,所有以前的快照都必須可供使用。
即寫即拷快照是表現數據外觀特徵的「照片」。這種方式通常也被稱為「元數據」拷貝,即所有的數據並沒有被真正拷貝到另一個位置,只是指示數據實際所處位置的指針被拷貝。在使用這項技術的情況下,當已經有了快照時,如果有人試圖改寫原始的LUN上的數據,快照軟體將首先將原始的數據塊拷貝到一個新位置(專用於復制操作的存儲資源池),然後再進行寫操作。以後當你引用原始數據時,快照軟體將指針映射到新位置,或者當你引用快照時將指針映射到老位置。
分割鏡像快照引用鏡像硬碟組上所有數據。每次應用運行時,都生成整個卷的快照,而不只是新數據或更新的數據。這種使離線訪問數據成為可能,並且簡化了恢復、復制或存檔一塊硬碟上的所有數據的過程。但是,這是個較慢的過程,而且每個快照需要佔用更多的存儲空間。
分割鏡像快照也叫作原樣復制,由於它是某一LUN或文件系統上的數據的物理拷貝,有的管理員稱之為克隆、映像等。原樣復制的過程可以由主機(Windows上的MirrorSet、Veritas的Mirror卷等)或在存儲級上用硬體完成(Clone、BCV、ShadowImage等)。
容災技術中的數據快照技術
遠程鏡像技術往往同快照技術結合起來實現遠程備份,即通過鏡像把數據備份到遠程存儲系統中,再用快照技術把遠程存儲系統中的信息備份到遠程的磁帶庫、光碟庫中。
快照技術分為兩類,一類指針型,是通過軟體對要備份的磁碟子系統的數據快速掃描,建立一個要備份數據的快照邏輯單元號LUN和快照cache,在快速掃描時,把備份過程中即將要修改的數據塊同時快速拷貝到快照cache中。快照LUN是一組指針,它指向快照cache和磁碟子系統中不變的數據塊(在備份過程中)。在正常業務進行的同時,利用快照LUN實現對原數據的一個完全的備份。
另一類是空間型,也駐留在磁碟陣列系統中。它使主機系統和磁碟陣列設備管理者能夠在後台狀態下,為主機處理的數據在磁碟陣列內部實時創建可獨立定址多卷。這些卷是應用數據存放的現用生產卷的鏡象,可同時並行運行任務。一旦生產數據的卷建立後,通過命令可以與其生產卷分割開,應用系統資料庫可通過生產卷繼續做聯機應用,與此同時,備份系統可利用卷進行備份、報表生成和應用開發測試等工作。大大縮短了應用系統因備份等原因OFFLINE離線的時間,工作示意如圖所示。
無論是生產、測試、災難恢復,還是數據倉庫應用,該系統件套件都能提供業務數據影像拷貝的生成和管理維護,使客戶以不同的方式更好、更充分的利用業務數據,獲得更大的增值效益。基於數據復制、保護和信息共享而設計的復制管理系統件,提供了非常強大的功能:既可以在一個數據中心內部或者不同數據中心之間實現數據復制,也可以在不同部門之間實現信息共享,快速、有效地適應業務的靈活擴展,在競爭中獲得領先優勢。它可使用戶在正常業務不受影響的情況下,實時提取當前在線業務數據。其「備份窗口」接近於零,可大大增加系統業務的連續性,為實現系統真正的7×24運轉提供了保證。
Ⅶ 華為OceanStor S5500T的產品主要參數
存儲處理器 多核多處理器組 緩存 8GB/16GB/32GB 擴展緩存 1.2TB控制器數 2 前端通道埠類型 iSCSI、10Gbps iSCSI(TOE) 後端通道埠類型 6Gbps SAS2.0寬埠 板載I/O埠數 後端SAS寬埠 8x8Gbps 最大I/O模塊數 2 最大盤位數 528 硬碟類型 SAS、NL SAS、SATA、SSDRAID 支持 0,1,3,5,6,10,50支持快照數量 1024支持LUN數量 4096TurboMole 支持 其他功能軟體 Hyperimage(快照)、HyperCopy(LUN拷貝)、HyperClone(分裂鏡像)、HyperMirror(同步/非同步遠程復制)、HyperThin(自動精簡配置)、UltraPath(多路徑軟體)、DiskGuard(應用伺服器端數據保護軟體)、SmartCache(動態數據緩存)
Ⅷ 什麼是磁碟快照技術
隨著存儲應用需求的提高,用戶需要在線方式進行數據保護,快照就是在線存儲設備防範數據丟失的有效方法之一,越來越多的設備都開始支持這項功能。越來越多的存儲設備支持快照功能,在這些產品的資料中宣傳了各自快照技術的優勢,有的是快照數量多,有的是佔用空間小。那麼,究竟什麼是快照技術?主要有哪些類型?接下來我們深入了解一下。快照的定義與作用SNIA(存儲網路行業協會)對快照(Snapshot)的定義是:關於指定數據集合的一個完全可用拷貝,該拷貝包括相應數據在某個時間點(拷貝開始的時間點)的映像。快照可以是其所表示的數據的一個副本,也可以是數據的一個復製品。而從具體的技術細節來講,快照是指向保存在存儲設備中的數據的引用標記或指針。我們可以這樣理解,快照有點像是詳細的目錄表,但它被計算機作為完整的數據備份來對待。快照有三種基本形式:基於文件系統式的、基於子系統式的和基於卷管理器/虛擬化式的,而且這三種形式差別很大。市場上已經出現了能夠自動生成這些快照的實用工具,比如有代表性的有NetApp的存儲設備基於文件系統實現,高中低端設備使用共同的操作系統,都能夠實現快照應用;HP的EVA、HDS通用存儲平台以及EMC的高端陣列則實現了子系統式快照;而Veritas則通過卷管理器實現快照。快照的作用主要是能夠進行在線數據恢復,當存儲設備發生應用故障或者文件損壞時可以進行及時數據恢復,將數據恢復成快照產生時間點的狀態。快照的另一個作用是為存儲用戶提供了另外一個數據訪問通道,當原數據進行在線應用處理時,用戶可以訪問快照數據,還可以利用快照進行測試等工作。因此,所有存儲系統,不論高中低端,只要應用於在線系統,那麼快照就成為一個不可或缺的功能。兩種類型目前有兩大類存儲快照,一種叫做即寫即拷(-on-write)快照,另一種叫做分割鏡像快照。 即寫即拷快照可以在每次輸入新數據或已有數據被更新時生成對存儲數據改動的快照。這樣做可以在發生硬碟寫錯誤、文件損壞或程序故障時迅速地恢復數據。但是,如果需要對網路或存儲媒介上的所有數據進行完全的存檔或恢復時,所有以前的快照都必須可供使用。即寫即拷快照是表現數據外觀特徵的「照片」。這種方式通常也被稱為「元數據」拷貝,即所有的數據並沒有被真正拷貝到另一個位置,只是指示數據實際所處位置的指針被拷貝。在使用這項技術的情況下,當已經有了快照時,如果有人試圖改寫原始的LUN上的數據,快照軟體將首先將原始的數據塊拷貝到一個新位置(專用於復制操作的存儲資源池),然後再進行寫操作。以後當你引用原始數據時,快照軟體將指針映射到新位置,或者當你引用快照時將指針映射到老位置。 分割鏡像快照引用鏡像硬碟組上所有數據。每次應用運行時,都生成整個卷的快照,而不只是新數據或更新的數據。這種使離線訪問數據成為可能,並且簡化了恢復、復制或存檔一塊硬碟上的所有數據的過程。但是,這是個較慢的過程,而且每個快照需要佔用更多的存儲空間。分割鏡像快照也叫作原樣復制,由於它是某一LUN或文件系統上的數據的物理拷貝,有的管理員稱之為克隆、映像等。原樣復制的過程可以由主機(Windows上的MirrorSet、Veritas的Mirror卷等)或在存儲級上用硬體完成(Clone、BCV、ShadowImage等)。三種使用方法具體使用快照時,存儲管理員可以有三種形式,即冷快照拷貝、暖快照拷貝和熱快照拷貝。冷快照拷貝:進行冷快照拷貝是保證系統可以被完全恢復的最安全的方式。在進行任何大的配置變化或維護過程之前和之後,一般都需要進行冷拷貝,以保證完全的恢復原狀(rollback)。冷拷貝還可以與克隆技術相結合復制整個伺服器系統,以實現各種目的,如擴展、製作生產系統的復本供測試/開發之用以及向二層存儲遷移。暖快照拷貝:暖快照拷貝利用伺服器的掛起功能。當執行掛起行動時,程序計數器被停止,所有的活動內存都被保存在引導硬碟所在的文件系統中的一個臨時文件(.vmss文件)中,並且暫停伺服器應用。在這個時間點上,復制整個伺服器(包括內存內容文件和所有的LUN以及相關的活動文件系統)的快照拷貝。在這個拷貝中,機器和所有的數據將被凍結在完成掛起操作時的處理點上。當快照操作完成時,伺服器可以被重新啟動,在掛起行動開始的點上恢復運行。應用程序和伺服器過程將從同一時間點上恢復運行。從表面上看,就好像在快照活動期間按下了一個暫停鍵一樣。對於伺服器的網路客戶機看來,就好像網路服務暫時中斷了一下一樣。對於適度載入的伺服器來說,這段時間通常在30到120秒。熱快照拷貝:在這種狀態下,發生的所有的寫操作都立即應用在一個虛硬碟上,以保持文件系統的高度的一致性。伺服器提供讓持續的虛擬硬碟處於熱備份模式的工具,以通過添加REDO日誌文件在硬碟子系統層上復制快照拷貝。一旦REDO日誌被激活,復制包含伺服器文件系統的LUN的快照是安全的。在快照操作完成後,可以發出另一個命令,這個命令將REDO日誌處理提交給下面的虛擬硬碟文件。當提交活動完成時,所有的日誌項都將被應用,REDO文件將被刪除。在執行這個操作過程中,會出現處理速度的略微下降,不過所有的操作將繼續執行。但是,在多數情況下,快照進程幾乎是瞬間完成的,REDO的創建和提交之間的時間非常短。熱快照操作過程從表面上看基本上察覺不到伺服器速度下降。在最差情況下,它看起來就是網路擁塞或超載的CPU可能造成的一般伺服器速度下降。在最好情況下,不會出現可察覺到的影響。與鏡像、復制的區別鏡像、快照和復制是三種不同的功能鏡像是通過從一個I/O創建兩個I/O來復制數據。磁碟鏡像通過OS或卷管理軟體在主系統上創建。磁碟鏡像是依靠平台和本地連接特性的本地選件。鏡像可用於DAS和SAN並且大多數NAS支持它。存儲轉發式鏡像磁碟子系統(例如,EMC SRDF, IBM PPRC, Hitachi TrueCopy)主要用於SAN產品。復制是通過網路傳輸數據對象(文件、表格等)。傳輸是從系統到系統進行的,而不是在存儲設備之間或子系統之間進行。復制一般也針對具體平台,因此用於Windows 2000復制產品的運行方式與Unix平台存在很大不同。容災技術中的數據快照技術遠程鏡像技術往往同快照技術結合起來實現遠程備份,即通過鏡像把數據備份到遠程存儲系統中,再用快照技術把遠程存儲系統中的信息備份到遠程的磁帶庫、光碟庫中。快照技術分為兩類,一類指針型,是通過軟體對要備份的磁碟子系統的數據快速掃描,建立一個要備份數據的快照邏輯單元號LUN和快照cache,在快速掃描時,把備份過程中即將要修改的數據塊同時快速拷貝到快照cache中。快照LUN是一組指針,它指向快照cache和磁碟子系統中不變的數據塊(在備份過程中)。在正常業務進行的同時,利用快照LUN實現對原數據的一個完全的備份。另一類是空間型,也駐留在磁碟陣列系統中。它使主機系統和磁碟陣列設備管理者能夠在後台狀態下,為主機處理的數據在磁碟陣列內部實時創建可獨立定址多卷。這些卷是應用數據存放的現用生產卷的鏡象,可同時並行運行任務。一旦生產數據的卷建立後,通過命令可以與其生產卷分割開,應用系統資料庫可通過生產卷繼續做聯機應用,與此同時,備份系統可利用卷進行備份、報表生成和應用開發測試等工作。大大縮短了應用系統因備份等原因OFFLINE離線的時間,工作示意圖如下:無論是生產、測試、災難恢復,還是數據倉庫應用,該系統件套件都能提供業務數據影像拷貝的生成和管理維護,使客戶以不同的方式更好、更充分的利用業務數據,獲得更大的增值效益。基於數據復制、保護和信息共享而設計的復制管理系統件,提供了非常強大的功能:既可以在一個數據中心內部或者不同數據中心之間實現數據復制,也可以在不同部門之間實現信息共享,快速、有效地適應業務的靈活擴展,在競爭中獲得領先優勢。它可使用戶在正常業務不受影響的情況下,實時提取當前在線業務數據。其「備份窗口」接近於零,可大大增加系統業務的連續性,為實現系統真正的7×24運轉提供了保證。
Ⅸ 什麼的虛擬存儲系統
隨著圍繞數字化、網路化開展的各種多媒體處理業務的不斷增加,存儲系統網路平台已經成為一個核心平台,同時各種應用對平台的要求也越來越高,不光是在存儲容量上,還包括數據訪問性能、數據傳輸性能、數據管理能力、存儲擴展能力等等多個方面。可以說,存儲網路平台的綜合性能的優劣,將直接影響到整個系統的正常運行。
為達到這些要求,一種新興的技術正越來越受到大家的關注,即虛擬存儲技術。
其實虛擬化技術並不是一件很新的技術,它的發展,應該說是隨著計算機技術的發展而發展起來的,最早是始於70年代。由於當時的存儲容量,特別是內存容量成本非常高、容量也很小,對於大型應用程序或多程序應用就受到了很大的限制。為了克服這樣的限制,人們就採用了虛擬存儲的技術,最典型的應用就是虛擬內存技術。隨著計算機技術以及相關信息處理技術的不斷發展,人們對存儲的需求越來越大。這樣的需求刺激了各種新技術的出現,比如磁碟性能越來越好、容量越來越大。但是在大量的大中型信息處理系統中,單個磁碟是不能滿足需要,這樣的情況下存儲虛擬化技術就發展起來了。在這個發展過程中也由幾個階段和幾種應用。首先是磁碟條帶集(RAID,可帶容錯)技術,將多個物理磁碟通過一定的邏輯關系集合起來,成為一個大容量的虛擬磁碟。而隨著數據量不斷增加和對數據可用性要求的不斷提高,又一種新的存儲技術應運而生,那就是存儲區域網路(SAN)技術。SAN的廣域化則旨在將存儲設備實現成為一種公用設施,任何人員、任何主機都可以隨時隨地獲取各自想要的數據。目前討論比較多的包括iSCSI、FC Over IP 等技術,由於一些相關的標准還沒有最終確定,但是存儲設備公用化、存儲網路廣域化是一個不可逆轉的潮流。
一、虛擬存儲的概念
所謂虛擬存儲,就是把多個存儲介質模塊(如硬碟、RAID)通過一定的手段集中管理起來,所有的存儲模塊在一個存儲池(Storage Pool)中得到統一管理,從主機和工作站的角度,看到就不是多個硬碟,而是一個分區或者卷,就好象是一個超大容量(如1T以上)的硬碟。這種可以將多種、多個存儲設備統一管理起來,為使用者提供大容量、高數據傳輸性能的存儲系統,就稱之為虛擬存儲。
二、虛擬存儲的分類
目前虛擬存儲的發展尚無統一標准,從虛擬化存儲的拓撲結構來講主要有兩種方式:即對稱式與非對稱式。對稱式虛擬存儲技術是指虛擬存儲控制設備與存儲軟體系統、交換設備集成為一個整體,內嵌在網路數據傳輸路徑中;非對稱式虛擬存儲技術是指虛擬存儲控制設備獨立於數據傳輸路徑之外。從虛擬化存儲的實現原理來講也有兩種方式;即數據塊虛擬與虛擬文件系統。具體如下:
1.對稱式虛擬存儲
圖1對稱式虛擬存儲解決方案的示意圖
在圖1所示的對稱式虛擬存儲結構圖中,存儲控制設備 High Speed Traffic Directors(HSTD)與存儲池子系統Storage Pool集成在一起,組成SAN Appliance。可以看到在該方案中存儲控制設備HSTD在主機與存儲池數據交換的過程中起到核心作用。該方案的虛擬存儲過程是這樣的:由HSTD內嵌的存儲管理系統將存儲池中的物理硬碟虛擬為邏輯存儲單元(LUN),並進行埠映射(指定某一個LUN能被哪些埠所見),主機端將各可見的存儲單元映射為操作系統可識別的盤符。當主機向SAN Appliance寫入數據時,用戶只需要將數據寫入位置指定為自己映射的盤符(LUN),數據經過HSTD的高速並行埠,先寫入高速緩存,HSTD中的存儲管理系統自動完成目標位置由LUN到物理硬碟的轉換,在此過程中用戶見到的只是虛擬邏輯單元,而不關心每個LUN的具體物理組織結構。該方案具有以下主要特點:
(1)採用大容量高速緩存,顯著提高數據傳輸速度。
緩存是存儲系統中廣泛採用的位於主機與存儲設備之間的I/O路徑上的中間介質。當主機從存儲設備中讀取數據時,會把與當前數據存儲位置相連的數據讀到緩存中,並把多次調用的數據保留在緩存中;當主機讀數據時,在很大幾率上能夠從緩存中找到所需要的數據。直接從緩存上讀出。而從緩存讀取數據時的速度只受到電信號傳播速度的影響(等於光速),因此大大高於從硬碟讀數據時碟片機械轉動的速度。當主機向存儲設備寫入數據時,先把數據寫入緩存中,待主機端寫入動作停止,再從緩存中將數據寫入硬碟,同樣高於直接寫入硬碟的速度
(2)多埠並行技術,消除了I/O瓶頸。
傳統的FC存儲設備中控制埠與邏輯盤之間是固定關系,訪問一塊硬碟只能通過控制它的控制器埠。在對稱式虛擬存儲設備中,SAN Appliance的存儲埠與LUN的關系是虛擬的,也就是說多台主機可以通過多個存儲埠(最多8個)並發訪問同一個LUN;在光纖通道100MB/帶寬的大前提下,並行工作的埠數量越多,數據帶寬就越高。
(3)邏輯存儲單元提供了高速的磁碟訪問速度。
在視頻應用環境中,應用程序讀寫數據時以固定大小的數據塊為單位(從512byte到1MB之間)。而存儲系統為了保證應用程序的帶寬需求,往往設計為傳輸512byte以上的數據塊大小時才能達到其最佳I/O性能。在傳統SAN結構中,當容量需求增大時,唯一的解決辦法是多塊磁碟(物理或邏輯的)綁定為帶區集,實現大容量LUN。在對稱式虛擬存儲系統中,為主機提供真正的超大容量、高性能LUN,而不是用帶區集方式實現的性能較差的邏輯卷。與帶區集相比,Power LUN具有很多優勢,如大塊的I/O block會真正被存儲系統所接受,有效提高數據傳輸速度;並且由於沒有帶區集的處理過程,主機CPU可以解除很大負擔,提高了主機的性能。
(4)成對的HSTD系統的容錯性能。
在對稱式虛擬存儲系統中,HSTD是數據I/O的必經之地,存儲池是數據存放地。由於存儲池中的數據具有容錯機制保障安全,因此用戶自然會想到HSTD是否有容錯保護。象許多大型存儲系統一樣,在成熟的對稱式虛擬存儲系統中,HSTD是成對配製的,每對HSTD之間是通過SAN Appliance內嵌的網路管理服務實現緩存數據一致和相互通信的。
(5)在SAN Appliance之上可方便的連接交換設備,實現超大規模Fabric結構的SAN。
因為系統保持了標準的SAN結構,為系統的擴展和互連提供了技術保障,所以在SAN Appliance之上可方便的連接交換設備,實現超大規模Fabric結構的SAN。
2.非對稱式虛擬存儲系統
圖2非對稱式虛擬存儲系統示意圖
在圖2所示的非對稱式虛擬存儲系統結構圖中,網路中的每一台主機和虛擬存儲管理設備均連接到磁碟陣列,其中主機的數據路徑通過FC交換設備到達磁碟陣列;虛擬存儲設備對網路上連接的磁碟陣列進行虛擬化操作,將各存儲陣列中的LUN虛擬為邏輯帶區集(Strip),並對網路上的每一台主機指定對每一個Strip的訪問許可權(可寫、可讀、禁止訪問)。當主機要訪問某個Strip時,首先要訪問虛擬存儲設備,讀取Strip信息和訪問許可權,然後再通過交換設備訪問實際的Strip中的數據。在此過程中,主機只會識別到邏輯的Strip,而不會直接識別到物理硬碟。這種方案具有如下特點:
(1)將不同物理硬碟陣列中的容量進行邏輯組合,實現虛擬的帶區集,將多個陣列控制器埠綁定,在一定程度上提高了系統的可用帶寬。
(2)在交換機埠數量足夠的情況下,可在一個網路內安裝兩台虛擬存儲設備,實現Strip信息和訪問許可權的冗餘。
但是該方案存在如下一些不足:
(1)該方案本質上是帶區集——磁碟陣列結構,一旦帶區集中的某個磁碟陣列控制器損壞,或者這個陣列到交換機路徑上的銅纜、GBIC損壞,都會導致一個虛擬的LUN離線,而帶區集本身是沒有容錯能力的,一個LUN的損壞就意味著整個Strip裡面數據的丟失。
(2)由於該方案的帶寬提高是通過陣列埠綁定來實現的,而普通光纖通道陣列控制器的有效帶寬僅在40MB/S左右,因此要達到幾百兆的帶寬就意味著要調用十幾台陣列,這樣就會佔用幾十個交換機埠,在只有一兩台交換機的中小型網路中,這是不可實現的。
(3)由於各種品牌、型號的磁碟陣列其性能不完全相同,如果出於虛擬化的目的將不同品牌、型號的陣列進行綁定,會帶來一個問題:即數據寫入或讀出時各並發數據流的速度不同,這就意味著原來的數據包順序在傳輸完畢後被打亂,系統需要佔用時間和資源去重新進行數據包排序整理,這會嚴重影響系統性能。
3.數據塊虛擬與虛擬文件系統
以上從拓撲結構角度分析了對稱式與非對稱式虛擬存儲方案的異同,實際從虛擬化存儲的實現原理來講也有兩種方式;即數據塊虛擬與虛擬文件系統。
數據塊虛擬存儲方案著重解決數據傳輸過程中的沖突和延時問題。在多交換機組成的大型Fabric結構的SAN中,由於多台主機通過多個交換機埠訪問存儲設備,延時和數據塊沖突問題非常嚴重。數據塊虛擬存儲方案利用虛擬的多埠並行技術,為多台客戶機提供了極高的帶寬,最大限度上減少了延時與沖突的發生,在實際應用中,數據塊虛擬存儲方案以對稱式拓撲結構為表現形式。
虛擬文件系統存儲方案著重解決大規模網路中文件共享的安全機制問題。通過對不同的站點指定不同的訪問許可權,保證網路文件的安全。在實際應用中,虛擬文件系統存儲方案以非對稱式拓撲結構為表現形式。
三、虛擬存儲技術的實現方式
目前實現虛擬存儲主要分為如下幾種:
1.在伺服器端的虛擬存儲
伺服器廠商會在伺服器端實施虛擬存儲。同樣,軟體廠商也會在伺服器平台上實施虛擬存儲。這些虛擬存儲的實施都是通過伺服器端將鏡像映射到外圍存儲設備上,除了分配數據外,對外圍存儲設備沒有任何控制。伺服器端一般是通過邏輯卷管理來實現虛擬存儲技術。邏輯卷管理為從物理存儲映射到邏輯上的卷提供了一個虛擬層。伺服器只需要處理邏輯卷,而不用管理存儲設備的物理參數。
用這種構建虛擬存儲系統,伺服器端是一性能瓶頸,因此在多媒體處理領域幾乎很少採用。
2.在存儲子系統端的虛擬存儲
另一種實施虛擬的地方是存儲設備本身。這種虛擬存儲一般是存儲廠商實施的,但是很可能使用廠商獨家的存儲產品。為避免這種不兼容性,廠商也許會和伺服器、軟體或網路廠商進行合作。當虛擬存儲實施在設備端時,邏輯(虛擬)環境和物理設備同在一個控制范圍中,這樣做的益處在於:虛擬磁碟高度有效地使用磁碟容量,虛擬磁帶高度有效地使用磁帶介質。
在存儲子系統端的虛擬存儲設備主要通過大規模的RAID子系統和多個I/O通道連接到伺服器上,智能控制器提供LUN訪問控制、緩存和其他如數據復制等的管理功能。這種方式的優點在於存儲設備管理員對設備有完全的控制權,而且通過與伺服器系統分開,可以將存儲的管理與多種伺服器操作系統隔離,並且可以很容易地調整硬體參數。
3.網路設備端實施虛擬存儲
網路廠商會在網路設備端實施虛擬存儲,通過網路將邏輯鏡像映射到外圍存儲設備,除了分配數據外,對外圍存儲設備沒有任何控制。在網路端實施虛擬存儲具有其合理性,因為它的實施既不是在伺服器端,也不是在存儲設備端,而是介於兩個環境之間,可能是最「開放」的虛擬實施環境,最有可能支持任何的伺服器、操作系統、應用和存儲設備。從技術上講,在網路端實施虛擬存儲的結構形式有以下兩種:即對稱式與非對稱式虛擬存儲。
從目前的虛擬存儲技術和產品的實際情況來看,基於主機和基於存儲的方法對於初期的採用者來說魅力最大,因為他們不需要任何附加硬體,但對於異構存儲系統和操作系統而言,系統的運行效果並不是很好。基於互聯設備的方法處於兩者之間,它迴避了一些安全性問題,存儲虛擬化的功能較強,能減輕單一主機的負載,同時可獲得很好的可擴充性。
不管採用何種虛擬存儲技術,其目的都使為了提供一個高性能、安全、穩定、可靠、可擴展的存儲網路平台,滿足節目製作網路系統的苛刻要求。根據綜合的性能價格比來說,一般情況下,在基於主機和基於存儲設備的虛擬存儲技術能夠保證系統的數據處理能力要求時,優先考慮,因為這兩種虛擬存儲技術構架方便、管理簡單、維護容易、產品相對成熟、性能價格比高。在單純的基於存儲設備的虛擬存儲技術無法保證存儲系統性能要求的情況下,我們可以考慮採用基於互連設備的虛擬存儲技術。
四、虛擬存儲的特點
虛擬存儲具有如下特點:
(1)虛擬存儲提供了一個大容量存儲系統集中管理的手段,由網路中的一個環節(如伺服器)進行統一管理,避免了由於存儲設備擴充所帶來的管理方面的麻煩。例如,使用一般存儲系統,當增加新的存儲設備時,整個系統(包括網路中的諸多用戶設備)都需要重新進行繁瑣的配置工作,才可以使這個「新成員」加入到存儲系統之中。而使用虛擬存儲技術,增加新的存儲設備時,只需要網路管理員對存儲系統進行較為簡單的系統配置更改,客戶端無需任何操作,感覺上只是存儲系統的容量增大了。
(2)虛擬存儲對於視頻網路系統最有價值的特點是:可以大大提高存儲系統整體訪問帶寬。存儲系統是由多個存儲模塊組成,而虛擬存儲系統可以很好地進行負載平衡,把每一次數據訪問所需的帶寬合理地分配到各個存儲模塊上,這樣系統的整體訪問帶寬就增大了。例如,一個存儲系統中有4個存儲模塊,每一個存儲模塊的訪問帶寬為50MBps,則這個存儲系統的總訪問帶寬就可以接近各存儲模塊帶寬之和,即200MBps。
(3)虛擬存儲技術為存儲資源管理提供了更好的靈活性,可以將不同類型的存儲設備集中管理使用,保障了用戶以往購買的存儲設備的投資。
(4)虛擬存儲技術可以通過管理軟體,為網路系統提供一些其它有用功能,如無需伺服器的遠程鏡像、數據快照(Snapshot)等。
五、虛擬存儲的應用 由於虛擬存儲具有上述特點,虛擬存儲技術正逐步成為共享存儲管理的主流技術,其應用具體如下:
1.數據鏡像
數據鏡像就是通過雙向同步或單向同步模式在不同的存儲設備間建立數據復本。一個合理的解決方案應該能在不依靠設備生產商及操作系統支持的情況下,提供在同一存儲陣列及不同存儲陣列間製作鏡像的方法。
2.數據復制
通過IP地址實現的遠距離數據遷移(通常為非同步傳輸)對於不同規模的企業來說,都是一種極為重要的數據災難恢復工具。好的解決方案不應當依賴特殊的網路設備支持,同時,也不應當依賴主機,以節省企業的管理費用。
3.磁帶備份增強設備
過去的幾年,在磁帶備份技術上鮮有新發展。盡管如此,一個網路存儲設備平台亦應能在磁帶和磁碟間搭建橋路,以高速、平穩、安全地完成備份工作。
4.實時復本
出於測試、拓展及匯總或一些別的原因,企業經常需要製作數據復本。
5.實時數據恢復
利用磁帶來還原數據是數據恢復工作的主要手段,但常常難以成功。數據管理工作其中一個重要的發展新方向是將近期內的備分數據(可以是數星期前的歷史數據)轉移到磁碟介質,而非磁帶介質。用磁碟恢復數據就象閃電般迅速(所有文件能在60秒內恢復),並遠比用磁帶恢復數據安全可靠。同時,整卷(Volume)數據都能被恢復。
6.應用整合
存儲管理發展的又一新方向是,將服務貼近應用。沒有一個信息技術領域的管理人員會單純出於對存儲設備的興趣而去購買它。存儲設備是用來服務於應用的,比如資料庫,通訊系統等等。通過將存儲設備和關鍵的企業應用行為相整合,能夠獲取更大的價值,同時,大大減少操作過程中遇到的難題。
7.虛擬存儲在數字視頻網路中的應用
現在我著重介紹虛擬存儲在數字視頻網路中的應用。
數字視頻網路對廣播電視行業來說已經不是一個陌生的概念了,由於它在廣播電視技術數字化進程中起到了重要的作用,國內各級電視台對其給予極大的關注,並且開始構造和應用這類系統,在數字視頻網的概念中完全打破了以往一台錄象機、一個編輯系統、一套播出系統的傳統結構,而代之以上載工作站、編輯製作工作站、播出工作站及節目存儲工作站的流程,便於操作和管理。節目上載、節目編輯、節目播出在不同功能的工作站上完成,可成倍提高工作效率。同時,由於採用非線性編輯系統,除了採集時的壓縮損失外。信號在製作、播出過程中不再有任何損失,節目的技術質量將大大提高。
在現有的視頻網路系統中,雖然電腦的主頻、網路的傳輸速率以及交換設備的性能,已經可以滿足絕大多數應用的要求,但其中存儲設備的訪問帶寬問題成為了系統的一個主要性能瓶頸。視頻編輯、製作具有數據量存儲大、碼流高、實時性強、安全性重要等特點。這就要求應用於視頻領域的存儲技術和產品必須具有足夠的帶寬並且穩定性要好。
在單機應用時,為了保證一台編輯站點有足夠的數據帶寬,SCSI技術、本地獨立磁碟冗餘陣例RAID(Rendant Array of Independent Disks)技術(包括軟體和硬體)被廣泛應用,它通過把若干個SCSI硬碟加上控制器組成一個大容量,快速響應,高可靠性的存儲子系統,從用戶看可作為一個邏輯盤或者虛擬盤,從而大大提高了數據傳輸率和存儲容量,同時利用糾錯技術提高了存儲的可靠性,並可滿足帶寬要求。
隨著節目製作需求的發展,要求2—3台站點共享編輯數據。這時可利用SCSI網路技術實現這一要求。幾台編輯站點均配置高性能的SCSI適配器,連接至共享的SCSI磁碟陣列,既可以實現幾個站點共享數據,又可以保證每一台單機的工作帶寬。
光纖通道技術的成熟應用對視頻網路的發展具有里程碑的意義,從此主機與共享存儲設備之間的連接距離限制從幾米、十幾米,擴展到幾百米、幾千米,再配合光纖通道交換設備,網路規模得到幾倍、十幾倍的擴充。這時候的FC(Fibre Channel光纖通道)磁碟陣列——RAID容錯技術、相對SCSI的高帶寬、大容量,成為視頻網路中的核心存儲設備。
隨著電視台規模的發展,全台級大規模視頻網路的應用被提出。在這種需求下,就必須將更先進的存儲技術與產品引入視頻領域。存儲區域網(SAN)的發展目前正處於全速上升期,各種概念層出不窮。其中具有劃時代意義的是虛擬存儲概念的提出。相對於傳統的交換機加RAID陣列,主機通過硬體層直接訪問陣列中的硬碟的SAN結構,虛擬存儲的定位是將數據存儲功能從實際的、物理的數據存取過程中抽象出來,使普通用戶在訪問數據時不必關心具體的存儲設備的配置參數、物理位置及容量,從而簡化用戶和系統管理人員的工作難度。
在設計一個視頻網路系統的時候,對存儲系統的選用,主要考慮如下幾個因素:(1)總體帶寬性能;(2)可管理性;(3)安全性;(4)可擴展性;(5)系統成本。
當然,這些因素之間有時是相互制約的,特別是系統成本與性能和安全性的關系。如何在這些因素之間尋求合理的、實用的、經濟的配合,是一個需要解決的課題。虛擬存儲技術的出現,為我們在構建視頻網路系統時提供了一個切實可行的高性能價格比的解決方案。
從拓撲結構來講,對稱式的方案具有更高的帶寬性能,更好的安全特性,因此比較適合大規模視頻網路應用。非對稱式方案由於採用了虛擬文件原理,因此更適合普通區域網(如辦公網)的應用。
Ⅹ 請問「卷影副本」的原理是什麼
System Volume Information 是系統還原的文件夾,卷影副本是針對共享文件夾的。
Windows Server 2003 中的說明:共享文件夾的卷影副本提供共享資源中(如文件伺服器)文件的即時點副本。通過共享文件夾的卷影副本,可以查看在過去的時間點中存在的共享文件和文件夾。
舉個簡單的例子,在客戶端上訪問伺服器上的共享資源時,如果刪除了某個文件,該文件不會被放到本地的回收站或者伺服器端的回收站,而是直接刪除,那就沒得恢復了, 但如果啟用了卷影副本的話,就可以利用已創建的副本進行還原。
啟用卷影副本之後,在共享文件(夾)的屬性中會多出一個「以前的版本」選項卡,在這里就可以看到該共享文件(夾)的某個時間的副本,如果選擇還原,那麼該共享文件(夾)就會恢復到該副本記錄的狀態。