当前位置:首页 » 存储配置 » lun拷贝异构存储

lun拷贝异构存储

发布时间: 2022-09-25 22:07:53

Ⅰ 什么叫虚拟存储器怎么样确定虚拟存储器的容量

随着围绕数字化、网络化开展的各种多媒体处理业务的不断增加,存储系统网络平台已经成为一个核心平台,同时各种应用对平台的要求也越来越高,不光是在存储容量上,还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。可以说,存储网络平台的综合性能的优劣,将直接影响到整个系统的正常运行。

为达到这些要求,一种新兴的技术正越来越受到大家的关注,即虚拟存储技术。

其实虚拟化技术并不是一件很新的技术,它的发展,应该说是随着计算机技术的发展而发展起来的,最早是始于70年代。由于当时的存储容量,特别是内存容量成本非常高、容量也很小,对于大型应用程序或多程序应用就受到了很大的限制。为了克服这样的限制,人们就采用了虚拟存储的技术,最典型的应用就是虚拟内存技术。随着计算机技术以及相关信息处理技术的不断发展,人们对存储的需求越来越大。这样的需求刺激了各种新技术的出现,比如磁盘性能越来越好、容量越来越大。但是在大量的大中型信息处理系统中,单个磁盘是不能满足需要,这样的情况下存储虚拟化技术就发展起来了。在这个发展过程中也由几个阶段和几种应用。首先是磁盘条带集(RAID,可带容错)技术,将多个物理磁盘通过一定的逻辑关系集合起来,成为一个大容量的虚拟磁盘。而随着数据量不断增加和对数据可用性要求的不断提高,又一种新的存储技术应运而生,那就是存储区域网络(SAN)技术。SAN的广域化则旨在将存储设备实现成为一种公用设施,任何人员、任何主机都可以随时随地获取各自想要的数据。目前讨论比较多的包括iSCSI、FC Over IP 等技术,由于一些相关的标准还没有最终确定,但是存储设备公用化、存储网络广域化是一个不可逆转的潮流。

一、虚拟存储的概念

所谓虚拟存储,就是把多个存储介质模块(如硬盘、RAID)通过一定的手段集中管理起来,所有的存储模块在一个存储池(Storage Pool)中得到统一管理,从主机和工作站的角度,看到就不是多个硬盘,而是一个分区或者卷,就好象是一个超大容量(如1T以上)的硬盘。这种可以将多种、多个存储设备统一管理起来,为使用者提供大容量、高数据传输性能的存储系统,就称之为虚拟存储。

二、虚拟存储的分类

目前虚拟存储的发展尚无统一标准,从虚拟化存储的拓扑结构来讲主要有两种方式:即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体,内嵌在网络数据传输路径中;非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。具体如下:

1.对称式虚拟存储

图1对称式虚拟存储解决方案的示意图

在图1所示的对称式虚拟存储结构图中,存储控制设备 High Speed Traffic Directors(HSTD)与存储池子系统Storage Pool集成在一起,组成SAN Appliance。可以看到在该方案中存储控制设备HSTD在主机与存储池数据交换的过程中起到核心作用。该方案的虚拟存储过程是这样的:由HSTD内嵌的存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元(LUN),并进行端口映射(指定某一个LUN能被哪些端口所见),主机端将各可见的存储单元映射为操作系统可识别的盘符。当主机向SAN Appliance写入数据时,用户只需要将数据写入位置指定为自己映射的盘符(LUN),数据经过HSTD的高速并行端口,先写入高速缓存,HSTD中的存储管理系统自动完成目标位置由LUN到物理硬盘的转换,在此过程中用户见到的只是虚拟逻辑单元,而不关心每个LUN的具体物理组织结构。该方案具有以下主要特点:

(1)采用大容量高速缓存,显着提高数据传输速度。

缓存是存储系统中广泛采用的位于主机与存储设备之间的I/O路径上的中间介质。当主机从存储设备中读取数据时,会把与当前数据存储位置相连的数据读到缓存中,并把多次调用的数据保留在缓存中;当主机读数据时,在很大几率上能够从缓存中找到所需要的数据。直接从缓存上读出。而从缓存读取数据时的速度只受到电信号传播速度的影响(等于光速),因此大大高于从硬盘读数据时盘片机械转动的速度。当主机向存储设备写入数据时,先把数据写入缓存中,待主机端写入动作停止,再从缓存中将数据写入硬盘,同样高于直接写入硬盘的速度

(2)多端口并行技术,消除了I/O瓶颈。

传统的FC存储设备中控制端口与逻辑盘之间是固定关系,访问一块硬盘只能通过控制它的控制器端口。在对称式虚拟存储设备中,SAN Appliance的存储端口与LUN的关系是虚拟的,也就是说多台主机可以通过多个存储端口(最多8个)并发访问同一个LUN;在光纤通道100MB/带宽的大前提下,并行工作的端口数量越多,数据带宽就越高。

(3)逻辑存储单元提供了高速的磁盘访问速度。

在视频应用环境中,应用程序读写数据时以固定大小的数据块为单位(从512byte到1MB之间)。而存储系统为了保证应用程序的带宽需求,往往设计为传输512byte以上的数据块大小时才能达到其最佳I/O性能。在传统SAN结构中,当容量需求增大时,唯一的解决办法是多块磁盘(物理或逻辑的)绑定为带区集,实现大容量LUN。在对称式虚拟存储系统中,为主机提供真正的超大容量、高性能LUN,而不是用带区集方式实现的性能较差的逻辑卷。与带区集相比,Power LUN具有很多优势,如大块的I/O block会真正被存储系统所接受,有效提高数据传输速度;并且由于没有带区集的处理过程,主机CPU可以解除很大负担,提高了主机的性能。

(4)成对的HSTD系统的容错性能。

在对称式虚拟存储系统中,HSTD是数据I/O的必经之地,存储池是数据存放地。由于存储池中的数据具有容错机制保障安全,因此用户自然会想到HSTD是否有容错保护。象许多大型存储系统一样,在成熟的对称式虚拟存储系统中,HSTD是成对配制的,每对HSTD之间是通过SAN Appliance内嵌的网络管理服务实现缓存数据一致和相互通信的。

(5)在SAN Appliance之上可方便的连接交换设备,实现超大规模Fabric结构的SAN。

因为系统保持了标准的SAN结构,为系统的扩展和互连提供了技术保障,所以在SAN Appliance之上可方便的连接交换设备,实现超大规模Fabric结构的SAN。

2.非对称式虚拟存储系统

图2非对称式虚拟存储系统示意图

在图2所示的非对称式虚拟存储系统结构图中,网络中的每一台主机和虚拟存储管理设备均连接到磁盘阵列,其中主机的数据路径通过FC交换设备到达磁盘阵列;虚拟存储设备对网络上连接的磁盘阵列进行虚拟化操作,将各存储阵列中的LUN虚拟为逻辑带区集(Strip),并对网络上的每一台主机指定对每一个Strip的访问权限(可写、可读、禁止访问)。当主机要访问某个Strip时,首先要访问虚拟存储设备,读取Strip信息和访问权限,然后再通过交换设备访问实际的Strip中的数据。在此过程中,主机只会识别到逻辑的Strip,而不会直接识别到物理硬盘。这种方案具有如下特点:

(1)将不同物理硬盘阵列中的容量进行逻辑组合,实现虚拟的带区集,将多个阵列控制器端口绑定,在一定程度上提高了系统的可用带宽。

(2)在交换机端口数量足够的情况下,可在一个网络内安装两台虚拟存储设备,实现Strip信息和访问权限的冗余。

但是该方案存在如下一些不足:

(1)该方案本质上是带区集——磁盘阵列结构,一旦带区集中的某个磁盘阵列控制器损坏,或者这个阵列到交换机路径上的铜缆、GBIC损坏,都会导致一个虚拟的LUN离线,而带区集本身是没有容错能力的,一个LUN的损坏就意味着整个Strip里面数据的丢失。

(2)由于该方案的带宽提高是通过阵列端口绑定来实现的,而普通光纤通道阵列控制器的有效带宽仅在40MB/S左右,因此要达到几百兆的带宽就意味着要调用十几台阵列,这样就会占用几十个交换机端口,在只有一两台交换机的中小型网络中,这是不可实现的。

(3)由于各种品牌、型号的磁盘阵列其性能不完全相同,如果出于虚拟化的目的将不同品牌、型号的阵列进行绑定,会带来一个问题:即数据写入或读出时各并发数据流的速度不同,这就意味着原来的数据包顺序在传输完毕后被打乱,系统需要占用时间和资源去重新进行数据包排序整理,这会严重影响系统性能。

3.数据块虚拟与虚拟文件系统

以上从拓扑结构角度分析了对称式与非对称式虚拟存储方案的异同,实际从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。

数据块虚拟存储方案着重解决数据传输过程中的冲突和延时问题。在多交换机组成的大型Fabric结构的SAN中,由于多台主机通过多个交换机端口访问存储设备,延时和数据块冲突问题非常严重。数据块虚拟存储方案利用虚拟的多端口并行技术,为多台客户机提供了极高的带宽,最大限度上减少了延时与冲突的发生,在实际应用中,数据块虚拟存储方案以对称式拓扑结构为表现形式。

虚拟文件系统存储方案着重解决大规模网络中文件共享的安全机制问题。通过对不同的站点指定不同的访问权限,保证网络文件的安全。在实际应用中,虚拟文件系统存储方案以非对称式拓扑结构为表现形式。

三、虚拟存储技术的实现方式

目前实现虚拟存储主要分为如下几种:

1.在服务器端的虚拟存储

服务器厂商会在服务器端实施虚拟存储。同样,软件厂商也会在服务器平台上实施虚拟存储。这些虚拟存储的实施都是通过服务器端将镜像映射到外围存储设备上,除了分配数据外,对外围存储设备没有任何控制。服务器端一般是通过逻辑卷管理来实现虚拟存储技术。逻辑卷管理为从物理存储映射到逻辑上的卷提供了一个虚拟层。服务器只需要处理逻辑卷,而不用管理存储设备的物理参数。

用这种构建虚拟存储系统,服务器端是一性能瓶颈,因此在多媒体处理领域几乎很少采用。

2.在存储子系统端的虚拟存储

另一种实施虚拟的地方是存储设备本身。这种虚拟存储一般是存储厂商实施的,但是很可能使用厂商独家的存储产品。为避免这种不兼容性,厂商也许会和服务器、软件或网络厂商进行合作。当虚拟存储实施在设备端时,逻辑(虚拟)环境和物理设备同在一个控制范围中,这样做的益处在于:虚拟磁盘高度有效地使用磁盘容量,虚拟磁带高度有效地使用磁带介质。

在存储子系统端的虚拟存储设备主要通过大规模的RAID子系统和多个I/O通道连接到服务器上,智能控制器提供LUN访问控制、缓存和其他如数据复制等的管理功能。这种方式的优点在于存储设备管理员对设备有完全的控制权,而且通过与服务器系统分开,可以将存储的管理与多种服务器操作系统隔离,并且可以很容易地调整硬件参数。

3.网络设备端实施虚拟存储

网络厂商会在网络设备端实施虚拟存储,通过网络将逻辑镜像映射到外围存储设备,除了分配数据外,对外围存储设备没有任何控制。在网络端实施虚拟存储具有其合理性,因为它的实施既不是在服务器端,也不是在存储设备端,而是介于两个环境之间,可能是最“开放”的虚拟实施环境,最有可能支持任何的服务器、操作系统、应用和存储设备。从技术上讲,在网络端实施虚拟存储的结构形式有以下两种:即对称式与非对称式虚拟存储。

从目前的虚拟存储技术和产品的实际情况来看,基于主机和基于存储的方法对于初期的采用者来说魅力最大,因为他们不需要任何附加硬件,但对于异构存储系统和操作系统而言,系统的运行效果并不是很好。基于互联设备的方法处于两者之间,它回避了一些安全性问题,存储虚拟化的功能较强,能减轻单一主机的负载,同时可获得很好的可扩充性。

不管采用何种虚拟存储技术,其目的都使为了提供一个高性能、安全、稳定、可靠、可扩展的存储网络平台,满足节目制作网络系统的苛刻要求。根据综合的性能价格比来说,一般情况下,在基于主机和基于存储设备的虚拟存储技术能够保证系统的数据处理能力要求时,优先考虑,因为这两种虚拟存储技术构架方便、管理简单、维护容易、产品相对成熟、性能价格比高。在单纯的基于存储设备的虚拟存储技术无法保证存储系统性能要求的情况下,我们可以考虑采用基于互连设备的虚拟存储技术。

四、虚拟存储的特点

虚拟存储具有如下特点:

(1)虚拟存储提供了一个大容量存储系统集中管理的手段,由网络中的一个环节(如服务器)进行统一管理,避免了由于存储设备扩充所带来的管理方面的麻烦。例如,使用一般存储系统,当增加新的存储设备时,整个系统(包括网络中的诸多用户设备)都需要重新进行繁琐的配置工作,才可以使这个“新成员”加入到存储系统之中。而使用虚拟存储技术,增加新的存储设备时,只需要网络管理员对存储系统进行较为简单的系统配置更改,客户端无需任何操作,感觉上只是存储系统的容量增大了。

(2)虚拟存储对于视频网络系统最有价值的特点是:可以大大提高存储系统整体访问带宽。存储系统是由多个存储模块组成,而虚拟存储系统可以很好地进行负载平衡,把每一次数据访问所需的带宽合理地分配到各个存储模块上,这样系统的整体访问带宽就增大了。例如,一个存储系统中有4个存储模块,每一个存储模块的访问带宽为50MBps,则这个存储系统的总访问带宽就可以接近各存储模块带宽之和,即200MBps。

(3)虚拟存储技术为存储资源管理提供了更好的灵活性,可以将不同类型的存储设备集中管理使用,保障了用户以往购买的存储设备的投资。

(4)虚拟存储技术可以通过管理软件,为网络系统提供一些其它有用功能,如无需服务器的远程镜像、数据快照(Snapshot)等。

五、虚拟存储的应用 由于虚拟存储具有上述特点,虚拟存储技术正逐步成为共享存储管理的主流技术,其应用具体如下:

1.数据镜像

数据镜像就是通过双向同步或单向同步模式在不同的存储设备间建立数据复本。一个合理的解决方案应该能在不依靠设备生产商及操作系统支持的情况下,提供在同一存储阵列及不同存储阵列间制作镜像的方法。

2.数据复制

通过IP地址实现的远距离数据迁移(通常为异步传输)对于不同规模的企业来说,都是一种极为重要的数据灾难恢复工具。好的解决方案不应当依赖特殊的网络设备支持,同时,也不应当依赖主机,以节省企业的管理费用。

3.磁带备份增强设备

过去的几年,在磁带备份技术上鲜有新发展。尽管如此,一个网络存储设备平台亦应能在磁带和磁盘间搭建桥路,以高速、平稳、安全地完成备份工作。

4.实时复本

出于测试、拓展及汇总或一些别的原因,企业经常需要制作数据复本。

5.实时数据恢复

利用磁带来还原数据是数据恢复工作的主要手段,但常常难以成功。数据管理工作其中一个重要的发展新方向是将近期内的备分数据(可以是数星期前的历史数据)转移到磁盘介质,而非磁带介质。用磁盘恢复数据就象闪电般迅速(所有文件能在60秒内恢复),并远比用磁带恢复数据安全可靠。同时,整卷(Volume)数据都能被恢复。

6.应用整合

存储管理发展的又一新方向是,将服务贴近应用。没有一个信息技术领域的管理人员会单纯出于对存储设备的兴趣而去购买它。存储设备是用来服务于应用的,比如数据库,通讯系统等等。通过将存储设备和关键的企业应用行为相整合,能够获取更大的价值,同时,大大减少操作过程中遇到的难题。

7.虚拟存储在数字视频网络中的应用

现在我着重介绍虚拟存储在数字视频网络中的应用。

数字视频网络对广播电视行业来说已经不是一个陌生的概念了,由于它在广播电视技术数字化进程中起到了重要的作用,国内各级电视台对其给予极大的关注,并且开始构造和应用这类系统,在数字视频网的概念中完全打破了以往一台录象机、一个编辑系统、一套播出系统的传统结构,而代之以上载工作站、编辑制作工作站、播出工作站及节目存储工作站的流程,便于操作和管理。节目上载、节目编辑、节目播出在不同功能的工作站上完成,可成倍提高工作效率。同时,由于采用非线性编辑系统,除了采集时的压缩损失外。信号在制作、播出过程中不再有任何损失,节目的技术质量将大大提高。

在现有的视频网络系统中,虽然电脑的主频、网络的传输速率以及交换设备的性能,已经可以满足绝大多数应用的要求,但其中存储设备的访问带宽问题成为了系统的一个主要性能瓶颈。视频编辑、制作具有数据量存储大、码流高、实时性强、安全性重要等特点。这就要求应用于视频领域的存储技术和产品必须具有足够的带宽并且稳定性要好。

在单机应用时,为了保证一台编辑站点有足够的数据带宽,SCSI技术、本地独立磁盘冗余阵例RAID(Rendant Array of Independent Disks)技术(包括软件和硬件)被广泛应用,它通过把若干个SCSI硬盘加上控制器组成一个大容量,快速响应,高可靠性的存储子系统,从用户看可作为一个逻辑盘或者虚拟盘,从而大大提高了数据传输率和存储容量,同时利用纠错技术提高了存储的可靠性,并可满足带宽要求。

随着节目制作需求的发展,要求2—3台站点共享编辑数据。这时可利用SCSI网络技术实现这一要求。几台编辑站点均配置高性能的SCSI适配器,连接至共享的SCSI磁盘阵列,既可以实现几个站点共享数据,又可以保证每一台单机的工作带宽。

光纤通道技术的成熟应用对视频网络的发展具有里程碑的意义,从此主机与共享存储设备之间的连接距离限制从几米、十几米,扩展到几百米、几千米,再配合光纤通道交换设备,网络规模得到几倍、十几倍的扩充。这时候的FC(Fibre Channel光纤通道)磁盘阵列——RAID容错技术、相对SCSI的高带宽、大容量,成为视频网络中的核心存储设备。

随着电视台规模的发展,全台级大规模视频网络的应用被提出。在这种需求下,就必须将更先进的存储技术与产品引入视频领域。存储区域网(SAN)的发展目前正处于全速上升期,各种概念层出不穷。其中具有划时代意义的是虚拟存储概念的提出。相对于传统的交换机加RAID阵列,主机通过硬件层直接访问阵列中的硬盘的SAN结构,虚拟存储的定位是将数据存储功能从实际的、物理的数据存取过程中抽象出来,使普通用户在访问数据时不必关心具体的存储设备的配置参数、物理位置及容量,从而简化用户和系统管理人员的工作难度。

在设计一个视频网络系统的时候,对存储系统的选用,主要考虑如下几个因素:(1)总体带宽性能;(2)可管理性;(3)安全性;(4)可扩展性;(5)系统成本。

当然,这些因素之间有时是相互制约的,特别是系统成本与性能和安全性的关系。如何在这些因素之间寻求合理的、实用的、经济的配合,是一个需要解决的课题。虚拟存储技术的出现,为我们在构建视频网络系统时提供了一个切实可行的高性能价格比的解决方案。

从拓扑结构来讲,对称式的方案具有更高的带宽性能,更好的安全特性,因此比较适合大规模视频网络应用。非对称式方案由于采用了虚拟文件原理,因此更适合普通局域网(如办公网)的应用。

Ⅱ SAN环境中怎么在LUN之间Copy迁移数据存储阵列是EMC Clariion

EMC SAN Copy能在EMC中端存储VNX/CLARiiON之间迁移数据,也可以在VNX/CLARiiON、EMC Symmetrix和第三方非EMC的存储之间实现数据迁移和保护。
使用SAN Copy可以选择完整拷贝(Full)或者增量拷贝(Incremental)。增量复制仅复制上次复制完成后发生改变的数据,这极大地减少了数据复制时间并且最大限度地减小对主机应用程序的中断,从而实现在线迁移。
详细方法参考:https://community.emc.com/videos/4028

Ⅲ 网络传输大型文件怎么传跪求方法~~~~~

你把你那文件在哪下的告诉他啊,让他自己去下

还有好不容易查到的资料,看看对你有没有帮助,

随着围绕数字化、网络化开展的各种多媒体处理业务的不断增加,存储系统网络平台已经成为一个核心平台,同时各种应用对平台的要求也越来越高,不光是在存储容量上,还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。可以说,存储网络平台的综合性能的优劣,将直接影响到整个系统的正常运行。

为达到这些要求,一种新兴的技术正越来越受到大家的关注,即虚拟存储技术。

其实虚拟化技术并不是一件很新的技术,它的发展,应该说是随着计算机技术的发展而发展起来的,最早是始于70年代。由于当时的存储容量,特别是内存容量成本非常高、容量也很小,对于大型应用程序或多程序应用就受到了很大的限制。为了克服这样的限制,人们就采用了虚拟存储的技术,最典型的应用就是虚拟内存技术。随着计算机技术以及相关信息处理技术的不断发展,人们对存储的需求越来越大。这样的需求刺激了各种新技术的出现,比如磁盘性能越来越好、容量越来越大。但是在大量的大中型信息处理系统中,单个磁盘是不能满足需要,这样的情况下存储虚拟化技术就发展起来了。在这个发展过程中也由几个阶段和几种应用。首先是磁盘条带集(RAID,可带容错)技术,将多个物理磁盘通过一定的逻辑关系集合起来,成为一个大容量的虚拟磁盘。而随着数据量不断增加和对数据可用性要求的不断提高,又一种新的存储技术应运而生,那就是存储区域网络(SAN)技术。SAN的广域化则旨在将存储设备实现成为一种公用设施,任何人员、任何主机都可以随时随地获取各自想要的数据。目前讨论比较多的包括iSCSI、FC Over IP 等技术,由于一些相关的标准还没有最终确定,但是存储设备公用化、存储网络广域化是一个不可逆转的潮流。

一、虚拟存储的概念

所谓虚拟存储,就是把多个存储介质模块(如硬盘、RAID)通过一定的手段集中管理起来,所有的存储模块在一个存储池(Storage Pool)中得到统一管理,从主机和工作站的角度,看到就不是多个硬盘,而是一个分区或者卷,就好象是一个超大容量(如1T以上)的硬盘。这种可以将多种、多个存储设备统一管理起来,为使用者提供大容量、高数据传输性能的存储系统,就称之为虚拟存储。

二、虚拟存储的分类

目前虚拟存储的发展尚无统一标准,从虚拟化存储的拓扑结构来讲主要有两种方式:即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体,内嵌在网络数据传输路径中;非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。具体如下:

1.对称式虚拟存储

图1对称式虚拟存储解决方案的示意图

在图1所示的对称式虚拟存储结构图中,存储控制设备 High Speed Traffic Directors(HSTD)与存储池子系统Storage Pool集成在一起,组成SAN Appliance。可以看到在该方案中存储控制设备HSTD在主机与存储池数据交换的过程中起到核心作用。该方案的虚拟存储过程是这样的:由HSTD内嵌的存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元(LUN),并进行端口映射(指定某一个LUN能被哪些端口所见),主机端将各可见的存储单元映射为操作系统可识别的盘符。当主机向SAN Appliance写入数据时,用户只需要将数据写入位置指定为自己映射的盘符(LUN),数据经过HSTD的高速并行端口,先写入高速缓存,HSTD中的存储管理系统自动完成目标位置由LUN到物理硬盘的转换,在此过程中用户见到的只是虚拟逻辑单元,而不关心每个LUN的具体物理组织结构。该方案具有以下主要特点:

(1)采用大容量高速缓存,显着提高数据传输速度。

缓存是存储系统中广泛采用的位于主机与存储设备之间的I/O路径上的中间介质。当主机从存储设备中读取数据时,会把与当前数据存储位置相连的数据读到缓存中,并把多次调用的数据保留在缓存中;当主机读数据时,在很大几率上能够从缓存中找到所需要的数据。直接从缓存上读出。而从缓存读取数据时的速度只受到电信号传播速度的影响(等于光速),因此大大高于从硬盘读数据时盘片机械转动的速度。当主机向存储设备写入数据时,先把数据写入缓存中,待主机端写入动作停止,再从缓存中将数据写入硬盘,同样高于直接写入硬盘的速度

(2)多端口并行技术,消除了I/O瓶颈。

传统的FC存储设备中控制端口与逻辑盘之间是固定关系,访问一块硬盘只能通过控制它的控制器端口。在对称式虚拟存储设备中,SAN Appliance的存储端口与LUN的关系是虚拟的,也就是说多台主机可以通过多个存储端口(最多8个)并发访问同一个LUN;在光纤通道100MB/ 带宽的大前提下,并行工作的端口数量越多,数据带宽就越高。

(3)逻辑存储单元提供了高速的磁盘访问速度。

在视频应用环境中,应用程序读写数据时以固定大小的数据块为单位(从512byte到1MB之间)。而存储系统为了保证应用程序的带宽需求,往往设计为传输512byte以上的数据块大小时才能达到其最佳I/O性能。在传统SAN结构中,当容量需求增大时,唯一的解决办法是多块磁盘(物理或逻辑的)绑定为带区集,实现大容量LUN。在对称式虚拟存储系统中,为主机提供真正的超大容量、高性能LUN,而不是用带区集方式实现的性能较差的逻辑卷。与带区集相比,Power LUN具有很多优势,如大块的I/O block会真正被存储系统所接受,有效提高数据传输速度;并且由于没有带区集的处理过程,主机CPU可以解除很大负担,提高了主机的性能。

(4)成对的HSTD系统的容错性能。

在对称式虚拟存储系统中,HSTD是数据I/O的必经之地,存储池是数据存放地。由于存储池中的数据具有容错机制保障安全,因此用户自然会想到HSTD是否有容错保护。象许多大型存储系统一样,在成熟的对称式虚拟存储系统中,HSTD是成对配制的,每对HSTD之间是通过SAN Appliance内嵌的网络管理服务实现缓存数据一致和相互通信的。

(5)在SAN Appliance之上可方便的连接交换设备,实现超大规模Fabric结构的SAN。

因为系统保持了标准的SAN结构,为系统的扩展和互连提供了技术保障,所以在SAN Appliance之上可方便的连接交换设备,实现超大规模Fabric结构的SAN。

2.非对称式虚拟存储系统

图2非对称式虚拟存储系统示意图

在图2所示的非对称式虚拟存储系统结构图中,网络中的每一台主机和虚拟存储管理设备均连接到磁盘阵列,其中主机的数据路径通过FC交换设备到达磁盘阵列;虚拟存储设备对网络上连接的磁盘阵列进行虚拟化操作,将各存储阵列中的LUN虚拟为逻辑带区集(Strip),并对网络上的每一台主机指定对每一个 Strip的访问权限(可写、可读、禁止访问)。当主机要访问某个Strip时,首先要访问虚拟存储设备,读取Strip信息和访问权限,然后再通过交换设备访问实际的Strip中的数据。在此过程中,主机只会识别到逻辑的Strip,而不会直接识别到物理硬盘。这种方案具有如下特点:

(1)将不同物理硬盘阵列中的容量进行逻辑组合,实现虚拟的带区集,将多个阵列控制器端口绑定,在一定程度上提高了系统的可用带宽。

(2)在交换机端口数量足够的情况下,可在一个网络内安装两台虚拟存储设备,实现Strip信息和访问权限的冗余。

但是该方案存在如下一些不足:

(1)该方案本质上是带区集——磁盘阵列结构,一旦带区集中的某个磁盘阵列控制器损坏,或者这个阵列到交换机路径上的铜缆、GBIC损坏,都会导致一个虚拟的LUN离线,而带区集本身是没有容错能力的,一个LUN的损坏就意味着整个Strip里面数据的丢失。

(2)由于该方案的带宽提高是通过阵列端口绑定来实现的,而普通光纤通道阵列控制器的有效带宽仅在40MB/S左右,因此要达到几百兆的带宽就意味着要调用十几台阵列,这样就会占用几十个交换机端口,在只有一两台交换机的中小型网络中,这是不可实现的。

(3)由于各种品牌、型号的磁盘阵列其性能不完全相同,如果出于虚拟化的目的将不同品牌、型号的阵列进行绑定,会带来一个问题:即数据写入或读出时各并发数据流的速度不同,这就意味着原来的数据包顺序在传输完毕后被打乱,系统需要占用时间和资源去重新进行数据包排序整理,这会严重影响系统性能。

3.数据块虚拟与虚拟文件系统

以上从拓扑结构角度分析了对称式与非对称式虚拟存储方案的异同,实际从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。

数据块虚拟存储方案着重解决数据传输过程中的冲突和延时问题。在多交换机组成的大型Fabric结构的SAN中,由于多台主机通过多个交换机端口访问存储设备,延时和数据块冲突问题非常严重。数据块虚拟存储方案利用虚拟的多端口并行技术,为多台客户机提供了极高的带宽,最大限度上减少了延时与冲突的发生,在实际应用中,数据块虚拟存储方案以对称式拓扑结构为表现形式。

虚拟文件系统存储方案着重解决大规模网络中文件共享的安全机制问题。通过对不同的站点指定不同的访问权限,保证网络文件的安全。在实际应用中,虚拟文件系统存储方案以非对称式拓扑结构为表现形式。

三、虚拟存储技术的实现方式

目前实现虚拟存储主要分为如下几种:

1.在服务器端的虚拟存储

服务器厂商会在服务器端实施虚拟存储。同样,软件厂商也会在服务器平台上实施虚拟存储。这些虚拟存储的实施都是通过服务器端将镜像映射到外围存储设备上,除了分配数据外,对外围存储设备没有任何控制。服务器端一般是通过逻辑卷管理来实现虚拟存储技术。逻辑卷管理为从物理存储映射到逻辑上的卷提供了一个虚拟层。服务器只需要处理逻辑卷,而不用管理存储设备的物理参数。

用这种构建虚拟存储系统,服务器端是一性能瓶颈,因此在多媒体处理领域几乎很少采用。

2.在存储子系统端的虚拟存储

另一种实施虚拟的地方是存储设备本身。这种虚拟存储一般是存储厂商实施的,但是很可能使用厂商独家的存储产品。为避免这种不兼容性,厂商也许会和服务器、软件或网络厂商进行合作。当虚拟存储实施在设备端时,逻辑(虚拟)环境和物理设备同在一个控制范围中,这样做的益处在于:虚拟磁盘高度有效地使用磁盘容量,虚拟磁带高度有效地使用磁带介质。

在存储子系统端的虚拟存储设备主要通过大规模的RAID子系统和多个I/O通道连接到服务器上,智能控制器提供LUN访问控制、缓存和其他如数据复制等的管理功能。这种方式的优点在于存储设备管理员对设备有完全的控制权,而且通过与服务器系统分开,可以将存储的管理与多种服务器操作系统隔离,并且可以很容易地调整硬件参数。

3.网络设备端实施虚拟存储

网络厂商会在网络设备端实施虚拟存储,通过网络将逻辑镜像映射到外围存储设备,除了分配数据外,对外围存储设备没有任何控制。在网络端实施虚拟存储具有其合理性,因为它的实施既不是在服务器端,也不是在存储设备端,而是介于两个环境之间,可能是最“开放”的虚拟实施环境,最有可能支持任何的服务器、操作系统、应用和存储设备。从技术上讲,在网络端实施虚拟存储的结构形式有以下两种:即对称式与非对称式虚拟存储。

从目前的虚拟存储技术和产品的实际情况来看,基于主机和基于存储的方法对于初期的采用者来说魅力最大,因为他们不需要任何附加硬件,但对于异构存储系统和操作系统而言,系统的运行效果并不是很好。基于互联设备的方法处于两者之间,它回避了一些安全性问题,存储虚拟化的功能较强,能减轻单一主机的负载,同时可获得很好的可扩充性。

不管采用何种虚拟存储技术,其目的都使为了提供一个高性能、安全、稳定、可靠、可扩展的存储网络平台,满足节目制作网络系统的苛刻要求。根据综合的性能价格比来说,一般情况下,在基于主机和基于存储设备的虚拟存储技术能够保证系统的数据处理能力要求时,优先考虑,因为这两种虚拟存储技术构架方便、管理简单、维护容易、产品相对成熟、性能价格比高。在单纯的基于存储设备的虚拟存储技术无法保证存储系统性能要求的情况下,我们可以考虑采用基于互连设备的虚拟存储技术。

四、虚拟存储的特点

虚拟存储具有如下特点:

(1)虚拟存储提供了一个大容量存储系统集中管理的手段,由网络中的一个环节(如服务器)进行统一管理,避免了由于存储设备扩充所带来的管理方面的麻烦。例如,使用一般存储系统,当增加新的存储设备时,整个系统(包括网络中的诸多用户设备)都需要重新进行繁琐的配置工作,才可以使这个“新成员”加入到存储系统之中。而使用虚拟存储技术,增加新的存储设备时,只需要网络管理员对存储系统进行较为简单的系统配置更改,客户端无需任何操作,感觉上只是存储系统的容量增大了。

(2)虚拟存储对于视频网络系统最有价值的特点是:可以大大提高存储系统整体访问带宽。存储系统是由多个存储模块组成,而虚拟存储系统可以很好地进行负载平衡,把每一次数据访问所需的带宽合理地分配到各个存储模块上,这样系统的整体访问带宽就增大了。例如,一个存储系统中有4个存储模块,每一个存储模块的访问带宽为50MBps,则这个存储系统的总访问带宽就可以接近各存储模块带宽之和,即200MBps。

(3)虚拟存储技术为存储资源管理提供了更好的灵活性,可以将不同类型的存储设备集中管理使用,保障了用户以往购买的存储设备的投资。

(4)虚拟存储技术可以通过管理软件,为网络系统提供一些其它有用功能,如无需服务器的远程镜像、数据快照(Snapshot)等。

五、虚拟存储的应用 由于虚拟存储具有上述特点,虚拟存储技术正逐步成为共享存储管理的主流技术,其应用具体如下:

1.数据镜像

数据镜像就是通过双向同步或单向同步模式在不同的存储设备间建立数据复本。一个合理的解决方案应该能在不依靠设备生产商及操作系统支持的情况下,提供在同一存储阵列及不同存储阵列间制作镜像的方法。

2.数据复制

通过IP地址实现的远距离数据迁移(通常为异步传输)对于不同规模的企业来说,都是一种极为重要的数据灾难恢复工具。好的解决方案不应当依赖特殊的网络设备支持,同时,也不应当依赖主机,以节省企业的管理费用。

3.磁带备份增强设备

过去的几年,在磁带备份技术上鲜有新发展。尽管如此,一个网络存储设备平台亦应能在磁带和磁盘间搭建桥路,以高速、平稳、安全地完成备份工作。

4.实时复本

出于测试、拓展及汇总或一些别的原因,企业经常需要制作数据复本。

5.实时数据恢复

利用磁带来还原数据是数据恢复工作的主要手段,但常常难以成功。数据管理工作其中一个重要的发展新方向是将近期内的备分数据(可以是数星期前的历史数据)转移到磁盘介质,而非磁带介质。用磁盘恢复数据就象闪电般迅速(所有文件能在60秒内恢复),并远比用磁带恢复数据安全可靠。同时,整卷(Volume)数据都能被恢复。

6.应用整合

存储管理发展的又一新方向是,将服务贴近应用。没有一个信息技术领域的管理人员会单纯出于对存储设备的兴趣而去购买它。存储设备是用来服务于应用的,比如数据库,通讯系统等等。通过将存储设备和关键的企业应用行为相整合,能够获取更大的价值,同时,大大减少操作过程中遇到的难题。

7.虚拟存储在数字视频网络中的应用

现在我着重介绍虚拟存储在数字视频网络中的应用。

数字视频网络对广播电视行业来说已经不是一个陌生的概念了,由于它在广播电视技术数字化进程中起到了重要的作用,国内各级电视台对其给予极大的关注,并且开始构造和应用这类系统,在数字视频网的概念中完全打破了以往一台录象机、一个编辑系统、一套播出系统的传统结构,而代之以上载工作站、编辑制作工作站、播出工作站及节目存储工作站的流程,便于操作和管理。节目上载、节目编辑、节目播出在不同功能的工作站上完成,可成倍提高工作效率。同时,由于采用非线性编辑系统,除了采集时的压缩损失外。信号在制作、播出过程中不再有任何损失,节目的技术质量将大大提高。

在现有的视频网络系统中,虽然电脑的主频、网络的传输速率以及交换设备的性能,已经可以满足绝大多数应用的要求,但其中存储设备的访问带宽问题成为了系统的一个主要性能瓶颈。视频编辑、制作具有数据量存储大、码流高、实时性强、安全性重要等特点。这就要求应用于视频领域的存储技术和产品必须具有足够的带宽并且稳定性要好。

在单机应用时,为了保证一台编辑站点有足够的数据带宽,SCSI技术、本地独立磁盘冗余阵例RAID(Rendant Array of Independent Disks)技术(包括软件和硬件)被广泛应用,它通过把若干个SCSI硬盘加上控制器组成一个大容量,快速响应,高可靠性的存储子系统,从用户看可作为一个逻辑盘或者虚拟盘,从而大大提高了数据传输率和存储容量,同时利用纠错技术提高了存储的可靠性,并可满足带宽要求。

随着节目制作需求的发展,要求2—3台站点共享编辑数据。这时可利用SCSI网络技术实现这一要求。几台编辑站点均配置高性能的SCSI适配器,连接至共享的SCSI磁盘阵列,既可以实现几个站点共享数据,又可以保证每一台单机的工作带宽。

光纤通道技术的成熟应用对视频网络的发展具有里程碑的意义,从此主机与共享存储设备之间的连接距离限制从几米、十几米,扩展到几百米、几千米,再配合光纤通道交换设备,网络规模得到几倍、十几倍的扩充。这时候的FC(Fibre Channel光纤通道)磁盘阵列——RAID容错技术、相对SCSI的高带宽、大容量,成为视频网络中的核心存储设备。

随着电视台规模的发展,全台级大规模视频网络的应用被提出。在这种需求下,就必须将更先进的存储技术与产品引入视频领域。存储区域网(SAN)的发展目前正处于全速上升期,各种概念层出不穷。其中具有划时代意义的是虚拟存储概念的提出。相对于传统的交换机加RAID阵列,主机通过硬件层直接访问阵列中的硬盘的SAN结构,虚拟存储的定位是将数据存储功能从实际的、物理的数据存取过程中抽象出来,使普通用户在访问数据时不必关心具体的存储设备的配置参数、物理位置及容量,从而简化用户和系统管理人员的工作难度。

在设计一个视频网络系统的时候,对存储系统的选用,主要考虑如下几个因素:(1)总体带宽性能;(2)可管理性;(3)安全性;(4)可扩展性;(5)系统成本。

当然,这些因素之间有时是相互制约的,特别是系统成本与性能和安全性的关系。如何在这些因素之间寻求合理的、实用的、经济的配合,是一个需要解决的课题。虚拟存储技术的出现,为我们在构建视频网络系统时提供了一个切实可行的高性能价格比的解决方案。

从拓扑结构来讲,对称式的方案具有更高的带宽性能,更好的安全特性,因此比较适合大规模视频网络应用。非对称式方案由于采用了虚拟文件原理,因此更适合普通局域网(如办公网)的应用。
TOP

Ⅳ 华为OceanStor S2600T的产品参数

型号 华为S2600T 硬件特性 存储处理器 多核多处理器组 缓存 8GB/16GB 最大闪存(Smartcache) 1.2TB 控制器数 2 前端通道端口类型 8Gbps FC,1/10GE(iSCSI) 后端通道端口类型 6Gbps SAS2.0宽端口 板载I/O端口数 12x1Gbps前端iSCSI及4xSAS2.0后端SAS宽端口 扩展I/O模块数 2(每个模块提供4端口8Gbps FC/4端口GE iSCSI/2端口10GE iSCSI) 最大盘位数 276 支持的硬盘类型 SAS,NL SAS,SATA,SSD 软件特性 RAID 支持 0,1,3,5,6,10,50 支持LUN数量 2048 支持快照数量 256 TurboMole 支持 其他功能软件 HyperImage(快照),HyperCopy(LUN拷贝),HyperClone(分裂镜像),HyperMirror(同步/异步远程复制),HyperThin(自动精简配置),UltraPath(多路径软件),DiskGuard(主机端数据保护软件),SmartCache(TurboBoost中的动态数据缓存技术) 操作系统兼容 AIX,HP-UX,Solaris,Linux,Windows,VMware等 物理特性电源交流:100V~127V或200V~240V 直流:-48V~-60V功耗2U控制框≤380W(含12 SAS盘) 4U硬盘框≤441W(满配600GB SAS)尺寸2U控制框:86.1mm(H)*446mm(W)*582mm(D) 4U硬盘框:175mm(H)*446mm(W)*412mm(D)重量2U控制框≤22.98kg 4U硬盘框≤25.2kg

Ⅳ 关于IBM、HP等中低端存储详细综合分析报告。

中产阶级的品质可以反映出一个国家的发展前景,而中端存储就是外部磁盘存储市场的中产阶级,不仅起着承上启下的作用,也是整个市场状况的晴雨表。

Gartner和IDC在3月初公布的2005年外部磁盘存储市场调查报告都得出了全年收入增长达两位数(11.2%和12.1%)的结论,其中中端存储系统的贡献最大:

在过去两年中,按季度计算的收入增长率(与一年前同期相比),EMC的CLARiiON家族除2005年第三季度为20%,其余11个季度都超过了30%!尤其在Symmetrix DMX-3推出之前,是CLARiiON的出色表现弥补了高端存储系统相对低迷造成的损失;

惠普(HP)2005年第四季度和全年的收入增长均略低于市场平均水平,但EVA中端存储阵列的“强势”增长和高端XP系列的增长帮助其保住了第二的位置;

2005年全年IBM收入增长在25%左右,第四季度的增长率更接近50%,而中端存储系统收入在4Gb/s的TotalStorage DS4800的推动下增长超过40%;

以中端存储为主的戴尔(Dell)全年增长约40%,第四季度更接近60%;

Network Appliance(NetApp)第四季度和全年的收入增长均在23%左右,在FAS3000系列的推动下超越Sun排名第六……

可是,上述厂商能否代表整个市场呢?当然!根据Gartner的统计,加上HDS(日立存储系统)和Sun,前七大厂商在2005年第四季度和全年所占的市场份额分别为83.5%和81.6%,比一年前的75.8%和77.8%有所上升。由此可见,大型厂商对存储行业的控制是相当……的强。

从上面的分析可以看到,把中端存储系统的研究范围圈定在EMC、惠普、IBM、HDS、戴尔、NetApp和Sun这前七大存储系统厂商的相应产品中应该具有足够的代表性。不过,我们下面只列举了其中六家的产品,因为戴尔的中端存储系统OEM自EMC。事实上,EMC CLARiiON家族的骄人业绩便有戴尔一份功劳。

如何界定中端存储系统?

在中端存储系统的界定上,我们主要参考各厂商自己的定义:部分厂商对自己的产品有明确的分类——IBM和HP用“Mid-range”,Sun用“Midrange”,一目了然;其他厂商虽然没有写得这么直白,但每个系列产品的定位大家也都是很清楚的。不同厂商的中端存储系统在配置上会有高下之分,不过并不足以形成明显的分野。

严格说来,公认的中端存储系统范围要更小一些。举例来说,HDS将TagmaStore NSC55定位在中端存储系统中的高端,表面看来其最大72TB的容量确实比地道的中端系统TagmaStore AMS500还低,可实际上NSC55与高端的TagmaStore USP有着密切的血缘关系,称之为入门级的高端存储系统恐怕更为合适——HDS的两个OEM客户HP和Sun就是这么做的。同样的规则也可以解释IBM为何要把最大容量只有38.4TB的TotalStorage DS6800划入企业级(Enterprise,相当于“高端”)存储系统的行列。

NSC55与DS6800偏小的容量部分归因于它们仅支持高性能的FC硬盘驱动器(最大300GB),而那些只能使用大容量的SATA/PATA硬盘驱动器(最大500GB)的存储系统也不能算作中端——如最大容量58TB的StorageTek FlexLine FLX680。最大容量96.7TB的NearStore R200也属于这类产品,NetApp将它与NearStore虚拟磁带库(VTL)一并列为近线存储(Nearline Storage)是很合理的。

中端存储系统应该在功能、性能、容量和价格之间取得较好的平衡,并能适应主存储和近线存储等多种不同的应用需求。高性能的FC硬盘驱动器传统上一直是主存储的首选,但SATA硬盘驱动器的经济性对非实时交易的数据仓库、目录服务、软件开发和灾难恢复系统等性能“够用就好”的应用具有越来越难以抗拒的吸引力,更不要说非常在意容量和单位价格的二级存储了,因此同时支持FC和SATA硬盘驱动器已成为中端存储系统必备的素质。

性能与经济性不可偏废

众所周知,FC(确切地说是FC-AL)和SATA是两种互不兼容的接口标准,对此最常见的解决方法是同时提供两种内部接口不同而外部统一为FC连接的磁盘柜,EMC CLARiiON CX家族和HDS Thunder 9500V系列就是这种做法的代表,我们不妨称之为磁盘柜层面的(FC和SATA)混用。

2004年4月,HP宣布联合希捷(Seagate)推出FATA(Fibre Attached Technology Adapted,光纤连接技术改造)硬盘驱动器,并于当年7月在其EVA 3000/5000中提供了250GB FATA硬盘驱动器的选项。同月,FATA所代表的“低成本、高容量FC接口硬盘驱动器”获得了FCIA(Fibre Channel Instry Association,光纤通道工业协会)的认可。

FATA硬盘驱动器相当于改用FC接口的SATA硬盘驱动器,从而能够与传统的FC硬盘驱动器使用同一种磁盘柜,用户可以根据实际需要随意选择高性能而昂贵(FC)或大容量且廉价(FATA)的硬盘驱动器,提高了灵活性和任务弹性。与SATA相比,FC接口电路较为复杂,加之产量较小,使得FATA硬盘驱动器的价格要高于SATA硬盘驱动器,不过磁盘柜的精简可以大致抵消这一不利因素。此外,EMC Symmetrix DMX-3企业级存储系统中采用的LC-FC(Low Cost Fibre Channel,低成本FC)硬盘驱动器实质上也等同于FATA,但目前尚不清楚会否应用在下一代CLARiiON产品中。

得益于FC的双端口特性,FATA(或LC-FC)硬盘驱动器的可靠性略高于SATA硬盘驱动器,不过与“正宗的”FC硬盘驱动器还差得远,出故障的几率较大。同时,FATA/SATA硬盘驱动器动辄数百GB的容量和相对缓慢的速度使RAID组重建的时间成倍增加,在此期间出现第二个故障硬盘的风险很高。为了避免由此导致的数据丢失,那些能够在同一RAID组中有两个硬盘出故障的情况下保护数据的RAID技术开始受到青睐,如HDS所采用的RAID 6(从RAID 5发展而来)和NetApp独有的RAID-DP(RAID Double Parity,建立在RAID 4基础上的双校验)。

4GFC和iSCSI:旗鼓相当,冲线在即

4Gb/s FC(4GFC)和iSCSI都是中端存储系统领域的热点话题,它们代表了两个方向——单纯提升速度和扩展连接能力。

4GFC从2005年开始升温,由于从那时起只有对其持保守态度的EMC更新了高端存储系统(Symmetrix DMX-3),因此中端存储系统理所当然地成为4GFC发展的主战场。

2005年6月IBM率先以TotalStorage DS4800响应4GFC,HDS TagmaStore AMS系列随后跟进,HP StorageWorks EVA4000/6000/8000也在半年之后加入行列。EMC虽然升级了CLARiiON CX300/500/700,却没有4GFC什么事,理由是整个大环境还没有成熟。

现在支持4GFC的HBA和交换机已不难获得,问题在于硬盘驱动器还没有到位,甚至AMS系列和EVA4000/6000/8000的后端磁盘接口也还停留在2Gb/s FC(2GFC),只有DS4800刚刚用上支持4GFC的磁盘柜。

当然,在设计得当的情况下只有主机端连接达到4Gb/s的速度一样可以提高性能。IBM正计划为高端的DS6000和DS8000系列提供4GFC支持,EMC也很可能在第二季度推出支持4GFC和iSCSI、代号Sledgehammer(大锤)的新一代CLARiiON系统。

HP为EVA提供的iSCSI连接选件(上),其功能类似于博科iSCSI网关(下)

与对待4GFC的消极态度相比,EMC在iSCSI上的表现要积极得多,因为iSCSI能够让用户在缺乏FC基础设施的环境中构建(IP)SAN,扩大了市场覆盖。由于CLARiiON CX300/500/700中没有必需的以太网支持,EMC专门推出了仅支持iSCSI的CLARiiON CX300i和500i。类似的问题也困扰着其他厂商——HP的解决之道是通过一个类似iSCSI网关设备的HP StorageWorks EVA iSCSI连接选件使EVA能同时支持FC和iSCSI,而HDS让AMS系列在2006年初支持iSCSI的计划还没有实现。在这方面以NAS起家的NetApp显然得天独厚,其FAS3000从一开始就FC、iSCSI和NAS通吃,iSCSI SAN市场排名第一(2005年26.2%)真不是盖的。

IBM的策略与EMC形成鲜明对照——充当4GFC排头兵的同时却对iSCSI很不感冒。iSCSI SAN市场规模还不够大(2005年增长130%之后仍不到1亿美元)的解释固然有理,蓝色巨人在iSCSI上因过于激进屡遭挫折的历史恐怕也不能忽略。

粗略统计下来,前七大厂商现有的中端存储系统中4GFC(HDS、HP、IBM、Sun/StorageTek)和iSCSI(Dell、EMC、HP、NetApp)的支持者打了个平手。可以肯定的是,这些产品的下一代都会同时支持4GFC和iSCSI,而EMC的Sledgehammer将是第一个。

EMC CLARiiON:老当益壮,换代可期

在过去的一年中,几乎所有主要的存储系统厂商都推出了新一代的中端存储产品,只有EMC仍在靠两年前就已问世的CLARiiON CX300/500/700打天下。

不过,这两年中EMC没有停止对CLARiiON CX300/500/700的更新和升级。大约在一年前,EMC推出了支持本地iSCSI的CLARiiON CX300i和CX500i,它们采用1Gb以太网接口,而不是CLARiiON CX300和CX500的2Gb FC接口。最高端的CLARiiON CX700没有相对应的iSCSI版本。显然,目前的CLARiiON CX还不能在一个系统内同时支持FC和iSCSI。

又过了半年,EMC宣布对CLARiiON家族进行升级,新版本的CLARiiON包括CX300s、CX500s和CX700s,后面增加的“s”代表scale。硬盘驱动器和存储控制器之间的点对点连接取代了过时的FC-AL(Fibre Channel arbitrated loop,光纤通道仲裁环路)架构。新的结构改善了错误隔离,使系统能检测到将要出故障的硬盘驱动器,这在FC-AL的设计下是比较困难的。EMC将这种点对点连接称为“UltraPoint”,并特别说明不是一种交换式设计,后者能够形成冗余性更好的架构。用户可通过支持UltraPoint的新磁盘阵列柜升级现有的CLARiiON型号。内建的直流电源支持允许电信、军事、油气勘探公司等机构在野外通过电池来驱动CLARiiON。

被引用了两年的一张“合影”:CX300、CX700和CX500

新的CLARiiON软件功能包括:虚拟逻辑单元号(Virtual LUN),允许用户移动CLARiiON上的数据时无需中断应用;为改善SnapView和MirrorView产品的复制能力,加入了一致性组支持(MirrorView/S),可以在跨多个卷的时间点和远程复制时保证数据的一致性;能够拷贝的LUN数量加倍——MirrorView从50到100,SnapView从100到200;SAN Copy的升级SAN Copy/E允许用户在CX系列和CLARiiON AX100之间复制,而以前用户只能在CX500和CX700之间复制。EMC宣称,新的软件允许用户从像分支办公室这样的“边缘”位置向中央数据中心等“核心”位置移动数据,供备份、恢复和报告使用。CLARiiON管理软件Navisphere Manager也进行了升级,能从一个控制台管理AX100和CX系列。

对4Gb/s FC(4GFC)的支持没有在这次升级中加入进来,因为当时EMC认为4GFC的环境还没有真正形成——支持4GFC的交换机、HBA和硬盘驱动器相对缺乏。前不久有消息称,EMC可能会在今年4月或6月推出支持4GFC和iSCSI连接的新一代CLARiiON CX。

CLARiiON CX300/500/700支持最大容量300GB的FC硬盘驱动器和最大容量500GB的SATA硬盘驱动器,两种磁盘柜可同时使用。支持RAID 0, 1, 10, 3, 5,一个RAID组最多可包括16个硬盘驱动器。可配置全局热备份(hot spare)磁盘,重建优先级可调整。

HDS AMS:可靠与速度兼顾

2005年7月,HDS推出了4款模块化存储产品,即TagmaStore工作组模块化存储系统(Workgroup Molar Storage)WMS100,TagmaStore可调整模块化存储系统(Adaptable Molar Storage)AMS200、AMS500和TagmaStore网络存储控制器(Network Storage Controller)NSC55,其中两款AMS较为符合人们通常对中端存储的定义。

AMS200和AMS500的目标市场均为中型企业,分别用来取代Thunder 9530V入门级存储系统和Thunder 9570V高端模块化存储系统。两者均采用共享总线的双控制器架构(可单控制器),数据缓存容量分别是1GB~4GB和2GB~8GB,最大LUN数量分别为512个和2048个。AMS200可升级为AMS500。

最初只有AMS500支持4Gb/s FC(4GFC),现在AMS200以及更低端的WMS100页都支持4Gb/s主机连接。三款产品均具有4个4Gb/s FC主机端口,能够更充分地发挥带主机存储域的512个虚拟端口的作用。不过,它们的后端磁盘接口还是2Gb/s FC-AL的规格。

HDS TagmaStore AMS200和AMS500

AMS200和AMS500的控制器为4U规格,内置15个FC硬盘驱动器。AMS对FC和SATA混插(intermix)的支持是通过外接不同类型的磁盘柜(3U,15个驱动器)实现的:AMS200可外接6个,最大硬盘驱动器数量105个,总容量40.5TB(300GB FC硬盘驱动器和400GB SATA硬盘驱动器,下同);AMS500可外接14个,最大硬盘驱动器数量225个,总容量67.5TB(全FC)或88.5TB。

容量更大而可靠性相对较低的SATA硬盘驱动器的使用,意味着RAID组在重建过程中遭遇又一次硬盘故障的风险大为增加,因此AMS200和AMS500除常见的RAID 1, 10, 5之外,加入了对采用双校验盘的RAID 6(6D+2P)的支持。与NSC55和WMS100不同的是,AMS200和AMS500还支持强调性能而毫无冗余度可言的RAID 0,但作用对象仅限于FC硬盘驱动器。通过支持动态备份盘(热备援)的漫游,AMS200和AMS500减少了内部拷贝的工作,阵列的性能也会得到一定的提高。

AMS200和AMS500不仅可以作为FC SAN的成员,还具备多达8个的NAS连接能力,支持NFS v2/v3、CIFS、FTP和用于管理的HTTP等网络协议。此外,HDS还计划在2006年上半年为AMS200和AMS500提供本地iSCSI连接能力。

高速缓存分区管理(Cache Partition Manager)在AMS200和AMS500所应用的技术中最为引人注目,它将高速缓存进一步细分,每个高速缓存划分的部分称为分区(AMS200最多8个,AMS500最多16个),并有效地使用。LUN定义于WMS和AMS存储系统内,可以分配给一个分区,客户可以指定分区的大小。优化主机收集/发送的数据的方法就是根据从主机收到的应用(数据),将最适合的分配分配给LUN。视应用的特性,可以用多种不同的方法优化同一AMS存储系统。

AMS200和AMS500支持的其他软件包括Hitachi Resource Manager工具包、HiCommand套件、Hitachi ShadowImage In-System Replication、Hitachi Copy-on-Write Snapshot、Hitachi Volume Security、Hitachi Data Retention Utility、Hitachi Dynamic Link Manager、Hitachi HiCommand Storage Services Manager(AppIQ),此外AMS500还多一个用于远程拷贝和D2D备份的Hitachi TrueCopy Remote Replication(同步)。

HP EVA:循序渐进,左右逢源

2005年5月中,惠普(HP)在其年度StorageWorks大会上宣布推出企业虚拟阵列(Enterprise Virtual Array,EVA)家族的最新产品EVA4000/6000/8000。

EVA4000和EVA8000分别取代问世已有两年之久的EVA3000和EVA5000,原有的两款产品间过大的空档被EVA6000填补。三款产品均采用4U机架规格的FC双HSV200控制器,一个42U的机柜(cabinet)最多可以容纳12个M5314B磁盘柜,因此EVA8000在单个机柜内支持的硬盘驱动器数量为168个,要达到240个的最大数量还需要增加一个工具机柜。

EVA4000 2C1D、EVA6000 2C4D和EVA8000 2C12D

FATA(Fibre Attached Technology Adapted,光纤连接技术改造)是EVA4000/6000/8000从EVA3000/5000继承的“遗产”中最值得一提的技术。作为一种相对廉价的大容量硬盘驱动器,FATA硬盘驱动器采用FC接口——而不是常见的SATA接口,因此可以与高性能的FC硬盘驱动器使用同样的磁盘柜,这也是同代的其他中端存储系统所欠缺的能力。

EVA家族采用将每个逻辑卷都分摊到所有硬盘上的Vraid(Virtual RAID)技术,以充分利用每块硬盘的性能。EVA4000/6000/8000可管理多达1024个虚拟磁盘(256个/HBA),每个虚拟磁盘的容量在1GB到2TB之间,能够以1GB为增量动态扩展容量(需要主机操作系统支持)。

今年2月,EVA家族成为业内第一批能够同时支持iSCSI和4Gb/s FC(4GFC)连接的中端存储系统。通过使用具有2个以太网(GbE)端口和2个FC端口的HP StorageWorks EVA iSCSI连接选件,EVA家族可以获得iSCSI连接能力;而4GFC连接仅限于主机端口,磁盘端口仍然是2Gb/s(2GFC)。此外,还支持EVA阵列连接到XP阵列上以提高虚拟化能力并允许从HP的单一界面对多个厂商的阵列的数据管理。

Ⅵ 快照技术的技术类型

有两大类存储快照,一种叫做即写即拷(-on-write)快照,另一种叫做分割镜像快照。
即写即拷快照可以在每次输入新数据或已有数据被更新时生成对存储数据改动的快照。这样做可以在发生硬盘写错误、文件损坏或程序故障时迅速地恢复数据。但是,如果需要对网络或存储媒介上的所有数据进行完全的存档或恢复时,所有以前的快照都必须可供使用。
即写即拷快照是表现数据外观特征的“照片”。这种方式通常也被称为“元数据”拷贝,即所有的数据并没有被真正拷贝到另一个位置,只是指示数据实际所处位置的指针被拷贝。在使用这项技术的情况下,当已经有了快照时,如果有人试图改写原始的LUN上的数据,快照软件将首先将原始的数据块拷贝到一个新位置(专用于复制操作的存储资源池),然后再进行写操作。以后当你引用原始数据时,快照软件将指针映射到新位置,或者当你引用快照时将指针映射到老位置。
分割镜像快照引用镜像硬盘组上所有数据。每次应用运行时,都生成整个卷的快照,而不只是新数据或更新的数据。这种使离线访问数据成为可能,并且简化了恢复、复制或存档一块硬盘上的所有数据的过程。但是,这是个较慢的过程,而且每个快照需要占用更多的存储空间。
分割镜像快照也叫作原样复制,由于它是某一LUN或文件系统上的数据的物理拷贝,有的管理员称之为克隆、映像等。原样复制的过程可以由主机(Windows上的MirrorSet、Veritas的Mirror卷等)或在存储级上用硬件完成(Clone、BCV、ShadowImage等)。
容灾技术中的数据快照技术
远程镜像技术往往同快照技术结合起来实现远程备份,即通过镜像把数据备份到远程存储系统中,再用快照技术把远程存储系统中的信息备份到远程的磁带库、光盘库中。
快照技术分为两类,一类指针型,是通过软件对要备份的磁盘子系统的数据快速扫描,建立一个要备份数据的快照逻辑单元号LUN和快照cache,在快速扫描时,把备份过程中即将要修改的数据块同时快速拷贝到快照cache中。快照LUN是一组指针,它指向快照cache和磁盘子系统中不变的数据块(在备份过程中)。在正常业务进行的同时,利用快照LUN实现对原数据的一个完全的备份。
另一类是空间型,也驻留在磁盘阵列系统中。它使主机系统和磁盘阵列设备管理者能够在后台状态下,为主机处理的数据在磁盘阵列内部实时创建可独立寻址多卷。这些卷是应用数据存放的现用生产卷的镜象,可同时并行运行任务。一旦生产数据的卷建立后,通过命令可以与其生产卷分割开,应用系统数据库可通过生产卷继续做联机应用,与此同时,备份系统可利用卷进行备份、报表生成和应用开发测试等工作。大大缩短了应用系统因备份等原因OFFLINE脱机的时间,工作示意如图所示。
无论是生产、测试、灾难恢复,还是数据仓库应用,该系统件套件都能提供业务数据影像拷贝的生成和管理维护,使客户以不同的方式更好、更充分的利用业务数据,获得更大的增值效益。基于数据复制、保护和信息共享而设计的复制管理系统件,提供了非常强大的功能:既可以在一个数据中心内部或者不同数据中心之间实现数据复制,也可以在不同部门之间实现信息共享,快速、有效地适应业务的灵活扩展,在竞争中获得领先优势。它可使用户在正常业务不受影响的情况下,实时提取当前在线业务数据。其“备份窗口”接近于零,可大大增加系统业务的连续性,为实现系统真正的7×24运转提供了保证。

Ⅶ 华为OceanStor S5500T的产品主要参数

存储处理器 多核多处理器组 缓存 8GB/16GB/32GB 扩展缓存 1.2TB控制器数 2 前端通道端口类型 iSCSI、10Gbps iSCSI(TOE) 后端通道端口类型 6Gbps SAS2.0宽端口 板载I/O端口数 后端SAS宽端口 8x8Gbps 最大I/O模块数 2 最大盘位数 528 硬盘类型 SAS、NL SAS、SATA、SSDRAID 支持 0,1,3,5,6,10,50支持快照数量 1024支持LUN数量 4096TurboMole 支持 其他功能软件 Hyperimage(快照)、HyperCopy(LUN拷贝)、HyperClone(分裂镜像)、HyperMirror(同步/异步远程复制)、HyperThin(自动精简配置)、UltraPath(多路径软件)、DiskGuard(应用服务器端数据保护软件)、SmartCache(动态数据缓存)

Ⅷ 什么是磁盘快照技术

随着存储应用需求的提高,用户需要在线方式进行数据保护,快照就是在线存储设备防范数据丢失的有效方法之一,越来越多的设备都开始支持这项功能。越来越多的存储设备支持快照功能,在这些产品的资料中宣传了各自快照技术的优势,有的是快照数量多,有的是占用空间小。那么,究竟什么是快照技术?主要有哪些类型?接下来我们深入了解一下。快照的定义与作用SNIA(存储网络行业协会)对快照(Snapshot)的定义是:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本,也可以是数据的一个复制品。而从具体的技术细节来讲,快照是指向保存在存储设备中的数据的引用标记或指针。我们可以这样理解,快照有点像是详细的目录表,但它被计算机作为完整的数据备份来对待。快照有三种基本形式:基于文件系统式的、基于子系统式的和基于卷管理器/虚拟化式的,而且这三种形式差别很大。市场上已经出现了能够自动生成这些快照的实用工具,比如有代表性的有NetApp的存储设备基于文件系统实现,高中低端设备使用共同的操作系统,都能够实现快照应用;HP的EVA、HDS通用存储平台以及EMC的高端阵列则实现了子系统式快照;而Veritas则通过卷管理器实现快照。快照的作用主要是能够进行在线数据恢复,当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复,将数据恢复成快照产生时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道,当原数据进行在线应用处理时,用户可以访问快照数据,还可以利用快照进行测试等工作。因此,所有存储系统,不论高中低端,只要应用于在线系统,那么快照就成为一个不可或缺的功能。两种类型目前有两大类存储快照,一种叫做即写即拷(-on-write)快照,另一种叫做分割镜像快照。 即写即拷快照可以在每次输入新数据或已有数据被更新时生成对存储数据改动的快照。这样做可以在发生硬盘写错误、文件损坏或程序故障时迅速地恢复数据。但是,如果需要对网络或存储媒介上的所有数据进行完全的存档或恢复时,所有以前的快照都必须可供使用。即写即拷快照是表现数据外观特征的“照片”。这种方式通常也被称为“元数据”拷贝,即所有的数据并没有被真正拷贝到另一个位置,只是指示数据实际所处位置的指针被拷贝。在使用这项技术的情况下,当已经有了快照时,如果有人试图改写原始的LUN上的数据,快照软件将首先将原始的数据块拷贝到一个新位置(专用于复制操作的存储资源池),然后再进行写操作。以后当你引用原始数据时,快照软件将指针映射到新位置,或者当你引用快照时将指针映射到老位置。 分割镜像快照引用镜像硬盘组上所有数据。每次应用运行时,都生成整个卷的快照,而不只是新数据或更新的数据。这种使离线访问数据成为可能,并且简化了恢复、复制或存档一块硬盘上的所有数据的过程。但是,这是个较慢的过程,而且每个快照需要占用更多的存储空间。分割镜像快照也叫作原样复制,由于它是某一LUN或文件系统上的数据的物理拷贝,有的管理员称之为克隆、映像等。原样复制的过程可以由主机(Windows上的MirrorSet、Veritas的Mirror卷等)或在存储级上用硬件完成(Clone、BCV、ShadowImage等)。三种使用方法具体使用快照时,存储管理员可以有三种形式,即冷快照拷贝、暖快照拷贝和热快照拷贝。冷快照拷贝:进行冷快照拷贝是保证系统可以被完全恢复的最安全的方式。在进行任何大的配置变化或维护过程之前和之后,一般都需要进行冷拷贝,以保证完全的恢复原状(rollback)。冷拷贝还可以与克隆技术相结合复制整个服务器系统,以实现各种目的,如扩展、制作生产系统的复本供测试/开发之用以及向二层存储迁移。暖快照拷贝:暖快照拷贝利用服务器的挂起功能。当执行挂起行动时,程序计数器被停止,所有的活动内存都被保存在引导硬盘所在的文件系统中的一个临时文件(.vmss文件)中,并且暂停服务器应用。在这个时间点上,复制整个服务器(包括内存内容文件和所有的LUN以及相关的活动文件系统)的快照拷贝。在这个拷贝中,机器和所有的数据将被冻结在完成挂起操作时的处理点上。当快照操作完成时,服务器可以被重新启动,在挂起行动开始的点上恢复运行。应用程序和服务器过程将从同一时间点上恢复运行。从表面上看,就好像在快照活动期间按下了一个暂停键一样。对于服务器的网络客户机看来,就好像网络服务暂时中断了一下一样。对于适度加载的服务器来说,这段时间通常在30到120秒。热快照拷贝:在这种状态下,发生的所有的写操作都立即应用在一个虚硬盘上,以保持文件系统的高度的一致性。服务器提供让持续的虚拟硬盘处于热备份模式的工具,以通过添加REDO日志文件在硬盘子系统层上复制快照拷贝。一旦REDO日志被激活,复制包含服务器文件系统的LUN的快照是安全的。在快照操作完成后,可以发出另一个命令,这个命令将REDO日志处理提交给下面的虚拟硬盘文件。当提交活动完成时,所有的日志项都将被应用,REDO文件将被删除。在执行这个操作过程中,会出现处理速度的略微下降,不过所有的操作将继续执行。但是,在多数情况下,快照进程几乎是瞬间完成的,REDO的创建和提交之间的时间非常短。热快照操作过程从表面上看基本上察觉不到服务器速度下降。在最差情况下,它看起来就是网络拥塞或超载的CPU可能造成的一般服务器速度下降。在最好情况下,不会出现可察觉到的影响。与镜像、复制的区别镜像、快照和复制是三种不同的功能镜像是通过从一个I/O创建两个I/O来复制数据。磁盘镜像通过OS或卷管理软件在主系统上创建。磁盘镜像是依靠平台和本地连接特性的本地选件。镜像可用于DAS和SAN并且大多数NAS支持它。存储转发式镜像磁盘子系统(例如,EMC SRDF, IBM PPRC, Hitachi TrueCopy)主要用于SAN产品。复制是通过网络传输数据对象(文件、表格等)。传输是从系统到系统进行的,而不是在存储设备之间或子系统之间进行。复制一般也针对具体平台,因此用于Windows 2000复制产品的运行方式与Unix平台存在很大不同。容灾技术中的数据快照技术远程镜像技术往往同快照技术结合起来实现远程备份,即通过镜像把数据备份到远程存储系统中,再用快照技术把远程存储系统中的信息备份到远程的磁带库、光盘库中。快照技术分为两类,一类指针型,是通过软件对要备份的磁盘子系统的数据快速扫描,建立一个要备份数据的快照逻辑单元号LUN和快照cache,在快速扫描时,把备份过程中即将要修改的数据块同时快速拷贝到快照cache中。快照LUN是一组指针,它指向快照cache和磁盘子系统中不变的数据块(在备份过程中)。在正常业务进行的同时,利用快照LUN实现对原数据的一个完全的备份。另一类是空间型,也驻留在磁盘阵列系统中。它使主机系统和磁盘阵列设备管理者能够在后台状态下,为主机处理的数据在磁盘阵列内部实时创建可独立寻址多卷。这些卷是应用数据存放的现用生产卷的镜象,可同时并行运行任务。一旦生产数据的卷建立后,通过命令可以与其生产卷分割开,应用系统数据库可通过生产卷继续做联机应用,与此同时,备份系统可利用卷进行备份、报表生成和应用开发测试等工作。大大缩短了应用系统因备份等原因OFFLINE脱机的时间,工作示意图如下:无论是生产、测试、灾难恢复,还是数据仓库应用,该系统件套件都能提供业务数据影像拷贝的生成和管理维护,使客户以不同的方式更好、更充分的利用业务数据,获得更大的增值效益。基于数据复制、保护和信息共享而设计的复制管理系统件,提供了非常强大的功能:既可以在一个数据中心内部或者不同数据中心之间实现数据复制,也可以在不同部门之间实现信息共享,快速、有效地适应业务的灵活扩展,在竞争中获得领先优势。它可使用户在正常业务不受影响的情况下,实时提取当前在线业务数据。其“备份窗口”接近于零,可大大增加系统业务的连续性,为实现系统真正的7×24运转提供了保证。

Ⅸ 什么的虚拟存储系统

随着围绕数字化、网络化开展的各种多媒体处理业务的不断增加,存储系统网络平台已经成为一个核心平台,同时各种应用对平台的要求也越来越高,不光是在存储容量上,还包括数据访问性能、数据传输性能、数据管理能力、存储扩展能力等等多个方面。可以说,存储网络平台的综合性能的优劣,将直接影响到整个系统的正常运行。

为达到这些要求,一种新兴的技术正越来越受到大家的关注,即虚拟存储技术。

其实虚拟化技术并不是一件很新的技术,它的发展,应该说是随着计算机技术的发展而发展起来的,最早是始于70年代。由于当时的存储容量,特别是内存容量成本非常高、容量也很小,对于大型应用程序或多程序应用就受到了很大的限制。为了克服这样的限制,人们就采用了虚拟存储的技术,最典型的应用就是虚拟内存技术。随着计算机技术以及相关信息处理技术的不断发展,人们对存储的需求越来越大。这样的需求刺激了各种新技术的出现,比如磁盘性能越来越好、容量越来越大。但是在大量的大中型信息处理系统中,单个磁盘是不能满足需要,这样的情况下存储虚拟化技术就发展起来了。在这个发展过程中也由几个阶段和几种应用。首先是磁盘条带集(RAID,可带容错)技术,将多个物理磁盘通过一定的逻辑关系集合起来,成为一个大容量的虚拟磁盘。而随着数据量不断增加和对数据可用性要求的不断提高,又一种新的存储技术应运而生,那就是存储区域网络(SAN)技术。SAN的广域化则旨在将存储设备实现成为一种公用设施,任何人员、任何主机都可以随时随地获取各自想要的数据。目前讨论比较多的包括iSCSI、FC Over IP 等技术,由于一些相关的标准还没有最终确定,但是存储设备公用化、存储网络广域化是一个不可逆转的潮流。

一、虚拟存储的概念

所谓虚拟存储,就是把多个存储介质模块(如硬盘、RAID)通过一定的手段集中管理起来,所有的存储模块在一个存储池(Storage Pool)中得到统一管理,从主机和工作站的角度,看到就不是多个硬盘,而是一个分区或者卷,就好象是一个超大容量(如1T以上)的硬盘。这种可以将多种、多个存储设备统一管理起来,为使用者提供大容量、高数据传输性能的存储系统,就称之为虚拟存储。

二、虚拟存储的分类

目前虚拟存储的发展尚无统一标准,从虚拟化存储的拓扑结构来讲主要有两种方式:即对称式与非对称式。对称式虚拟存储技术是指虚拟存储控制设备与存储软件系统、交换设备集成为一个整体,内嵌在网络数据传输路径中;非对称式虚拟存储技术是指虚拟存储控制设备独立于数据传输路径之外。从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。具体如下:

1.对称式虚拟存储

图1对称式虚拟存储解决方案的示意图

在图1所示的对称式虚拟存储结构图中,存储控制设备 High Speed Traffic Directors(HSTD)与存储池子系统Storage Pool集成在一起,组成SAN Appliance。可以看到在该方案中存储控制设备HSTD在主机与存储池数据交换的过程中起到核心作用。该方案的虚拟存储过程是这样的:由HSTD内嵌的存储管理系统将存储池中的物理硬盘虚拟为逻辑存储单元(LUN),并进行端口映射(指定某一个LUN能被哪些端口所见),主机端将各可见的存储单元映射为操作系统可识别的盘符。当主机向SAN Appliance写入数据时,用户只需要将数据写入位置指定为自己映射的盘符(LUN),数据经过HSTD的高速并行端口,先写入高速缓存,HSTD中的存储管理系统自动完成目标位置由LUN到物理硬盘的转换,在此过程中用户见到的只是虚拟逻辑单元,而不关心每个LUN的具体物理组织结构。该方案具有以下主要特点:

(1)采用大容量高速缓存,显着提高数据传输速度。

缓存是存储系统中广泛采用的位于主机与存储设备之间的I/O路径上的中间介质。当主机从存储设备中读取数据时,会把与当前数据存储位置相连的数据读到缓存中,并把多次调用的数据保留在缓存中;当主机读数据时,在很大几率上能够从缓存中找到所需要的数据。直接从缓存上读出。而从缓存读取数据时的速度只受到电信号传播速度的影响(等于光速),因此大大高于从硬盘读数据时盘片机械转动的速度。当主机向存储设备写入数据时,先把数据写入缓存中,待主机端写入动作停止,再从缓存中将数据写入硬盘,同样高于直接写入硬盘的速度

(2)多端口并行技术,消除了I/O瓶颈。

传统的FC存储设备中控制端口与逻辑盘之间是固定关系,访问一块硬盘只能通过控制它的控制器端口。在对称式虚拟存储设备中,SAN Appliance的存储端口与LUN的关系是虚拟的,也就是说多台主机可以通过多个存储端口(最多8个)并发访问同一个LUN;在光纤通道100MB/带宽的大前提下,并行工作的端口数量越多,数据带宽就越高。

(3)逻辑存储单元提供了高速的磁盘访问速度。

在视频应用环境中,应用程序读写数据时以固定大小的数据块为单位(从512byte到1MB之间)。而存储系统为了保证应用程序的带宽需求,往往设计为传输512byte以上的数据块大小时才能达到其最佳I/O性能。在传统SAN结构中,当容量需求增大时,唯一的解决办法是多块磁盘(物理或逻辑的)绑定为带区集,实现大容量LUN。在对称式虚拟存储系统中,为主机提供真正的超大容量、高性能LUN,而不是用带区集方式实现的性能较差的逻辑卷。与带区集相比,Power LUN具有很多优势,如大块的I/O block会真正被存储系统所接受,有效提高数据传输速度;并且由于没有带区集的处理过程,主机CPU可以解除很大负担,提高了主机的性能。

(4)成对的HSTD系统的容错性能。

在对称式虚拟存储系统中,HSTD是数据I/O的必经之地,存储池是数据存放地。由于存储池中的数据具有容错机制保障安全,因此用户自然会想到HSTD是否有容错保护。象许多大型存储系统一样,在成熟的对称式虚拟存储系统中,HSTD是成对配制的,每对HSTD之间是通过SAN Appliance内嵌的网络管理服务实现缓存数据一致和相互通信的。

(5)在SAN Appliance之上可方便的连接交换设备,实现超大规模Fabric结构的SAN。

因为系统保持了标准的SAN结构,为系统的扩展和互连提供了技术保障,所以在SAN Appliance之上可方便的连接交换设备,实现超大规模Fabric结构的SAN。

2.非对称式虚拟存储系统

图2非对称式虚拟存储系统示意图

在图2所示的非对称式虚拟存储系统结构图中,网络中的每一台主机和虚拟存储管理设备均连接到磁盘阵列,其中主机的数据路径通过FC交换设备到达磁盘阵列;虚拟存储设备对网络上连接的磁盘阵列进行虚拟化操作,将各存储阵列中的LUN虚拟为逻辑带区集(Strip),并对网络上的每一台主机指定对每一个Strip的访问权限(可写、可读、禁止访问)。当主机要访问某个Strip时,首先要访问虚拟存储设备,读取Strip信息和访问权限,然后再通过交换设备访问实际的Strip中的数据。在此过程中,主机只会识别到逻辑的Strip,而不会直接识别到物理硬盘。这种方案具有如下特点:

(1)将不同物理硬盘阵列中的容量进行逻辑组合,实现虚拟的带区集,将多个阵列控制器端口绑定,在一定程度上提高了系统的可用带宽。

(2)在交换机端口数量足够的情况下,可在一个网络内安装两台虚拟存储设备,实现Strip信息和访问权限的冗余。

但是该方案存在如下一些不足:

(1)该方案本质上是带区集——磁盘阵列结构,一旦带区集中的某个磁盘阵列控制器损坏,或者这个阵列到交换机路径上的铜缆、GBIC损坏,都会导致一个虚拟的LUN离线,而带区集本身是没有容错能力的,一个LUN的损坏就意味着整个Strip里面数据的丢失。

(2)由于该方案的带宽提高是通过阵列端口绑定来实现的,而普通光纤通道阵列控制器的有效带宽仅在40MB/S左右,因此要达到几百兆的带宽就意味着要调用十几台阵列,这样就会占用几十个交换机端口,在只有一两台交换机的中小型网络中,这是不可实现的。

(3)由于各种品牌、型号的磁盘阵列其性能不完全相同,如果出于虚拟化的目的将不同品牌、型号的阵列进行绑定,会带来一个问题:即数据写入或读出时各并发数据流的速度不同,这就意味着原来的数据包顺序在传输完毕后被打乱,系统需要占用时间和资源去重新进行数据包排序整理,这会严重影响系统性能。

3.数据块虚拟与虚拟文件系统

以上从拓扑结构角度分析了对称式与非对称式虚拟存储方案的异同,实际从虚拟化存储的实现原理来讲也有两种方式;即数据块虚拟与虚拟文件系统。

数据块虚拟存储方案着重解决数据传输过程中的冲突和延时问题。在多交换机组成的大型Fabric结构的SAN中,由于多台主机通过多个交换机端口访问存储设备,延时和数据块冲突问题非常严重。数据块虚拟存储方案利用虚拟的多端口并行技术,为多台客户机提供了极高的带宽,最大限度上减少了延时与冲突的发生,在实际应用中,数据块虚拟存储方案以对称式拓扑结构为表现形式。

虚拟文件系统存储方案着重解决大规模网络中文件共享的安全机制问题。通过对不同的站点指定不同的访问权限,保证网络文件的安全。在实际应用中,虚拟文件系统存储方案以非对称式拓扑结构为表现形式。

三、虚拟存储技术的实现方式

目前实现虚拟存储主要分为如下几种:

1.在服务器端的虚拟存储

服务器厂商会在服务器端实施虚拟存储。同样,软件厂商也会在服务器平台上实施虚拟存储。这些虚拟存储的实施都是通过服务器端将镜像映射到外围存储设备上,除了分配数据外,对外围存储设备没有任何控制。服务器端一般是通过逻辑卷管理来实现虚拟存储技术。逻辑卷管理为从物理存储映射到逻辑上的卷提供了一个虚拟层。服务器只需要处理逻辑卷,而不用管理存储设备的物理参数。

用这种构建虚拟存储系统,服务器端是一性能瓶颈,因此在多媒体处理领域几乎很少采用。

2.在存储子系统端的虚拟存储

另一种实施虚拟的地方是存储设备本身。这种虚拟存储一般是存储厂商实施的,但是很可能使用厂商独家的存储产品。为避免这种不兼容性,厂商也许会和服务器、软件或网络厂商进行合作。当虚拟存储实施在设备端时,逻辑(虚拟)环境和物理设备同在一个控制范围中,这样做的益处在于:虚拟磁盘高度有效地使用磁盘容量,虚拟磁带高度有效地使用磁带介质。

在存储子系统端的虚拟存储设备主要通过大规模的RAID子系统和多个I/O通道连接到服务器上,智能控制器提供LUN访问控制、缓存和其他如数据复制等的管理功能。这种方式的优点在于存储设备管理员对设备有完全的控制权,而且通过与服务器系统分开,可以将存储的管理与多种服务器操作系统隔离,并且可以很容易地调整硬件参数。

3.网络设备端实施虚拟存储

网络厂商会在网络设备端实施虚拟存储,通过网络将逻辑镜像映射到外围存储设备,除了分配数据外,对外围存储设备没有任何控制。在网络端实施虚拟存储具有其合理性,因为它的实施既不是在服务器端,也不是在存储设备端,而是介于两个环境之间,可能是最“开放”的虚拟实施环境,最有可能支持任何的服务器、操作系统、应用和存储设备。从技术上讲,在网络端实施虚拟存储的结构形式有以下两种:即对称式与非对称式虚拟存储。

从目前的虚拟存储技术和产品的实际情况来看,基于主机和基于存储的方法对于初期的采用者来说魅力最大,因为他们不需要任何附加硬件,但对于异构存储系统和操作系统而言,系统的运行效果并不是很好。基于互联设备的方法处于两者之间,它回避了一些安全性问题,存储虚拟化的功能较强,能减轻单一主机的负载,同时可获得很好的可扩充性。

不管采用何种虚拟存储技术,其目的都使为了提供一个高性能、安全、稳定、可靠、可扩展的存储网络平台,满足节目制作网络系统的苛刻要求。根据综合的性能价格比来说,一般情况下,在基于主机和基于存储设备的虚拟存储技术能够保证系统的数据处理能力要求时,优先考虑,因为这两种虚拟存储技术构架方便、管理简单、维护容易、产品相对成熟、性能价格比高。在单纯的基于存储设备的虚拟存储技术无法保证存储系统性能要求的情况下,我们可以考虑采用基于互连设备的虚拟存储技术。

四、虚拟存储的特点

虚拟存储具有如下特点:

(1)虚拟存储提供了一个大容量存储系统集中管理的手段,由网络中的一个环节(如服务器)进行统一管理,避免了由于存储设备扩充所带来的管理方面的麻烦。例如,使用一般存储系统,当增加新的存储设备时,整个系统(包括网络中的诸多用户设备)都需要重新进行繁琐的配置工作,才可以使这个“新成员”加入到存储系统之中。而使用虚拟存储技术,增加新的存储设备时,只需要网络管理员对存储系统进行较为简单的系统配置更改,客户端无需任何操作,感觉上只是存储系统的容量增大了。

(2)虚拟存储对于视频网络系统最有价值的特点是:可以大大提高存储系统整体访问带宽。存储系统是由多个存储模块组成,而虚拟存储系统可以很好地进行负载平衡,把每一次数据访问所需的带宽合理地分配到各个存储模块上,这样系统的整体访问带宽就增大了。例如,一个存储系统中有4个存储模块,每一个存储模块的访问带宽为50MBps,则这个存储系统的总访问带宽就可以接近各存储模块带宽之和,即200MBps。

(3)虚拟存储技术为存储资源管理提供了更好的灵活性,可以将不同类型的存储设备集中管理使用,保障了用户以往购买的存储设备的投资。

(4)虚拟存储技术可以通过管理软件,为网络系统提供一些其它有用功能,如无需服务器的远程镜像、数据快照(Snapshot)等。

五、虚拟存储的应用 由于虚拟存储具有上述特点,虚拟存储技术正逐步成为共享存储管理的主流技术,其应用具体如下:

1.数据镜像

数据镜像就是通过双向同步或单向同步模式在不同的存储设备间建立数据复本。一个合理的解决方案应该能在不依靠设备生产商及操作系统支持的情况下,提供在同一存储阵列及不同存储阵列间制作镜像的方法。

2.数据复制

通过IP地址实现的远距离数据迁移(通常为异步传输)对于不同规模的企业来说,都是一种极为重要的数据灾难恢复工具。好的解决方案不应当依赖特殊的网络设备支持,同时,也不应当依赖主机,以节省企业的管理费用。

3.磁带备份增强设备

过去的几年,在磁带备份技术上鲜有新发展。尽管如此,一个网络存储设备平台亦应能在磁带和磁盘间搭建桥路,以高速、平稳、安全地完成备份工作。

4.实时复本

出于测试、拓展及汇总或一些别的原因,企业经常需要制作数据复本。

5.实时数据恢复

利用磁带来还原数据是数据恢复工作的主要手段,但常常难以成功。数据管理工作其中一个重要的发展新方向是将近期内的备分数据(可以是数星期前的历史数据)转移到磁盘介质,而非磁带介质。用磁盘恢复数据就象闪电般迅速(所有文件能在60秒内恢复),并远比用磁带恢复数据安全可靠。同时,整卷(Volume)数据都能被恢复。

6.应用整合

存储管理发展的又一新方向是,将服务贴近应用。没有一个信息技术领域的管理人员会单纯出于对存储设备的兴趣而去购买它。存储设备是用来服务于应用的,比如数据库,通讯系统等等。通过将存储设备和关键的企业应用行为相整合,能够获取更大的价值,同时,大大减少操作过程中遇到的难题。

7.虚拟存储在数字视频网络中的应用

现在我着重介绍虚拟存储在数字视频网络中的应用。

数字视频网络对广播电视行业来说已经不是一个陌生的概念了,由于它在广播电视技术数字化进程中起到了重要的作用,国内各级电视台对其给予极大的关注,并且开始构造和应用这类系统,在数字视频网的概念中完全打破了以往一台录象机、一个编辑系统、一套播出系统的传统结构,而代之以上载工作站、编辑制作工作站、播出工作站及节目存储工作站的流程,便于操作和管理。节目上载、节目编辑、节目播出在不同功能的工作站上完成,可成倍提高工作效率。同时,由于采用非线性编辑系统,除了采集时的压缩损失外。信号在制作、播出过程中不再有任何损失,节目的技术质量将大大提高。

在现有的视频网络系统中,虽然电脑的主频、网络的传输速率以及交换设备的性能,已经可以满足绝大多数应用的要求,但其中存储设备的访问带宽问题成为了系统的一个主要性能瓶颈。视频编辑、制作具有数据量存储大、码流高、实时性强、安全性重要等特点。这就要求应用于视频领域的存储技术和产品必须具有足够的带宽并且稳定性要好。

在单机应用时,为了保证一台编辑站点有足够的数据带宽,SCSI技术、本地独立磁盘冗余阵例RAID(Rendant Array of Independent Disks)技术(包括软件和硬件)被广泛应用,它通过把若干个SCSI硬盘加上控制器组成一个大容量,快速响应,高可靠性的存储子系统,从用户看可作为一个逻辑盘或者虚拟盘,从而大大提高了数据传输率和存储容量,同时利用纠错技术提高了存储的可靠性,并可满足带宽要求。

随着节目制作需求的发展,要求2—3台站点共享编辑数据。这时可利用SCSI网络技术实现这一要求。几台编辑站点均配置高性能的SCSI适配器,连接至共享的SCSI磁盘阵列,既可以实现几个站点共享数据,又可以保证每一台单机的工作带宽。

光纤通道技术的成熟应用对视频网络的发展具有里程碑的意义,从此主机与共享存储设备之间的连接距离限制从几米、十几米,扩展到几百米、几千米,再配合光纤通道交换设备,网络规模得到几倍、十几倍的扩充。这时候的FC(Fibre Channel光纤通道)磁盘阵列——RAID容错技术、相对SCSI的高带宽、大容量,成为视频网络中的核心存储设备。

随着电视台规模的发展,全台级大规模视频网络的应用被提出。在这种需求下,就必须将更先进的存储技术与产品引入视频领域。存储区域网(SAN)的发展目前正处于全速上升期,各种概念层出不穷。其中具有划时代意义的是虚拟存储概念的提出。相对于传统的交换机加RAID阵列,主机通过硬件层直接访问阵列中的硬盘的SAN结构,虚拟存储的定位是将数据存储功能从实际的、物理的数据存取过程中抽象出来,使普通用户在访问数据时不必关心具体的存储设备的配置参数、物理位置及容量,从而简化用户和系统管理人员的工作难度。

在设计一个视频网络系统的时候,对存储系统的选用,主要考虑如下几个因素:(1)总体带宽性能;(2)可管理性;(3)安全性;(4)可扩展性;(5)系统成本。

当然,这些因素之间有时是相互制约的,特别是系统成本与性能和安全性的关系。如何在这些因素之间寻求合理的、实用的、经济的配合,是一个需要解决的课题。虚拟存储技术的出现,为我们在构建视频网络系统时提供了一个切实可行的高性能价格比的解决方案。

从拓扑结构来讲,对称式的方案具有更高的带宽性能,更好的安全特性,因此比较适合大规模视频网络应用。非对称式方案由于采用了虚拟文件原理,因此更适合普通局域网(如办公网)的应用。

Ⅹ 请问“卷影副本”的原理是什么

System Volume Information 是系统还原的文件夹,卷影副本是针对共享文件夹的。

Windows Server 2003 中的说明:共享文件夹的卷影副本提供共享资源中(如文件服务器)文件的即时点副本。通过共享文件夹的卷影副本,可以查看在过去的时间点中存在的共享文件和文件夹。

举个简单的例子,在客户端上访问服务器上的共享资源时,如果删除了某个文件,该文件不会被放到本地的回收站或者服务器端的回收站,而是直接删除,那就没得恢复了, 但如果启用了卷影副本的话,就可以利用已创建的副本进行还原。

启用卷影副本之后,在共享文件(夹)的属性中会多出一个“以前的版本”选项卡,在这里就可以看到该共享文件(夹)的某个时间的副本,如果选择还原,那么该共享文件(夹)就会恢复到该副本记录的状态。

热点内容
饭团看书为什么缓存不了小说 发布:2025-05-10 13:17:03 浏览:12
如何配置登录源地址限制 发布:2025-05-10 13:12:52 浏览:590
农行修改网银密码忘了怎么办 发布:2025-05-10 13:12:43 浏览:520
android键盘开发 发布:2025-05-10 13:06:16 浏览:815
百度百科图片上传 发布:2025-05-10 12:51:38 浏览:564
dayz怎么搭建单人服务器 发布:2025-05-10 12:46:39 浏览:408
gifshow是什么文件夹 发布:2025-05-10 12:40:42 浏览:892
keil编译VS工程 发布:2025-05-10 12:39:41 浏览:42
android输入子系统 发布:2025-05-10 12:34:19 浏览:991
美团抵用密码在哪里看 发布:2025-05-10 12:31:15 浏览:935