冷热分层存储

Ⅰ 冷热数据问什么存储系统要做到冷热数据分离

故名思议，冷数据就是没人访问货很少访问的数据，热数据就是大家都喜欢看的数据。
数据存放的介质有SSD、SAS、NLSAS、磁带等，价格和性能成正比，如果把冷数据和热数据都放在性能好的介质中，客户的投入就很高，性价比不好。所以见热数据存放在高速介质中，冷数据存放在廉价介质中做分离。
集中存储中的分层就是根据热度表，对数据进行迁移实现分层存储。

Ⅱ 亚马逊云科技的云存储，最应该知道的有这三点

传统存储在以各种方式对接公有云生态，公有云的云上服务类型也在不断完善，作为企业信息化负责人要做的是更多地了解公有云，然后，考虑如何充分利用公有云的优势。

本文通过介绍亚马逊云 科技 存储服务的三个关键点，带您认识云存储的现状。

正文：

乘着互联网产业的春风，云存储在过去近二十年走过了可遇不可求的发展历程。也让从90年代开始，就一直坐着冷板凳，负责数据归档的对象存储，一跃成为整个互联网数据的基石。

如今，绝大部分互联网上可访问的数据都靠对象存储来存，偶尔曝出的数据泄露事件也大多都跟对象存储有关，当然，问题不在于对象存储本身。

从2006年，亚马逊云 科技 的对象存储服务Amazon S3发布，到现在，算起来也有十六年的时间了，这也是亚马逊云 科技 推出的第一款云服务。

从市场表现来看，Amazon S3是非常成功的，前两年有人推测说，亚马逊云 科技 在存储方面的营收规模非常大，甚至被称作是全球最大的存储公司，Amazon S3无疑是功劳最大的一个。

有人说，许多亚马逊云 科技 用户使用的第一个产品就是Amazon S3对象存储，在所有亚马逊云 科技 的用户案例，在所有技术文档里，Amazon S3的出镜率都非常高。

云上原生存储Amazon S3的主线任务：不断降低成本

如果亚马逊云 科技 的用户没用过Amazon S3，就好比去包子铺吃饭没点包子，光顾烧烤店没吃烤串一样，令人费解。

Amazon S3的易用性高、可用性高，开发者很喜欢，Amazon S3几乎不丢数据的可靠性，稳定性也很高，运维管理人员很喜欢，Amazon S3在互联网应用场景被普遍应用。

如今，Amazon S3上存着超过100万亿个对象，每秒需要处理上千百万次请求。

Amazon S3一开始解决了可靠性和可用性以及安全方面的基本问题，性能也一直在提升，多年看下来，最大的工作重点就是不断降低成本。

亚马逊云 科技 大中华区产品部总经理 陈晓建介绍称，同样存储一份数据，如果2006年需要100块钱，而在2022年就只需要大概15块钱，16年间，Amazon S3的存储成本降低了大约7倍。

2021年12月，亚马逊云 科技 宣布在全球九大区域，将Amazon S3 Standard In Frequent Access和Amazon S3 One Zone In Frequent Access的价格降低了31%。

Amazon S3存储分了八个层级。

对于需要经常访问的数据，首选标准版的Amazon S3，它具有毫秒级的访问表现，而不太经常访问的数据就选Amazon S3 Standard-IA上，相较于前者能节省大概40%的费用。

而对于那些很少访问的数据，则可以选择放在Amazon S3 Glacier DeepArcihve上，它的成本非常低，大约1美刀1个TB，但代价是，想把数据拿回来就得多等等，大概需要12到48个小时。

有人觉得这等的时间也太长了，于是，亚马逊云 科技 又推出了Amazon S3 Glacier Flexible Retrieval，只需要等上几分钟到几小时。

就没有一种，既可以便宜，访问性能又高的存储吗？还真有。

这就是Amazon S3 Glacier Instant Retrieval，它是最新的一个存储层级，拿回数据的速度是毫秒级的，成本与Amazon S3 Glacier相当，适合每季度才访问一次、又需要毫秒级取回的海量数据。

另外，Amazon S3 One Zone-IA的成本也很低，顾名思义，数据只存在单个可用区上，而其他S3存储的数据都在多个可用区上存着好几分，相比之下，理论上丢数据的风险高了些。

最后，出于合规的要求，用户有些数据不能上云，亚马逊云 科技 可以提供Amazon Outposts，把云的硬件放到了用户的数据中心里。使用Amazon S3 on Outposts，就像在云上使用S3一样。

总的来说，Amazon S3的存储层级还是挺多的，但问题是，这给选型和管理也带来了负担。

为此，亚马逊云 科技 推出了Amazon S3 Intelligent-Tiering（智能分层），它会根据对象被访问的次数在多个存储层级间进行自动化迁移。

如果不能确定要选什么或者存储需求会变，那就选它，它不仅能解除选择困难症，还能避免用户自行管理数据分层的麻烦。

一家在东南亚和北美市场非常有影响力的互联网公司，在亚马逊云 科技 上存放了大约几十PB的数据，原本主要使用的是Amazon S3 Standard—IA，在使用Amazon S3智能分层后，没有进行任何额外操作，就将存储成本降低了62%。

亚马逊云 科技 最早在2018年就推出了Amazon S3智能分层功能，如今，Amazon S3智能分层已经涵盖了Amazon S3家族的几乎所有存储类别，最多可节省68%的成本。

不仅如此，如今数据分层还拓展到文件存储Amazon EFS，Amazon EFS提供四种文件存储等级，数据分层能节省高达72%的存储成本。

打通云应用与传统应用的隔阂：靠多种文件存储

如果说，对象存储是云存储的标配的话，那文件存储就是云存储连接本地存储的桥梁。

如今常见的应用分为两类。

一类是云原生的现代化应用，也就是在云上开发的、充分利用云架构优势的应用，比如电商、 游戏 、社交媒体等平台。对应需要的存储，大部分是对象存储Amazon S3来满足，少部分需要文件存储Amazon EFS。

另一类是传统企业应用，它诞生在公有云之前，常见的有高性能计算、EDA、视频渲染等场景，通常由本地的文件存储系统，比如NAS来支撑的，为提升安全性和可靠性，通常都带有快照、镜像、远程复制等功能特性。

这类工作负载并没有根据云架构的特点来设计，如果强行上云，不仅需要调整应用本身，而且还可能出现兼容性的问题，为了避免此类问题，亚马逊云 科技 推出了FSx文件存储家族。

从2018年开始，陆续推出了面向Windows环境的Amazon FSx for Windows，面向高性能计算场景的Amazon FSx for Lustre，面向大数据分析场景推出了Amazon FSx for OpenZFS。

金风慧能采用了亚马逊云 科技 构建HPC高性能计算系统，其中使用了Amazon FSx for Lustre共享存储系统，不仅使气象预测系统性能提升了10%，气象计算时间缩短了1/3，还将成本降低了70%，运维复杂度也大大降低。

此外，还与知名存储厂商NetApp合作推出了Amazon FSx for NetApp ONTAP，把NetApp的经典NAS文件存储系统NetApp ONTAP放到了公有云上。

NetApp在2015年就提出了Data Fabric的概念，大意就是想要实现数据在云上和云下的自由流动，是比较早积极拥抱混合云的存储厂商之一。

与一些存储厂商的云上托管服务不同，Amazon FSx for NetApp ONTAP没有删减任何功能，它是云上唯一完整且全托管的NetApp ONTAP文件存储系统，能够无缝地跟企业本地的ONTAP系统对接，所以，用户的IT系统不需要做任何改动，就能使用云上服务。

2019年，NetApp与联想成立合资公司——联想凌拓，联想凌拓在中国区提供相关服务，联想凌拓产品管理与营销高级总监林佑声表示，从发布到现在，Amazon FSx for NetApp ONTAP得到了非常多客户的认可，包括金融、医疗、石油以及高 科技 行业客户。

嘉里物流原本是本地存储NetApp ONTAP的用户，随着业务全球化发展，在数据扩容以及数据共享方面碰到的问题越来越多，通过使用亚马逊云 科技 提供的Amazon FSx for NetApp ONTAP，将数据从本地迁到云上，解决了这些问题。

上云之后，不仅可以使用原来NetApp ONTAP自带的快照和备份等功能，同时，还可以使用亚马逊云 科技 遍布全球的数据中心，实现跨区域的灾备。

补足数据保护方面的短板：Amazon Backup

一直以来，云存储被诟病的点还在于缺少数据灾备功能，在如何维持业务连续性方面有一些争议，而亚马逊云 科技 正在试着消除这一顾虑，这就是Amazon Backup。

由于缺少与业务价值的强关联性，数据保护经常容易被忽视，同时，由于数据保护系统本身很复杂，合规的要求还特别多，实践起来也特别麻烦，所以，数据保护的实践相对落后。

可能也是基于这样的考虑，亚马逊云 科技 的数据保护服务Amazon Backup才特别喜欢强调“一站式”“操作简单”的特点，让用户知道，数据保护也没有那么麻烦。

于是我们看到，Amazon Backup能覆盖旗下的几乎所有存储产品，包括块存储（Amazon EBS）、对象存储、文件存储、数据库，以及计算和存储网关等相关产品。

Amazon Backup的操作比较简单，通过图形的界面即可完成大部分操作，用户还可以通过预设的策略进行自动化的备份，降低手动备份带来的问题。

安全合规的问题让许多用户头疼，Amazon Backup深度集成了亚马逊云 科技 自带的KMS数据加密服务，整个备份操作权限、数据访问权限都可以用IAM进行细颗粒度监控，满足个人信息安全规范、信息安全等级保护等方面的合规要求。

Amazon Backup避免让数据保护带来太多的成本负担，因此也用上了智能分层技术，用户通过冷热分层策略可以有效降低约75%的成本。

澳大利亚石油天然气的供应商Santos要对Amazon EBS块存储做备份，原本都是用手动备份的方案，但随着业务量的发展，备份的出错率越来越高，成功率越来越低。

而在用了Amazon Backup后，平均备份任务用时和运营成本均有大幅降低，备份成功率到了100%，而且还完全做到企业数据合规。

结束语

确实如陈晓建所言，亚马逊云 科技 存储服务已经成为IT行业的“水”和“电”，让各行各业的业务都能从存储服务中获得价值。

亚马逊云 科技 的存储服务类型和存储的相关实践都非常有代表性，而且，很多做法已经成了上云的参考实践，企业用户应该多少了解亚马逊云 科技 的云存储，特别是有上云打算的企业。

当然，上云带来的便捷和灵活，稳定性和安全性，以及对运维的解放都很吸引人。

还有顾虑？据我个人了解，亚马逊云 科技 非常在意企业在云上的成功和成本节省，不仅会帮企业不断优化。除此之外，市场上有一些专门的服务，帮助企业做规划实施，让你充分利用云的优势。

Ⅲ 紫晶存储的核心技术优势都有哪些

紫晶存储是国内具有较强竞争水平的光存储科技企业，面向大数据时代冷热数据分层存储背景下的光磁电混合存储的应用需求，以及政府、军工等领域对自主可控和数据存储安全提升的需求，开展蓝光数据存储系统核心技术的研发、设计、开发，提供基于蓝光数据存储系统核心技术的光存储介质、光存储设备和解决方案的生产、销售和服务。蓝光数据存储系统是一套融合底层光存储介质、硬件设备和软件，实现数据自动写入、存储和自动读取的安全可靠、长寿命、绿色节能、低成本存储系统。

Ⅳ 分层存储与虚拟化技术的分层存储

分层存储其实已经不是一个新鲜的概念，而是已经在计算机存储领域应用多年。其与计算机的发明与发展相伴相生。在冯－诺依曼提出计算机的模型“存储程序”时就已经包含了分层存储的概念。“存储程序”原理，是将根据特定问题编写的程序存放在计算机存储器中，然后按存储器中的存储程序的首地址执行程序的第一条指令，以后就按照该程序的规定顺序执行其他指令，直至程序结束执行。在这里的外存储器与内存储器，就是一个分层存储的最初模型。
分层存储（Tiered Storage），也称为层级存储管理（Hierarchical Storage Management），广义上讲，就是将数据存储在不同层级的介质中，并在不同的介质之间进行自动或者手动的数据迁移，复制等操作。同时，分层存储也是信息生命周期管理的一个具体应用和实现。
而实际上，将相同成本及效率的存储介质放在不同层级之间进行数据迁移复制在实用性及成本上并不是有效的数据存储方式。因此，在不同的层级之间使用有差别的存储介质，以期在相同成本下，既满足性能的需要又满足容量的需要。这种存储介质上的差别主要是在存取速度上及容量上。存取速度快的介质通常都是存储单位成本（每单位存储容量成本，如1元/GB）高，而且容量相对来讲比较低。相应的，存取速度慢的介质通常是为了满足容量与成本方面的要求，既在相同的成本下可以得到更大的容量。所以，从这方面来说，分层存储其实是一种在高速小容量层级的介质层与低速大容量层级的介质层之间进行一种自动或者手动数据迁移、复制、管理等操作的一种存储技术及方案。
一般来说，分层存储中，我们将存取速度最快的那一层的介质层称为第0层（Tier 0），依次为第1层，第2层等等。理论上说，层级的划分可以有很多层，但是在实践中，最多的层级在5层左右。过多的层级会增加数据及介质管理的难道及可用性。因此在层级的设置上有一个拐点，即层级达到一个特定的层数时，会导致成本的上升，而使得可用性、可靠性都会相应下降。通常层级的设定在2－4层之间。如下图所示： 在计算机系统中，CPU 的运行速度往往要比内存速度快上好几百倍甚至更多，为了更多地榨取CPU的计算能力，就需要在访问数据的速度上进行提升，否则内存的速度将成为整个系统的性能短板。因此在这样的思想下，CPU慢慢发展出来1级或者2级这样的存储缓存。实际也表明，缓存的存在确实对于系统性能的提升起到了巨大的推动作用。
相应的，内存的访问速度又是硬盘访问速度的几百倍甚至更多，也是基于CPU类似的指导思想，我们能不能在存储之间也进行这样的分层（或者说缓存）以期提高系统的I/O性能，以满足应用对系统提出的更多高I/O的需求呢？
从某种意义上说，内存其实也就是充当了CPU与外部存储之间的另一个级别的缓存。作为用户来讲，我们当然希望所有需要用到的数据都最好是存在最高速的存储当中。但是这样近乎是乌托邦式的理想至少在当前来说是不现实的。在技术上的难度不说，成本的压力就会使得用户喘不过气来，再一个就是有没有必要的问题，因为有的数据根本都不需要一直存于这样的存储中。在计算机界中有一个很有名的理论，就是说，加上一个中间层，就可以解决计算机中许多的问题。而这个“中间层”也正是我们所寻求的，实际也证明这样的中间层确实取得了非常好的效果。
据IDC数据预测，到2012年，信息数据的增长将会达到50%的复合年增长率，这个增长主要源于越来越来多数据内容生成并存储，经济全球化使用商业各个部门及与商业伙伴之间需要保持连接，使得更多的数据被生成，复制及保存。法规遵从及管理，还有容灾与备份都使得数据的增长持续上升。天下没有一劳永逸的解决方案，我们需要根据不同的数据存储需求，设计不同的存储方案。比如归档，我们可以将数据存储在磁带上，比如需要频繁访问的实时数据我们可以放在内存或者SSD（固态硬盘）设备中，对于容灾或者备份，我们可以使用大容量低成本的存储来应对。正所谓好钢用在刀刃上，用户也希望把资金投向更能产生效益的存储上。
除了需要满足不同的存储需求，还有出于对于高性能高吞吐量应用的支持。因为有的应用需要这样存储系统。特别是现在风头正劲的虚拟化技术。为了在一台设备上支持更多的虚拟应用，就需要系统支持更大的吞吐量以及更高的性能。全部采用高速介质在成本上现在依然不是可行的，也不是必须的。因为根据数据局部性原理，往往被频繁访问的数据是局部而有限的。为了应对部份这样的数据而全采用高速存储实在是过于奢侈。如果我们针对这部份数据另开小灶来解决不是更好？所以分层存储在这里就可以大展拳脚。我们把高频率访问的数据放在高速存储介质上，而其他的数据放在速度较慢一些的介质上，这实际上就是提高了系统的吞吐量。 从计算机系统角度来说，最上层的存储层应该是CPU内的各类型寄存器，其次是CPU内的缓存，其次再是系统内存。因为从分层存储的定义上，此类型存储器是符合定义规则的。因为这些存储器速度与容量都有差别，越靠近CPU的存储器成本越高，速度越快，容量越小，并且在CPU的控制下，数据这些不同类型的存储器中间进行自动的转存。比如寄存器通常在16、32、64、128位之间，而缓存则在几十个字节及到几兆字节之间，内存容量当前通常都在几百兆字节以上，服务器级的内存也上几十个吉字节。很有意思的是，这类型的分层也非常符合上图所示的效益成本曲线图。层级过多时，对于CPU的硬件设计及不同层次之间的数据一致性的保证都是一个挑战。所以，现代CPU在寄存器与内存之间的缓存基本在1-3级。而我们通常使用的386平台的CPU（Intel 及 AMD）基本上都只有两级缓存。这类存储都有一个共同的特点，就是系统掉电后数据不复存在。我们将此类型的分层存储称为易失性存储分层，或者内部存储器分层存储。
而另外一种分类，则是非易失性分层存储，或者叫外部分层存储。此类型的存储介质一般包括固态硬盘（SSD）、机械式硬盘、光盘、闪存盘（包括外置硬盘）、磁带库等等。而此类的存储介质分层正是我们所要关注的，如没有特殊的说明情况下，在此文档中所说的分层存储都是指外部分层存储。一般来说，作为第0层的存储介质通常为 RAM 磁盘（随机访问存储磁盘，其速度与内存同速，但是价格昂贵，使用环境基本上是特殊计算环境）以及 SSD，第1层可能有 FC 15K硬盘或者SAS 15K硬盘，或者相应的10K硬盘。第2层可能有其他类型的硬盘及磁盘库等。第3层，可能是如磁带库以及光盘库这样的离线介质。当然这样的分层不是标准，但是一个实践中常用的分层策略。
如 D2D2T 这样的存储方案，其实就是分层存储的一个实践方案。数据从本地的磁盘转存于于另一个远程的磁盘（D2D）。这个磁盘的形式可以是一个JBOD，或者一个虚拟存储设备，然后再通过一定的转存策略将这个磁盘的数据转存于磁带库或者磁带（D2T）。爱数备份存储柜X系列都支持D2D2T这样的应用。 由上一节可知道，外部分层存储只不过是内部分层存储的一个外延。所以，外部分层存储考虑的问题与内部分层存储实际上是大同小异的。
1、 首先是数据一致性的问题。这个问题比较好理解。如果不同的数据在不同的存储层级之间存在时，数据的改写必然导致数据的不致的问题。在内部分层存储时，可以采用通写策略或者回写策略。而不同的方法也有各自优缺点，这里就不再赘述。但是外部分层存储与内部分层存储有一个最大的不同是，内存储最终数据需要写到内存中，而外分层存储中，则不是必须的。当然也可以设计成这样的实现方案，但是这样话，分层存储的性能优势则必定会受到影响。数据在不同层级之间的连续性可以由一个虚拟层来保证。这个我们在谈到虚拟化时会讨论这个问题。
2、 第二个问题就是命中率的问题。如何设计一套算法或者实现策略来提高数据系统的命中率是分层存储中是否能起到其相应作用的关键。这个与CPU的缓存机制是完全一样的。不过，CPU的缓存机制已经有一套非常成熟的算法设计。而外部分层存储与内部分层存储有其不同的特性，因此，CPU中的缓存机制不能全部照拿过来用。特别是CPU的缓存机制还主要是硬件设计上面的问题。而外部存储层可能还与一些逻辑设计相关，比如文件系统，文件等。从这点上说，外部分层存储的软件设计上比起CPU缓存的设计可能要更复杂一些。
3、 第三个问题就是在分层介质的选择上。上面也提过，不同层级之间的介质应该是有差别的，否则就失去了分层的意义。一般来说，高速介质应该是小容量、高成本，随着层级的往下走，其成本容量曲线应该呈现如下的形式：
即容量越大的单位成本越低，速度越慢，因此应该放到更低的层级中，反之亦然。因此，在存储介质的配置上如何找到一个合适的点，使得成本与效益最优化则是在分层介质选择及策略制定上需要考虑的问题。下面的图中给出了一个实际的可能的配置方案：1、 第四个问题就是数据分层的级别。对于数据的描述有字节级，块级（包括扇区及簇），文件级及文件系统级。当然不同的级别有不同的应用场合，并不是哪种级别好于哪个级别。对于文件级的分层，对于归档，法规遵从则比较适合。对于文件系统级的则多用于容灾及备份系统中。对于块级则可能用在虚拟化中较为合适。因此需要根据不同的需求制定不同的分层级别。
2、 第五个问题就是数据的迁移策略的设计。可以根据数据的重要性、访问频度、大小、年龄来制定迁移策略。但是如同第四点所说明的那样，不同的策略是有不同的应用场合的，没有孰优孰劣的问题。好的策略应该是不同最优策略的组合，也就是因“需”制宜地选择合适的迁移算法或者方法。根据年龄进行迁移的策略可以用在归档及容灾备份系统中。根据访问频度则可以用于虚拟化存储系统中等等。类似的方法已经用于计算机软件设计或者硬件设计当中的很多地方，如LRU（最近最少使用）、ARC（自适应交替缓存）都是可以借鉴的。