华为全新一代存储
⑴ 华为拿出存储“大杀器”:像太平洋一样大的容量专用硬件你见过没
C114讯 4月16日专稿(蒋均牧)数字技术正在重塑世界,数字洪流的席卷而来以及从数据中“掘金”的迫切需求,令存储设备变得前所未有地重要。与此同时,“新基建”的火爆,也吹响了包括存储在内的数据基础设施的革新号角。
从2004年开始投资研发第一颗嵌入式处理芯片,华为在计算产业的发展至今已历15年,而其对存储产品及解决方案的投入亦可追溯至华为赛门铁克时代。凭借对产业趋势的洞察理解、长期以来坚持不懈的加码以及全方位的生态合作,已经树立起存储领域的全球领先优势。现今,这家总部位于深圳的公司正着力于推动存储设备的新一轮进化,为即将到来的智能时代构建一个足够坚固的底座。
今年2月末,华为在线发布了面向5G时代的OceanStor系列存储解决方案,其中全新OceanStor存储的Pacific系列高密大容量存储首次在海外亮相,引起了广泛关注。
为什么取名Pacific?如果把数据比作水流,有句话叫百川奔流终归海,而太平洋(Pacific Ocean)是地球上最大的海洋,寓意着新产品的超大容量——我们可以从两点关键信息来一窥全豹。首先,它在5U高度的空间内支持多达120块硬盘,相比业界通用存储型服务器密度提升了1.66倍。同时,其存储裸容量最高可达2.4PB,同样空间的容量领先业界3倍以上,结合华为独创弹性EC算法所带来的92%的磁盘利用率,可得容量优势进一步拉大。
那么究竟是什么原因令华为此时拿出了这样一件“大杀器”?这款专用硬件对于分布式存储产业又将带来怎样的影响?
任何一款产品和解决方案的诞生都有其外在背景和内在逻辑,OceanStor分布式存储Pacific系列同样如此。
从外在背景来看,人类 社会 正处于智能时代的前夜,5G、AI、云等数字技术的融合应用催生出种种创新,为个人、家庭和行业带来超乎想象的深刻变革。例如更高通量的基因测序仪问世,让遗传疾病筛查更简单更精准;沉浸式的AR/VR教育内容,将博物馆景点和文化活动更精彩地呈现给观众;AI训练后的 汽车 越来越智能,自动驾驶开始走入生活;无线互联并内置AI的机械和机器人实现了更精确的控制和协调,创造出更高效更安全更环保的生产环境……
数字化、智能化在生活和生产中的普遍发生,令数据成为如同石油般宝贵的新的生产资料。其中的一个佐证就是数字经济在经济总量中占比持续加大,成为驱动 社会 经济发展的新引擎。但在硬币的另一面,各种新技术的普及新业务的井喷,也带来了数据的爆炸式增长。IDC《数据时代2025》白皮书认为,全球数据量大约每两年就将翻一倍,到2025年,这个数字将疯狂攀升至163ZB;华为全球产业展望GIV2025亦预测,到2025年,全球年存储数据量将高达180ZB。
海量数据如何存、如何用、如何管,成为电信运营商及企业新的关注点。而存作为第一步,是他们最急迫需要解决的难点痛点。统计显示,当前的海量数据中只有不到2%得到保存,绝大部分则不得不被舍弃,令其中潜在的巨大价值无法得到利用。究其原因无非是成本所限,一方面数据增长速度超出预期,但机房空间捉襟见肘;另一方面设备众多但存储利用率低,硬件没有充分利用起来。OceanStor分布式存储Pacific系列从密度和容量利用率方面下功夫,正切中要害,可以说是“应运而生”。
从内在逻辑来看,计算战略的全面启航是华为在过去一年中最重要的行动之一。为了实现“为世界提供最强算力,让云无处不在,让智能无所不及”的计算产业追求,这家公司调集精兵强将打造了“一云两翼双引擎”的产业布局,存储设备作为其中一“翼”的数据基础设施的组成部分,登上了更广阔的舞台。
与此同时,华为本身在存储领域已经站在了很高的位置,拥有强大的技术实力。根据2019年9月Gartner发布的报告,华为存储位居主存储魔力四象限领导者象限;近年来的IDC报告也显示,OceanStor分布式存储长期占据中国区第一的市场份额。OceanStor存储解决方案已进入全球超过150个国家和地区,广泛服务于运营商、金融、政府、能源、医疗、制造、交通等多个行业超过1万家客户。战略上的高度重视结合多年来厚积薄发的积累,令这家公司有意愿也有能力存储硬件的种种指标拉升到一个全新的高度,OceanStor分布式存储Pacific系列就相当于其打出的“一记重拳”。
在分布式存储这个时下非常热门的领域,近年来关于“软硬一体”还是“软硬解耦”的路线之争持续不断。OceanStor分布式存储Pacific系列的发布意味着华为在“软硬一体”的道路上走得更远更坚定,同时也宣告了在所谓软件定义时代,分布式存储的硬件复兴,必将把整个产业的创新推向一个新高度。
曾几何时,存储有别于通用服务器是个高门槛的产业,哪怕经历了三十年发展,专业存储厂商也屈指可数。正因其专业性,存储设备从诞生以来都是以专用设备的形态出现。后来随着分布式存储的发展,“软硬解耦”的概念开始出现,并被越来越多的提及、放大,甚至一度成为“政治正确”。
谷歌等互联网企业作为分布式存储的最初提出者和实践者,习惯于采购通用硬件,自己开发和维护软件,由此形成了分布式存储“软硬解耦”的 历史 事实。软件厂商看中了数字化转型下企业存储快速增长的市场空间,但因自身硬件能力的缺失,选择沿袭“软硬解耦”的模式以拉低进入门槛,成为企业市场上“软硬解耦”的推行者。芯片与服务器厂商则因“软硬解耦”将消耗大量服务器,同时带动对CPU的需求,作为主要受益者也乐于扩大“软硬解耦”的影响。
2019年底,中国移动集团总部的年度分布式块存储集采结果引发业界轰动。这家全球领先的电信运营商首次在大规模集采中倾向“软硬一体”模式,作为买方给其他客户提了个醒,“业务需求是本质,决定采购模式”。如今,华为再次推出顶尖的分布式存储专用硬件,则作为卖方给整个产业提了个醒,“脱离了硬件,软件定义只是空中楼阁”。
而分布式存储产业经过近十年的积累和洗礼,也到了回归本质、重新洗牌的时候——当踩了太多兼容性、性能、可维护性的“坑”后,市场自己会作出选择。实际上,就连始作俑者的互联网企业也都开始通过自研或并购尝试拥抱“软硬一体”,因为他们发现即使有着出众的软件能力也需要高性能的硬件来匹配。
可以预见,以OceanStor分布式存储Pacific系列的出现为分水线,分布式存储的硬件竞争力构建将日益成为主流。未来那些具备软、硬件和服务综合能力的厂商将会长期且更好地生存下去,只能提供纯软件的厂商则处境堪忧,亟需改变。
⑵ 华为天才少年主攻存储领域研究
自古英雄出少年。
本年度的华为天才少年项目再次引爆眼球。一位是从普通本科一路“逆袭”到华中科大博士,并成为唯一拿到本年度最高档年薪的青年才俊;另一位则是在多种A类期刊发表论文,集智慧与美丽于一身的美女博士。这两位成功入围项目的华中科大博士迅速成为街头巷议的热门话题。
值得关注的是,本年度入围的两位华为天才少年在校研究方向均跟数据存储有着紧密联系。因此,这二位不约而同地选择华为做存储相关的研究,让人不得不感叹华为存储对于基础研究与人才的重视。
事实上,从十八年前正式起步开始,华为存储一路发展始终与各大高校科研机构保持着紧密联系,高校科研机构不仅是华为存储人才重要的来源地,也是华为在存储基础领域联合创新的重要合作对象。如今,华为存储已经成长为全球Top 5、中国Top1级别的重要厂商, 在存储技术的产、学、研、用上逐步 探索 出一条价值闭环,真正让基础研究的创新成果加速走向落地,并利用市场成果不断反哺基础研究的创新 。
以本次入围天才少年项目的美女博士为例,其研究方向之一的非易失性存储器(NVM)、NVMe协议是当今存储产品中最为重要的技术趋势,而华为存储正是端到端NVMe全闪存当之无愧的领导者。华为存储的产、学、研、用价值闭环在端到端NVMe全闪存这个存储细分领域体现得淋漓尽致。
天下武功,唯快不破。
同样,在存储产品中,性能是衡量存储是否优秀的重要指标之一。在单位时间内IO越高、延迟越低,存储的性能就会越好,也意味着可以承载更多应用和更加及时响应业务请求,让用户体验更好。
NVMe正是存储领域一门关于快的武功。如果将为机械硬盘设计的SAS协议比喻为红绿灯多、卡口多的省市级公路;那么专为闪存而生的NMVe协议则是不限速的高速公路。初看NVMe可以让数据真正放飞自我,但是如何让NVMe这条数据高速公路修的更加合理、智能,让数据在高速公路上“不翻车”,则绝对需要常年修炼、不断打磨才能实现。
这是因为在数据中心这张数据网络中,IO路径涉及到服务器、存储、网络等多种设备,还有FC、IP、IB、PCIe、SAS等多种网络协议,经常面临数据传输路径过长、协议互相转化等挑战。因此,NVMe的落地往往“牵一发而动全身”,需要对整个数据中心数据传输网络进行规划和设计,仅仅是一两款NVMe SSD或者NVMe闪存控制器是远远不够的。
华为正是NVMe全闪存领域的顶尖高手,用“老司机”形容不为过。 作为存储行业SSD盘片级专利最多的厂商之一,华为对于NVMe协议进行了长期深入研究,在业界唯一端到端开发了NVMe SSD盘,NVMe 闪存控制器和NVMe全闪存操作系统,并且在业内率先实现了全系列端到端NVMe全闪存。
华为是如何做到这些的?让我们一探究竟。
华为之所以对于NVMe十分重视,是因为NVMe与闪存有着紧密联系,可谓是闪存性能潜能释放的关键所在。而华为早在2005年就开始对闪存进行研究,对于NVMe如何走向落地和价值如何实现有着深刻的洞察与实践。
2010年,NVMe最初作为一种硬盘接口协议诞生,充分释放出闪存性能。但要想真正释放数据中心包括计算、存储和网络的性能,NVMe作为硬盘接口协议是远远不够的。因此,NVMe经过多年发展,逐渐发展到存储网络领域,NVMe over RoCE技术孕育而生。
NVMe over RoCE(Non-Volatile Memory Express over Remote Direct Access Memory over Converged Ethernet)作为新一代高性能存储技术,将NVMe协议和网络领域中RDMA技术结合,它的出现真正让数据中心的数据高速公路成为一种统一的网络,拥有性能、组网便利性和方案成本等多种优势。但是它也存在着链路故障感知时长、网络实验稳定性、部署易用性等方面的挑战。
为此,华为集合全公司重量级产品线力量,从存储和网络两个方面对标准NVMe over RoCE方案进行增强,推出了NOF+增强方案。
具体到产品方面,华为是业内唯一端到端开发了NVMe SSD盘、NVMe闪存控制器和NVMe全闪存操作系统,率先实现全系列端到端NVMe全闪的厂商。
比如,华为去年推出的全新OceanStor存储Dorado系列,其性能高达2000万IOPS、极致时延达到0.05ms,各项指标远超市场上同类竞品。
在华为OceanStor存储Dorado系列全闪存中,同时提供32G FC-NVMe和NVMe Over 100G RDMA全IP组网设计,实现前端网络连接、后端硬盘框连接、scale-out的控制器互联均采用同一种网络协议;OceanStor存储Dorado系列全闪存还针对NVMe设计了一套IO调度机制,彻底取消原来IO路径上的盘级互斥锁,避免了IO下发时队列锁冲突,降低软件开销,实现最佳性能。
此外,华为OceanStor存储Dorado系列全闪存在操作系统层面针对NVMe进行了优化,智能芯片、FlashLink智能算法,充分发挥了多核优势,并且通过智能学习统计IO规律,提升读缓存命中率和缩短批处理时间,大幅提升了性能与效率。
为了让数据的高速公路更加稳定与可靠,华为OceanStor存储Dorado系列全闪存在组件层提供了充足的保障。
例如,为增加端口可靠性,华为自研SSD支持原生双端口技术,而不是采用内部Switch实现双端口的方式,端口独立、互不影响,为整个全闪存提供了牢固的硬件基础和可靠性;此外,华为通过PCI-E多年的技术积累,具备完善的PCI-E链路管理、异常处理、热插拔技术,支持SSD盘在任何时间、任何方式拔出,并提供端到端PCI-E系统可靠性,保障单盘更换或发生故障时不扩散。
针对大容量SSD使用容易造成数据丢失的情况,华为OceanStor存储Dorado系列全闪存采用创新的RAID-TP软件技术,基于Erasure Code算法,在3块盘同时失效的情况下能够容忍数据不丢失、业务不中断。华为成为业界唯三可以同时容忍3块盘失效的厂商,并且是三家厂商中唯一可以实现15分钟/TB 高效重构,重构速度领先其他两家厂商20倍。华为OceanStor存储Dorado系列全闪存还拥有诸如快照、克隆、远程复制等完备的数据保护技术。
当前, 华为通过十多年的技术积累,华为已经拥有1000多个NVMe全闪存成功案例,用户涵盖到金融、政府、制造、能源等多个领域。
例如,成立于1996年的南华期货,是全国期货公司Top 10,主要从事期货经纪、资产管理、证券投资等业务。南华期货在大交所、郑商所、深交所、嘉兴联通、香港PCCW等行业数据中心和电信运营商处租用VIP机房和机柜,就近部署交易系统。
这样做的目的只有一个:“快人一步”。南华期货的业务是典型的“时间就是金钱”,一点点时间差往往可能带来利润的大幅变动,这种交易型的业务决定了其对时延要求极低,通常需要小于1ms。南华期货通过部署华为OceanStor存储Dorado全闪存来承载综合交易平台,不仅稳定可靠,性能还提升3倍,为投资者提供了极佳的用户体验。
可以说,华为存储的“快人一步”让用户在业务中也“快人一步”。
十八年风雨兼程,华为存储如今已经成长为全球Top 5、中国Top 1级别的厂商,在全球布局了12个研发中心,拥有超过4000名研发工程师、800多项存储专利,服务了全球超过12000家涵盖各个行业的用户并且连续十九个季度位列中国市场第一,更是在全闪存领域连续多个季度实现全球增速第一。
在这十八年中,技术创新是华为存储的信仰,技术创新的脚步永不停止让华为在高端存储架构、NVMe、智能存储等多个领域不断实现突破,逐渐从市场的跟随者成长为业界当之无愧的技术领先者。去年,华为存储更是首次针对数据基础设施技术难题设置了“奥林帕斯奖”,鼓励和奖励全球在数据基础设施领域取得突破性贡献的科研工作者。
未来,随着更多华为天才少年以及其他人才的不断加入,华为存储有望在舞台中央施展更多精彩。
