都说数据堪比新时代的石油,极富价值。但比数据本身更重要的是,数据价值如何快速、高效地释放。毫无疑问,谁能快速、高效释放数据价值,谁就在激烈市场竞争中占据主动。
来看个鲜活的例子:某大型股份制银行,有超过2万名员工属于重度的数据消费者,从日常的精准营销、精细化运营到风险控制等,时时刻刻都需要使用数据。但随着业务量的增加,数据报表打开率却不尽如人意,过长的等待时间对业务体验和效率带来显著影响。该行系统负责人透露:“专门团队使用各种招数对数据报表进行性能优化,效果依然不太理想。最后发现是硬件协议的瓶颈。更换了端到端nvme全闪存之后,业务性能得到质的飞跃。”
无独有偶,随着千行百业数字化转型的深入,nvme这项小小的存储协议愈发牵动着用户的心。很多用户逐渐意识到,ssd等介质革命固然带来了io的巨幅提升,但nvme协议才是发挥性能的关键,而端到端nvme则犹如打通存储系统乃至整个数据中心的任督二脉,让数字化转型真正走向“高速之路”。
nvme为何至关重要
数字化转型需要基础设施铺就一条高速之路。
一直以来,作为承载数据的存储系统被寄予厚望。十多年前,当闪存进入到存储系统之后,人们普遍认为数据中心的性能瓶颈将被彻底打破。然而,采用了ssd的存储系统在真正业务场景中性能表现并非“一飞冲天”,甚至某些业务场景是“有力使不出”。
究其原因,存储协议才是关键。
在ssd进入市场的早期,为了迅速融入到数据中心的生态系统中,硬盘数据划分的扇区、lba等概念都被ssd所“继承”,甚至接口协议/硬盘外形规格也被保留下来。这样的好处就是,在数据中心生态中,不论是操作系统层面,还是物理规格层面,从机械硬盘过渡到ssd都是透明的,对用户影响极小。
但保留了兼容性,性能必定会做出一定的牺牲。传统sas协议还是机械硬盘时代的产物,复杂的系统架构、过多的协议解析、有限的队列并发能力,限制了ssd性能优势的发挥。
因此,专门为ssd设计的nvme协议孕育而生,它去掉sas系统中的scsi等复杂协议层,降低了协议开销,减少交互次数,以及成熟的多队列机制,让它能消除数据路径的延迟,实现对ssd介质并行访问数量指数级增长,并且支持以太网、infiniband、fc等多种高速网络,与ssd可谓是天合之作。
如果说ssd的出现,为数据存储铺就了一条“高速公路”;那么,nvme就成为“高速公路”最新的运营规则,它确保了数据可以快速、高效地进行处理。
从2009年全球90多家公司组成nvme工作组,到2011年nvme 1.0版本正式推出,再到2021年6月nvme 2.0版本推出,nvme产业生态不断走向完善,从nvme芯片组、nvme ssd产品、nvme协议等均取得了长足进步。
如今,nvme已经不仅仅是一种闪存的接口协议,更是发展到整个存储网络领域,端到端nvme、nvme全闪化成为大势所趋,从而进一步释放数据存储的性能潜力。
端到端nvme已成大势所趋
最早期的全闪存阵列上,往往采用sata/sas接口的ssd;再之后,支持nvme 的ssd出现,很多全闪存开始在存储后端更换成nvme ssd,性能得到进一步提升。但并不意味着存储系统的性能达到极限。
如何将全闪存等存储系统的性能潜力彻底挖掘出来?
端到端nvme被认为是大势所趋。在后端采用nvme ssd之后,存储厂商们开始将目光瞄准到全闪存的控制器架构。过去,大部分全闪存的控制器架构是专门为机械硬盘而设计的。显然,阵列控制器以及存储网络协议也需要与时俱进,适应时代的发展,让nvme充分发挥出性能红利。
因此,nvme over fabrics孕育而生,作为存储阵列与前端主机连接的通道,nvme over fabrics实现nvme标准在多种网络上的扩展,并且取代了过去fc、iscsi等协议,降低存储网络协议栈处理开销。前端主机可以使用本机nvme协议直接与nvme ssd进行通信,进一步提升性能和降低延时,适应ssd介质驱动的存储控制器架构演进。
目前,所有存储厂商都在积极布局端到端nvme全闪方案。例如,华为在业界实现了全系列端到端的nvme产品:在端到端的nvme高速通道上,华为采用自研asic接口模块、自研asic ssd盘/框设计,从协议解析、io转发、业务优先、硬件加速等方面对nvme进行全面支持,为数据传输提供高速通道。
来看看这样设计带来的好处,采用端到端nvme设计的oceanstor dorado,nvme协议相比scsi协议减少了40%的主机网络协议栈开销,节约主机cpu消耗,在同等性能情况下支持更多的主机应用;此外,通过nvme协议,cpu和ssd盘可直接通信,缩短传输路径,协议的并发数提升到64k,协议交互次数从4次减少为2次,读写请求处理效率提升1倍以上。
从华为实验室环境测试数据来看,在8k io、100%读场景下,oceanstor dorado 端到端时延能从562us降低到50us,时延缩短了10倍。更加关键的是,华为存储从高端到中低端均能做到端到端nmve,支持端到端全系列nvme。
如今,很多业务场景都是分秒必争,比如实时交易、机器学习等,这些应用场景无论是业务规模还是数据量均今非昔比,对于处理和访问数据的速度要求越来越快。以刚刚结束的6.18购物节为例,十年时间单峰值扩大了上千倍之多,多家银行在海量交易峰值早已突破上万的tps(每秒处理事务数)。
所以,随着千行百业数字化转型的深入,端到端nvme必定会帮助企业构建起强大和快速的基础设施,加速数字化转型。
普及nvme,降成本和破技术惯性是关键
众所周知,在企业级领域,新技术的过渡与普及受制于成本和技术惯性,往往需要一个较长的周期。
以成本为例,很多情况下,升级换代到端到端nvme的存储需要增加额外成本,如果这部分成本不能控制在比较合理的空间,就会延缓nvme的普及和应用。
又如,技术惯性也是不能忽视的因素。截止到去年,服务器平台的pcie在gen3已经停留多年,逐渐形成强大的技术惯性,束缚了数据中心用户在存储端的更新换代。不过,随着未来几年,数据中心服务器平台快速向pcie gen4和gen5演进,给存储、网络空间带来了极大的提升空间,也让端到端的nvme全闪存方案有望打破技术惯性,加速在数据中心用户中的普及。
值得一提的是,华为存储近年来一直致力于端到端nvme 全闪存方案的普及,不仅在技术、产品层面不断打磨与创新,其oceanstor dorado系列nof+联合方案更是在中国银行、华夏银行等多个行业头部客户得到成功商用。
此外,为进一步消除数据中心用户在成本和技术惯性上的束缚,华为存储近日还正式推出了华为flash only pro活动:凡是新订单即可由sas全闪存免费升级为nvme全闪存,并且该活动适用oceanstor dorado全闪存全系列产品。
面向未来,随着nvme技术的成熟和不断完善,端到端nvme方案必然将加速在数据中心的普及速度,未来数据中心必定是nvme的天下。而对于广大身处数字化转型的千行百业用户,登上nvme这趟高速跑车,必然会在数智化时代中实现唯快致胜。
除了100%可再生能源,苹果还做了更多
通过设计进行生物设计:看看软机器人
新技术赋能安防 推动城市精细化治理深入发展
高通争夺博通各领域市场 与博通进行直接较量
AR1000应用电路(Touch Controller)
数字化转型为何缺不了NVMe全闪存?
关于采用TVS管ESD原理的技术解析
Intel将整合处理器 推节能芯片应对AMD
恩捷股份再次加大在锂电隔膜的布局
联发科强调,事实上台湾有关部门并没有禁止联发科向中兴通讯供应芯片
中航光电今日股市创出新低后迅速反弹
立杆式水质监测站介绍
工控机在远程设备管理中的应用
中科曙光获“国家级高新技术企业”认定
科技企业扎堆进军汽车领域,想要扮演什么角色?
上海海思携手长虹实现“5G智能制造生产线”商用
新款iPhone嵌入式主板曝光 或是iPhone XR后续机型
浅谈运算放大器的直流增益与交流增益
无人驾驶离我们很远?或许你还有很多事情不知道
银隆新能源股东名单有哪些人