存储与GPU性能皆已成倍增长，IO表现为何迟迟不见好转？
存储与gpu性能皆已成倍增长，io表现为何迟迟不见好转？
伴随着hpc、自动驾驶、深度学习和vr/ar需求的不断增加，io性能也在逐步凸显瓶颈，尤其是gpu与存储之间的读写。处理器速度已经从khz进化至了ghz，vram从kb进化至了gb，io速度也从kb/s进化至了gb/s，然而gb/s的大幅度改善从直观角度来看依然像是mb/s。
比如在有线连接的vr应用中，图形需要经过电脑进行处理，再经有线传输显示在vr屏幕上，这就引发了高延迟和长读取时间等问题。这不禁让人开始遐想，在cpu、gpu和存储都已经革新换代的情况下，我们是否真正有效地应用了硬件性能？为此微软和英伟达都提出了直接存储的概念来改善io的现状。
微软：windows上的directstorage
微软在不久前的windows 11发布会上重点提到了directstorage技术，这是一个最初为主机设计的directx api，如今微软也将把这一技术带到pc上。
在当前nvme ssd和pcie技术的演进下，存储带宽远超旧式的硬盘存储技术，过去10mb每秒的速度已经达到数gb每秒。但pc上的图形工作量也在逐步进化，数据量的增加对于读取提出了更高的要求。过去大量数据的读取只需要少量的io请求，但如今的图形渲染会将材质等资源分成小块，只有在场景提出要求时载入所需的部分，如此一来虽然提高了效率，却引入了更多io请求。
当前的gpu资源读取流程 / 微软
而目前的存储api并没有对大量io请求作出优化，因此拖累了nvme，使得读写瓶颈愈发明显。即便采用高端的pc硬件，也无法饱和利用存储带宽优势。除此之外，这些数据往往需要经过压缩传输下一个环节，传入内存后，还要cpu进行一部分解压工作，最后再传入gpu显存里，这样一来每个节点都存在效率损失。
而directstorage采用了全新的路径，从存储读取的数据传给内存后，直接传给gpu显存。而gpu对于这些数据的解压速度远快于cpu，所以极大地优化了io性能。
英伟达：rtx io和magnum io gpudirect storage
英伟达在rtx 30系列显卡上引入了rtx io，面向消费市场，提升游戏场景下的读取速度。英伟达称rtx io将与微软的directstorage结合，与传统硬盘下的存储api相比，可将io性能提高百倍。过去需要数十个cpu内核的工作全部交由rtx gpu来处理。
值得一提的是，英伟达的rtx io虽然也用到了微软的directstorage，但该技术并没有将数据传输到内存，而是直接由ssd转向gpu。微软一名图形开发者在gsl 2021大会上表示，未来directstorage的目标也是绕过系统内存。
gds技术 / 英伟达
除了消费市场外，英伟达在hpc市场也推出了对应的直接存储技术，magnum io gpudirect storage（gds）。gds技术同样是一个绕过cpu的技术，与消费级gpu不同，hpc场景下往往要用到多块gpu，如此一来受io延迟和cpu的影响更大。gds在本地存储与gpu显存之间建立直接的数据通道，消除了cpu引入的延迟和读写瓶颈。
gds与cpu传输至gpu读取性能对比 / 英伟达
在运用gds后，带宽提升达到1.5倍，与传统cpu回弹缓冲的数据路径相比，cpu利用率也有2.8倍的提升。
目前英伟达已经将这一技术加入到其hgx ai超算中，ddn、vast和weka三家公司已经开始了相关产品的量产，而ibm、美光等五家厂商也在积极引入这一技术。三星、铠侠、西数和戴尔等厂商也开始了gds的早期集成与认证计划。
小结
直接存储技术进一步放大了gpu厂商与存储厂商的优势，目前hpc市场前景巨大，英伟达在相关业务上的盈利已经让其看到了商机。不仅是gpu，英伟达采用arm架构的grace cpu同样引入了nvlink这样的数据传输改善方案。在这样的性能改善下，即便存储方案不同，英伟达的gpu也很可能成为hpc应用的首选。
客户削减项目开发预算，试试华为云这款轻量应用服务器保质保量
iPhone8新品京东首发 9月13日凌晨开启预约
WebRTC正式成为WEB音视频传输标准
贸泽电子开售英飞凌XENSIV PAS CO2传感器 节省75%占板空间
一种基于压电复合材料的兼具成像分辨和成像深度的多频大带宽超声探头
存储与GPU性能皆已成倍增长，IO表现为何迟迟不见好转？
工程师都有一个适用于nRF51和52低功耗蓝牙SoC的实惠套件
INA111输入低通滤波电路
人工智能投资迎来拐点
燃青春 随芯存 | 康盈半导体精彩主题活动闪现elexcon深圳国际电子展
芯科科技入围中国物联网行业年度评选的多个奖项
半导体先进陶瓷材料研究所落户江苏泰兴高新区
企业对web前端工程师有哪些证书要求?
防止电池泄漏重金属污染，Anzene能量魔方打造环保用电新方式
拓维信息获评2022年度软件和信息技术服务综合竞争力百强企业
Digi-Key与MEAN WELL共同推出旨在向客户提供电源解决方案的“聚焦电源”活动
电脑C盘满了应该如何清理
怎么区分有源探头和无源探头？
随着新基建及企业上云步伐的加快，私有云市场正迎来黄金发展阶段
四创电子通过ITSS运维服务能力成熟度一级认证
伴随着hpc、自动驾驶、深度学习和vr/ar需求的不断增加，io性能也在逐步凸显瓶颈，尤其是gpu与存储之间的读写。处理器速度已经从khz进化至了ghz，vram从kb进化至了gb，io速度也从kb/s进化至了gb/s，然而gb/s的大幅度改善从直观角度来看依然像是mb/s。
比如在有线连接的vr应用中，图形需要经过电脑进行处理，再经有线传输显示在vr屏幕上，这就引发了高延迟和长读取时间等问题。这不禁让人开始遐想，在cpu、gpu和存储都已经革新换代的情况下，我们是否真正有效地应用了硬件性能？为此微软和英伟达都提出了直接存储的概念来改善io的现状。
微软：windows上的directstorage
微软在不久前的windows 11发布会上重点提到了directstorage技术，这是一个最初为主机设计的directx api，如今微软也将把这一技术带到pc上。
在当前nvme ssd和pcie技术的演进下，存储带宽远超旧式的硬盘存储技术，过去10mb每秒的速度已经达到数gb每秒。但pc上的图形工作量也在逐步进化，数据量的增加对于读取提出了更高的要求。过去大量数据的读取只需要少量的io请求，但如今的图形渲染会将材质等资源分成小块，只有在场景提出要求时载入所需的部分，如此一来虽然提高了效率，却引入了更多io请求。
当前的gpu资源读取流程 / 微软
而目前的存储api并没有对大量io请求作出优化，因此拖累了nvme，使得读写瓶颈愈发明显。即便采用高端的pc硬件，也无法饱和利用存储带宽优势。除此之外，这些数据往往需要经过压缩传输下一个环节，传入内存后，还要cpu进行一部分解压工作，最后再传入gpu显存里，这样一来每个节点都存在效率损失。
而directstorage采用了全新的路径，从存储读取的数据传给内存后，直接传给gpu显存。而gpu对于这些数据的解压速度远快于cpu，所以极大地优化了io性能。
英伟达：rtx io和magnum io gpudirect storage
英伟达在rtx 30系列显卡上引入了rtx io，面向消费市场，提升游戏场景下的读取速度。英伟达称rtx io将与微软的directstorage结合，与传统硬盘下的存储api相比，可将io性能提高百倍。过去需要数十个cpu内核的工作全部交由rtx gpu来处理。
值得一提的是，英伟达的rtx io虽然也用到了微软的directstorage，但该技术并没有将数据传输到内存，而是直接由ssd转向gpu。微软一名图形开发者在gsl 2021大会上表示，未来directstorage的目标也是绕过系统内存。
gds技术 / 英伟达
除了消费市场外，英伟达在hpc市场也推出了对应的直接存储技术，magnum io gpudirect storage（gds）。gds技术同样是一个绕过cpu的技术，与消费级gpu不同，hpc场景下往往要用到多块gpu，如此一来受io延迟和cpu的影响更大。gds在本地存储与gpu显存之间建立直接的数据通道，消除了cpu引入的延迟和读写瓶颈。
gds与cpu传输至gpu读取性能对比 / 英伟达
在运用gds后，带宽提升达到1.5倍，与传统cpu回弹缓冲的数据路径相比，cpu利用率也有2.8倍的提升。
目前英伟达已经将这一技术加入到其hgx ai超算中，ddn、vast和weka三家公司已经开始了相关产品的量产，而ibm、美光等五家厂商也在积极引入这一技术。三星、铠侠、西数和戴尔等厂商也开始了gds的早期集成与认证计划。
小结
直接存储技术进一步放大了gpu厂商与存储厂商的优势，目前hpc市场前景巨大，英伟达在相关业务上的盈利已经让其看到了商机。不仅是gpu，英伟达采用arm架构的grace cpu同样引入了nvlink这样的数据传输改善方案。在这样的性能改善下，即便存储方案不同，英伟达的gpu也很可能成为hpc应用的首选。
客户削减项目开发预算，试试华为云这款轻量应用服务器保质保量
iPhone8新品京东首发 9月13日凌晨开启预约
WebRTC正式成为WEB音视频传输标准
贸泽电子开售英飞凌XENSIV PAS CO2传感器 节省75%占板空间
一种基于压电复合材料的兼具成像分辨和成像深度的多频大带宽超声探头
存储与GPU性能皆已成倍增长，IO表现为何迟迟不见好转？
工程师都有一个适用于nRF51和52低功耗蓝牙SoC的实惠套件
INA111输入低通滤波电路
人工智能投资迎来拐点
燃青春 随芯存 | 康盈半导体精彩主题活动闪现elexcon深圳国际电子展
芯科科技入围中国物联网行业年度评选的多个奖项
半导体先进陶瓷材料研究所落户江苏泰兴高新区
企业对web前端工程师有哪些证书要求?
防止电池泄漏重金属污染，Anzene能量魔方打造环保用电新方式
拓维信息获评2022年度软件和信息技术服务综合竞争力百强企业
Digi-Key与MEAN WELL共同推出旨在向客户提供电源解决方案的“聚焦电源”活动
电脑C盘满了应该如何清理
怎么区分有源探头和无源探头？
随着新基建及企业上云步伐的加快，私有云市场正迎来黄金发展阶段
四创电子通过ITSS运维服务能力成熟度一级认证