rdma是一种直接内存访问技术,rdma 通过网络把资料直接传入计算机的存储区,将数据从一个系统快速移动到远程系统存储器中,而不对操作系统造成任何影响,这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和文本交换操作,因而能解放内存带宽和cpu 周期用于改进应用系统性能。这允许高通量、低延迟的网络通信,尤其适合在大规模并行计算机集群中使用。
常见的 rdma 实现包括 iwarp、roce 与 infiniband。其中,infiniband 是超级计算机最常用的技术,其可以做到 1ms 的延迟及超过 100gb 每秒的传输速率。这对于超大规模的计算机集群是必要的。超级计算机、人工智能,云计算的数据中心都会受益于 infiniband 的卓越效能。世界 top500 超级计算机(2017年 6 月排行榜)中 36%使用了 infiniband 技术。
mellanox 提供从 hpc(高性能计算中心)、数据中心、web2.0、机器学习、云服务器等解决方案,并专门针对目前火热的人工智能算法进行了架构优化。其客户包括 facebook、paypal、nvidia、百度、京东、腾讯等。
e级超算已经成为世界各国在超算领域追逐的新目标。目前,由江南计算所、国防科大和中科曙光公司根据不同技术路线研制的三台 e 级原型系统已经完成并分别安装在济南、天津和深圳国家超级计算中心。据 hyperion research 公司按照系统验收的时间估算,2021 至 2026 年期间,全球将建成 28~38 台 e 级或接近 e 级的超级计算机,总价值约在 100~150 亿美元。
在实现上,rdma 实际上是一种智能网卡与软件架构充分优化的远端内存直接高速访问技术,通过将 rdma 协议固化于硬件(即网卡)上,以及支持 zero-copy和 kernel bypass 这两种途径来达到其高性能的远程直接数据存取的目标。其通信过程使得用户在使用 rdma 时具备如下优势:
➢ 零拷贝(zero-copy) - 应用程序能够直接执行数据传输,在不涉及到网络软件栈的情况下。数据能够被直接发送到缓冲区或者能够直接从缓冲区里接收,而不需要被复制到网络层。
➢ 内核旁路(kernel bypass) - 应用程序可以直接在用户态执行数据传输,不需要在内核态与用户态之间做上下文切换。
➢ 不需要 cpu 干预(no cpu involvement) - 应用程序可以访问远程主机内存而不消耗远程主机中的任何 cpu。远程主机内存能够被读取而不需要远程主机上的进程(或 cpu)参与。远程主机的 cpu 的缓存(cache)不会被访问的内存内容所填充。
➢ 消息基于事务(message based transactions) - 数据被处理为离散消息而不是流,消除了应用程序将流切割为不同消息/事务的需求。
➢ 支持分散/聚合条目(scatter/gather entries support) - rdma 原生态支持分散/聚合。也就是说,读取多个内存缓冲区然后作为一个流发出去或者接收一个流然后写入到多个内存缓冲区里去。
目前,rdma 技术在超算、ai 训练、存储等多个高性能场景大量部署,已形成广泛应用。但是 rdma 技术路线也有很多,用户及各家厂商对于 rdma 技术路线的选择也不尽相同。
在三种主流的 rdma 技术中,可以划分为两大阵营。一个是 ib 技术, 另一个是支持 rdma 的以太网技术(roce 和 iwarp)。其中,ibta 主要聚焦 ib 和 roce 技术,而 iwarp 则是在 ieee/ietf 标准化的技术。
在存储领域,支持 rdma 的技术早就存在,比如srp(scsi rdma protocol)和iser(iscsi extensions for rdma)。如今兴起的 nvme over fabrics 如果使用的不是 fc 网络的话,本质上就是 nvmeover rdma。换句话说,nvme over infiniband, nvme over roce 和 nvme over iwarp 都是 nvme over rdma。
1、总线级数据中心网络技术白皮书.pdf
2、rdma提高数据传输效率.pdf
3、配置 infiniband 和 rdma 网络.pdf
4、华为rdma.pdf
5、面向ai智能无损数据中心网络.pdf
6、面向分布式 ai智能网卡低延迟fabric技术.pdf
7、nvme存储spdk 加速前后端 io.pdf
8、基于rdma多播机制的分布式持久性内存文件系统.pdf
9、云环境下分布式存储性能优化实践.pdf
《rdma技术合集(上)》
1、智能网卡低延迟fabric技术.pdf
2、rdma参数选择.pdf
3、rdma在数据中心中的应用研究.pdf
4、rdma系统的挑战.pdf
5、rdma网络人工智能训练重要硬件
6、rdma技术白皮书(中文版)
7、rdma技术调研
8、rdma在数据中心中的应用研究
在汽车配件领域上连拓精密气密性测试仪起着重要作用
智慧家居生活的核心设备——智能镜子显示屏
晶华微上市首日破发,6成营收来自医疗健康SoC芯片,募资7.5亿布局信号链芯片
赛灵思及合作伙伴演示用于专业广播系统的AP Smarter解决方案
爆款直降千元 至高24期免息 英特尔京东超级品牌日已开启预热
RDMA技术场景和参数优化
奥地利微电子降低微控制器整合高资料速率NFC功能成本
ANADIGICS推出全新功率放大器(PA)系列
怎么解决小信号测试精准度问题?-安泰仪器维修
华为发布可穿戴智能眼镜EyeWear 可确保清晰的通话音质以及支持NFC无接触式充电
8元无负载耦合微带线TEM谐振器的分析和设计
PCB的生产制造过程涉及到多种物理或化学工艺,污染是大问题
RFID/NFC标签和普通标签究竟有何不同?
招投标资讯│快点别懒!赚钱必看!几千万的项目呀!
单片机按键防抖子程序详情解说
低压差线性稳压器的应用类型
荣耀正式发布最新千元旗舰8X系列产品
vivoX27官网预约量突破37万
云边融合是如何赋能AI视频监控
什么是串口通讯? 最基本的PLC串口通讯知识点详细说明