基准分数突出了广泛的机器学习推理性能
继今年早些时候发布的训练基准分数之后，mlperf 发布了其推理基准的第一组基准分数。
与目前有 5 家公司的 63 份参赛作品的训练轮相比，更多的公司提交了基于 mobilenet、resnet、yolo 等神经网络架构的推理结果。总共有来自 14 个组织的 500 多个分数进行了验证。这包括来自几家初创公司的数据，而一些知名初创公司仍然明显缺席。
在封闭的部门，其严格的条件可以直接比较系统，结果显示性能差异为 5 个数量级，并且在估计的功耗方面跨越三个数量级。在开放部门中，提交可以使用一系列模型，包括低精度实现。
nvidia 在封闭部门的所有类别中都获得了商用设备的第一名。其他领先者包括数据中心类别的 habana labs、谷歌和英特尔，而 nvidia 在边缘类别中与英特尔和高通竞争。
英伟达用于数据中心推理的 egx 平台（图片：英伟达）
moor insights and strategy 分析师 karl freund 表示：“nvidia 是唯一一家拥有生产芯片、软件、可编程性和人才的公司，可以发布跨 mlperf 范围内的基准测试，并在几乎所有类别中获胜。” “gpu 的可编程性为未来的 mlperf 版本提供了独特的优势……我认为这展示了 [nvidia] 实力的广度，以及挑战者的利基性质。但随着时间的推移，许多挑战者会变得成熟，因此英伟达需要继续在硬件和软件方面进行创新。”
nvidia 发布的图表显示了其对结果的解释，在商用设备的封闭部门的所有四个场景中，它都位居第一。
这些场景代表不同的用例。离线和服务器场景用于数据中心的推理。离线场景可能代表大量图片的离线照片标记并测量纯吞吐量。服务器场景代表一个用例，其中包含来自不同用户的多个请求，在不可预测的时间提交请求，并在固定时间测量吞吐量。边缘场景是单流，它对单个图像进行推理，例如在手机应用程序中，以及多流，它测量可以同时推理多少个图像流，用于多摄像头系统。
公司可以为选定的机器学习模型提交结果，这些模型在四种场景中的每一种中执行图像分类、对象检测和语言翻译。
数据中心结果
“从数据中心的结果来看，nvidia 在服务器和离线类别的所有五个基准测试中均名列前茅，”nvidia 加速计算产品管理总监 paresh kharya 说。“在商用解决方案中，我们的 turing gpu 的性能优于其他所有人。”
kharya 强调了这样一个事实，即英伟达是唯一一家在数据中心类别的所有五个基准模型中提交结果的公司，而对于服务器类别（这是更困难的情况），英伟达的性能相对于其竞争对手有所提高。
选定的数据中心基准测试结果来自封闭部门，在商用设备类别中处于领先地位。结果显示相对于每个加速器的 nvidia 分数。x 代表“未提交结果”（图片：nvidia）
英伟达在数据中心领域最接近的竞争对手是拥有goya 推理芯片的以色列初创公司 habana labs 。
分析师 karl freund 表示：“habana 是唯一一个全面生产高性能芯片的挑战者，当下一个 mlperf 套件有望包含功耗数据时，它应该会做得很好。”
habana labs 在接受 eetimes 采访时指出，基准分数纯粹基于性能——功耗不是衡量标准，实用性也不是（例如考虑解决方案是被动冷却还是水冷），成本也不是。
habana labs pcie 卡采用 goya 推理芯片（图片：habana labs）
habana 还使用开放分区来展示其低延迟能力，比封闭分区进一步限制延迟，并为多流场景提交结果。
边缘计算结果
在边缘基准测试中，nvidia 赢得了所有四个在封闭部门提交商用解决方案的类别。高通的 snapdragon 855 soc 和英特尔的 xeon cpu 在单流类别中落后于英伟达，高通和英特尔都没有提交更困难的多流场景的结果。
选定的边缘基准测试结果来自封闭部门，在商用设备类别中处于领先地位。结果显示相对于每个加速器的 nvidia 分数。x 代表“未提交结果”（图片：nvidia）
“预览”系统（尚未商业化）的结果将阿里巴巴 t-head 的含光芯片与英特尔的 nervana nnp-i、hailo-8和 centaur technologies 的参考设计进行了对比。与此同时，研发类别的特色是一家隐秘的韩国初创公司 furiosa ai，对此我们知之甚少。
mlperf 网站上提供了最近的推理分数以及早期的训练分数。
英伟达未来前景模糊不清
深兰科技荣获2018NBI夏季创新峰会「AI 新动能20强」
DS2155和DS21458之间的细微差别
5G 使 AV 成为车轮上的数据中心
Delonix Bioworks宣布完成1400万美元的种子轮融资
基准分数突出了广泛的机器学习推理性能
如何用机器学习练出一个玩“石头剪刀布”的大师出来
采用Honeywell S9000系统实现对锅炉燃烧进行优化控制
75Ω高通滤波器控制UHF进入卫星DBS调谐器
五种光纤传感器的原理与应用
京东方从零突破打破三星OLED垄断,并将与苹果合作
荣耀Note9什么时候上市？华为荣耀Note9全新设计首曝：2799元的售价，性价比如何？
罗克韦尔自动化Rockii Master助力华新有色开启数字化转型之旅
达美航空公布了位于亚特兰大总部的全世界最大喷气发动机测试场
自动应急灯控制电路设计
具有分批分离的多相流量计的原理及设计
欧菲光:前三季度摄像头模组销量为5.53亿颗,同比增长21.81%
HDB-E手持式变压器变比组别测试仪单相电力变测试方法
谷歌量子计算库开源，给量子计算装上AI大脑
NVIDIA发布Spectrum以太网平台 罗姆入选“A级”企业榜单
与目前有 5 家公司的 63 份参赛作品的训练轮相比，更多的公司提交了基于 mobilenet、resnet、yolo 等神经网络架构的推理结果。总共有来自 14 个组织的 500 多个分数进行了验证。这包括来自几家初创公司的数据，而一些知名初创公司仍然明显缺席。
在封闭的部门，其严格的条件可以直接比较系统，结果显示性能差异为 5 个数量级，并且在估计的功耗方面跨越三个数量级。在开放部门中，提交可以使用一系列模型，包括低精度实现。
nvidia 在封闭部门的所有类别中都获得了商用设备的第一名。其他领先者包括数据中心类别的 habana labs、谷歌和英特尔，而 nvidia 在边缘类别中与英特尔和高通竞争。
英伟达用于数据中心推理的 egx 平台（图片：英伟达）
moor insights and strategy 分析师 karl freund 表示：“nvidia 是唯一一家拥有生产芯片、软件、可编程性和人才的公司，可以发布跨 mlperf 范围内的基准测试，并在几乎所有类别中获胜。” “gpu 的可编程性为未来的 mlperf 版本提供了独特的优势……我认为这展示了 [nvidia] 实力的广度，以及挑战者的利基性质。但随着时间的推移，许多挑战者会变得成熟，因此英伟达需要继续在硬件和软件方面进行创新。”
nvidia 发布的图表显示了其对结果的解释，在商用设备的封闭部门的所有四个场景中，它都位居第一。
这些场景代表不同的用例。离线和服务器场景用于数据中心的推理。离线场景可能代表大量图片的离线照片标记并测量纯吞吐量。服务器场景代表一个用例，其中包含来自不同用户的多个请求，在不可预测的时间提交请求，并在固定时间测量吞吐量。边缘场景是单流，它对单个图像进行推理，例如在手机应用程序中，以及多流，它测量可以同时推理多少个图像流，用于多摄像头系统。
公司可以为选定的机器学习模型提交结果，这些模型在四种场景中的每一种中执行图像分类、对象检测和语言翻译。
数据中心结果
“从数据中心的结果来看，nvidia 在服务器和离线类别的所有五个基准测试中均名列前茅，”nvidia 加速计算产品管理总监 paresh kharya 说。“在商用解决方案中，我们的 turing gpu 的性能优于其他所有人。”
kharya 强调了这样一个事实，即英伟达是唯一一家在数据中心类别的所有五个基准模型中提交结果的公司，而对于服务器类别（这是更困难的情况），英伟达的性能相对于其竞争对手有所提高。
选定的数据中心基准测试结果来自封闭部门，在商用设备类别中处于领先地位。结果显示相对于每个加速器的 nvidia 分数。x 代表“未提交结果”（图片：nvidia）
英伟达在数据中心领域最接近的竞争对手是拥有goya 推理芯片的以色列初创公司 habana labs 。
分析师 karl freund 表示：“habana 是唯一一个全面生产高性能芯片的挑战者，当下一个 mlperf 套件有望包含功耗数据时，它应该会做得很好。”
habana labs 在接受 eetimes 采访时指出，基准分数纯粹基于性能——功耗不是衡量标准，实用性也不是（例如考虑解决方案是被动冷却还是水冷），成本也不是。
habana labs pcie 卡采用 goya 推理芯片（图片：habana labs）
habana 还使用开放分区来展示其低延迟能力，比封闭分区进一步限制延迟，并为多流场景提交结果。
边缘计算结果
在边缘基准测试中，nvidia 赢得了所有四个在封闭部门提交商用解决方案的类别。高通的 snapdragon 855 soc 和英特尔的 xeon cpu 在单流类别中落后于英伟达，高通和英特尔都没有提交更困难的多流场景的结果。
选定的边缘基准测试结果来自封闭部门，在商用设备类别中处于领先地位。结果显示相对于每个加速器的 nvidia 分数。x 代表“未提交结果”（图片：nvidia）
“预览”系统（尚未商业化）的结果将阿里巴巴 t-head 的含光芯片与英特尔的 nervana nnp-i、hailo-8和 centaur technologies 的参考设计进行了对比。与此同时，研发类别的特色是一家隐秘的韩国初创公司 furiosa ai，对此我们知之甚少。
mlperf 网站上提供了最近的推理分数以及早期的训练分数。
英伟达未来前景模糊不清
深兰科技荣获2018NBI夏季创新峰会「AI 新动能20强」
DS2155和DS21458之间的细微差别
5G 使 AV 成为车轮上的数据中心
Delonix Bioworks宣布完成1400万美元的种子轮融资
基准分数突出了广泛的机器学习推理性能
如何用机器学习练出一个玩“石头剪刀布”的大师出来
采用Honeywell S9000系统实现对锅炉燃烧进行优化控制
75Ω高通滤波器控制UHF进入卫星DBS调谐器
五种光纤传感器的原理与应用
京东方从零突破打破三星OLED垄断,并将与苹果合作
荣耀Note9什么时候上市？华为荣耀Note9全新设计首曝：2799元的售价，性价比如何？
罗克韦尔自动化Rockii Master助力华新有色开启数字化转型之旅
达美航空公布了位于亚特兰大总部的全世界最大喷气发动机测试场
自动应急灯控制电路设计
具有分批分离的多相流量计的原理及设计
欧菲光:前三季度摄像头模组销量为5.53亿颗,同比增长21.81%
HDB-E手持式变压器变比组别测试仪单相电力变测试方法
谷歌量子计算库开源，给量子计算装上AI大脑
NVIDIA发布Spectrum以太网平台 罗姆入选“A级”企业榜单