NVIDIA推出用于大型语言模型和生成式AI工作负载的推理平台
谷歌云、d-id、cohere将新平台用于各种生成式ai服务，包括聊天机器人、文本生成图像内容、ai视频等。
加利福尼亚州圣克拉拉 - gtc - 太平洋时间2023年3月21日 – nvidia于今日推出四款推理平台。这些平台针对各种快速兴起的生成式ai应用进行了优化，能够帮助开发人员快速构建用于提供新服务和洞察的ai驱动的专业应用。
这些平台将nvidia的全栈推理软件与最新的nvidia ada、hopper和grace hopper处理器相结合，包括今天推出的nvidia l4 tensor core gpu和nvidia h100 nvl gpu。各平台针对ai视频、图像生成、大型语言模型部署、推荐系统推理等需求激增的工作负载进行了优化。
nvidia创始人兼首席执行官黄仁勋表示：“生成式ai的兴起需要更加强大的推理计算平台。生成式ai应用的数量是无限的，它唯一的限制就是人类的想象力。为开发人员提供最强大、灵活的推理计算平台将加快新服务的创造速度，这些新服务将以前所未有的方式改善我们的生活。”
加速生成式ai的各种推理工作负载集
每个平台都包含一个为特定生成式ai推理工作负载而优化的nvidia gpu和专用的软件：
适用于ai视频的nvidia l4可提供比cpu高出120倍的ai视频性能，同时能效提高了99%。这款适用于几乎所有工作负载的通用gpu提供更加强大的视频解码和转码能力、视频流式传输、增强现实、生成式ai视频等。
适用于图像生成的nvidia l40针对图形以及ai支持的2d、视频和3d图像生成进行了优化。l40平台是nvidia omniverse™（一个用于在数据中心构建和运行元宇宙应用的平台）的引擎，与上一代产品相比，其stable diffusion推理性能提高了7倍，omniverse性能提高了12倍。
适用于大型语言模型部署的nvidia h100 nvl是规模化部署像chatgpt这样的大型语言模型（llms）的理想平台。这款新的h100 nvl拥有94gb内存和transformer引擎加速，在数据中心规模，与上一代a100相比，gpt-3上的推理性能提高了多达12倍。
适用于推荐模型的nvidia grace hopper是图形推荐模型、矢量数据库和图神经网络的理想平台。通过nvlink-c2c以900 gb/s 的速度连接cpu和gpu，grace hopper的数据传输和查询速度比pcie 5.0快了7倍。
这些平台的软件层采用nvidia ai enterprise软件套件，包括用于高性能深度学习推理的软件开发套件nvidia tensorrt™，以及帮助实现模型部署标准化的开源推理服务软件nvidia triton inference server™。
早期采用者与支持
谷歌云是nvidia推理平台的重要云合作伙伴和早期客户。该公司正在将l4平台整合到其机器学习平台vertex ai中，并且是第一家提供l4实例的云服务提供商，其g2虚拟机的私人预览版已于今天推出。
nvidia和谷歌今天分别宣布了首批在谷歌云上使用l4的两家机构——descript和wombo，前者使用生成式ai帮助创作者制作视频和播客，后者提供“dream”这一ai驱动的文本-数字艺术转换应用程序。
另一个早期采用者快手提供了一个短视频应用程序，利用gpu对传入的实时流媒体视频进行解码、捕捉关键帧并优化音视频。然后，它使用一个基于transformer的大型模型理解多模态内容，从而提高全球数亿用户的点击率。
快手高级副总裁于越表示：“快手推荐系统所服务的社区每天的用户人数超过3.6亿，他们每天贡献3000万条ugc视频。在相同的总体拥有成本下，相较于cpu，nvidia gpu将系统的端到端吞吐量提高了11倍，将延迟降低了20%。”
领先的生成式ai技术平台d-id，通过使用nvidia l40 gpu从文本中生成逼真的数字人，支持任何内容来生成人脸，不仅帮助专业人士改进视频内容，同时减少了大规模视频制作的成本和麻烦。
d-id研发副总裁or gorodissky表示：“l40的性能十分惊人。有了它，我们将推理速度提高了一倍。d-id十分高兴能够将这个新硬件作为我们产品的一部分，以前所未有的性能和分辨率实现ai人的实时流传输，并降低我们的计算成本。”
领先的ai制作工作室seyhan lee使用生成式ai为电影、广播和娱乐行业开发沉浸式体验和迷人的创意内容。
seyhan lee联合创始人pinar demirdag表示：“l40 gpu为我们的生成式ai应用带来了惊人的性能提升。凭借l40的推理能力和内存容量，我们可以部署非常先进的模型，并以惊人的速度和精度向客户提供创新的服务。”
语言ai领域的先锋cohere所运行的平台使得开发人员能够在保护数据隐私和安全的情况下，构建自然语言模型。
cohere首席执行官aidan gomez表示：“凭借nvidia的全新高性能h100推理平台，我们可以使用先进的生成式模型为客户提供更加优质、高效的服务，推动对话式ai、多语言企业搜索、信息提取等各种nlp应用的发展。”
供应情况
nvidia l4 gpu私人预览版现已通过谷歌云平台以及30多家计算机制造商所组成的全球网络提供。
nvidia l40 gpu现已通过全球领先的系统提供商提供，并且合作伙伴平台的数量将在今年持续增加。
grace hopper超级芯片已开始样品供货，预计下半年将全面投产。h100 nvl gpu也将于下半年面市。
nvidia ai enterprise现在通过各大云市场以及数十家系统提供商和合作伙伴提供。nvidia ai enterprise为客户提供nvidia 企业级支持、定期安全审查以及nvidia triton inference server™、tensorrt™和50多个预训练模型与框架的api稳定性。
nvidia launchpad上免费提供的动手实验室可以试用用于生成式ai的nvidia推理平台。样品实验室的内容包括训练和部署一个客服聊天机器人、部署一个端到端ai工作负载、在h100上调整和部署一个语言模型以及使用nvidia triton部署一个欺诈检测模型。
2017半导体开门红：芯片销售六年最佳 中国增速第一
华为云焕新数字生活，打造情景化智能产业链条
如何使用电子负载装置进行0V的放电呢？
无人机还要多久才能到达春天
华为发布面向行业的智简网络解决方案
NVIDIA推出用于大型语言模型和生成式AI工作负载的推理平台
艾睿电子发布首份环境、社会和治理 （ESG） 报告
海南电网与广东电网将在5大领域25项任务上深化合作
松下植根中国市场 引领高端冰箱发展新趋势
哪些蓝牙耳机性价比比较高？高性价比蓝牙耳机推荐
信号完整性-阻抗与模型浅析
STM32单片机读写保护功能的设置方法解析
移动式DR设备是什么,有哪些优势
MD8002A音频放大器的电路/特点/应用
PCIe相关问题解答
OPPO K7x上市,搭载联发科天机720处理器
71％的以色列人工智能公司专注于企业应用，以色列成全球AI新竞争者
嵌入式技术在无人驾驶中的应用
数字功率计WT300E系列产品的功能特点及应用范围
采用TO-247Plus-4L封装的1200V-140A IGBT单管
加利福尼亚州圣克拉拉 - gtc - 太平洋时间2023年3月21日 – nvidia于今日推出四款推理平台。这些平台针对各种快速兴起的生成式ai应用进行了优化，能够帮助开发人员快速构建用于提供新服务和洞察的ai驱动的专业应用。
这些平台将nvidia的全栈推理软件与最新的nvidia ada、hopper和grace hopper处理器相结合，包括今天推出的nvidia l4 tensor core gpu和nvidia h100 nvl gpu。各平台针对ai视频、图像生成、大型语言模型部署、推荐系统推理等需求激增的工作负载进行了优化。
nvidia创始人兼首席执行官黄仁勋表示：“生成式ai的兴起需要更加强大的推理计算平台。生成式ai应用的数量是无限的，它唯一的限制就是人类的想象力。为开发人员提供最强大、灵活的推理计算平台将加快新服务的创造速度，这些新服务将以前所未有的方式改善我们的生活。”
加速生成式ai的各种推理工作负载集
每个平台都包含一个为特定生成式ai推理工作负载而优化的nvidia gpu和专用的软件：
适用于ai视频的nvidia l4可提供比cpu高出120倍的ai视频性能，同时能效提高了99%。这款适用于几乎所有工作负载的通用gpu提供更加强大的视频解码和转码能力、视频流式传输、增强现实、生成式ai视频等。
适用于图像生成的nvidia l40针对图形以及ai支持的2d、视频和3d图像生成进行了优化。l40平台是nvidia omniverse™（一个用于在数据中心构建和运行元宇宙应用的平台）的引擎，与上一代产品相比，其stable diffusion推理性能提高了7倍，omniverse性能提高了12倍。
适用于大型语言模型部署的nvidia h100 nvl是规模化部署像chatgpt这样的大型语言模型（llms）的理想平台。这款新的h100 nvl拥有94gb内存和transformer引擎加速，在数据中心规模，与上一代a100相比，gpt-3上的推理性能提高了多达12倍。
适用于推荐模型的nvidia grace hopper是图形推荐模型、矢量数据库和图神经网络的理想平台。通过nvlink-c2c以900 gb/s 的速度连接cpu和gpu，grace hopper的数据传输和查询速度比pcie 5.0快了7倍。
这些平台的软件层采用nvidia ai enterprise软件套件，包括用于高性能深度学习推理的软件开发套件nvidia tensorrt™，以及帮助实现模型部署标准化的开源推理服务软件nvidia triton inference server™。
早期采用者与支持
谷歌云是nvidia推理平台的重要云合作伙伴和早期客户。该公司正在将l4平台整合到其机器学习平台vertex ai中，并且是第一家提供l4实例的云服务提供商，其g2虚拟机的私人预览版已于今天推出。
nvidia和谷歌今天分别宣布了首批在谷歌云上使用l4的两家机构——descript和wombo，前者使用生成式ai帮助创作者制作视频和播客，后者提供“dream”这一ai驱动的文本-数字艺术转换应用程序。
另一个早期采用者快手提供了一个短视频应用程序，利用gpu对传入的实时流媒体视频进行解码、捕捉关键帧并优化音视频。然后，它使用一个基于transformer的大型模型理解多模态内容，从而提高全球数亿用户的点击率。
快手高级副总裁于越表示：“快手推荐系统所服务的社区每天的用户人数超过3.6亿，他们每天贡献3000万条ugc视频。在相同的总体拥有成本下，相较于cpu，nvidia gpu将系统的端到端吞吐量提高了11倍，将延迟降低了20%。”
领先的生成式ai技术平台d-id，通过使用nvidia l40 gpu从文本中生成逼真的数字人，支持任何内容来生成人脸，不仅帮助专业人士改进视频内容，同时减少了大规模视频制作的成本和麻烦。
d-id研发副总裁or gorodissky表示：“l40的性能十分惊人。有了它，我们将推理速度提高了一倍。d-id十分高兴能够将这个新硬件作为我们产品的一部分，以前所未有的性能和分辨率实现ai人的实时流传输，并降低我们的计算成本。”
领先的ai制作工作室seyhan lee使用生成式ai为电影、广播和娱乐行业开发沉浸式体验和迷人的创意内容。
seyhan lee联合创始人pinar demirdag表示：“l40 gpu为我们的生成式ai应用带来了惊人的性能提升。凭借l40的推理能力和内存容量，我们可以部署非常先进的模型，并以惊人的速度和精度向客户提供创新的服务。”
语言ai领域的先锋cohere所运行的平台使得开发人员能够在保护数据隐私和安全的情况下，构建自然语言模型。
cohere首席执行官aidan gomez表示：“凭借nvidia的全新高性能h100推理平台，我们可以使用先进的生成式模型为客户提供更加优质、高效的服务，推动对话式ai、多语言企业搜索、信息提取等各种nlp应用的发展。”
供应情况
nvidia l4 gpu私人预览版现已通过谷歌云平台以及30多家计算机制造商所组成的全球网络提供。
nvidia l40 gpu现已通过全球领先的系统提供商提供，并且合作伙伴平台的数量将在今年持续增加。
grace hopper超级芯片已开始样品供货，预计下半年将全面投产。h100 nvl gpu也将于下半年面市。
nvidia ai enterprise现在通过各大云市场以及数十家系统提供商和合作伙伴提供。nvidia ai enterprise为客户提供nvidia 企业级支持、定期安全审查以及nvidia triton inference server™、tensorrt™和50多个预训练模型与框架的api稳定性。
nvidia launchpad上免费提供的动手实验室可以试用用于生成式ai的nvidia推理平台。样品实验室的内容包括训练和部署一个客服聊天机器人、部署一个端到端ai工作负载、在h100上调整和部署一个语言模型以及使用nvidia triton部署一个欺诈检测模型。
2017半导体开门红：芯片销售六年最佳 中国增速第一
华为云焕新数字生活，打造情景化智能产业链条
如何使用电子负载装置进行0V的放电呢？
无人机还要多久才能到达春天
华为发布面向行业的智简网络解决方案
NVIDIA推出用于大型语言模型和生成式AI工作负载的推理平台
艾睿电子发布首份环境、社会和治理 （ESG） 报告
海南电网与广东电网将在5大领域25项任务上深化合作
松下植根中国市场 引领高端冰箱发展新趋势
哪些蓝牙耳机性价比比较高？高性价比蓝牙耳机推荐
信号完整性-阻抗与模型浅析
STM32单片机读写保护功能的设置方法解析
移动式DR设备是什么,有哪些优势
MD8002A音频放大器的电路/特点/应用
PCIe相关问题解答
OPPO K7x上市,搭载联发科天机720处理器
71％的以色列人工智能公司专注于企业应用，以色列成全球AI新竞争者
嵌入式技术在无人驾驶中的应用
数字功率计WT300E系列产品的功能特点及应用范围
采用TO-247Plus-4L封装的1200V-140A IGBT单管