最新的 nvidia omniverse 版本可基于 omniverse kit 105 套件提供一系列令人振奋的新功能,使开发者能够更加轻松地开始构建 3d 模拟工具和工作流。
基于通用场景描述(即 openusd)、nvidia rtx 和 ai 技术打造的 omniverse 使用户能够创建出先进实时 3d 模拟应用,用于工业数字化和 ai 感知场景。这个完全可组合的平台可从工作站扩展到云,因此只需少量编码工作就能构建先进、可扩展的解决方案。
在 siggraph 2023 上的 nvidia 主题演讲中,nvidia 首席执行官黄仁勋发布了 chatusd 和 runusd。
chatusd 是一个大型语言模型(llm)媒介,可使用文本生成 python-usd 代码脚本和回答 usd 知识问题,有助于直接在 omniverse 中简化并加速 usd 开发任务。
runusd 是一个 cloud api,可通过检查上传文件与 openusd 版本的兼容性,将 openusd 文件转换为完全路径跟踪渲染的图像,并使用 omniverse cloud 生成渲染。nvidia openusd 开发者计划中的开发人员目前可以使用该 api 的演示。
这些 openusd 投入是在 nvidia 与皮克斯、adobe、苹果、autodesk 共同成立 openusd 联盟(aousd)的基础上进一步扩大的。
使用 omniverse kit 构建
基于 openusd 的应用
omniverse kit 是开发工具套件和引擎,用于在 omniverse 上构建基于 openusd 的应用和扩展程序。这套功能强大、可扩展的 sdk 是使用 omniverse 构建各个应用、连接器和扩展程序的基础。
convai 最近使用 omniverse kit 开发了一个扩展程序,使创作者可以在数字孪生环境中添加角色,这些角色可以提供环境和物体的相关信息,也可以充当导游或虚拟机器人。cesium for omniverse 是使用 kit 构建的一个支持 3d tiles 的扩展程序,后者是一项在虚拟世界(包括 openusd 支持的虚拟世界)中传输海量地理空间数据集的开放标准。
echo3d 是一个可帮助开发者和企业构建并部署 3d 应用的 3d 资产管理云平台。它使用 kit 开发了一个扩展程序,可将 3d 资产远程添加到 omniverse 项目中,并通过云进行更新。
alpha3d 是一个由生成式 ai 支持的平台,可在几分钟内将 2d 图像和文本提示转化成 3d 模型。借助使用 omniverse kit 开发的 alpha3d 扩展程序,3d 模型在渲染完成后可自动导入创作者的 omniverse 面板。
更高的效率,更好的用户体验
通过注册进入全新 kit extension,用户便可开始在 omniverse 上进行构建。kit extension 是一个用于访问、共享和管理扩展程序的中央存储库。开发者可以在这里浏览 600 多个核心扩展程序,而且只需下载一次,就可以在任何地方使用。扩展程序能够以多种方式组合成工作流和体验,带来新的可能性。
▲ 图 1 注册 omniverse kit extension
kit 105 加入了一个全新的“欢迎窗口”,大大提升了应用的启动体验。用户可以从能够自定义的欢迎窗口快速访问最近的文件、示例和学习资源,并通过定制化扩展加载功能快速启动项目。
在 omniverse kit 105 中启动想要的体验后,能看到用户界面渲染有了显著的改善。新的渲染优化功能充分利用 nvidia rtx gpu 中 nvidia ada lovelace 架构的增强功能,并将 dlss 3.0 技术完全集成到 omniverse rtx renderer 中。此外,全新的 ai 降噪器还实现了对大规模工业场景的实时 4k 路径追踪。
渲染优化在框架层面实现,无需对现有代码进行任何修改即可自动提升性能。随着 widget 光栅模式的引入,渲染成本最多可降低 20 倍。
更加强大的模块性与性能
使用 omniverse kit 的开发者一直对其极强的模块性(以 kernel 为基础,通过扩展程序添加特定的功能,并将应用、服务和扩展程序组合成完整的解决方案)赞不绝口。借助 kit 105,这种模块性也扩展到了消费领域。
现在,用户可通过 omniverse launcher 使用 kit kernel,以轻松访问 kit 可执行程序、python 和其他重要的核心构件。
目前通过注册 omniverse extension 即可获得 kit 扩展程序,用户可根据需求将这些模块下载到一个共享位置,从而大幅缩小软件包。当多个应用使用同一版本的扩展程序时,无论是在开发过程中还是对于最终用户而言,只需下载一次即可。这样,nvidia 和开发者社区就可以在无需新应用版本的情况下,经常更新扩展程序,提供无缝衔接的体验。
利用新的空间框架构建沉浸式工作流
kit 应用的开发者现在可以使用新的 omniverse 空间框架,轻松地将扩展现实(xr)集成到 3d 工作流中。通过该框架,可以轻松地将传送、操作、导航等 xr 功能集成到现有流程中。
该空间框架的主要功能包括:
用于添加沉浸式体验和基本 xr 功能的新工具:简化并提高了设计评审和工厂规划流程的效率。
将 rtx 光线追踪和 omniverse 连接到 steamvr、openxr 和 nvidia cloudxr。
支持空间计算平台和头显:为基于 openusd 的空间计算平台构建内容、体验和应用。
如要进一步了解该空间框架以及支持的平台和头显,参见由 rtx 赋能的空间框架通过 usd 实现全光线追踪 xr 流程。
体验 omniverse kit
用户可在更新后的 omniverse 基础应用中体验 omniverse kit 105 的所有新功能和性能改进。这些应用是完全可自定义的参考应用,可以进行复制、扩展或增强。
omniverse usd composer 使 3d 用户能够组装基于 openusd 的大型场景。专门开发优质 360° hdri 环境的 cgi.backgrounds 在 usd composer 中提供了多个超高清 hdri 贴图。
omniverse audio2face 提供对只需通过音频文件即可创建逼真面部动画和手势的生成式 ai 应用编程接口(api)的访问。现在还添加了多语种支持和全新女性基础模型。
这些应用可作为模板用于构建用户自己的 kit 应用。用户可通过解构和添加示例应用中的功能,来构建自定义应用。
14种电机启动电路图及电路分析
如何使用仿真和测试进行BGA的射频和高速传输的性能研究
用树莓派控制交通红绿灯(进阶版)
虹科新品 | 什么是虹科weeve边缘计算软件平台?
为什么焊接机器人需要焊缝跟踪寻位
使用模块化、OpenUSD的Omniverse加速3D工作流程
MWC上厂商火拼 LTE与四核成看点
RT-Thread 团队推出了ART-Pi 极具扩展性的 DIY 开源硬件
虹识技术完成总额为1.2亿人民币A+轮融资,主要用于虹膜生物识别核心技术及相关产品开发
chiplet和SoC、SiP及其IP核等有什么关系呢?
巴西或允许华为参加5G网络拍卖会
三星电子旗舰新机Galaxy S21系列将提前至下月发布
紫光展锐联合中国联通、通则康威、广和通重磅发布两大新品
Brave成全球首个支持IPFS的浏览器
芯片短缺到底什么时候是个头?
高颜值读卡器 专为线下零售公司设计
人工智能在疫情期间对经济社会发展的影响
高通收购恩智浦一波三折
固定网络将成为5G网络成功部署的关键技术
电源适配器具备的几种保护特性