CVPR | 数字文艺复兴:NVIDIA Neuralangelo 研究重构 3D 场景

neuralangelo 是 nvidia research 开发的一个全新 ai 模型,它利用神经网络进行 3d 重建,可将 2d 视频片段转换为详细的 3d 结构,为建筑物、雕塑以及其他真实物体生成逼真的虚拟复本。
就像米开朗基罗用大理石雕刻出令人惊叹、栩栩如生的雕塑一样,neuralangelo 能生成具有复杂细节和纹理的 3d 结构。随后,创意人士可以将这些 3d 物体导入设计软件中,对其进行进一步编辑,用于艺术、视频游戏开发、机器人和工业数字孪生。
neuralangelo 将复杂材料——包括屋顶瓦片、玻璃板和光滑的大理石——的纹理从 2d 视频转换为 3d 物料的能力大大超过了以前的方法。高保真度让开发者和创意专业人士更容易进行 3d 重建,使用智能手机拍摄的视频快速为项目创建可用的虚拟物体。
nvidia research 高级研究总监、上述论文的合著者刘洺堉表示:“neuralangelo 的 3d 重建能力将使创作者受益匪浅,能够帮助他们在数字世界中重建现实世界。这个工具最终将使开发人员能够将详细的对象——无论是小雕像还是大型建筑——导入到虚拟环境中,用于电子游戏或工业数字孪生。”
在一次演示中,nvidia 研究人员展示了该模型如何重建米开朗基罗“大卫像”这样的标志性物体以及平板卡车这样的普通物体。neuralangelo 还可以重建建筑物的内部和外部——以 nvidia 湾区办公园区的详细 3d 模型为例进行了演示。
在 3d 中应用神经渲染模型
之前用于重建 3d 场景的 ai 模型很难准确捕捉重复的纹理、均匀的颜色和强烈的颜色变化。neuralangelo 采用即时神经图形基元——即 nvidia instant nerf 背后的技术——来帮助捕捉这些更精细的细节。
使用从不同角度拍摄的物体或场景的 2d 视频,该模型会选择从不同角度捕捉的镜头来确定物体或场景的深度、大小和形状,就像艺术家会从多个角度描绘一个物体一样。
一旦确定了每个镜头的相机位置,neuralangelo 的 ai 就会创建一个粗略的 3d 场景,相当于雕塑家开始雕刻主体的形状。
然后,该模型对渲染进行优化以锐化细节,就好像雕塑家辛苦雕琢石头来模仿织物或人的纹理。
最终会生成一个 3d 物体或大规模场景,可用于虚拟现实应用、数字孪生或机器人开发。
在 6 月18-22 日举行的 cvpr 大会上
探寻 nvidia research 的研究成果
在 6 月 18 日至 22 日于温哥华举行的 cvpr 上,nvidia research 将展示近 30 个项目,其中包括 neuralangelo。这些论文的主题涵盖姿态估计、3d 重建和视频生成。
其中一个名为 diffcollage 的项目是一种创建大规模内容的扩散法,包括长横向、360 度全景图和循环运动图像。当输入一个具有标准长宽比的图像训练数据集时,diffcollage 将这些较小的图像视为更大视觉片段的一部分——就像一张张拼贴画。这使得扩散模型能够生成看上去有凝聚力的大型内容,而无需使用相同比例的图像进行训练。
该技术还可以将文本提示转换为视频序列,技术演示中使用了预先训练的扩散模型来捕捉人体动作:
点击“阅读原文”,了解有关 nvidia research 参展 cvpr 的更多信息。
扫描下方海报二维码,观看 nvidia 创始人兼 ceo 黄仁勋在 computex 2023 的主题演讲直播回放,主题演讲中文字幕版已上线,了解 ai、图形及其他领域的最新进展!
原文标题:cvpr | 数字文艺复兴:nvidia neuralangelo 研究重构 3d 场景
文章出处:【微信公众号:nvidia英伟达】欢迎添加关注!文章转载请注明出处。

LED灯具光辐射安全相关标准
罗姆开发出业界首创搭载PFC控制功能的高效AC/DC转换器IC
基于工作流技术的发电企业管理信息系统的研究与开发
希捷扩充产品线 推出全新酷鱼固态硬盘
2024年,人形机器人迎来产业化元年
CVPR | 数字文艺复兴:NVIDIA Neuralangelo 研究重构 3D 场景
因特网太贵?“多跳网络”帮你搭建物联网!
智能压力变送器如何改变量程
浅谈贴片电感的作用
DC-DC开关电源管理芯片的设计
怎么做SGS科特迪瓦COC清关证书多少钱
新唐科技W79E632A主板简介
芯片巨头高通将面临“拆分”和“重组”?
中小企业IT主管如何为数字化转型提供支持
高频电缆和普通电缆二者之间的区别是什么
ArkUI如何自定义弹窗(eTS)
到底哪家强?三星与华为的战争
周正宁:WebRTC+AV1将会是未来技术的风向标
AI+医疗政策助推,促行业快速发展
无线充电越来越火 其实诺基亚早在2012年就推出了