GO-Surf: 用于快速、高保真RGB-D表面重建的神经特征网格优化
摘要
我们提出了go-surf，一种直接的特征网格优化方法，用于从rgb-d序列中准确和快速地重建表面。我们用一个学习过的分层特征体素网格对底层场景进行建模，该网格封装了多层次的几何和外观局部信息。特征向量被直接优化，以便在三线插值后，由两个浅层mlp解码为有符号的距离和辐射度值，并通过体积渲染进行渲染，使合成的rgb/深度值与观察到的rgb/深度值之间的差异最小。我们的监督信号--rgb、深度和近似的sdf--可以直接从输入图像中获得，不需要任何融合或后处理。我们制定了一个新的sdf梯度正则化项，鼓励表面光滑和孔洞填充，同时保持高频细节。go-surf可以在15-45分钟内优化1-2k帧的序列，比基于mlp表示的最相关方法neuralrgb-d的速度提高了60倍，同时在标准基准上保持同等的性能。
项目页面：https://jingwenwang95.github. io/go_surf。
主要贡献：
go-surf将可学习的特征网格引入rgb-d序列的sdf重建中，以实现：
(i) 在交互式运行时间内快速优化
(ii) 高精度的表面重建。
我们还首次在体素网格的背景下应用eikonal和平滑度正则化条款。
主要方法
给定一个输入的rgb-d序列，go-surf通过直接优化一个多分辨率的特征网格和有符号的距离值以及颜色预测来获得高质量的三维表面重建。我们在有符号距离值上制定了一个新的平滑度先验，从而在保留细节的同时，改善了孔洞填充和平滑度特性。我们的优化比基于mlp的方法快×60倍。
go-surf使用多级特征网格和两个浅层mlp解码器。给定一个沿射线的采样点，每个网格通过三线插值进行查询。多级特征被串联并解码为sdf，并用于计算样本权重。颜色是由最细的网格单独解码的。损失项被应用于sdf值，并渲染深度和颜色。在每个查询点计算sdf的梯度，并用于eikonal和平滑度正则化。
主要结果
加拿大初创公司North Focals设计了一副AR智能眼镜
!销售/维修/收购HP4278A电桥HP 4278A小兵/雷
特斯拉希望通过AR技术来优化汽车生产的过程
TI推出新型DLP® Pico™控制器 面向紧凑型大众市场
iphone8什么时候上市?iPhone8将延迟发布?靠iPhone7s顶班?已开始量产,首批缺货涨价成风
GO-Surf: 用于快速、高保真RGB-D表面重建的神经特征网格优化
三星电视2021全系列新品国内正式发布
00_51入门知识积累__学看电路原理图（二）
柔性机器人植入物有助于绕过已形成的疤痕组织
华为Mate 20 Pro发布：搭载3D结构光技术，支持40W快充
什么是模拟量，它的概念是怎样的
“智能制造、引领未来”，令人耳目一新
SMA大功率同轴固定衰减器
飞兆半导体于2013年功率电子论坛中推多项创新解决方案
CMS8H5120 8051内核推出的专用于支持弱灌注的血氧仪SoC
功率半导体已成为中国大陆晶圆代工厂扩张重点
华为智慧屏X65迎来HarmonyOS升级：率先支持HDR Vivid显示标准
机械设计深如海，每个小细节都需仔细斟酌
安规电容学习
module对EDA工具的管理
我们提出了go-surf，一种直接的特征网格优化方法，用于从rgb-d序列中准确和快速地重建表面。我们用一个学习过的分层特征体素网格对底层场景进行建模，该网格封装了多层次的几何和外观局部信息。特征向量被直接优化，以便在三线插值后，由两个浅层mlp解码为有符号的距离和辐射度值，并通过体积渲染进行渲染，使合成的rgb/深度值与观察到的rgb/深度值之间的差异最小。我们的监督信号--rgb、深度和近似的sdf--可以直接从输入图像中获得，不需要任何融合或后处理。我们制定了一个新的sdf梯度正则化项，鼓励表面光滑和孔洞填充，同时保持高频细节。go-surf可以在15-45分钟内优化1-2k帧的序列，比基于mlp表示的最相关方法neuralrgb-d的速度提高了60倍，同时在标准基准上保持同等的性能。
项目页面：https://jingwenwang95.github. io/go_surf。
主要贡献：
go-surf将可学习的特征网格引入rgb-d序列的sdf重建中，以实现：
(i) 在交互式运行时间内快速优化
(ii) 高精度的表面重建。
我们还首次在体素网格的背景下应用eikonal和平滑度正则化条款。
主要方法
给定一个输入的rgb-d序列，go-surf通过直接优化一个多分辨率的特征网格和有符号的距离值以及颜色预测来获得高质量的三维表面重建。我们在有符号距离值上制定了一个新的平滑度先验，从而在保留细节的同时，改善了孔洞填充和平滑度特性。我们的优化比基于mlp的方法快×60倍。
go-surf使用多级特征网格和两个浅层mlp解码器。给定一个沿射线的采样点，每个网格通过三线插值进行查询。多级特征被串联并解码为sdf，并用于计算样本权重。颜色是由最细的网格单独解码的。损失项被应用于sdf值，并渲染深度和颜色。在每个查询点计算sdf的梯度，并用于eikonal和平滑度正则化。
主要结果
加拿大初创公司North Focals设计了一副AR智能眼镜
!销售/维修/收购HP4278A电桥HP 4278A小兵/雷
特斯拉希望通过AR技术来优化汽车生产的过程
TI推出新型DLP® Pico™控制器 面向紧凑型大众市场
iphone8什么时候上市?iPhone8将延迟发布?靠iPhone7s顶班?已开始量产,首批缺货涨价成风
GO-Surf: 用于快速、高保真RGB-D表面重建的神经特征网格优化
三星电视2021全系列新品国内正式发布
00_51入门知识积累__学看电路原理图（二）
柔性机器人植入物有助于绕过已形成的疤痕组织
华为Mate 20 Pro发布：搭载3D结构光技术，支持40W快充
什么是模拟量，它的概念是怎样的
“智能制造、引领未来”，令人耳目一新
SMA大功率同轴固定衰减器
飞兆半导体于2013年功率电子论坛中推多项创新解决方案
CMS8H5120 8051内核推出的专用于支持弱灌注的血氧仪SoC
功率半导体已成为中国大陆晶圆代工厂扩张重点
华为智慧屏X65迎来HarmonyOS升级：率先支持HDR Vivid显示标准
机械设计深如海，每个小细节都需仔细斟酌
安规电容学习
module对EDA工具的管理