基于未知物体进行6D追踪和3D重建的方法
如今，计算机视觉社区已经广泛展开了对物体姿态的 6d 追踪和 3d 重建。本文中英伟达提出了同时对未知物体进行 6d 追踪和 3d 重建的方法。该方法假设物体是刚体，并且需要视频的第一帧中的 2d 物体掩码。
除了这两个要求之外，物体可以在整个视频中自由移动，甚至经历严重的遮挡。英伟达的方法在目标上与物体级 slam 的先前工作类似，但放松了许多常见的假设，从而能够处理遮挡、反射、缺乏视觉纹理和几何线索以及突然的物体运动。
英伟达方法的关键在于在线姿态图优化过程，同时进行神经重建过程和一个内存池以促进两个过程之间的通信。相关论文已被 cvpr 2023 会议接收。
本文的贡献可以总结如下：
一种用于新颖未知动态物体的因果 6 自由度姿态跟踪和 3d 重建的新方法。该方法利用了并发跟踪和神经重建过程的新颖共同设计，能够在几乎实时的在线环境中运行，同时大大减少了跟踪漂移。
引入了混合 sdf 表示来处理动态物体为中心的环境中由于噪声分割和交互引起的不确定自由空间的挑战。
在三个公共基准测试中进行的实验显示了本文方法与主流方法的最先进性能。
英伟达方法的鲁棒性在下图 1 中得到了突出显示。
下面是一些 demo 展示：
与相关工作的对比
此前的 6d 物体姿态估计旨在推断出目标物体在相机帧中的三维平移和三维旋转。最先进的方法通常需要实例或类别级别的物体 cad 模型进行离线训练或在线模板匹配，这限制了它们在新颖未知物体上的应用。尽管最近有几项研究工作放宽了假设并旨在快速推广到新颖未见的物体，但它们仍然需要预先捕获测试物体的姿态参考视图，而英伟达的设定中并不假设这一点。
除了单帧姿态估计之外，6d 物体姿态跟踪利用时间信息在整个视频中估计每帧物体姿态。与单帧姿态估计方法类似，这些方法在不同的假设条件上进行，例如训练和测试使用相同的物体，或者在相同类别的物体上进行预训练。
然而，与所有以往工作不同的是，英伟达的追踪和重建协同设计采用了一种新颖的神经表示，不仅在实验证实中实现了更强大的跟踪能力，还能够输出额外的形状信息。
此外，虽然 slam（同时定位与地图构建）方法解决的是与本研究类似的问题，但其专注于跟踪相机相对于大型静态环境的姿态。动态 slam 方法通常通过帧 - 模型迭代最近点（icp）与颜色相结合、概率数据关联或三维水平集似然最大化来跟踪动态物体。模型通过将观察到的 rgbd 数据与新跟踪的姿态聚合实时重建。
相比之下，英伟达的方法利用一种新颖的神经对象场表示，允许自动融合，同时动态矫正历史跟踪的姿态以保持多视角一致性。英伟达专注于物体为中心的场景，包括动态情景，其中常常缺乏纹理或几何线索，并且交互主体经常引入严重遮挡，这些是在传统 slam 中很少发生的困难。与物体级 slam 研究中研究的静态场景相比，动态交互还允许观察物体的不同面以进行更完整的三维重建。
方法概览
英伟达方法的概述如下图所示。给定单目 rgbd 输入视频以及仅在第一帧中感兴趣物体的分割掩码，该方法通过后续帧跟踪物体的 6d 姿态并重建物体的纹理 3d 模型。所有处理都是因果的（无法访问未来帧的信息）。英伟达假设物体是刚体，但适用于无纹理的物体。
此外不需要物体的实例级 cad 模型，也不需要物体的类别级先验知识（例如事先在相同的物体类别上训练）。
整个框架的流程可以概括为：首先在连续的分割图像之间匹配特征，以获得粗略的姿态估计（第 3.1 节）。其中一些具有姿态的帧被存储在内存池中，以便稍后使用和优化（第 3.2 节）。从内存池的子集动态创建姿态图（第 3.3 节）；在线优化与当前姿态一起优化图中的所有姿态。
然后，这些更新的姿态被存储回内存池中。最后，内存池中的所有具有姿态的帧用于学习基于 sdf 表示的神经物体场（在单独并行的线程中），该对象场建模物体的几何和视觉纹理（第 3.4 节），同时调整它们先前估计的姿态，以鲁棒化 6d 物体姿态跟踪。
在这项工作中，一个独特的挑战在于交互者引入的严重遮挡，导致了多视几何不再一致。并且完美的物体分割掩码通常无法得到。为此，英伟达进行了独特的建模以增加鲁棒性。
下面左图：使用视频分割网络（第 3.1 节）预测的二值掩码进行高效的射线追踪的 octree 体素表示，该物体分割掩码由于来自神经网络的预测难免存在错误。射线可以落在掩码内部（显示为红色）或外部（黄色）。右图：神经体积的 2d 俯视示意图，以及沿着射线进行的混合 sdf 建模的点采样。蓝色样本接近表面。
实验和结果
数据集：英伟达考虑了三个具有截然不同的交互形式和动态场景的真实世界数据集。有关野外应用和静态场景的结果，请参阅项目页面。
ho3d：该数据集包含了人手与 ycb 物体交互的 rgbd 视频，由近距离捕捉的 intel realsense 相机进行拍摄。
ycbineoat：该数据集包含了双臂机器人操作 ycb 物体的第一视角的 rgbd 视频，由中距离捕捉的 azure kinect 相机进行拍摄。操作类型包括：（1）单臂拾取和放置，（2）手内操作，以及（3）双臂之间的拾取和交接。
behave：该数据集包含人体与物体交互的 rgbd 视频，由 azure kinect 相机的预校准多视图系统远距离捕捉。然而，我们将评估限制在单视图设置下，该设置经常发生严重遮挡。
评估指标：英伟达分别评估姿态估计和形状重建。对于 6d 物体姿态，他们使用物体几何来计算 add 和 add-s 指标的曲线下面积（auc）百分比。对于 3d 形状重建，英伟达计算最终重建网格与地面真实网格之间在每个视频的第一帧定义的规范坐标系中的 chamfer 距离。
对比方法：英伟达使用官方的开源实现和最佳调整参数与 droid-slam (rgbd) [61]、nice-slam [85]、kinectfusion [43]、bundletrack [69] 和 sdf-2-sdf [53] 进行比较。此外还包括它们在排行榜上的基准结果。
团队介绍
该论文来自于英伟达研究院。其中论文一作是华人温伯文，博士毕业于罗格斯大学计算机系。曾在谷歌 x，facebook reality labs, 亚马逊和商汤实习。研究方向为机器人感知和 3d 视觉。
浅谈电子连接器分类及选择
5G商用与深化工业互联网创新发展 场景落地的趋势与难点
中关村的三级跳 IC Park走出专业园区转型新模式
友悦宝早教机器人X9，能歌善舞，给孩子做礼物非常不错
Linux挂载硬盘
基于未知物体进行6D追踪和3D重建的方法
Redmi即将召开2021年首场新品发布会
小米宣布Redmi Note 10 将于 3 月 4 日全球首发
手机厂商明年全面押注5G 5G手机价格门槛降至2000元
特斯拉申请在柏林新建电池工厂
刁石京、楚庆双CEO携手助推展锐5G高飞的时代
晶振在五种不同行业的应用
三防灯安装方式有哪些?
联电4月份营运数字 第2季业绩将逐渐回温
2018工博会上重点关注领域
深入应用场景的5G 为下一代SoC的设计做准备
安规电容中X电容和Y电容作用
数据中心小母线监控装置的简单介绍
AXI IIP突发写的bug定位如何解决？
中国联通依托5G、云大物等核心技术，提供了丰富的“5G+”智慧应用
除了这两个要求之外，物体可以在整个视频中自由移动，甚至经历严重的遮挡。英伟达的方法在目标上与物体级 slam 的先前工作类似，但放松了许多常见的假设，从而能够处理遮挡、反射、缺乏视觉纹理和几何线索以及突然的物体运动。
英伟达方法的关键在于在线姿态图优化过程，同时进行神经重建过程和一个内存池以促进两个过程之间的通信。相关论文已被 cvpr 2023 会议接收。
本文的贡献可以总结如下：
一种用于新颖未知动态物体的因果 6 自由度姿态跟踪和 3d 重建的新方法。该方法利用了并发跟踪和神经重建过程的新颖共同设计，能够在几乎实时的在线环境中运行，同时大大减少了跟踪漂移。
引入了混合 sdf 表示来处理动态物体为中心的环境中由于噪声分割和交互引起的不确定自由空间的挑战。
在三个公共基准测试中进行的实验显示了本文方法与主流方法的最先进性能。
英伟达方法的鲁棒性在下图 1 中得到了突出显示。
下面是一些 demo 展示：
与相关工作的对比
此前的 6d 物体姿态估计旨在推断出目标物体在相机帧中的三维平移和三维旋转。最先进的方法通常需要实例或类别级别的物体 cad 模型进行离线训练或在线模板匹配，这限制了它们在新颖未知物体上的应用。尽管最近有几项研究工作放宽了假设并旨在快速推广到新颖未见的物体，但它们仍然需要预先捕获测试物体的姿态参考视图，而英伟达的设定中并不假设这一点。
除了单帧姿态估计之外，6d 物体姿态跟踪利用时间信息在整个视频中估计每帧物体姿态。与单帧姿态估计方法类似，这些方法在不同的假设条件上进行，例如训练和测试使用相同的物体，或者在相同类别的物体上进行预训练。
然而，与所有以往工作不同的是，英伟达的追踪和重建协同设计采用了一种新颖的神经表示，不仅在实验证实中实现了更强大的跟踪能力，还能够输出额外的形状信息。
此外，虽然 slam（同时定位与地图构建）方法解决的是与本研究类似的问题，但其专注于跟踪相机相对于大型静态环境的姿态。动态 slam 方法通常通过帧 - 模型迭代最近点（icp）与颜色相结合、概率数据关联或三维水平集似然最大化来跟踪动态物体。模型通过将观察到的 rgbd 数据与新跟踪的姿态聚合实时重建。
相比之下，英伟达的方法利用一种新颖的神经对象场表示，允许自动融合，同时动态矫正历史跟踪的姿态以保持多视角一致性。英伟达专注于物体为中心的场景，包括动态情景，其中常常缺乏纹理或几何线索，并且交互主体经常引入严重遮挡，这些是在传统 slam 中很少发生的困难。与物体级 slam 研究中研究的静态场景相比，动态交互还允许观察物体的不同面以进行更完整的三维重建。
方法概览
英伟达方法的概述如下图所示。给定单目 rgbd 输入视频以及仅在第一帧中感兴趣物体的分割掩码，该方法通过后续帧跟踪物体的 6d 姿态并重建物体的纹理 3d 模型。所有处理都是因果的（无法访问未来帧的信息）。英伟达假设物体是刚体，但适用于无纹理的物体。
此外不需要物体的实例级 cad 模型，也不需要物体的类别级先验知识（例如事先在相同的物体类别上训练）。
整个框架的流程可以概括为：首先在连续的分割图像之间匹配特征，以获得粗略的姿态估计（第 3.1 节）。其中一些具有姿态的帧被存储在内存池中，以便稍后使用和优化（第 3.2 节）。从内存池的子集动态创建姿态图（第 3.3 节）；在线优化与当前姿态一起优化图中的所有姿态。
然后，这些更新的姿态被存储回内存池中。最后，内存池中的所有具有姿态的帧用于学习基于 sdf 表示的神经物体场（在单独并行的线程中），该对象场建模物体的几何和视觉纹理（第 3.4 节），同时调整它们先前估计的姿态，以鲁棒化 6d 物体姿态跟踪。
在这项工作中，一个独特的挑战在于交互者引入的严重遮挡，导致了多视几何不再一致。并且完美的物体分割掩码通常无法得到。为此，英伟达进行了独特的建模以增加鲁棒性。
下面左图：使用视频分割网络（第 3.1 节）预测的二值掩码进行高效的射线追踪的 octree 体素表示，该物体分割掩码由于来自神经网络的预测难免存在错误。射线可以落在掩码内部（显示为红色）或外部（黄色）。右图：神经体积的 2d 俯视示意图，以及沿着射线进行的混合 sdf 建模的点采样。蓝色样本接近表面。
实验和结果
数据集：英伟达考虑了三个具有截然不同的交互形式和动态场景的真实世界数据集。有关野外应用和静态场景的结果，请参阅项目页面。
ho3d：该数据集包含了人手与 ycb 物体交互的 rgbd 视频，由近距离捕捉的 intel realsense 相机进行拍摄。
ycbineoat：该数据集包含了双臂机器人操作 ycb 物体的第一视角的 rgbd 视频，由中距离捕捉的 azure kinect 相机进行拍摄。操作类型包括：（1）单臂拾取和放置，（2）手内操作，以及（3）双臂之间的拾取和交接。
behave：该数据集包含人体与物体交互的 rgbd 视频，由 azure kinect 相机的预校准多视图系统远距离捕捉。然而，我们将评估限制在单视图设置下，该设置经常发生严重遮挡。
评估指标：英伟达分别评估姿态估计和形状重建。对于 6d 物体姿态，他们使用物体几何来计算 add 和 add-s 指标的曲线下面积（auc）百分比。对于 3d 形状重建，英伟达计算最终重建网格与地面真实网格之间在每个视频的第一帧定义的规范坐标系中的 chamfer 距离。
对比方法：英伟达使用官方的开源实现和最佳调整参数与 droid-slam (rgbd) [61]、nice-slam [85]、kinectfusion [43]、bundletrack [69] 和 sdf-2-sdf [53] 进行比较。此外还包括它们在排行榜上的基准结果。
团队介绍
该论文来自于英伟达研究院。其中论文一作是华人温伯文，博士毕业于罗格斯大学计算机系。曾在谷歌 x，facebook reality labs, 亚马逊和商汤实习。研究方向为机器人感知和 3d 视觉。
浅谈电子连接器分类及选择
5G商用与深化工业互联网创新发展 场景落地的趋势与难点
中关村的三级跳 IC Park走出专业园区转型新模式
友悦宝早教机器人X9，能歌善舞，给孩子做礼物非常不错
Linux挂载硬盘
基于未知物体进行6D追踪和3D重建的方法
Redmi即将召开2021年首场新品发布会
小米宣布Redmi Note 10 将于 3 月 4 日全球首发
手机厂商明年全面押注5G 5G手机价格门槛降至2000元
特斯拉申请在柏林新建电池工厂
刁石京、楚庆双CEO携手助推展锐5G高飞的时代
晶振在五种不同行业的应用
三防灯安装方式有哪些?
联电4月份营运数字 第2季业绩将逐渐回温
2018工博会上重点关注领域
深入应用场景的5G 为下一代SoC的设计做准备
安规电容中X电容和Y电容作用
数据中心小母线监控装置的简单介绍
AXI IIP突发写的bug定位如何解决？
中国联通依托5G、云大物等核心技术，提供了丰富的“5G+”智慧应用