一种动态环境下的直接视觉里程计
引言
大部分slam系统都应用了静态环境假设，这使得它们难以在复杂动态环境中部署。此外，传统的基于学习的slam方法往往都是利用目标检测或语义分割剔除动态物体上的特征，但这样有两个弊端：其一是实际环境中的动态物体不一定被预训练，另一是算法无法区分动态物体和静止但可能移动的物体。
2. 摘要
基于学习的视觉里程计(vo)算法在常见的静态场景中取得了显著的性能，受益于高容量模型和大规模注释数据，但在动态、人口稠密的环境中往往会失败。语义分割主要用于在估计相机运动之前丢弃动态关联，但是以丢弃静态特征为代价，并且难以扩展到看不见的类别。
在本文中，我们利用相机自我运动和运动分割之间的相互依赖性，并表明这两者可以在一个单一的基于学习的框架中共同优化。特别地，我们提出了dytanvo，第一个基于监督学习的vo方法来处理动态环境。它实时拍摄两个连续的单目帧，并以迭代的方式预测相机的自我运动。
在真实动态环境中，我们的方法在ate方面比最先进的vo解决方案平均提高了27.7%，甚至在优化后端轨迹的动态视觉slam系统中也具有竞争力。大量未知环境上的实验也证明了该方法的普适性。
3. 算法分析
如图1所示是作者提出的dytanvo的整体架构，整个网络是基于tartanvo开发的。dytanvo由从两幅连续图像中估计光流的匹配网络、基于无动态运动的光流估计位姿的位姿网络和输出动态概率掩码的运动分割网络组成。
匹配网络仅向前传播一次，而位姿网络和分割网络被迭代以联合优化位姿估计和运动分割。停止迭代的标准很简单，即两个迭代之间旋转和平移差异小于阈值，并且阈值不固定，而是预先确定一个衰减参数，随着时间的推移，经验地降低输入阈值，以防止在早期迭代中出现不准确的掩码，而在后期迭代中使用改进的掩码。
图1 dytanvo架构总览
如图2所示是dytanvo是运行示例，包含两个输入的图像帧、估计的光流、运动分割以及在高动态airdos-shibuya数据集上的轨迹评估结果。结果显示dytanvo精度超越tartanvo达到了最高，并且漂移量很小。
图2 dytanvo运行示例
综上所述，作者提出了第一个基于监督学习的动态环境的vo，主要贡献如下：
(1) 引入了一种新的基于学习的vo来平衡相机自身运动、光流和运动分割之间的相互依赖关系。
(2) 引入了一个迭代框架，其中自我运动估计和运动分割可以在实时应用的时间限制内快速收敛。
(3) 在基于学习的vo解决方案中，dytanvo在真实世界动态场景中实现了最先进的性能，而无需微调。此外，dytanvo甚至可以与优化后端轨迹的视觉slam解决方案相媲美。
3.1 运动分割
早期使用运动分割的动态vo方法依赖于由对极几何和刚性变换产生的纯几何约束，因此它们可以阈值化用于考虑运动区域的残差光流。
然而，在两种情况下，它们容易发生严重退化：
(1) 在3d移动中，沿着极线移动的点无法从单目图像中识别出来；
(2) 纯几何学方法对噪声光流和较不准确的相机运动估计没有鲁棒性。
因此，dytanvo通过光学扩展将2d光流升级到3d后，显式地将代价地图建模为分割网络的输入，该网络根据重叠图像块的尺度变化估计相对深度。
3.2 相机运动迭代优化
在推理过程中，匹配网络只前向传播一次，而姿态网络和分割网络进行迭代，共同优化自运动估计和运动分割。在第一次迭代中，使用随机初始化分割掩膜。直觉上会认为，在早期迭代过程中估计的运动不太准确，并导致分割输出(对静态区域赋予高概率)中的误报。然而，由于光流图仍然提供了足够的对应关系，因此相机运动实际上较为合理。在以后的迭代中，估计越来越准确。
在实际应用中，3次迭代足以使相机运动和分割都得到细化。图3所示是迭代过程中的可视化结果，第一次迭代时的掩码包含了大量的假阳性，但在第二次迭代后迅速收敛。这也说明姿态网络对分割结果中的假阳性具有鲁棒性。
图3 当未见数据上测试时每次迭代的运动分割输出。(a) 使用dytanvo在多人向不同方向移动的情况下，对airdos-shibuya中最难的序列进行推断；(b) 从动态物体占据超过60%面积的flyingthings3d推断序列。
3.3 损失函数
dytanvo可以以端到端的方式进行训练，损失函数包括光流损失lm，相机运动损失lp和运动分割损失lu。其中lm为预测流和真实流之间的l1范数，而lu是预测概率和分割标签之间的二元交叉熵损失。具体表达形式为：
4. 实验
4.1 数据集
dytanvo在tartanair和sceneflow上训练，其中前者包含超过40万个数据帧，具有仅在静态环境中的光流和相机姿态真值。后者在高度动态的环境中提供了3.9万帧，每个轨迹具有向后/向前通过、不同的对象和运动特征。虽然场景流不提供运动分割的真值，但可以通过利用其视差、光流和视差变化图来恢复真值。而在评估方面，作者使用airdos-shibuya和kitti进行测试。
4.2 实施细节
dytanvo使用tartanvo的预训练模型初始化匹配网络，使用来自cvpr论文learning to segment rigid motions from two frames的预训练权重来固定运动分割网络，使用resnet50作为姿态网络的backbone，并删除了bn层，同时为旋转和平移添加了两个输出头。
dytanvo使用的深度学习框架为pytorch，并在2台nvidia a100上训练。在推理时间方面作者在rtx 2080进行测试，不进行迭代的话推理时间为40ms，进行一次迭代推理时间为100ms，进行两次迭代推理时间为160ms。
4.3 airdos-shibuya数据集测试
如表1所示是关于迭代次数(iter)的消融实验，数据使用来自airdos-shibuya的三个序列。其中姿态网络在第一次迭代后快速收敛，后续迭代显示出较少的改进，这是因为airdos-shibuya上的光流估计已经具有高质量。
表1 关于迭代次数的ate消融实验
表2所示是在airdos-shibuya的七个序列上，与现有的最先进的vo算法进行的定量对比结果。该基准涵盖了更具挑战性的多种运动模式。这七个序列分为三个难度等级：大多数人站着不动，很少人在路上走来走去，穿越(容易)包含多个人类进出相机的视野，而在穿越道路(困难)中，人类突然进入相机的视野。
除了vo方法之外，作者还将dytanvo与能够处理动态场景的slam方法进行了比较。包括droid-slam、airdos、vdo-slam以及dynaslam。
表2 来自airdos-shibuya的动态序列的ate (m)结果。最佳和次佳vo性能以粗体和下划线显示，-来表示初始化失败
结果显示，dytanvo在vo基线的所有序列中实现了最好的性能，甚至在slam方法中也是有竞争力的。deepvo，trianflow和cc在airdos-shibuya数据集上表现很差，因为它们只在kitti上训练，不能泛化。tartanvo表现更好，但它仍然容易受到动态对象的干扰。
dytanvo优于动态slam方法，如airdos，vdo-slam和dyna slam 80%以上。虽然droid-slam在大部分时间都保持竞争力，但一旦行人占据了图像中的大部分区域，它就会跟踪失败。此外，dytanvo的2次迭代每次推理0.16秒，但droid- slam需要额外的4.8秒来优化轨迹。
4.4 kitti数据集测试
表3所示是dytanvo和其他vo方法在kitti数据集上的定量对比结果，dytanvo在8个动态序列中的6个中优于其他vo基线，比第二个最好的方法平均提高了27.7 %。注意，deepvo、trianflow和cc是在kitti中的部分序列上训练的，而dytanvo没有在kitti上进行微调，纯粹使用合成数据进行训练。
此外，dytanvo在vo和slam中的3个序列上实现了最佳的ate，无需任何优化。图4中提供了关于快速移动的车辆或动态物体在图像中占据大片区域的四个具有挑战性的序列的定性结果。注意，从经过的高速车辆开始的序列01，orb-slam和dynaslam都无法初始化，而droid-slam从一开始就跟踪失败。在序列10中，当一辆巨大的货车占据图像中心的显著区域时，dytanvo是唯一保持稳健跟踪的vo。
表3 kitti里程计动态序列的ate (m)结果
图4 kitti里程计01、03、04和10中动态序列的定性结果
5. 结论
作者提出了一种基于学习的动态vo (dytanvo)，它可以联合优化相机姿态的估计和动态物体的分割。作者证明了自运动估计和运动分割都可以在实时应用的时间约束内快速收敛，并在kitti和airdos-shibuya数据集上评估了dytanvo，还展示了在动态环境中的一流性能，无需在后端进行微调或优化。dytanvo为动态视觉slam算法引入了新的方向。
Google如何管理位置数据
全球存储芯片业正被持续装进韩企的口袋
脑洞无限！VR控制器竟然还可以这样设计
DS2480B 1-Wire时序的理解及配置
基石数据：TOC理论物理学浅析（三）结存篇
一种动态环境下的直接视觉里程计
山灵MTW300真无线蓝牙耳机正式上架京东开售
创新才是破解硬件创业困境的唯一出路
农用自动供水器电路图(3)
哪款蓝牙耳机性价比最高？四款高性价比蓝牙耳机点评
在发生火灾时消防风机控制箱是如何与防火阀联动的
医用呼吸机Everspin MRAM应用笔记
Sequans向Aeroflex订购LTE测试仪
谷歌Pixel3a评测 到底怎么样
工业数据信号采集的选择
深入理解TCP
一批出口芬兰的中国产LED面板灯被要求召回，称产品不符合低电压指令
BD系列电力变送器线性直流输出模拟信号
ADG1401: 1 Ω On Resistance, ±
视觉智能距离人类的视觉感知还有多远
大部分slam系统都应用了静态环境假设，这使得它们难以在复杂动态环境中部署。此外，传统的基于学习的slam方法往往都是利用目标检测或语义分割剔除动态物体上的特征，但这样有两个弊端：其一是实际环境中的动态物体不一定被预训练，另一是算法无法区分动态物体和静止但可能移动的物体。
2. 摘要
基于学习的视觉里程计(vo)算法在常见的静态场景中取得了显著的性能，受益于高容量模型和大规模注释数据，但在动态、人口稠密的环境中往往会失败。语义分割主要用于在估计相机运动之前丢弃动态关联，但是以丢弃静态特征为代价，并且难以扩展到看不见的类别。
在本文中，我们利用相机自我运动和运动分割之间的相互依赖性，并表明这两者可以在一个单一的基于学习的框架中共同优化。特别地，我们提出了dytanvo，第一个基于监督学习的vo方法来处理动态环境。它实时拍摄两个连续的单目帧，并以迭代的方式预测相机的自我运动。
在真实动态环境中，我们的方法在ate方面比最先进的vo解决方案平均提高了27.7%，甚至在优化后端轨迹的动态视觉slam系统中也具有竞争力。大量未知环境上的实验也证明了该方法的普适性。
3. 算法分析
如图1所示是作者提出的dytanvo的整体架构，整个网络是基于tartanvo开发的。dytanvo由从两幅连续图像中估计光流的匹配网络、基于无动态运动的光流估计位姿的位姿网络和输出动态概率掩码的运动分割网络组成。
匹配网络仅向前传播一次，而位姿网络和分割网络被迭代以联合优化位姿估计和运动分割。停止迭代的标准很简单，即两个迭代之间旋转和平移差异小于阈值，并且阈值不固定，而是预先确定一个衰减参数，随着时间的推移，经验地降低输入阈值，以防止在早期迭代中出现不准确的掩码，而在后期迭代中使用改进的掩码。
图1 dytanvo架构总览
如图2所示是dytanvo是运行示例，包含两个输入的图像帧、估计的光流、运动分割以及在高动态airdos-shibuya数据集上的轨迹评估结果。结果显示dytanvo精度超越tartanvo达到了最高，并且漂移量很小。
图2 dytanvo运行示例
综上所述，作者提出了第一个基于监督学习的动态环境的vo，主要贡献如下：
(1) 引入了一种新的基于学习的vo来平衡相机自身运动、光流和运动分割之间的相互依赖关系。
(2) 引入了一个迭代框架，其中自我运动估计和运动分割可以在实时应用的时间限制内快速收敛。
(3) 在基于学习的vo解决方案中，dytanvo在真实世界动态场景中实现了最先进的性能，而无需微调。此外，dytanvo甚至可以与优化后端轨迹的视觉slam解决方案相媲美。
3.1 运动分割
早期使用运动分割的动态vo方法依赖于由对极几何和刚性变换产生的纯几何约束，因此它们可以阈值化用于考虑运动区域的残差光流。
然而，在两种情况下，它们容易发生严重退化：
(1) 在3d移动中，沿着极线移动的点无法从单目图像中识别出来；
(2) 纯几何学方法对噪声光流和较不准确的相机运动估计没有鲁棒性。
因此，dytanvo通过光学扩展将2d光流升级到3d后，显式地将代价地图建模为分割网络的输入，该网络根据重叠图像块的尺度变化估计相对深度。
3.2 相机运动迭代优化
在推理过程中，匹配网络只前向传播一次，而姿态网络和分割网络进行迭代，共同优化自运动估计和运动分割。在第一次迭代中，使用随机初始化分割掩膜。直觉上会认为，在早期迭代过程中估计的运动不太准确，并导致分割输出(对静态区域赋予高概率)中的误报。然而，由于光流图仍然提供了足够的对应关系，因此相机运动实际上较为合理。在以后的迭代中，估计越来越准确。
在实际应用中，3次迭代足以使相机运动和分割都得到细化。图3所示是迭代过程中的可视化结果，第一次迭代时的掩码包含了大量的假阳性，但在第二次迭代后迅速收敛。这也说明姿态网络对分割结果中的假阳性具有鲁棒性。
图3 当未见数据上测试时每次迭代的运动分割输出。(a) 使用dytanvo在多人向不同方向移动的情况下，对airdos-shibuya中最难的序列进行推断；(b) 从动态物体占据超过60%面积的flyingthings3d推断序列。
3.3 损失函数
dytanvo可以以端到端的方式进行训练，损失函数包括光流损失lm，相机运动损失lp和运动分割损失lu。其中lm为预测流和真实流之间的l1范数，而lu是预测概率和分割标签之间的二元交叉熵损失。具体表达形式为：
4. 实验
4.1 数据集
dytanvo在tartanair和sceneflow上训练，其中前者包含超过40万个数据帧，具有仅在静态环境中的光流和相机姿态真值。后者在高度动态的环境中提供了3.9万帧，每个轨迹具有向后/向前通过、不同的对象和运动特征。虽然场景流不提供运动分割的真值，但可以通过利用其视差、光流和视差变化图来恢复真值。而在评估方面，作者使用airdos-shibuya和kitti进行测试。
4.2 实施细节
dytanvo使用tartanvo的预训练模型初始化匹配网络，使用来自cvpr论文learning to segment rigid motions from two frames的预训练权重来固定运动分割网络，使用resnet50作为姿态网络的backbone，并删除了bn层，同时为旋转和平移添加了两个输出头。
dytanvo使用的深度学习框架为pytorch，并在2台nvidia a100上训练。在推理时间方面作者在rtx 2080进行测试，不进行迭代的话推理时间为40ms，进行一次迭代推理时间为100ms，进行两次迭代推理时间为160ms。
4.3 airdos-shibuya数据集测试
如表1所示是关于迭代次数(iter)的消融实验，数据使用来自airdos-shibuya的三个序列。其中姿态网络在第一次迭代后快速收敛，后续迭代显示出较少的改进，这是因为airdos-shibuya上的光流估计已经具有高质量。
表1 关于迭代次数的ate消融实验
表2所示是在airdos-shibuya的七个序列上，与现有的最先进的vo算法进行的定量对比结果。该基准涵盖了更具挑战性的多种运动模式。这七个序列分为三个难度等级：大多数人站着不动，很少人在路上走来走去，穿越(容易)包含多个人类进出相机的视野，而在穿越道路(困难)中，人类突然进入相机的视野。
除了vo方法之外，作者还将dytanvo与能够处理动态场景的slam方法进行了比较。包括droid-slam、airdos、vdo-slam以及dynaslam。
表2 来自airdos-shibuya的动态序列的ate (m)结果。最佳和次佳vo性能以粗体和下划线显示，-来表示初始化失败
结果显示，dytanvo在vo基线的所有序列中实现了最好的性能，甚至在slam方法中也是有竞争力的。deepvo，trianflow和cc在airdos-shibuya数据集上表现很差，因为它们只在kitti上训练，不能泛化。tartanvo表现更好，但它仍然容易受到动态对象的干扰。
dytanvo优于动态slam方法，如airdos，vdo-slam和dyna slam 80%以上。虽然droid-slam在大部分时间都保持竞争力，但一旦行人占据了图像中的大部分区域，它就会跟踪失败。此外，dytanvo的2次迭代每次推理0.16秒，但droid- slam需要额外的4.8秒来优化轨迹。
4.4 kitti数据集测试
表3所示是dytanvo和其他vo方法在kitti数据集上的定量对比结果，dytanvo在8个动态序列中的6个中优于其他vo基线，比第二个最好的方法平均提高了27.7 %。注意，deepvo、trianflow和cc是在kitti中的部分序列上训练的，而dytanvo没有在kitti上进行微调，纯粹使用合成数据进行训练。
此外，dytanvo在vo和slam中的3个序列上实现了最佳的ate，无需任何优化。图4中提供了关于快速移动的车辆或动态物体在图像中占据大片区域的四个具有挑战性的序列的定性结果。注意，从经过的高速车辆开始的序列01，orb-slam和dynaslam都无法初始化，而droid-slam从一开始就跟踪失败。在序列10中，当一辆巨大的货车占据图像中心的显著区域时，dytanvo是唯一保持稳健跟踪的vo。
表3 kitti里程计动态序列的ate (m)结果
图4 kitti里程计01、03、04和10中动态序列的定性结果
5. 结论
作者提出了一种基于学习的动态vo (dytanvo)，它可以联合优化相机姿态的估计和动态物体的分割。作者证明了自运动估计和运动分割都可以在实时应用的时间约束内快速收敛，并在kitti和airdos-shibuya数据集上评估了dytanvo，还展示了在动态环境中的一流性能，无需在后端进行微调或优化。dytanvo为动态视觉slam算法引入了新的方向。
Google如何管理位置数据
全球存储芯片业正被持续装进韩企的口袋
脑洞无限！VR控制器竟然还可以这样设计
DS2480B 1-Wire时序的理解及配置
基石数据：TOC理论物理学浅析（三）结存篇
一种动态环境下的直接视觉里程计
山灵MTW300真无线蓝牙耳机正式上架京东开售
创新才是破解硬件创业困境的唯一出路
农用自动供水器电路图(3)
哪款蓝牙耳机性价比最高？四款高性价比蓝牙耳机点评
在发生火灾时消防风机控制箱是如何与防火阀联动的
医用呼吸机Everspin MRAM应用笔记
Sequans向Aeroflex订购LTE测试仪
谷歌Pixel3a评测 到底怎么样
工业数据信号采集的选择
深入理解TCP
一批出口芬兰的中国产LED面板灯被要求召回，称产品不符合低电压指令
BD系列电力变送器线性直流输出模拟信号
ADG1401: 1 Ω On Resistance, ±
视觉智能距离人类的视觉感知还有多远