基于IMU光度损失和跨传感器光度损失 以提供稠密的监督和绝对尺度
0. 引言
虽然近年来无监督单目深度学习取得了很大的进展，但仍然存在一些基本问题。首先，目前的方法存在尺度模糊性问题，因为反推过程对于深度和平移来说相当于任意尺度因子。其次，光度误差对照明变化和移动物体敏感。此外，尽管在无监督学习框架下已经为光度误差图引入了不确定性，但自我运动的不确定性度量仍然是重要的。在2022 eccv论文towards scale-aware, robust, and generalizable unsupervised monocular depth estimation by integrating imu motion dynamics，作者提出了一种感知框架，通过集成视觉和imu来进行真实尺度估计，算法已经开源。
1. 论文信息
2. 摘要
近年来，无监督单目深度和自我运动估计引起了广泛的研究关注。尽管当前的方法已经达到了很高的尺度精度，但是由于利用单目序列进行训练所固有的尺度模糊性，它们通常不能学习真实的尺度度量。在这项工作中，我们解决了这个问题，并提出了dynadepth，一种新的尺度感知框架，集成了视觉和imu运动动力学的信息。
具体来说，我们首先提出了imu光度损失和跨传感器光度一致性损失，以提供稠密的监督和绝对尺度。为了充分利用来自两个传感器的互补信息，我们进一步驱动一个可微分的以相机为中心的扩展卡尔曼滤波器(ekf)，以在观察视觉测量时更新imu预积分。
此外，ekf公式使得能够学习自我运动不确定性测量，这对于无监督的方法来说不是微不足道的。通过在训练过程中利用imu，dynadepth不仅学习了绝对尺度，还提供了更好的泛化能力和对光照变化和移动物体等视觉退化的鲁棒性。我们通过在kitti和make3d数据集上进行大量实验和仿真，验证了dynadepth的有效性。
3. 算法分析
如图1所示是作者提出的单目尺度感知深度估计和自我运动预测方法dynadepth的概述，该系统在以相机为中心的扩展卡尔曼滤波器(ekf)框架下，将imu运动动力学显式集成到基于视觉的系统中。dynadepth旨在联合训练尺度感知深度网络md，以及融合imu和相机信息的自我运动网络mp。
图1 dynadepth概述
dynadepth通过使用imu的估计运动执行反向操作，来构建尺度感知的imu光度损失，并使用基于外观的光度损失。为了校正由光照变化和运动物体引起的误差，作者进一步提出了跨传感器光度一致性损失，分别使用网络预测和imu集成自我运动的合成目标视图。
与积累来自初始帧的重力和速度估计的经典vio-slam系统不同，对于无监督深度估计方法，这两个度量是未知的。为了解决这个问题，dynadepth训练两个超轻型网络，这两个网络将两个连续帧作为输入，并在训练期间预测以相机为中心的重力和速度。
考虑到imu和相机提供两种互补的独立传感模式，作者进一步为dynadepth导出了一个可区分的以相机为中心的ekf框架，以充分利用这两种传感器。当从相机观察新的自我运动预测时，dynadepth根据imu误差状态和视觉预测的协方差更新imu预积分。
这样一方面可以通过视觉来纠正imu噪声偏差，另一方面还提供了一种学习预测自我运动的不确定性测量的方式，这对于最近出现的将深度学习纳入经典slam系统以实现学习、几何和优化的协同作用的研究方法是有益的。
综上所述，作者所做工作的主要贡献如下：
(1) 提出了imu光度损失和交叉传感器光度一致性损失，以提供稠密的监督和绝对尺度；
(2) 为传感器融合推导了一个可微分的以相机为中心的ekf框架；
(3) 通过在kitti和make3d数据集上的大量实验和仿真证明了dynadepth有利于：绝对尺度的学习；泛化能力；对诸如照明变化和移动物体的视觉退化的鲁棒性；自我运动不确定性度量的学习。
3.1 imu光度损失
如果直接将训练损失写为imu预积分项上的残差，那么就只能为自我运动网络提供稀疏的监督，作者提出了一种imu光度损失：
其中k和n是相机的固有特性，yi和zi是图像中的像素坐标系以及由md预测的深度，i(yi)是yi处的像素强度，ψ()表示深度归一化函数，ssim()表示结构相似性索引。
3.2 交叉传感器光度一致性损失
作者进一步提出跨传感器光度一致性损失来对齐imu预积分和mp的自我运动，而不是直接比较。对于自我运动，作者使用反向图像之间的光度误差，这为md和mp提供了更密集的监督信号:
此外，dynadepth中的总训练损失ltotal还包括基于视觉的光度损失lvis、平滑度损失ls以及弱l2范数损失lvg：
3.3 以相机为中心的ekf融合框架
为了充分利用互补的imu和相机，作者提出了一个以相机为中心的ekf框架。与之前将ekf集成到基于深度学习的框架中以处理imu数据的方法不同，dynadepth不需要真实的自我运动和速度来获得每个imu帧的对齐速度和重力，而是提出{mv，mg}来预测。在论文中，作者推导了该ekf的传播和更新过程。
ekf传播：设ck表示时刻tk的相机帧，bt表示tk到tk+1之间的imu帧，误差状态为：
ekf利用一阶泰勒近似将状态转移模型在每个时间步线性化进行传播，误差状态的连续时间传播模型为：δx*bt = fδxbt + gn，其中f和g为：
ekf更新公式为：
dynadepth将观测量定义为mp预测的自我运动，为了完成以相机为中心的ekf更新步骤，可推导h和h为：
4. 实验
作者评估了dynadepth在kitti上的有效性，以及在make3d上的泛化能力。此外，作者对imu损耗、ekf框架、学习到的自我运动不确定性以及对光照变化和移动物体的鲁棒性进行了消融实验。在具体试验阶段，损失函数的四个权重依次为0.001，0.5，0.01，0.001，初始学习率为1e-4，在一个nvidia v100 gpu上训练了30轮。
4.1 kitti上的尺度感知深度估计
如表1所示是将dynadepth与最新的单目深度估计方法进行比较的结果，作者为了公平比较只给出了图像分辨率为640x192和尺寸适中的编码器所取得的结果，即resnet18(r18)和resnet50(r50)。
表1 对kitti进行的每张图像的重定标深度评估
除了标准的深度评价指标之外，作者还报告了重尺度因子的均值和标准误差来证明尺度感知能力。值得注意的是dynadepth达到了一个近乎完美的绝对尺度，在尺度感知方面甚至r18版本也优于g2s r50 ，而后者使用了更重的编码器。
如表2所示是对比结果，并与利用gps信息构造速度约束的packnet-sfm和g2s进行了比较。在这种情况下，dynadepth实现了所有度量指标的最佳性能，为单目方法的非尺度深度评估设定了一个新的基准。为了更好的说明，图1(b)给出了包含imu和不包含imu的比例直方图。
表2 在kitti进行深度评估结果
4.2 make3d上的泛化
作者利用kitti上训练的模型进一步检验dynadepth在make3d上的泛化能力，图1(c)给出了一个定性示例，其中没有imu的模型在玻璃和阴影区域失效，而dynadepth实现了可区分的预测。定量结果如表3所示，dynadepth取得了相当好的尺度比例，表明dynadepth学习的尺度能力可以很好地推广到不可观测的数据集。
此外，仅利用陀螺仪和加速度计imu信息的dynadepth取得了最好的泛化效果。作者解释了可能的原因：首先，由于建模能力的提高，完整模型可能会过拟合kitti数据集。第二，因为mv和mg都以图像作为输入，性能退化可能是由于视觉数据的域间隙造成的，这也解释了这种情况下g2s的尺度损失。
此外，实验也表明ekf有明显的提高泛化能力，可能是因为ekf融合框架考虑了不确定性，以更合理的方式融合了可泛化imu动力学和特定视觉信息。
表3 make 3d上的泛化结果
4.3 消融研究
作者对kitti进行了消融研究，并关注imu相关损失、ekf融合框架和学习自我运动不确定性对kitti的影响，结果如表4所示。此外，还设计了模拟实验来验证dynadepth对光照变化和运动物体等视觉退化的鲁棒性。
表4 kitti上imu相关损失和ekf融合框架的消融结果
结果显示，imu光度损失具有重要作用。但仅用imu光度损失学习的只是一个粗略的尺度。将imu光度损失和交叉传感器光度损失结合在一起，可以提高准确性，lvg的使用进一步增强了评价结果。
针对光照变化和运动物体，这两种情况违反了光度损失的底层假设。作者通过在0.5范围内随机交替的图像对比度来模拟光照变化，通过随机插入三个150x150的黑色方块来模拟运动物体，结果如表5所示。在光照变化下，mono deep2的精度按预期下降，dynadepth则在一定程度上挽救了精度，保持了正确的绝对尺度。
在这种情况下，ekf几乎改进了所有的度量指标，使用ekf和lvg在absrel上达到了最优。然而，没有lvg的模型在大多数度量指标上都取得了最好的性能，其原因可能是lvg对视觉数据的依赖性，对图像质量更加敏感。当存在移动对象时，mono deep2完全失败，使用ekf显著地提高了性能，但考虑到任务的难度，仍然难以学习到尺度。在这种情况下，使用lvg显著提供了强有力的规模监管，取得了良好的规模效果。
表5 对来自kitti的模拟数据的鲁棒性消融结果
作者以平均协方差作为不确定性度量，图2说明了自我运动不确定性的训练过程。学习的不确定性表现出与深度误差(absrel)类似的模式，这意味着随着训练的继续，模型对其预测变得更加确定。此外，dynadepth r50比r18具有更低的不确定性，表明更大的模型容量也有助于提高预测的可信度，但这种差异并不明显。
图2 训练过程
5. 结论
在2022 eccv论文towards scale-aware, robust, and generalizable unsupervised monocular depth estimation by integrating imu motion dynamics中，作者提出了dynadepth，这是一个使用imu运动动力学的尺度感知、鲁棒和可推广的单目深度估计框架。具体来说，作者提出了imu光度损失和跨传感器光度一致性损失，以提供稠密的监督和绝对尺度。
此外，作者为传感器融合推导了一个以摄像机为中心的ekf框架，它也提供了在无监督学习设置下的自我运动不确定性度量。最后作者通过实验证明了dynadepth在学习绝对尺度、泛化能力和抵抗视觉退化的鲁棒性方面具有优势。
iphone8什么时候上市？iphone8价格要逆天
iphone8什么时候上市？iphone8保护壳曝光，外观确定长这样，果粉们还满意吗？
德州仪器推出业界首款差分感应开关
双向二极管SM8S36CA 汽车级瞬态抑制器
汽车电子驱动SMT快速奔跑
基于IMU光度损失和跨传感器光度损失 以提供稠密的监督和绝对尺度
努比亚miniS对比华为P9，微距好坏考验的不只是相机
防疫机器人优点爆棚 阿汤哥买机器人在片场防疫
触控技术在未来可用于教学场景
处理器i7和i5哪个好
电子节气门工作原理_电子节气门的优缺点详解
研发状况很好，英特尔DG1独显将至
了解模拟世界中的放大器
摩尔定律未死！5nm工艺细节曝光
传感器如何做UL认证
SCL:STRUCT和UDT类型变量的赋值
高压线性恒流IC新3段调光调色温芯片SM2213EK对比SM2213EA报告
电动叉车的控制器能有什么国产优质MOS管使用呢？
单周期CPU是什么意思呢
layout与PCB的29个基本关系你知道嘛
虽然近年来无监督单目深度学习取得了很大的进展，但仍然存在一些基本问题。首先，目前的方法存在尺度模糊性问题，因为反推过程对于深度和平移来说相当于任意尺度因子。其次，光度误差对照明变化和移动物体敏感。此外，尽管在无监督学习框架下已经为光度误差图引入了不确定性，但自我运动的不确定性度量仍然是重要的。在2022 eccv论文towards scale-aware, robust, and generalizable unsupervised monocular depth estimation by integrating imu motion dynamics，作者提出了一种感知框架，通过集成视觉和imu来进行真实尺度估计，算法已经开源。
1. 论文信息
2. 摘要
近年来，无监督单目深度和自我运动估计引起了广泛的研究关注。尽管当前的方法已经达到了很高的尺度精度，但是由于利用单目序列进行训练所固有的尺度模糊性，它们通常不能学习真实的尺度度量。在这项工作中，我们解决了这个问题，并提出了dynadepth，一种新的尺度感知框架，集成了视觉和imu运动动力学的信息。
具体来说，我们首先提出了imu光度损失和跨传感器光度一致性损失，以提供稠密的监督和绝对尺度。为了充分利用来自两个传感器的互补信息，我们进一步驱动一个可微分的以相机为中心的扩展卡尔曼滤波器(ekf)，以在观察视觉测量时更新imu预积分。
此外，ekf公式使得能够学习自我运动不确定性测量，这对于无监督的方法来说不是微不足道的。通过在训练过程中利用imu，dynadepth不仅学习了绝对尺度，还提供了更好的泛化能力和对光照变化和移动物体等视觉退化的鲁棒性。我们通过在kitti和make3d数据集上进行大量实验和仿真，验证了dynadepth的有效性。
3. 算法分析
如图1所示是作者提出的单目尺度感知深度估计和自我运动预测方法dynadepth的概述，该系统在以相机为中心的扩展卡尔曼滤波器(ekf)框架下，将imu运动动力学显式集成到基于视觉的系统中。dynadepth旨在联合训练尺度感知深度网络md，以及融合imu和相机信息的自我运动网络mp。
图1 dynadepth概述
dynadepth通过使用imu的估计运动执行反向操作，来构建尺度感知的imu光度损失，并使用基于外观的光度损失。为了校正由光照变化和运动物体引起的误差，作者进一步提出了跨传感器光度一致性损失，分别使用网络预测和imu集成自我运动的合成目标视图。
与积累来自初始帧的重力和速度估计的经典vio-slam系统不同，对于无监督深度估计方法，这两个度量是未知的。为了解决这个问题，dynadepth训练两个超轻型网络，这两个网络将两个连续帧作为输入，并在训练期间预测以相机为中心的重力和速度。
考虑到imu和相机提供两种互补的独立传感模式，作者进一步为dynadepth导出了一个可区分的以相机为中心的ekf框架，以充分利用这两种传感器。当从相机观察新的自我运动预测时，dynadepth根据imu误差状态和视觉预测的协方差更新imu预积分。
这样一方面可以通过视觉来纠正imu噪声偏差，另一方面还提供了一种学习预测自我运动的不确定性测量的方式，这对于最近出现的将深度学习纳入经典slam系统以实现学习、几何和优化的协同作用的研究方法是有益的。
综上所述，作者所做工作的主要贡献如下：
(1) 提出了imu光度损失和交叉传感器光度一致性损失，以提供稠密的监督和绝对尺度；
(2) 为传感器融合推导了一个可微分的以相机为中心的ekf框架；
(3) 通过在kitti和make3d数据集上的大量实验和仿真证明了dynadepth有利于：绝对尺度的学习；泛化能力；对诸如照明变化和移动物体的视觉退化的鲁棒性；自我运动不确定性度量的学习。
3.1 imu光度损失
如果直接将训练损失写为imu预积分项上的残差，那么就只能为自我运动网络提供稀疏的监督，作者提出了一种imu光度损失：
其中k和n是相机的固有特性，yi和zi是图像中的像素坐标系以及由md预测的深度，i(yi)是yi处的像素强度，ψ()表示深度归一化函数，ssim()表示结构相似性索引。
3.2 交叉传感器光度一致性损失
作者进一步提出跨传感器光度一致性损失来对齐imu预积分和mp的自我运动，而不是直接比较。对于自我运动，作者使用反向图像之间的光度误差，这为md和mp提供了更密集的监督信号:
此外，dynadepth中的总训练损失ltotal还包括基于视觉的光度损失lvis、平滑度损失ls以及弱l2范数损失lvg：
3.3 以相机为中心的ekf融合框架
为了充分利用互补的imu和相机，作者提出了一个以相机为中心的ekf框架。与之前将ekf集成到基于深度学习的框架中以处理imu数据的方法不同，dynadepth不需要真实的自我运动和速度来获得每个imu帧的对齐速度和重力，而是提出{mv，mg}来预测。在论文中，作者推导了该ekf的传播和更新过程。
ekf传播：设ck表示时刻tk的相机帧，bt表示tk到tk+1之间的imu帧，误差状态为：
ekf利用一阶泰勒近似将状态转移模型在每个时间步线性化进行传播，误差状态的连续时间传播模型为：δx*bt = fδxbt + gn，其中f和g为：
ekf更新公式为：
dynadepth将观测量定义为mp预测的自我运动，为了完成以相机为中心的ekf更新步骤，可推导h和h为：
4. 实验
作者评估了dynadepth在kitti上的有效性，以及在make3d上的泛化能力。此外，作者对imu损耗、ekf框架、学习到的自我运动不确定性以及对光照变化和移动物体的鲁棒性进行了消融实验。在具体试验阶段，损失函数的四个权重依次为0.001，0.5，0.01，0.001，初始学习率为1e-4，在一个nvidia v100 gpu上训练了30轮。
4.1 kitti上的尺度感知深度估计
如表1所示是将dynadepth与最新的单目深度估计方法进行比较的结果，作者为了公平比较只给出了图像分辨率为640x192和尺寸适中的编码器所取得的结果，即resnet18(r18)和resnet50(r50)。
表1 对kitti进行的每张图像的重定标深度评估
除了标准的深度评价指标之外，作者还报告了重尺度因子的均值和标准误差来证明尺度感知能力。值得注意的是dynadepth达到了一个近乎完美的绝对尺度，在尺度感知方面甚至r18版本也优于g2s r50 ，而后者使用了更重的编码器。
如表2所示是对比结果，并与利用gps信息构造速度约束的packnet-sfm和g2s进行了比较。在这种情况下，dynadepth实现了所有度量指标的最佳性能，为单目方法的非尺度深度评估设定了一个新的基准。为了更好的说明，图1(b)给出了包含imu和不包含imu的比例直方图。
表2 在kitti进行深度评估结果
4.2 make3d上的泛化
作者利用kitti上训练的模型进一步检验dynadepth在make3d上的泛化能力，图1(c)给出了一个定性示例，其中没有imu的模型在玻璃和阴影区域失效，而dynadepth实现了可区分的预测。定量结果如表3所示，dynadepth取得了相当好的尺度比例，表明dynadepth学习的尺度能力可以很好地推广到不可观测的数据集。
此外，仅利用陀螺仪和加速度计imu信息的dynadepth取得了最好的泛化效果。作者解释了可能的原因：首先，由于建模能力的提高，完整模型可能会过拟合kitti数据集。第二，因为mv和mg都以图像作为输入，性能退化可能是由于视觉数据的域间隙造成的，这也解释了这种情况下g2s的尺度损失。
此外，实验也表明ekf有明显的提高泛化能力，可能是因为ekf融合框架考虑了不确定性，以更合理的方式融合了可泛化imu动力学和特定视觉信息。
表3 make 3d上的泛化结果
4.3 消融研究
作者对kitti进行了消融研究，并关注imu相关损失、ekf融合框架和学习自我运动不确定性对kitti的影响，结果如表4所示。此外，还设计了模拟实验来验证dynadepth对光照变化和运动物体等视觉退化的鲁棒性。
表4 kitti上imu相关损失和ekf融合框架的消融结果
结果显示，imu光度损失具有重要作用。但仅用imu光度损失学习的只是一个粗略的尺度。将imu光度损失和交叉传感器光度损失结合在一起，可以提高准确性，lvg的使用进一步增强了评价结果。
针对光照变化和运动物体，这两种情况违反了光度损失的底层假设。作者通过在0.5范围内随机交替的图像对比度来模拟光照变化，通过随机插入三个150x150的黑色方块来模拟运动物体，结果如表5所示。在光照变化下，mono deep2的精度按预期下降，dynadepth则在一定程度上挽救了精度，保持了正确的绝对尺度。
在这种情况下，ekf几乎改进了所有的度量指标，使用ekf和lvg在absrel上达到了最优。然而，没有lvg的模型在大多数度量指标上都取得了最好的性能，其原因可能是lvg对视觉数据的依赖性，对图像质量更加敏感。当存在移动对象时，mono deep2完全失败，使用ekf显著地提高了性能，但考虑到任务的难度，仍然难以学习到尺度。在这种情况下，使用lvg显著提供了强有力的规模监管，取得了良好的规模效果。
表5 对来自kitti的模拟数据的鲁棒性消融结果
作者以平均协方差作为不确定性度量，图2说明了自我运动不确定性的训练过程。学习的不确定性表现出与深度误差(absrel)类似的模式，这意味着随着训练的继续，模型对其预测变得更加确定。此外，dynadepth r50比r18具有更低的不确定性，表明更大的模型容量也有助于提高预测的可信度，但这种差异并不明显。
图2 训练过程
5. 结论
在2022 eccv论文towards scale-aware, robust, and generalizable unsupervised monocular depth estimation by integrating imu motion dynamics中，作者提出了dynadepth，这是一个使用imu运动动力学的尺度感知、鲁棒和可推广的单目深度估计框架。具体来说，作者提出了imu光度损失和跨传感器光度一致性损失，以提供稠密的监督和绝对尺度。
此外，作者为传感器融合推导了一个以摄像机为中心的ekf框架，它也提供了在无监督学习设置下的自我运动不确定性度量。最后作者通过实验证明了dynadepth在学习绝对尺度、泛化能力和抵抗视觉退化的鲁棒性方面具有优势。
iphone8什么时候上市？iphone8价格要逆天
iphone8什么时候上市？iphone8保护壳曝光，外观确定长这样，果粉们还满意吗？
德州仪器推出业界首款差分感应开关
双向二极管SM8S36CA 汽车级瞬态抑制器
汽车电子驱动SMT快速奔跑
基于IMU光度损失和跨传感器光度损失 以提供稠密的监督和绝对尺度
努比亚miniS对比华为P9，微距好坏考验的不只是相机
防疫机器人优点爆棚 阿汤哥买机器人在片场防疫
触控技术在未来可用于教学场景
处理器i7和i5哪个好
电子节气门工作原理_电子节气门的优缺点详解
研发状况很好，英特尔DG1独显将至
了解模拟世界中的放大器
摩尔定律未死！5nm工艺细节曝光
传感器如何做UL认证
SCL:STRUCT和UDT类型变量的赋值
高压线性恒流IC新3段调光调色温芯片SM2213EK对比SM2213EA报告
电动叉车的控制器能有什么国产优质MOS管使用呢？
单周期CPU是什么意思呢
layout与PCB的29个基本关系你知道嘛