ReDB：通过可靠、多样和类平衡的伪标签重新审视跨域3D目标检测
本文是对我们iccv 2023被接收的文章revisiting domain-adaptive 3d object detection by reliable, diverse and class-balanced pseudo-labeling的介绍。在这个工作中，我们通过生成可靠、多样且类别平衡的伪3d物体，实现了单模型多类别同时自训练，从而将检测器自适应到目标域的三维场景中。很荣幸地，我们的文章被iccv 2023收录，目前项目代码已开源，欢迎大家试用。
论文: https://arxiv.org/abs/2307.07944
代码（已开源）: https://https://github.com/zhuoxiao-chen/redb-da-3ddet
概述
随着基于激光雷达（lidar）的三维物体检测在机器人系统和自动驾驶汽车等各种应用中不断发展，解决在实际场景中部署检测器所面临的挑战变得愈加重要。主要难题源于训练数据和测试点云数据之间的差异，这些数据通常来自不同的场景、位置、时间和传感器类型，造成了“域差异”。
域差异主要来自于物体差异和环境差异，这些因素会显著降低3d检测器的预测精度。物体差异指的是训练和测试域之间物体的空间分布、点密度和尺度的变化。例如，waymo数据集中汽车的平均长度与kitti数据集中的平均长度相差约0.91米。另一方面，环境差异则源自于周围环境的复合差异，如不一致的光束数量、角度、点云范围和数据采集位置。
例如，在这个图中，waymo(右)利用64束激光雷达传感器生成3d场景，而nuscenes(左)则由更稀疏的32束环境和双大束角构成。
重新审视领域自适应3d检测设置。已有的领域自适应3d目标检测方法通常遵循单类别训练设置，即对模型进行训练，使其分别适应每一个类别。虽然同时用所有类别来训练一个模型更为实际和公平，但我们的实证研究表明，在切换到多类别设置时，先前方法的检测性能会显著下降（如下图）。这种平均精度（ap）的下降可以归因于生成的伪标签的质量较差（即错误和冗余），以及稀有类别的较低识别准确率（例如在waymo中自行车比汽车少91倍）。
将多类别3d检测器通过st3d的方法进行领域自适应时，平均精度（ap）的降低情况。左图是从nuscenes到kitti，右图是从waymo到kitti。
我们的工作将领域自适应三维检测的设置修正为多类别情景，并提出了一种新颖的redb框架，用于在跨域三维目标检测中生成可靠、多样和类平衡的伪标签。在三个大规模测试集上的大量实验证据表明，所提出的redb对于基于体素和基于点的现代3d检测器在不同环境下都具有出色的适应性，在nuscenes → kitti任务中，分别相对于现有最先进的方法提高了20.66%和23.15%的3d map。
方法
1）总体框架
在第一阶段，3d检测器（例如，second或pointrcnn）在源域上进行预训练，同时使用随机物体缩放（ros）进行数据增强。在预训练收敛后，即第二阶段，将未标记的目标域点云传递给预训练的检测器，以为目标域的数据生成高置信度的伪标签。具体而言，所产生的伪标签将经过跨域检查（cross-domain examination，简称cde），并由基于重叠框计数（overlapped box counting，简称obc）的多样性模块进行下采样，形成可靠且多样化的（red）的伪标签物体子集。在第三阶段对目标域进行模型自训练时，我们以类平衡的方式在每个点云中随机注入red目标域物体和源域对象，并且源样本的比例逐渐降低。3d检测器通过在第二阶段和第三阶段之间交替进行，迭代地进行以适应目标域的环境。
2）可靠性：跨域检查（cde）
为了消除高置信度的错误伪标签并避免自训练中的错误累积，我们引入了一种跨域检查（cde）策略来评估伪标签的可靠性。在将伪标签的目标域的物体复制到模型所熟悉的源域环境中再进行预测，我们通过目标域和源域中两个预测框之间的一致性，即交并比（intersection-over-union，iou）来衡量伪标签的可靠性。任何 iou 值较低的物体都将被视为不可靠。为了防止源域和目标域点云之间的点冲突，我们会删除落在将复制伪标签物体区域内的源域点。所提出的cde策略确保接受的伪标签物体是领域无关的，并且受环境差异的影响较小。
所提出的跨域检查（cde）策略。蓝色点为被复制到源域点云的伪标签物体。红色和黄色框分别表示目标域和源域中的预测框。绿色框为真值，在这里仅作参考。例子一：目标域和源域的预测框之间iou足够大，该伪标签可靠性被接受；例子二和三：源域中未被检测到，或iou不够大，该伪标签可靠性不被接受。
3）多样性：基于obc的下采样
为了避免频繁出现且在尺度上相似的冗余伪标签，必须防止训练的检测器塌陷到一个固定的模式中，这种模式可能只会检测到某些固定模式的物体（如小型汽车），而漏掉其他风格特殊的物体（如公共汽车和卡车）。为了增强几何多样性，我们提出了一个称为重叠框计数（obc）的指标来均匀地下采样伪标签。该度量的设计灵感来自于以下观察：3d检测器倾向于为具有不常见几何形状的物体预测更多的边界框，因为仅使用少量紧密边界框难以定位这些物体。我们将每个检测到的物体周围的回归边界框数目作为obc，并使用核密度估计（kde）来估计其经验分布。然后，我们根据 kde 的反概率进行下采样，从而有效减少了高密度 obc 区域的伪标签数量，因为这些区域的物体具有相似且频繁的几何形状。通过从多样化的伪标签子集中学习，3d检测器可以更好地识别不同尺度和点密度的物体，潜在地消除物体差异。
重叠框计数（obc）示意图。上半部分显示的是在非极大值抑制（nms）之前生成的围绕三个具有不同obc值的正预测物体的预测框。下图展示了所有检测到的物体的 obc 值分布，以及用于多样下采样的拟合核密度估计（kde，蓝色）和反向核密度估计（inverse kde，红色）。
4）平衡性: 类平衡自训练
尽管前两个模块能够选择可靠且多样化（red）的伪标签，但仍存在严重的类间不平衡。为了实现类平衡的自训练，我们随机向每个目标域的点云注入伪标签物体，每个类别中的样本数量相等。通过从这种类别平衡的目标域数据中学习，模型能够更好地掌握目标域标签的整体语义。为了实现从源域数据到目标域数据的平滑过渡，我们首先在最初的训练步中以类平衡的方式用真标签(gound truth)的源域物体来增强目标域数据。然后随着自训练的进行，我们逐渐减少源域物体的比例，增加red伪标签的数量。这种渐进式的类平衡自训练使模型能够稳定地适应目标域，增强对频繁出现和罕见类别的识别能力。
实验
1) second在waymo → kitti, waymo → nuscenes 以及nuscenes → kitti三个领域自适应任务上的结果对比。
所提出的redb在后两个任务（即 waymo → nuscenes 和 nuscenes → kitti）中获得的性能明显高于第一个任务（即 waymo → kitti），这表明redb对于适应具有较大环境差异的 3d 场景更加有效。更明显的是，redb方法在所有类别中的表现都很均衡，而所有baslines方法都偏向于最常出现的类别（即汽车），在罕见类别（即行人和骑车人）中表现不佳。总体而言，在跨域三维目标检测任务的所有场景中，redb优于所有baslines方法。
2) second在waymo → kitti 以及nuscenes → kitti 两个领域自适应任务上，用困难指标来评估指标计算的结果对比。
在从 waymo 自适应到 kitti 的过程中，所提出的redb优于sota方法st3d++ 5.81%的3d map 。在更具挑战性的跨域检测任务中（即 nuscenes → kitti），光束数量、角度和点云范围都会发生显著的环境变化，redb比sota方法的 map 3d 高出 16.55%。因此，当使用kitti指标的困难难度指标来评估时，我们的方法远远超过了baseline方法，这表明redb能够使3d检测器有效地泛化到目标域中困难的物体。
3) pointrcnn在nuscenes → kitti 任务上结果对比。
值得注意的是，与mlc-net和sf-uda在单类别训练设定下得到的结果相比，我们的多类别方法redb甚至取得了更卓越的性能（分别提升了10.02％和19.8％），且这两种方法都是专为基于点的3d检测器设计的。
4) 重叠方框计数（obc）的案例研究
我们可以看到，大多数具有较小obc值（例如，介于5和8之间）的物体通常具备以下特点：（1）通常更接近激光雷达传感器，（2）具有完整的物体形状，（3）通常是小尺寸的物体。这些物体通常具有高度相似且完整的几何特征，构成了数据集的大部分。相反，具有高obc值的物体在几何表示的一个或多个方面通常具有多样性。在物体尺寸方面，大尺寸物体往往会产生较高的 obc 分数（如21和26）。除了物体体积外，我们还可以发现明显远离激光雷达中心的物体也会产生较高的 obc 值（从 16 到 23），而低密度和严重遮挡的物体也会产生较高的 obc 值，分别为 18 和 19。因此，所提出的obc指标能够有效地在几何特征的多个维度上量化伪标签的多样性，有助于三维检测器学习更多样化的目标物体分布，从而缓解跨域目标检测中的多维度的物体差异问题。
方法不足与未来展望
尽管我们的方法在性能上相较于以往取得了显著的提升，但在涉及到域差异极大的三维场景（例如waymo → nuscenes）时，性能仍然受到限制，距离实际应用场景的要求仍有很大差距。除了域差异，另一个限制因素是当前最先进的三维目标检测器在nuscenes数据集上表现受限。因此，近期越来越多的研究方法开始将2d图像与3d点云进行融合，以在nuscenes等困难的数据集上获得更出色的目标检测效果。工业界也在积极探索这一融合策略并投入实际生产应用。
因此，未来的跨域目标检测任务可能需要考虑多模态信息，而不仅仅局限于使用单一的点云数据。这一发展趋势对于实现更全面、鲁棒的目标检测方法具有重要意义。
宁德时代考虑赴港上市，宣布与Stellantis签署战略谅解备忘录
关于金属材料的退火和淬火的原理介绍和分析
德索告诉您高压插座使用的注意事项
智能家居的性能要求及系统功能分析
ROHM | R60xxRNx系列概述
ReDB：通过可靠、多样和类平衡的伪标签重新审视跨域3D目标检测
贸泽与Western Automation Research and Development 签订全球代理协议 供应其接地故障保护产品
为了心爱的本本,请不要吸烟
为什么越来越多的游戏玩家转向AMD中央处理器?
红芯浏览器名不副实!简直就是侮辱大家的智商!
采用LM43603降低辐射EMI的PCB布局
一种用于APFC的改进型ZVT－BOOST电路
线路板快速打样工程师设计模拟电路的方法
比特币一度跌破1万美元是为什么
8位MCU市场中，飞来的这只“小蜜蜂”~
车门控制板暗电流失效分析
世强总裁肖庆谈智能硬件创新的四大阶段及其痛点
天猫、京东双上线，首款女性小牛电动 GOVA C0高萌来袭
全球首款骁龙845手机三星Galaxy S9+真的来了
分析电机以及控制系统中典型EMC干扰源的工作原理
论文: https://arxiv.org/abs/2307.07944
代码（已开源）: https://https://github.com/zhuoxiao-chen/redb-da-3ddet
概述
随着基于激光雷达（lidar）的三维物体检测在机器人系统和自动驾驶汽车等各种应用中不断发展，解决在实际场景中部署检测器所面临的挑战变得愈加重要。主要难题源于训练数据和测试点云数据之间的差异，这些数据通常来自不同的场景、位置、时间和传感器类型，造成了“域差异”。
域差异主要来自于物体差异和环境差异，这些因素会显著降低3d检测器的预测精度。物体差异指的是训练和测试域之间物体的空间分布、点密度和尺度的变化。例如，waymo数据集中汽车的平均长度与kitti数据集中的平均长度相差约0.91米。另一方面，环境差异则源自于周围环境的复合差异，如不一致的光束数量、角度、点云范围和数据采集位置。
例如，在这个图中，waymo(右)利用64束激光雷达传感器生成3d场景，而nuscenes(左)则由更稀疏的32束环境和双大束角构成。
重新审视领域自适应3d检测设置。已有的领域自适应3d目标检测方法通常遵循单类别训练设置，即对模型进行训练，使其分别适应每一个类别。虽然同时用所有类别来训练一个模型更为实际和公平，但我们的实证研究表明，在切换到多类别设置时，先前方法的检测性能会显著下降（如下图）。这种平均精度（ap）的下降可以归因于生成的伪标签的质量较差（即错误和冗余），以及稀有类别的较低识别准确率（例如在waymo中自行车比汽车少91倍）。
将多类别3d检测器通过st3d的方法进行领域自适应时，平均精度（ap）的降低情况。左图是从nuscenes到kitti，右图是从waymo到kitti。
我们的工作将领域自适应三维检测的设置修正为多类别情景，并提出了一种新颖的redb框架，用于在跨域三维目标检测中生成可靠、多样和类平衡的伪标签。在三个大规模测试集上的大量实验证据表明，所提出的redb对于基于体素和基于点的现代3d检测器在不同环境下都具有出色的适应性，在nuscenes → kitti任务中，分别相对于现有最先进的方法提高了20.66%和23.15%的3d map。
方法
1）总体框架
在第一阶段，3d检测器（例如，second或pointrcnn）在源域上进行预训练，同时使用随机物体缩放（ros）进行数据增强。在预训练收敛后，即第二阶段，将未标记的目标域点云传递给预训练的检测器，以为目标域的数据生成高置信度的伪标签。具体而言，所产生的伪标签将经过跨域检查（cross-domain examination，简称cde），并由基于重叠框计数（overlapped box counting，简称obc）的多样性模块进行下采样，形成可靠且多样化的（red）的伪标签物体子集。在第三阶段对目标域进行模型自训练时，我们以类平衡的方式在每个点云中随机注入red目标域物体和源域对象，并且源样本的比例逐渐降低。3d检测器通过在第二阶段和第三阶段之间交替进行，迭代地进行以适应目标域的环境。
2）可靠性：跨域检查（cde）
为了消除高置信度的错误伪标签并避免自训练中的错误累积，我们引入了一种跨域检查（cde）策略来评估伪标签的可靠性。在将伪标签的目标域的物体复制到模型所熟悉的源域环境中再进行预测，我们通过目标域和源域中两个预测框之间的一致性，即交并比（intersection-over-union，iou）来衡量伪标签的可靠性。任何 iou 值较低的物体都将被视为不可靠。为了防止源域和目标域点云之间的点冲突，我们会删除落在将复制伪标签物体区域内的源域点。所提出的cde策略确保接受的伪标签物体是领域无关的，并且受环境差异的影响较小。
所提出的跨域检查（cde）策略。蓝色点为被复制到源域点云的伪标签物体。红色和黄色框分别表示目标域和源域中的预测框。绿色框为真值，在这里仅作参考。例子一：目标域和源域的预测框之间iou足够大，该伪标签可靠性被接受；例子二和三：源域中未被检测到，或iou不够大，该伪标签可靠性不被接受。
3）多样性：基于obc的下采样
为了避免频繁出现且在尺度上相似的冗余伪标签，必须防止训练的检测器塌陷到一个固定的模式中，这种模式可能只会检测到某些固定模式的物体（如小型汽车），而漏掉其他风格特殊的物体（如公共汽车和卡车）。为了增强几何多样性，我们提出了一个称为重叠框计数（obc）的指标来均匀地下采样伪标签。该度量的设计灵感来自于以下观察：3d检测器倾向于为具有不常见几何形状的物体预测更多的边界框，因为仅使用少量紧密边界框难以定位这些物体。我们将每个检测到的物体周围的回归边界框数目作为obc，并使用核密度估计（kde）来估计其经验分布。然后，我们根据 kde 的反概率进行下采样，从而有效减少了高密度 obc 区域的伪标签数量，因为这些区域的物体具有相似且频繁的几何形状。通过从多样化的伪标签子集中学习，3d检测器可以更好地识别不同尺度和点密度的物体，潜在地消除物体差异。
重叠框计数（obc）示意图。上半部分显示的是在非极大值抑制（nms）之前生成的围绕三个具有不同obc值的正预测物体的预测框。下图展示了所有检测到的物体的 obc 值分布，以及用于多样下采样的拟合核密度估计（kde，蓝色）和反向核密度估计（inverse kde，红色）。
4）平衡性: 类平衡自训练
尽管前两个模块能够选择可靠且多样化（red）的伪标签，但仍存在严重的类间不平衡。为了实现类平衡的自训练，我们随机向每个目标域的点云注入伪标签物体，每个类别中的样本数量相等。通过从这种类别平衡的目标域数据中学习，模型能够更好地掌握目标域标签的整体语义。为了实现从源域数据到目标域数据的平滑过渡，我们首先在最初的训练步中以类平衡的方式用真标签(gound truth)的源域物体来增强目标域数据。然后随着自训练的进行，我们逐渐减少源域物体的比例，增加red伪标签的数量。这种渐进式的类平衡自训练使模型能够稳定地适应目标域，增强对频繁出现和罕见类别的识别能力。
实验
1) second在waymo → kitti, waymo → nuscenes 以及nuscenes → kitti三个领域自适应任务上的结果对比。
所提出的redb在后两个任务（即 waymo → nuscenes 和 nuscenes → kitti）中获得的性能明显高于第一个任务（即 waymo → kitti），这表明redb对于适应具有较大环境差异的 3d 场景更加有效。更明显的是，redb方法在所有类别中的表现都很均衡，而所有baslines方法都偏向于最常出现的类别（即汽车），在罕见类别（即行人和骑车人）中表现不佳。总体而言，在跨域三维目标检测任务的所有场景中，redb优于所有baslines方法。
2) second在waymo → kitti 以及nuscenes → kitti 两个领域自适应任务上，用困难指标来评估指标计算的结果对比。
在从 waymo 自适应到 kitti 的过程中，所提出的redb优于sota方法st3d++ 5.81%的3d map 。在更具挑战性的跨域检测任务中（即 nuscenes → kitti），光束数量、角度和点云范围都会发生显著的环境变化，redb比sota方法的 map 3d 高出 16.55%。因此，当使用kitti指标的困难难度指标来评估时，我们的方法远远超过了baseline方法，这表明redb能够使3d检测器有效地泛化到目标域中困难的物体。
3) pointrcnn在nuscenes → kitti 任务上结果对比。
值得注意的是，与mlc-net和sf-uda在单类别训练设定下得到的结果相比，我们的多类别方法redb甚至取得了更卓越的性能（分别提升了10.02％和19.8％），且这两种方法都是专为基于点的3d检测器设计的。
4) 重叠方框计数（obc）的案例研究
我们可以看到，大多数具有较小obc值（例如，介于5和8之间）的物体通常具备以下特点：（1）通常更接近激光雷达传感器，（2）具有完整的物体形状，（3）通常是小尺寸的物体。这些物体通常具有高度相似且完整的几何特征，构成了数据集的大部分。相反，具有高obc值的物体在几何表示的一个或多个方面通常具有多样性。在物体尺寸方面，大尺寸物体往往会产生较高的 obc 分数（如21和26）。除了物体体积外，我们还可以发现明显远离激光雷达中心的物体也会产生较高的 obc 值（从 16 到 23），而低密度和严重遮挡的物体也会产生较高的 obc 值，分别为 18 和 19。因此，所提出的obc指标能够有效地在几何特征的多个维度上量化伪标签的多样性，有助于三维检测器学习更多样化的目标物体分布，从而缓解跨域目标检测中的多维度的物体差异问题。
方法不足与未来展望
尽管我们的方法在性能上相较于以往取得了显著的提升，但在涉及到域差异极大的三维场景（例如waymo → nuscenes）时，性能仍然受到限制，距离实际应用场景的要求仍有很大差距。除了域差异，另一个限制因素是当前最先进的三维目标检测器在nuscenes数据集上表现受限。因此，近期越来越多的研究方法开始将2d图像与3d点云进行融合，以在nuscenes等困难的数据集上获得更出色的目标检测效果。工业界也在积极探索这一融合策略并投入实际生产应用。
因此，未来的跨域目标检测任务可能需要考虑多模态信息，而不仅仅局限于使用单一的点云数据。这一发展趋势对于实现更全面、鲁棒的目标检测方法具有重要意义。
宁德时代考虑赴港上市，宣布与Stellantis签署战略谅解备忘录
关于金属材料的退火和淬火的原理介绍和分析
德索告诉您高压插座使用的注意事项
智能家居的性能要求及系统功能分析
ROHM | R60xxRNx系列概述
ReDB：通过可靠、多样和类平衡的伪标签重新审视跨域3D目标检测
贸泽与Western Automation Research and Development 签订全球代理协议 供应其接地故障保护产品
为了心爱的本本,请不要吸烟
为什么越来越多的游戏玩家转向AMD中央处理器?
红芯浏览器名不副实!简直就是侮辱大家的智商!
采用LM43603降低辐射EMI的PCB布局
一种用于APFC的改进型ZVT－BOOST电路
线路板快速打样工程师设计模拟电路的方法
比特币一度跌破1万美元是为什么
8位MCU市场中，飞来的这只“小蜜蜂”~
车门控制板暗电流失效分析
世强总裁肖庆谈智能硬件创新的四大阶段及其痛点
天猫、京东双上线，首款女性小牛电动 GOVA C0高萌来袭
全球首款骁龙845手机三星Galaxy S9+真的来了
分析电机以及控制系统中典型EMC干扰源的工作原理