BEV感知算法：下一代自动驾驶的核心技术
01 bev感知算法概念？
bird’s-eye-view，鸟瞰图（俯视图）。bev感知算法存在许多的优势。
首先，bev视图存在遮挡小的优点，由于视觉的透视效应，现实世界的物体在2d图像中很容易受到其他物体的遮挡，因此，传统的基于2d的感知方式只能感知可见的目标，对于被遮挡的部分算法将无能为力。
而在bev空间内，时序信息可以很容易地被融合，算法可以基于先验知识，对被遮挡的区域进行预测，“脑补”出被遮挡的区域是否有物体。虽然“脑补”出来的物体固然有“想象”的成分，但对后续的控制模块来说，还是有不少益处。
此外，bev感知算法的尺度变化小，将尺度相对一致的数据输入到网络中，可以得到更好的感知结果。
02 bev感知算法数据集介绍
2.1 kitti-360数据集
kitti-360是一个包含丰富感官信息和完整注释的大规模数据集。我们记录了德国卡尔斯鲁厄的几个郊区，在73.7公里的驾驶距离内，对应超过32万张图像和10万个激光扫描。我们用粗糙的边界基元对静态和动态的三维场景元素进行注释，并将这些信息转移到图像领域，从而为三维点云和二维图像提供了密集的语义和实例注释。
为了收集数据，旅行车两边各配备了一个180°的鱼眼相机，前面一个90°的透视立体相机（基线60厘米）。此外，在车顶上安装了一个velodyne hdl-64e和一个sick lms 200激光扫描装置，采用推杆式配置。这个装置与kitti使用的装置类似，只是由于额外的鱼眼相机和推帚式激光扫描仪，获得了一个完整的360°视野，而kitti只提供透视图像和velodyne激光扫描，垂直视野为26.8°。此外，系统还配备了一个imu/gps定位系统。采集车的传感器布置如图所示。
图1 kitti-360数据集采集车
2.2 nuscenes数据集
nuscenes是第一个提供 自动汽车 全套传感器数据的大型数据集，包括了6个相机、1个激光雷达、5个毫米波雷达、以及gps和imu。与kitti数据集相比，其包含的对象注释多了7倍多。采集车的传感器布置如图所示。
图2 nuscenes数据集采集车模型
03 bev感知算法分类
基于输入数据，将bev感知研究主要分为三个部分——bev camera、bev lidar和bev fusion。下图描述了bev 感知家族的概况。具体来说，bev camera表示仅有视觉或以视觉为中心的算法，用于从多个周围摄像机进行三维目标检测或分割；bev lidar描述了点云输入的检测或分割任务；bev fusion描述了来自多个传感器输入的融合机制，例如摄像头、激光雷达、全球导航卫星系统、里程计、高清地图、can总线等。
图3 自动驾驶的基本感知算法
如图所示，将自主驾驶的基本感知算法（分类、检测、分割、跟踪等）分为三个级别，其中bev感知的概念位于在中间。基于传感器输入层、基本任务和产品场景的不同组合，某种bev感知算法可以相应表明。例如，m2bev和bevformer属于视觉bev方向，用于执行包括3d目标检测和bev地图分割在内的多项任务。bevfusion在bev空间设计了一种融合策略，同时从摄像机和激光雷达输入执行3d检测和跟踪。
bev camrea中的代表之作是bevformer。bevformer 通过提取环视相机采集到的图像特征，并将提取的环视特征通过模型学习的方式转换到 bev 空间（模型去学习如何将特征从图像坐标系转换到 bev 坐标系），从而实现 3d 目标检测和地图分割任务，并取得了 sota 的效果。
3.1 bevformer 的 pipeline：
1）backbone + neck （resnet-101-dcn + fpn）提取环视图像的多尺度特征；
2）论文提出的 encoder 模块（包括 temporal self-attention 模块和spatial cross-attention 模块）完成环视图像特征向 bev 特征的建模；
3）类似 deformable detr 的 decoder 模块完成 3d 目标检测的分类和定位任务；
4）正负样本的定义（采用 transformer 中常用的匈牙利匹配算法，focal loss + l1 loss 的总损失和最小）；
5）损失的计算（focal loss 分类损失 + l1 loss 回归损失）；
6）反向传播，更新网络模型参数；
图4 bevformer框架图
bevfusion算法离不开bev lidar和bev camera算法，通常使用一个fusion模块进行点云和图像特征的融合。其中bev fusion是其中的代表之作。
3.2 bevfusion的 pipeline：
1）给定不同的感知输入，首先应用特定于模态的编码器来提取其特征；
2）将多模态特征转换为一个统一的bev表征，其同时保留几何和语义信息；
3）存在的视图转换效率瓶颈，可以通过预计算和间歇降低来加速bev池化过程；
4）然后，将基于卷积的bev编码器应用到统一的bev特征中，以缓解不同特征之间的局部偏准；
5）最后，添加一些特定任务头支持不同的3d场景理解工作。
图5 bev fusion框架图
04 bev感知算法的优劣
目前业界基于纯视觉的感知、预测算法研究通常仅针对上述流程中的单个子问题的image-view方案，如3d目标检测、语义地图识别或物体运动预测，通过前融合或后融合的方式将不同网络的感知结果进行融合。这导致了在搭建整体系统时只能以线性结构堆叠多个子模块。尽管上述方式能够实现问题分解、便于独立的学术研究，但这种串行架构具有几个重要的缺陷：
1）上游模块的模型误差会不断向下游传递，然而在子问题的独立研究中通常以真值作为输入，这使得累积误差会显著影响下游任务的性能表现。
2）不同子模块中存在重复的特征提取、维度转换等运算过程，但是串行架构无法实现这些冗余计算的共享，不利于提升系统的整体效率。
3）无法充分利用时序信息，一方面，时序信息可以作为空间信息的补充，更好地检测当前时刻被遮挡的物体，为定位物体的位置提供更多参考信息。另一方面，时序信息能够帮助判断物体的运动状态，在缺少时序信息的条件下，基于纯视觉的方法几乎无法有效判断物体的运动速度。
区别于image-view方案，bev方案通过多摄像头或雷达将视觉信息转换至鸟瞰视角进行相关感知任务，这样的方案能够为自动驾驶感知提供更大的视野并且能够并行地完成多项感知任务。同时，bev感知算法是要将信息融合到bev空间中来，所以这有利于探索2d到3d的转换过程。
与此同时，bev感知算法当前在3d检测任务上，与现有的点云方案有有差距。探索视觉bev感知算法有利于降低成本。一套lidar设备的成本往往是视觉设备的10倍，所以视觉bev是未来的真理，但同时带来的巨大数据量需要巨大的计算资源。
音诺恒基于瑞芯微RV1109人脸识别主板方案面世
台联电25亿元山东建电厂 投资薄膜太阳能发电
Oracle Linux 8.7正式发布了GA版本
诺基亚7Plus和坚果Pro2哪个好
日本瑞萨电子拟以67亿美元收购美国芯片厂商IDT
BEV感知算法：下一代自动驾驶的核心技术
奥地利微电子UHF RFID阅读器IC获Nordic ID应用
换装潮来袭，全球LED户外照明进入高增长期
防丢器PCBA解决方案
荣耀畅玩7X高清图赏
随着机器学习技术不断深入，人工智能在医疗领域的前景更加开阔
电力监控系统在酒店项目中的设计与应用
AMEYA360：Panasonic松下HF系列压敏电阻器
如何使用Spring scheduling task简化定时任务功能的实现？
基于芯片的AI摄影到底有哪些体验呢？
第三十二颗北斗导航卫星发射成功，备份星助力北斗服务能力发展
差分放大器计算公式讲解
农业物联网的应用现状和产业化的新路径
鸿蒙系统的新设备曝光，华为实力进一步提升
如何给自己或家人挑选一款安全合格的充电器呢？
bird’s-eye-view，鸟瞰图（俯视图）。bev感知算法存在许多的优势。
首先，bev视图存在遮挡小的优点，由于视觉的透视效应，现实世界的物体在2d图像中很容易受到其他物体的遮挡，因此，传统的基于2d的感知方式只能感知可见的目标，对于被遮挡的部分算法将无能为力。
而在bev空间内，时序信息可以很容易地被融合，算法可以基于先验知识，对被遮挡的区域进行预测，“脑补”出被遮挡的区域是否有物体。虽然“脑补”出来的物体固然有“想象”的成分，但对后续的控制模块来说，还是有不少益处。
此外，bev感知算法的尺度变化小，将尺度相对一致的数据输入到网络中，可以得到更好的感知结果。
02 bev感知算法数据集介绍
2.1 kitti-360数据集
kitti-360是一个包含丰富感官信息和完整注释的大规模数据集。我们记录了德国卡尔斯鲁厄的几个郊区，在73.7公里的驾驶距离内，对应超过32万张图像和10万个激光扫描。我们用粗糙的边界基元对静态和动态的三维场景元素进行注释，并将这些信息转移到图像领域，从而为三维点云和二维图像提供了密集的语义和实例注释。
为了收集数据，旅行车两边各配备了一个180°的鱼眼相机，前面一个90°的透视立体相机（基线60厘米）。此外，在车顶上安装了一个velodyne hdl-64e和一个sick lms 200激光扫描装置，采用推杆式配置。这个装置与kitti使用的装置类似，只是由于额外的鱼眼相机和推帚式激光扫描仪，获得了一个完整的360°视野，而kitti只提供透视图像和velodyne激光扫描，垂直视野为26.8°。此外，系统还配备了一个imu/gps定位系统。采集车的传感器布置如图所示。
图1 kitti-360数据集采集车
2.2 nuscenes数据集
nuscenes是第一个提供 自动汽车 全套传感器数据的大型数据集，包括了6个相机、1个激光雷达、5个毫米波雷达、以及gps和imu。与kitti数据集相比，其包含的对象注释多了7倍多。采集车的传感器布置如图所示。
图2 nuscenes数据集采集车模型
03 bev感知算法分类
基于输入数据，将bev感知研究主要分为三个部分——bev camera、bev lidar和bev fusion。下图描述了bev 感知家族的概况。具体来说，bev camera表示仅有视觉或以视觉为中心的算法，用于从多个周围摄像机进行三维目标检测或分割；bev lidar描述了点云输入的检测或分割任务；bev fusion描述了来自多个传感器输入的融合机制，例如摄像头、激光雷达、全球导航卫星系统、里程计、高清地图、can总线等。
图3 自动驾驶的基本感知算法
如图所示，将自主驾驶的基本感知算法（分类、检测、分割、跟踪等）分为三个级别，其中bev感知的概念位于在中间。基于传感器输入层、基本任务和产品场景的不同组合，某种bev感知算法可以相应表明。例如，m2bev和bevformer属于视觉bev方向，用于执行包括3d目标检测和bev地图分割在内的多项任务。bevfusion在bev空间设计了一种融合策略，同时从摄像机和激光雷达输入执行3d检测和跟踪。
bev camrea中的代表之作是bevformer。bevformer 通过提取环视相机采集到的图像特征，并将提取的环视特征通过模型学习的方式转换到 bev 空间（模型去学习如何将特征从图像坐标系转换到 bev 坐标系），从而实现 3d 目标检测和地图分割任务，并取得了 sota 的效果。
3.1 bevformer 的 pipeline：
1）backbone + neck （resnet-101-dcn + fpn）提取环视图像的多尺度特征；
2）论文提出的 encoder 模块（包括 temporal self-attention 模块和spatial cross-attention 模块）完成环视图像特征向 bev 特征的建模；
3）类似 deformable detr 的 decoder 模块完成 3d 目标检测的分类和定位任务；
4）正负样本的定义（采用 transformer 中常用的匈牙利匹配算法，focal loss + l1 loss 的总损失和最小）；
5）损失的计算（focal loss 分类损失 + l1 loss 回归损失）；
6）反向传播，更新网络模型参数；
图4 bevformer框架图
bevfusion算法离不开bev lidar和bev camera算法，通常使用一个fusion模块进行点云和图像特征的融合。其中bev fusion是其中的代表之作。
3.2 bevfusion的 pipeline：
1）给定不同的感知输入，首先应用特定于模态的编码器来提取其特征；
2）将多模态特征转换为一个统一的bev表征，其同时保留几何和语义信息；
3）存在的视图转换效率瓶颈，可以通过预计算和间歇降低来加速bev池化过程；
4）然后，将基于卷积的bev编码器应用到统一的bev特征中，以缓解不同特征之间的局部偏准；
5）最后，添加一些特定任务头支持不同的3d场景理解工作。
图5 bev fusion框架图
04 bev感知算法的优劣
目前业界基于纯视觉的感知、预测算法研究通常仅针对上述流程中的单个子问题的image-view方案，如3d目标检测、语义地图识别或物体运动预测，通过前融合或后融合的方式将不同网络的感知结果进行融合。这导致了在搭建整体系统时只能以线性结构堆叠多个子模块。尽管上述方式能够实现问题分解、便于独立的学术研究，但这种串行架构具有几个重要的缺陷：
1）上游模块的模型误差会不断向下游传递，然而在子问题的独立研究中通常以真值作为输入，这使得累积误差会显著影响下游任务的性能表现。
2）不同子模块中存在重复的特征提取、维度转换等运算过程，但是串行架构无法实现这些冗余计算的共享，不利于提升系统的整体效率。
3）无法充分利用时序信息，一方面，时序信息可以作为空间信息的补充，更好地检测当前时刻被遮挡的物体，为定位物体的位置提供更多参考信息。另一方面，时序信息能够帮助判断物体的运动状态，在缺少时序信息的条件下，基于纯视觉的方法几乎无法有效判断物体的运动速度。
区别于image-view方案，bev方案通过多摄像头或雷达将视觉信息转换至鸟瞰视角进行相关感知任务，这样的方案能够为自动驾驶感知提供更大的视野并且能够并行地完成多项感知任务。同时，bev感知算法是要将信息融合到bev空间中来，所以这有利于探索2d到3d的转换过程。
与此同时，bev感知算法当前在3d检测任务上，与现有的点云方案有有差距。探索视觉bev感知算法有利于降低成本。一套lidar设备的成本往往是视觉设备的10倍，所以视觉bev是未来的真理，但同时带来的巨大数据量需要巨大的计算资源。
音诺恒基于瑞芯微RV1109人脸识别主板方案面世
台联电25亿元山东建电厂 投资薄膜太阳能发电
Oracle Linux 8.7正式发布了GA版本
诺基亚7Plus和坚果Pro2哪个好
日本瑞萨电子拟以67亿美元收购美国芯片厂商IDT
BEV感知算法：下一代自动驾驶的核心技术
奥地利微电子UHF RFID阅读器IC获Nordic ID应用
换装潮来袭，全球LED户外照明进入高增长期
防丢器PCBA解决方案
荣耀畅玩7X高清图赏
随着机器学习技术不断深入，人工智能在医疗领域的前景更加开阔
电力监控系统在酒店项目中的设计与应用
AMEYA360：Panasonic松下HF系列压敏电阻器
如何使用Spring scheduling task简化定时任务功能的实现？
基于芯片的AI摄影到底有哪些体验呢？
第三十二颗北斗导航卫星发射成功，备份星助力北斗服务能力发展
差分放大器计算公式讲解
农业物联网的应用现状和产业化的新路径
鸿蒙系统的新设备曝光，华为实力进一步提升
如何给自己或家人挑选一款安全合格的充电器呢？