基于几何变换器的2D-to-BEV视图转换学习
bev感知是自动驾驶的重要趋势。常规的自动驾驶算法方法基于在前视图或透视图中执行检测、分割、跟踪，而在bev中可表示周围场景，相对而言更加直观，并且在bev中表示目标对于后续模块最为理想。此项研究提出了一种新的bev学习机制：几何导向核变换器（geometry-guided kernel transformer )。gkt利用几何先验来引导变换器聚焦于区分区域，并展开内核特征以生成bev表示。
研究背景
对于多视图相机系统，难点在于，如何将2d图像表示转换为bev表示。根据几何信息是否明确用于特征变换，现有的方法可分基于几何的逐点变换和无几何的全局变换两大类。
基于几何体的逐点变换下图所示，利用可用的对应关系，2d特征被投影到3d空间并形成bev表示。
然而，此方法过于依赖于校准参数。正在行驶中的汽车外部环境复杂，摄像机可能在运行时偏离校准位置，这将使系统出现误差。此外，逐点复杂且耗时高，难以再实际环境中应用。
全局变换方法考虑了2d图像和bev视图之间的完全相关性。这种方法受相机偏差影响较小。但这也带来了问题：全局变换所需的算力与图像的像素的数量成比例。并且，该模型必须从所有视图中全局地挖掘出判别信息，这导致图像的收敛过程变的更难。
在本研究中，研究人员提出了一种新的2d到bev变换机制，以达到更高的效率和鲁棒性，该算法称为geometry-guided kernel transformer（gkt）。该方法利用粗略的相机参数，投影bev位置，以获得多视图和多尺度特征地图中的2d位置。然后，模型在先前位置周围展开kh×kw内核特征，并使bev算法与相应的展开特征交互以生成bev视图。
实施途径
gkt利用几何深度学习来引导转换器聚焦于重点区域，展开核心特征用于生成bev视图。拟建gkt的框架如下图所示。该图上半部分表示了几何信息用于引导变换器聚焦在多视图图像中的先前区域。下部分为展开先前区域的核心特征，它们与bev查询交互以生成bev表示。在此方法中，共享的卷积神经网络从环绕视图中提取视图特征，bev空间被均匀的划分为网格，每个网格对应一个3d坐标。
为了快速进行判断，研究引入了不同的索引方法，以摆脱相机在运行时对校准参数的依赖。通过对比im2col，网格采样，lut索引三种方法，确定了lut索引可使gkt实现更高的fps。在此方法中，每个bev网格的核心区域都是固定的，可以在脱机时进行预先计算。在运行时，系统可从lut中获得每个bev查询的对应像素索引，并通过索引更快速的获得特征。
测试
该算法再nuscenes数据集上进行训练，并在val数据集上进行评估。在下图中，比较了在两种设置下gkt和其他基于bev的方法下的车辆地图视图分割效率。测试采用了1×7卷积来捕获水平图像信息，然后在gkt中应用有效的7×1内核来进行2d到bev视图转换。
在测试中，gkt展示出了很高的鲁棒性。与逐点变换相比，gkt只将相机参数作为指导，而非完全依赖。当相机偏离时，相应的，内核区域会移动，但仍然可以覆盖目标。由于变换器的排列位置不变的，而是根据偏移量动态的生成核心区域的关注权重，所以gkt可以始终聚焦于目标，从而减少相机偏差的影响。
同时，gkt具有很高的效率。利用所提出的lut索引，可以在运行时消除了逐点变换所需的2d-3d映射操作，使正向过程紧凑而快速。与全局变换相比，gkt只关注几何引导的核区域，避免了全局交互。相较而言，gkt所需的假设过程更少，收敛过程更快。
因此，gkt综合了逐点变换和全局变换的优势，从而实现了高效和高鲁棒性的2d到bev视图学习。在nuscenes数据集上的测试也表明gkt非常高效，使用3090 gpu运行可达到72.3 fps，使用2080ti gpu运行可达到45.6 fps，其fps低于目前所有方法。
华为企业通信举办“加速云转型，智慧云通信”主题论坛
iphone8怎么样?看完iPhone8的三大缺陷,你还会购买iPhone8吗?
自动化让传统工作大量减少 改变了供应链接构与人力角色本质
再生电源效率正在成为真正的差异化优势
上海大学开发芯片键合新技术，提高Micro LED稳定性和可靠性
基于几何变换器的2D-to-BEV视图转换学习
华米发力“AI＋健康”研发，难以改善利润率降低问题
从廉价货到核心产品 谈国产相机转型之路
深解ARM最强64位处理器 ARMv8架构厉害在何处?
Rectifier公司推出可缓解电网压力的壁挂式Highbury直流双向充电器
Power Design Manager (PDM) 2023.1的新增功能
CAN总线的嵌入式Web服务器设计
二进制真值与机器值详解
基于人工智能的软开关减少损耗以扩展电动汽车的续航里程
OPPO超大杯Reno5 Pro+即将官宣
华为云核心网5G Core磐石方案帮助运营商实现大规模的5G SA商用
吉时利源表的用途及选项注意事项
小米6Plus什么时候上市：小米6Plus比小米6更惊艳，6月发布同小米MIUI9一同亮相
预计:到2024年全球智能家居设备出货量将超过14亿台
国内智能音箱市场竞争激烈，各大企业如何才能打造差异化路径？
研究背景
对于多视图相机系统，难点在于，如何将2d图像表示转换为bev表示。根据几何信息是否明确用于特征变换，现有的方法可分基于几何的逐点变换和无几何的全局变换两大类。
基于几何体的逐点变换下图所示，利用可用的对应关系，2d特征被投影到3d空间并形成bev表示。
然而，此方法过于依赖于校准参数。正在行驶中的汽车外部环境复杂，摄像机可能在运行时偏离校准位置，这将使系统出现误差。此外，逐点复杂且耗时高，难以再实际环境中应用。
全局变换方法考虑了2d图像和bev视图之间的完全相关性。这种方法受相机偏差影响较小。但这也带来了问题：全局变换所需的算力与图像的像素的数量成比例。并且，该模型必须从所有视图中全局地挖掘出判别信息，这导致图像的收敛过程变的更难。
在本研究中，研究人员提出了一种新的2d到bev变换机制，以达到更高的效率和鲁棒性，该算法称为geometry-guided kernel transformer（gkt）。该方法利用粗略的相机参数，投影bev位置，以获得多视图和多尺度特征地图中的2d位置。然后，模型在先前位置周围展开kh×kw内核特征，并使bev算法与相应的展开特征交互以生成bev视图。
实施途径
gkt利用几何深度学习来引导转换器聚焦于重点区域，展开核心特征用于生成bev视图。拟建gkt的框架如下图所示。该图上半部分表示了几何信息用于引导变换器聚焦在多视图图像中的先前区域。下部分为展开先前区域的核心特征，它们与bev查询交互以生成bev表示。在此方法中，共享的卷积神经网络从环绕视图中提取视图特征，bev空间被均匀的划分为网格，每个网格对应一个3d坐标。
为了快速进行判断，研究引入了不同的索引方法，以摆脱相机在运行时对校准参数的依赖。通过对比im2col，网格采样，lut索引三种方法，确定了lut索引可使gkt实现更高的fps。在此方法中，每个bev网格的核心区域都是固定的，可以在脱机时进行预先计算。在运行时，系统可从lut中获得每个bev查询的对应像素索引，并通过索引更快速的获得特征。
测试
该算法再nuscenes数据集上进行训练，并在val数据集上进行评估。在下图中，比较了在两种设置下gkt和其他基于bev的方法下的车辆地图视图分割效率。测试采用了1×7卷积来捕获水平图像信息，然后在gkt中应用有效的7×1内核来进行2d到bev视图转换。
在测试中，gkt展示出了很高的鲁棒性。与逐点变换相比，gkt只将相机参数作为指导，而非完全依赖。当相机偏离时，相应的，内核区域会移动，但仍然可以覆盖目标。由于变换器的排列位置不变的，而是根据偏移量动态的生成核心区域的关注权重，所以gkt可以始终聚焦于目标，从而减少相机偏差的影响。
同时，gkt具有很高的效率。利用所提出的lut索引，可以在运行时消除了逐点变换所需的2d-3d映射操作，使正向过程紧凑而快速。与全局变换相比，gkt只关注几何引导的核区域，避免了全局交互。相较而言，gkt所需的假设过程更少，收敛过程更快。
因此，gkt综合了逐点变换和全局变换的优势，从而实现了高效和高鲁棒性的2d到bev视图学习。在nuscenes数据集上的测试也表明gkt非常高效，使用3090 gpu运行可达到72.3 fps，使用2080ti gpu运行可达到45.6 fps，其fps低于目前所有方法。
华为企业通信举办“加速云转型，智慧云通信”主题论坛
iphone8怎么样?看完iPhone8的三大缺陷,你还会购买iPhone8吗?
自动化让传统工作大量减少 改变了供应链接构与人力角色本质
再生电源效率正在成为真正的差异化优势
上海大学开发芯片键合新技术，提高Micro LED稳定性和可靠性
基于几何变换器的2D-to-BEV视图转换学习
华米发力“AI＋健康”研发，难以改善利润率降低问题
从廉价货到核心产品 谈国产相机转型之路
深解ARM最强64位处理器 ARMv8架构厉害在何处?
Rectifier公司推出可缓解电网压力的壁挂式Highbury直流双向充电器
Power Design Manager (PDM) 2023.1的新增功能
CAN总线的嵌入式Web服务器设计
二进制真值与机器值详解
基于人工智能的软开关减少损耗以扩展电动汽车的续航里程
OPPO超大杯Reno5 Pro+即将官宣
华为云核心网5G Core磐石方案帮助运营商实现大规模的5G SA商用
吉时利源表的用途及选项注意事项
小米6Plus什么时候上市：小米6Plus比小米6更惊艳，6月发布同小米MIUI9一同亮相
预计:到2024年全球智能家居设备出货量将超过14亿台
国内智能音箱市场竞争激烈，各大企业如何才能打造差异化路径？