基于矢量化场景表征的端到端自动驾驶算法框架
自动驾驶系统通常采用分阶段模块化的设计，即感知、预测、规划等模块相互解耦，独立优化。而端到端方案基于数据驱动的方式优化整个系统，打通了各个模块的壁垒，并减少了繁琐的后处理，具有很高的研究价值。
在iccv 2023.上， 地平线和华中科技大学提出基于矢量化场景表征的端到端自动驾驶算法一vad.vad摈弃了栅格化表征，对整个驾驶场景进行矢量化建模，并利用矢量环境信息对自车规划轨迹进行约束。研究显示，相比于之前的方案，vad在规划性能和推理速度上具有明显的优势。
自动驾驶系统通常采用分阶段模块化的设计，即感知、预测、规划等模块相互解耦，独立优化。但对于模块化方案，模块间无法协同优化，存在误差累积，感知的漏检误检将会影响规划的安全性。近年来，端到端自动驾驶逐渐受到业界的关注。端到端方案基于数据驱动的方式优化整个系统，打通了各个模块的壁垒，并减少了繁琐的后处理，具有很高的研究价值。然而，之前的端到端方案往往基于栅格化的环境表征（如图1）。这种密集的表征不具备高层级的语义信息，并且需要较高的计算代价。
在iccv 2023上，地平线和华中科技大学提出基于矢量化场景表征的端到端自动驾驶算法——vad。vad摈弃了栅格化表征，对整个驾驶场景进行矢量化建模（如图2），并利用矢量环境信息对自车规划轨迹进行约束。相比于之前的方案，vad在规划性能和推理速度上具有明显的优势。vad的源码已开源，以促进该领域后续的研究。
图1 栅格化场景表征
图2 矢量化场景表征
vad架构：基于transformer
的端到端模型
图3 vad模型框架
vad基于统一的transformer结构（如图3所示）。bev encoder用于编码输入的环视图像，并将其转化为鸟瞰图视角（bev）下的特征图；vectorized motion transformer提取场景中的动态目标信息，实现动态目标检测和矢量化的轨迹预测；vectorized map transformer提取场景中矢量化的静态元素信息（如车道线，路沿和人行道）；planning transformer以隐式的动静态场景特征作为输入，提取其中与驾驶决策规划相关的信息，并完成自动驾驶车辆的轨迹规划。另外在模型训练阶段，vad基于矢量场景表征，对自车的规划轨迹进行矢量化约束，从而提升规划的安全性。
图4 基于矢量场景表征的规划约束
基于矢量场景表征的规划约束
许多先前的工作采用各种后处理策略对规划轨迹进行优化，以提升规划安全性。例如，使用占据图预测结果对规划轨迹进行微调，从而使规划轨迹位于可行驶区域内。这种方法破坏了模型的端到端学习能力，另外，后处理也会带来额外的计算开销，降低模型的推理速度。vad完全摈弃了后处理策略，而是选择在训练阶段，使用驾驶先验知识优化规划表现，从而在不引入额外推理计算开销的前提下，提升了规划的安全性。
自车-他车碰撞约束
基于场景中其他动态目标预测的矢量化轨迹和自车规划轨迹的碰撞约束。vad将自车安全边界分解为横向和纵向的安全距离，当规划轨迹在任一方向与他车预测轨迹的距离小于指定的安全阈值时，则惩罚该轨迹，从而避免自车规划轨迹与他车预测轨迹相交。
自车-边界越界约束
基于预测的矢量化边界线，vad约束自车规划轨迹始终在可行驶区域内。当自车规划轨迹越出道路边界线时，则惩罚该轨迹。
自车-道路方向约束
vad基于预测的道路线方向，约束自车规划轨迹朝向与道路前进方向保持一致。当自车规划轨迹朝向与道路前进方向有较大差异时，则惩罚该轨迹。
vad规划性能
vad在nuscenes开环验证和carla闭环验证中均取得了state-of-the-art的规划性能。除此之外，相比之前的方案，vad大幅提升了模型的推理速度。
表1 nuscenes开环规划性能
表2 carla闭环规划性能
总结与展望
vad初步探索了基于矢量化场景表征的端到端自动驾驶算法框架。如何将道路拓扑和交通信息融入这一框架中，并进一步提升系统的鲁棒性，将是未来重要的研究方向。
中国联通科学家范济安表示5G适用于70%以上的传统工业场景
浅析DC/DC转换器上的Buck应用
西安紫光国芯携工艺全流程设计服务亮相服贸会
高功率半导体激光器的合束技术
中美贸易摩擦鼓角相闻_对汽车业影响几何
基于矢量化场景表征的端到端自动驾驶算法框架
机器人手臂的典型机构有哪些
手机机身耐不耐摔？主要看这俩点
安科瑞高校宿舍预付费电控系统可消除恶性负载
如何解决Python爬虫中文乱码问题？Python爬虫中文乱码的解决方法
勤哲Excel服务器做招标代理企业管理系统
iPhone X究竟是防水还是抗水？
上交所：MEMS传感器厂商芯动联科将于2月13日科创板首发上会
一个数控的多功能直流稳压电源设计
科拓AR寻车解决方案入驻亚洲最大下沉式建筑--成都SKP
工业富联发布了登陆A股以来的首份半年度“成绩单”
麒麟9000S芯片：领先科技，超越惊喜
新手必知：发光二极管的五种主流封装
5G研究院、5G产业基金落地北京亦庄 总投资50亿
为什么晶圆是圆形而不是矩形
在iccv 2023.上， 地平线和华中科技大学提出基于矢量化场景表征的端到端自动驾驶算法一vad.vad摈弃了栅格化表征，对整个驾驶场景进行矢量化建模，并利用矢量环境信息对自车规划轨迹进行约束。研究显示，相比于之前的方案，vad在规划性能和推理速度上具有明显的优势。
自动驾驶系统通常采用分阶段模块化的设计，即感知、预测、规划等模块相互解耦，独立优化。但对于模块化方案，模块间无法协同优化，存在误差累积，感知的漏检误检将会影响规划的安全性。近年来，端到端自动驾驶逐渐受到业界的关注。端到端方案基于数据驱动的方式优化整个系统，打通了各个模块的壁垒，并减少了繁琐的后处理，具有很高的研究价值。然而，之前的端到端方案往往基于栅格化的环境表征（如图1）。这种密集的表征不具备高层级的语义信息，并且需要较高的计算代价。
在iccv 2023上，地平线和华中科技大学提出基于矢量化场景表征的端到端自动驾驶算法——vad。vad摈弃了栅格化表征，对整个驾驶场景进行矢量化建模（如图2），并利用矢量环境信息对自车规划轨迹进行约束。相比于之前的方案，vad在规划性能和推理速度上具有明显的优势。vad的源码已开源，以促进该领域后续的研究。
图1 栅格化场景表征
图2 矢量化场景表征
vad架构：基于transformer
的端到端模型
图3 vad模型框架
vad基于统一的transformer结构（如图3所示）。bev encoder用于编码输入的环视图像，并将其转化为鸟瞰图视角（bev）下的特征图；vectorized motion transformer提取场景中的动态目标信息，实现动态目标检测和矢量化的轨迹预测；vectorized map transformer提取场景中矢量化的静态元素信息（如车道线，路沿和人行道）；planning transformer以隐式的动静态场景特征作为输入，提取其中与驾驶决策规划相关的信息，并完成自动驾驶车辆的轨迹规划。另外在模型训练阶段，vad基于矢量场景表征，对自车的规划轨迹进行矢量化约束，从而提升规划的安全性。
图4 基于矢量场景表征的规划约束
基于矢量场景表征的规划约束
许多先前的工作采用各种后处理策略对规划轨迹进行优化，以提升规划安全性。例如，使用占据图预测结果对规划轨迹进行微调，从而使规划轨迹位于可行驶区域内。这种方法破坏了模型的端到端学习能力，另外，后处理也会带来额外的计算开销，降低模型的推理速度。vad完全摈弃了后处理策略，而是选择在训练阶段，使用驾驶先验知识优化规划表现，从而在不引入额外推理计算开销的前提下，提升了规划的安全性。
自车-他车碰撞约束
基于场景中其他动态目标预测的矢量化轨迹和自车规划轨迹的碰撞约束。vad将自车安全边界分解为横向和纵向的安全距离，当规划轨迹在任一方向与他车预测轨迹的距离小于指定的安全阈值时，则惩罚该轨迹，从而避免自车规划轨迹与他车预测轨迹相交。
自车-边界越界约束
基于预测的矢量化边界线，vad约束自车规划轨迹始终在可行驶区域内。当自车规划轨迹越出道路边界线时，则惩罚该轨迹。
自车-道路方向约束
vad基于预测的道路线方向，约束自车规划轨迹朝向与道路前进方向保持一致。当自车规划轨迹朝向与道路前进方向有较大差异时，则惩罚该轨迹。
vad规划性能
vad在nuscenes开环验证和carla闭环验证中均取得了state-of-the-art的规划性能。除此之外，相比之前的方案，vad大幅提升了模型的推理速度。
表1 nuscenes开环规划性能
表2 carla闭环规划性能
总结与展望
vad初步探索了基于矢量化场景表征的端到端自动驾驶算法框架。如何将道路拓扑和交通信息融入这一框架中，并进一步提升系统的鲁棒性，将是未来重要的研究方向。
中国联通科学家范济安表示5G适用于70%以上的传统工业场景
浅析DC/DC转换器上的Buck应用
西安紫光国芯携工艺全流程设计服务亮相服贸会
高功率半导体激光器的合束技术
中美贸易摩擦鼓角相闻_对汽车业影响几何
基于矢量化场景表征的端到端自动驾驶算法框架
机器人手臂的典型机构有哪些
手机机身耐不耐摔？主要看这俩点
安科瑞高校宿舍预付费电控系统可消除恶性负载
如何解决Python爬虫中文乱码问题？Python爬虫中文乱码的解决方法
勤哲Excel服务器做招标代理企业管理系统
iPhone X究竟是防水还是抗水？
上交所：MEMS传感器厂商芯动联科将于2月13日科创板首发上会
一个数控的多功能直流稳压电源设计
科拓AR寻车解决方案入驻亚洲最大下沉式建筑--成都SKP
工业富联发布了登陆A股以来的首份半年度“成绩单”
麒麟9000S芯片：领先科技，超越惊喜
新手必知：发光二极管的五种主流封装
5G研究院、5G产业基金落地北京亦庄 总投资50亿
为什么晶圆是圆形而不是矩形