奥迪、奔驰与博世一系列代客泊车技术都源自V-Charge
valet charge简称v-charge，代客泊车并充电是欧盟在2011年赞助的一个研发项目，项目始于2011年6月1日，于2015年9月30日结束，总成本869.5万欧元，其中欧盟赞助563万欧元。
v-charge项目结束后，博世、大众、奔驰致力将其产业化，今天我们看到的奥迪、奔驰与博世一系列代客泊车技术都源自v-charge。项目由瑞士理工学院电脑视觉与几何实验室领导，博世、大众、牛津大学、帕尔玛大学与布伦瑞克工业大学共同完成。德国carmeq和iav公司也有部分贡献。
valet charge是为电动车设计的，主要是基于无线充电停车位。valet charge设想将无线充电系统埋在车位下方，电动车停在车位上，无需任何操作即可充电，这要求泊车的位置精度很高，大约±10厘米。无线充电这个设想在2011年非常超前，不过valet charge项目并未考虑开发大功率无线充电系统。
即使今天，电动车的无线充电也是极为罕见。当年，大众联合德国机器人公司kuka特别设计了充电机器人，机器人会自动取下充电枪插入充电插孔内，即便是到今天这种设计也很超前，而大众在10年前就有此设想了。
valet charge包含六大核心技术，即使在今天看来仍然非常先进，领先于今天一些所谓的全自动泊车系统。它实际就是低速（时速低于10公里）场景的l4系统，同时还包括v2i技术和dtn网络技术。我们将分五篇详细介绍valet charge的核心技术，第一篇为感知，第二篇为地图，第三篇为通讯，第四篇为定位，第五篇为运动规划。
valet charge车辆端框架如上，核心和奔驰一样，以双目做棒状像素，用栅格占有法提供导航。
valet charge的传感器布局如上图，包括前后两个双目摄像头，4个鱼眼摄像头，12个超声波传感器，精简版里没有后双目摄像头。所有传感器都由博世提供。前双目摄像头基线长12厘米，使用120万像素cmos图像传感器，水平fov为45度，垂直fov为25度。可对应停车场的低照度环境，今天捷豹路虎全系列都使用了这颗双目摄像头。有效距离12.5米到25米，最大距离50米，在停车场足够用了。后双目使用130万像素图像传感器，水平fov为120度，基线长5厘米，有效距离只有5米。4个鱼眼摄像头像素都为130万，水平fov为185度，有效距离大约3米。所有摄像头的帧率都很低，仅为8帧，毕竟2011年的图像处理能力不强。12个超声波雷达，其中8个为前后短距离雷达，最远1.5米，4个为两侧长距离雷达，最远可达7米。超声波传感器垂直fov为60度，水平为120度。
感知部分分三项，分别是定位、动态环境感知和静态环境感知。定位由瑞士苏黎世理工学院无人驾驶实验室与大众联合完成。静态感知部分，前后双目和超声波感知由博世完成，单目的sfm由苏黎世理工学院电脑视觉与几何实验室完成，大众完成栅格地图融合。动态环境方面，大众完成用双目目标追踪，立体假设聚类，单目检测与聚类、动态目标聚类、停车位线框增强都由意大利帕尔马大学用单目鱼眼完成。
上图为静态场景感知构成，也可以看作是三种传感器的融合，包括双目、超声波和鱼眼摄像头。
其中双目是核心。鱼眼主要使用sfm做3d重建，主要用来弥补双目视角窄的缺点。
双目相机可以提供几百个目标相对自车的距离，但是只要高度在某一区间内的目标的距离，也就是高度分割。这种类似于奔驰棒状像素的做法可以直接求得可行驶空间（free space），也可以只提供障碍物的距离数值。
为了弥补双目视角窄的不足，达到360度全覆盖的3d场景重建，特别附加了鱼眼360度sfm。sfm的全称为structure from motion，即通过相机的移动来确定目标的空间和几何关系，是三维重建的一种常见方法。它与kinect这种3d摄像头最大的不同在于，它只需要普通的rgb摄像头即可，因此成本更低廉，且受环境约束较小，在室内和室外均能使用。缺点就是只能针对低速，小空间场合，且非常消耗运算资源。sfm算法是一种基于各种收集到的无序图片进行三维重建的离线算法。在进行核心的算法structure-from-motion之前需要一些准备工作，挑选出合适的图片。
首先从图片中提取焦距信息(之后初始化ba需要)，然后利用sift等特征提取算法去提取图像特征，用kd-tree模型去计算两张图片特征点之间的欧式距离进行特征点的匹配，从而找到特征点匹配个数达到要求的图像对。对于每一个图像匹配对，计算对极几何，估计f矩阵并通过ransac算法优化改善匹配对。这样子如果有特征点可以在这样的匹配对中链式地传递下去，一直被检测到，那么就可以形成轨迹。之后进入structure-from-motion部分，关键的第一步就是选择好的图像对去初始化整个ba过程。首先对初始化选择的两幅图片进行第一次ba，然后循环添加新的图片进行新的ba，最后直到没有可以继续添加的合适的图片，ba结束。得到相机估计参数和场景几何信息，即稀疏的3d点云。其中两幅图片之间的bundle adjust用的是稀疏光束平差法sba软件包，这是一种非线性最小二乘的优化目标函数算法。东芝的第四代视觉识别芯片中已经添加了sfm硬核。在停车场这样的低速、狭小空间，sfm还是不错的，当然和双目比还是精度差距较大，鲁棒性也不强，还需要轮速编码器。
前双目和超声波精度很高，sfm精度很差。
栅格地图由大众完成，局部动作规划依赖栅格地图，地图融合了多种传感器数据，对障碍物有明确的表示。传感器数据更新后使用贝叶斯过滤来确定栅格占有概率。大众使用两种栅格地图，第一种是驾驶层，是从驾驶员离开车后，车辆从停车场入口到停车位时使用，每个cell的尺寸是0.1米，整体尺寸是50米，完全由前双目完成。第二层是停车层，cell尺寸是0.05米，整体尺寸25米。前后双目，鱼眼3d重建和超声波数据融合。
上图为停车层栅格地图示意图
上图为valet charge的动态感知框架，就是双目与鱼眼相机的融合。动态环境感知主要就是目标追踪和识别动态目标，停车场主要就两种动态目标，车辆和行人，比较简单。目标追踪实际是用来做动态目标运动预测的，光流法可以准确预测目标运动轨迹，但大众没有用，只是用了简单的扩展开曼滤波器，因为光流法消耗运算资源比较多，在2011-2014年还比较难实现，不过双目的光流法相对比较容易，但在valet charge里，大众并未提及双目光流法，可能是因为奔驰握有双目光流法的专利。
在2011-2014年，双目传感器和360度全景相机都相当罕见，如今奔驰、宝马、捷豹路虎和雷克萨斯ls系列都可以装配双目，也有360度全景，为valet charge提供了基础条件。
传台积电日本二厂计划产6nm芯片 政府补贴439亿元
2020年结构陶瓷和功能陶瓷企业名录大全
对便携式设备电池保护设计所面临的挑战
小米首款Wi-Fi 6路由器发布 信号可覆盖2个足球场
Banana Pi BPI-M6(Raspberry Pi 5 替代品)初始设置及固件烧录
奥迪、奔驰与博世一系列代客泊车技术都源自V-Charge
好消息！斯坦德AMR 600通过欧盟CE认证
负氧离子监测系统在线监测功能有哪些？价格多少？
GCA-121-1000位移传感器被测体对性能的影响
揭秘TCL实业盘古实验室：Mini LED王者背后，“能力冰山”有多大？
AGMM5攀登版正式发布 到手价499元
放弃x86/ARM兼容计划，AMD的雄心壮志已不复存在？
一加5T概念机图赏，外观惊艳性能强悍
realmeX2评测 价格配置双份良心
文明安全积分兑换超市为施工保驾护航
腿轮混合式移动机器人的设计与实现
DSA875、DSA832/E 及-TG型号频谱分析仪
诺基亚TA-1212功能机证件照公布，支持最大32GB存储卡扩展
小米新款高性能笔记本曝光：处理器型号包括11代酷睿、AMD Zen3
混合维异质结的“光电视觉适应”
v-charge项目结束后，博世、大众、奔驰致力将其产业化，今天我们看到的奥迪、奔驰与博世一系列代客泊车技术都源自v-charge。项目由瑞士理工学院电脑视觉与几何实验室领导，博世、大众、牛津大学、帕尔玛大学与布伦瑞克工业大学共同完成。德国carmeq和iav公司也有部分贡献。
valet charge是为电动车设计的，主要是基于无线充电停车位。valet charge设想将无线充电系统埋在车位下方，电动车停在车位上，无需任何操作即可充电，这要求泊车的位置精度很高，大约±10厘米。无线充电这个设想在2011年非常超前，不过valet charge项目并未考虑开发大功率无线充电系统。
即使今天，电动车的无线充电也是极为罕见。当年，大众联合德国机器人公司kuka特别设计了充电机器人，机器人会自动取下充电枪插入充电插孔内，即便是到今天这种设计也很超前，而大众在10年前就有此设想了。
valet charge包含六大核心技术，即使在今天看来仍然非常先进，领先于今天一些所谓的全自动泊车系统。它实际就是低速（时速低于10公里）场景的l4系统，同时还包括v2i技术和dtn网络技术。我们将分五篇详细介绍valet charge的核心技术，第一篇为感知，第二篇为地图，第三篇为通讯，第四篇为定位，第五篇为运动规划。
valet charge车辆端框架如上，核心和奔驰一样，以双目做棒状像素，用栅格占有法提供导航。
valet charge的传感器布局如上图，包括前后两个双目摄像头，4个鱼眼摄像头，12个超声波传感器，精简版里没有后双目摄像头。所有传感器都由博世提供。前双目摄像头基线长12厘米，使用120万像素cmos图像传感器，水平fov为45度，垂直fov为25度。可对应停车场的低照度环境，今天捷豹路虎全系列都使用了这颗双目摄像头。有效距离12.5米到25米，最大距离50米，在停车场足够用了。后双目使用130万像素图像传感器，水平fov为120度，基线长5厘米，有效距离只有5米。4个鱼眼摄像头像素都为130万，水平fov为185度，有效距离大约3米。所有摄像头的帧率都很低，仅为8帧，毕竟2011年的图像处理能力不强。12个超声波雷达，其中8个为前后短距离雷达，最远1.5米，4个为两侧长距离雷达，最远可达7米。超声波传感器垂直fov为60度，水平为120度。
感知部分分三项，分别是定位、动态环境感知和静态环境感知。定位由瑞士苏黎世理工学院无人驾驶实验室与大众联合完成。静态感知部分，前后双目和超声波感知由博世完成，单目的sfm由苏黎世理工学院电脑视觉与几何实验室完成，大众完成栅格地图融合。动态环境方面，大众完成用双目目标追踪，立体假设聚类，单目检测与聚类、动态目标聚类、停车位线框增强都由意大利帕尔马大学用单目鱼眼完成。
上图为静态场景感知构成，也可以看作是三种传感器的融合，包括双目、超声波和鱼眼摄像头。
其中双目是核心。鱼眼主要使用sfm做3d重建，主要用来弥补双目视角窄的缺点。
双目相机可以提供几百个目标相对自车的距离，但是只要高度在某一区间内的目标的距离，也就是高度分割。这种类似于奔驰棒状像素的做法可以直接求得可行驶空间（free space），也可以只提供障碍物的距离数值。
为了弥补双目视角窄的不足，达到360度全覆盖的3d场景重建，特别附加了鱼眼360度sfm。sfm的全称为structure from motion，即通过相机的移动来确定目标的空间和几何关系，是三维重建的一种常见方法。它与kinect这种3d摄像头最大的不同在于，它只需要普通的rgb摄像头即可，因此成本更低廉，且受环境约束较小，在室内和室外均能使用。缺点就是只能针对低速，小空间场合，且非常消耗运算资源。sfm算法是一种基于各种收集到的无序图片进行三维重建的离线算法。在进行核心的算法structure-from-motion之前需要一些准备工作，挑选出合适的图片。
首先从图片中提取焦距信息(之后初始化ba需要)，然后利用sift等特征提取算法去提取图像特征，用kd-tree模型去计算两张图片特征点之间的欧式距离进行特征点的匹配，从而找到特征点匹配个数达到要求的图像对。对于每一个图像匹配对，计算对极几何，估计f矩阵并通过ransac算法优化改善匹配对。这样子如果有特征点可以在这样的匹配对中链式地传递下去，一直被检测到，那么就可以形成轨迹。之后进入structure-from-motion部分，关键的第一步就是选择好的图像对去初始化整个ba过程。首先对初始化选择的两幅图片进行第一次ba，然后循环添加新的图片进行新的ba，最后直到没有可以继续添加的合适的图片，ba结束。得到相机估计参数和场景几何信息，即稀疏的3d点云。其中两幅图片之间的bundle adjust用的是稀疏光束平差法sba软件包，这是一种非线性最小二乘的优化目标函数算法。东芝的第四代视觉识别芯片中已经添加了sfm硬核。在停车场这样的低速、狭小空间，sfm还是不错的，当然和双目比还是精度差距较大，鲁棒性也不强，还需要轮速编码器。
前双目和超声波精度很高，sfm精度很差。
栅格地图由大众完成，局部动作规划依赖栅格地图，地图融合了多种传感器数据，对障碍物有明确的表示。传感器数据更新后使用贝叶斯过滤来确定栅格占有概率。大众使用两种栅格地图，第一种是驾驶层，是从驾驶员离开车后，车辆从停车场入口到停车位时使用，每个cell的尺寸是0.1米，整体尺寸是50米，完全由前双目完成。第二层是停车层，cell尺寸是0.05米，整体尺寸25米。前后双目，鱼眼3d重建和超声波数据融合。
上图为停车层栅格地图示意图
上图为valet charge的动态感知框架，就是双目与鱼眼相机的融合。动态环境感知主要就是目标追踪和识别动态目标，停车场主要就两种动态目标，车辆和行人，比较简单。目标追踪实际是用来做动态目标运动预测的，光流法可以准确预测目标运动轨迹，但大众没有用，只是用了简单的扩展开曼滤波器，因为光流法消耗运算资源比较多，在2011-2014年还比较难实现，不过双目的光流法相对比较容易，但在valet charge里，大众并未提及双目光流法，可能是因为奔驰握有双目光流法的专利。
在2011-2014年，双目传感器和360度全景相机都相当罕见，如今奔驰、宝马、捷豹路虎和雷克萨斯ls系列都可以装配双目，也有360度全景，为valet charge提供了基础条件。
传台积电日本二厂计划产6nm芯片 政府补贴439亿元
2020年结构陶瓷和功能陶瓷企业名录大全
对便携式设备电池保护设计所面临的挑战
小米首款Wi-Fi 6路由器发布 信号可覆盖2个足球场
Banana Pi BPI-M6(Raspberry Pi 5 替代品)初始设置及固件烧录
奥迪、奔驰与博世一系列代客泊车技术都源自V-Charge
好消息！斯坦德AMR 600通过欧盟CE认证
负氧离子监测系统在线监测功能有哪些？价格多少？
GCA-121-1000位移传感器被测体对性能的影响
揭秘TCL实业盘古实验室：Mini LED王者背后，“能力冰山”有多大？
AGMM5攀登版正式发布 到手价499元
放弃x86/ARM兼容计划，AMD的雄心壮志已不复存在？
一加5T概念机图赏，外观惊艳性能强悍
realmeX2评测 价格配置双份良心
文明安全积分兑换超市为施工保驾护航
腿轮混合式移动机器人的设计与实现
DSA875、DSA832/E 及-TG型号频谱分析仪
诺基亚TA-1212功能机证件照公布，支持最大32GB存储卡扩展
小米新款高性能笔记本曝光：处理器型号包括11代酷睿、AMD Zen3
混合维异质结的“光电视觉适应”