围绕深度学习的方法来讲述激光雷达分割的问题
简介
激光雷达作为自动驾驶中最常用的传感器之一，由于其深度感知特性优良，这也让以激光slam为主的slam方法被广泛应用。
但是我们发现在人员密集，车辆密集的场景经常会造成点云定位效果不佳，而这些情况传统滤波方法是没有办法解决的。
本篇将主要围绕着深度学习的方法来讲述激光雷达分割的问题。
1. slam配准与建图
无论哪种点云配准方式（点到点/点到特征/点到栅格/ndt），都是基于静态假设的，理论上动态点一定会影响配准的精度，当然这一点用于建好地图的定位也同样适用。
当一帧中如果动态点比例过高的话，会造成轨迹精度下降，甚至不排除跑飞的可能。
在这个层面，只能通过实时的方式在配准之前或配准过程中，识别并干掉动态点。
如果我们认为动态物体对配准的干扰有限，不太影响轨迹精度，但我们还是无法忍受最终生成的地图中充斥着大量动态物体的“鬼影”（如下图所示）。
这会对后期基于地图的定位、或者基于地图的可行域规划（路径规划）产生不利的影响。
1.1 传统配准思路—-通过聚类+卡尔曼滤波预测过滤动态障碍物
传统方式比如在配准迭代过程中剔除距离过远的点，物检测流程一般如下：
考虑到车上有多个传感器共同作业，需要对输入的激光点云做时间同步和外参标定。
考虑到激光雷达的采样噪声和点云数据量大的问题，需要对点云做预处理，减少数据量，剔除噪声点。
每帧点云数据中包含了大量的地面点，检测的目的是获取道路障碍物信息，需要进一步分割出地面上的点云。
地面上的障碍物点通常采用无监督的聚类算法形成多个团簇，每个团簇则表示一个障碍物。
针对团簇的物体识别可以根据任务需求而定，如果需要类别信息，可以采用特征提取+分类器的方式分类障碍物。
对每一块团簇做包围框拟合，计算障碍物属性，比如中心点，质心点，长宽高等。
对每一个障碍物构建一个卡尔曼滤波器做跟踪，平滑输出，从而来判断是否运动。
1.2 传统配准思路—-适用submap来精配准
“rf-lio: removal-first tightly-coupled lidar inertial dometry in high dynamic environments ”，这项工作就是传统的匹配滤波的思路。
它建立在 lio-sam 的基础上，先剔除是指所提出的rf-lio首先去除没有准确姿势的运动物体，然后采用 scan-matching 。
当新的scan到达时，rf-lio不会立即执行扫描匹配以获得准确的位姿，因为它很容易受到动态环境的影响。
相反，我们使用紧耦合惯性测量单元 (imu) 里程计来获得粗略的初始状态估计，然后 rf-lio 可以利用自适应分辨率距离图像初步去除环境中的运动点。
在初步去除运动点后，rf-lio 使用 scan-matching 来获得相对更准确的位姿。
在精配准迭代过程中，不断基于初值和多分辨率深度图检测submap中的动态点并移除，最终实现基于“静态submap”的精配准。
因此，即使在高动态环境中也可以获得准确的姿势。
实验结果表明，在高动态环境下与 loam 和 lio-sam 相比，所提出的 rf-lio 的绝对轨迹精度可以分别提高 90% 和 70%。
rf-lio 的总体框架，它由三个主要模块组成：imu 预积分、特征提取和建图。首先，imu 预积分模块用于推断系统运动并生成 imu 里程计。
然后，特征提取模块补偿点云的运动畸变。通过评估点的粗糙度来提取边缘和平面特征。
建图模块是我们提出方法的关键模块，要在没有准确位姿的情况下先去除动态物体，
有几个关键步骤：
初始位姿是通过 imu 里程计获得的。
然后使用 imu 预积分和 scan-matching 之间的误差来确定初始分辨率（即每个像素对应多少个 fov 角度）。
rf-lio 使用此初始分辨率从当前激光雷达扫描和相应的子图分别构建距离图像。
通过比较它们的能见度，去除子图的大部分动态点。
rf-lio 将激光雷达扫描与子图进行匹配，并判断 scan-matching 是否收敛。
如果是收敛的，经过图优化后，用最终的高分辨率去除当前关键帧中剩余的动态点，否则，将生成新的分辨率，并重复步骤2、3、4。
1.3 现代配准思路—-通过深度学习实现动态物体识别
而当前更流行的方式则是基于deep-learning直接识别出动态物体并将点云去除。
“dynamic object aware lidar slam based on automatic generation of training data ”。
作者基于deep-learning（3d-mininet网络）进行实时3d动态物体检测，滤除动态物体后的点云被喂给loam，进行常规的激光slam。
文中提到为了克服动态障碍物的问题并支持机器人在现实世界场景中的部署，文章提出了一个用于动态对象感知激光雷达slam算法。
文中提出了一种新颖的端到端占用网格管道，可以自动标记各种各样的任意动态对象。
从结果中，我们可以大致看出其可以有效地对动态障碍物完成分割。
2. 动态物体滤除
2.1 环境物体分类
环境中的所有物体依据“动态程度”的不同，分为四类：
高动态物体：实时移动的物体，如行人、车辆、跑动的宠物…
低动态物体：短暂停留的物体，如站在路边短暂交谈的人…
半静态物体：在一个slam周期中不动，但是并非永远不动的物体，如停车场的车辆、堆放的物料、临时工棚、临时围墙、商场中临时搭建的舞台…
静态物体：永远不动的物体，如建筑物、马路、路沿、交通信号灯杆…
除了静态物体外的其它三类物体，都有不同程度上的动态属性，应对策略也各不相同：
针对高动态物体：在线实时过滤
针对低动态物体：一次slam过程结束后，后处理方式过滤
针对半静态物体：全生命周期建图（life-longmapping, or long-term mapping）
2.2 实时点云过滤
实时动态点云过滤一定需要参考帧来比对出动态点，上面一节主要讲述的就是动态点云滤除的操作，主要是分为传统滤除方法以及深度学习滤除方法。
在深度学习方面基本思路就是先通过深度学习完成动态障碍物的分割，然后将分割好的点云数据放入slam当中。
这里主要阐述一个基于深度学习的三维激光雷达动态物体分割（lidar-mos）方法，论文提出了一种利用深度学习和时空信息结合的方法实现了三维激光雷达动态物体分割，并用以提高激光雷达slam定位和建图的精度。
在这项工作中，我们的目标是对 lidar 数据进行动态物体分割 （lidar mos）。
在这项工作中，与点云语义分割不同的是我们的任务不是要预测点云的语义类别，如车辆、道路、建筑物等，而是更专注于将场景分割成两部分：
一部分是实际移动的物体，例如正在行驶的汽车、行人，另一部分是静态物体，例如停放的汽车和静态背景，例如道路和建筑物等。
我们提出了一种新的基于深度学习的方法，该方法利用 lidar 距离图像（range image），运算速度非常快，能够实现在线实时点云动态物体分割。
上面所展示的是该方法的概述图。我们使用基于距离图像的 lidar 表示方式和神经网络来实现在线动态物体分割。
给定当前激光雷达观测和过去的激光雷达数据，我们首先生成过去lidar数据和当前 lidar 观测之间的“残差图像”（residual image），通过这种方式，我们可以得到时间上的序列信息。
生成残差图像后，我们将残差图与当前扫描连接到一起，一同用作神经网络的输入。
然后我们利用所提出的动态物体二分类标签训练神经网络，该标签仅包含移动和非移动的两个类别。
最终，所提出的方法可以实现对激光雷达数据中动静物体的检测和分离。
2.3 后处理点云过率
后处理方式由于不需要顾虑实时性，因此可以将整个slam周期内的所有帧作为参考信息，来识别动态点。
相比于实时方式，后处理方式更追求动态点云滤除的准确性和充分性。
以后处理方式为前提，常见的动态物体过滤方法可以分为典型的三类：segmentation-based, ray-casting based, 和 visibility-based
visibility-based其基本思路是，把一个queryscan投影为深度图，然后在同一视点把queryscan附近的submap也投影为一个深度图，比对两个深度图上同一位置的像素深度。
如果后者深度更浅，则该像素位置对应submap上的点为动态点（前方的点把后方的点遮挡了，则前方的点为动态点）。
remove, then revert: static point cloud map construction using multiresolution range images
这篇文章以此为基本原理，做了诸多改进，并用更粗糙分辨率的深度图对比来恢复被误杀的静态点。
本文为基于视点可见性（或基于深度图）的方法提供了参考。
2.4 life-long建图
life-long mapping的核心问题，其实远不止动态/半静态物体过滤。
动态/半静态物体过滤只是life-long过程中不同session之间地图融合的一部分。
lt-mapper: a modular framework for lidar-based lifelong mapping提出一个long-term的点云建图系统
其基本结构如下：
multi-session slam优化
不同时间构建的点云地图diff检测
地图更新和长期地图管理
multi-session slam:
每个session的点云地图通过关键帧构建，对不同session的关键帧进行anchor node检测，基于anchor帧构建的闭环因子实现multi-session之间offset的修正。
在保证单个session pose最优的情况下，multi-session之间的pose也是对齐的；
diff检测：
首先会对新session的每一帧点云划分动态点检测，动态点会划分为高动态（hd）和低动态 (ld) 两种，高动态的点会在单次建图完成后直接去除，低动态的点会根据kd-tree阈值区分。
地图更新和长期地图管理
构造两种类型的静态地图：移除弱pd的meta map和保留弱pd的live map。metamap和livemap的示例如图3所示。
在live map中，场景的最新表示将得到有效维护。在meta map中，non-volume-maximizing points被迭代删除（红色框），而其他永久结构保留。
我们可以发现该life-long算法在第二部分也是对静态和半静态进行了滤波
3. 有所思考
目前众多的开源方案中，基本上只要用了自己的数据集，就很少能达到论文展示的效果。
一种方法即使在理论上是完备的，实际中受限于雷达线束密集程度，轨迹误差等因素，也不可能达到理想的效果。
目前但就过滤动态障碍物而言，个人还是提倡使用深度学习，因为传统的pcl的ransec过滤方法难以满足真实场景下的需求。
上文提到的实时处理/后处理/life-long处理这三种方法本质上基本一致，只是面对不同的需求设计了相似的方法，完全可以替换
可以尝试多传感器融合来规避这些问题，像激光、视觉、惯导里程等，因为通常环境变化不会对所有传感器产生影响
也有人指出对于机器人来说slam的目的还是用来导航，导航只关心机器人对自身位置的感知，并不关心地图是不是有误差，所以可以使用位姿的拓扑图来代替这类点云地图。
永磁无刷直流电机控制在电动、园林工具上的应用
Murata推出两级DC/DC转换器的BEI15系列
带屏智能音箱成为新的市场增长点 低价牌无法长久打下去
蓝山月销破5千，魏牌拨云见蓝天
基于超低压差线性稳压器 RT9048A的PCB设计实现
围绕深度学习的方法来讲述激光雷达分割的问题
索尼XperiaXZ1评测 值不值得买
AMD发布新款锐龙嵌入式 性能将提升3倍
中国将突破ASML在极紫外光刻技术上的垄断？
24位立体声编解码器AK4957的性能特性及应用
谷歌云业务再次迎来蓬勃发展
TI推出最新Sitara AM335x ARM Cortex-A8微处理器
易华录出席2021京津冀交通协同发展大会
机器人流程自动化的意义
印制电路板制造中磁力线热熔工艺研究
安森美半导体为可穿戴电子领域推出全面的开发资源
电力线载波技术及两种协议在智能家居网络中的应用
开关电源的PCB应该如何布线来降低EMI详细技巧说明
一种崭新的光通信技术问世，光导纤维通信
“中微普业”高速数据线缆测试解决方案
激光雷达作为自动驾驶中最常用的传感器之一，由于其深度感知特性优良，这也让以激光slam为主的slam方法被广泛应用。
但是我们发现在人员密集，车辆密集的场景经常会造成点云定位效果不佳，而这些情况传统滤波方法是没有办法解决的。
本篇将主要围绕着深度学习的方法来讲述激光雷达分割的问题。
1. slam配准与建图
无论哪种点云配准方式（点到点/点到特征/点到栅格/ndt），都是基于静态假设的，理论上动态点一定会影响配准的精度，当然这一点用于建好地图的定位也同样适用。
当一帧中如果动态点比例过高的话，会造成轨迹精度下降，甚至不排除跑飞的可能。
在这个层面，只能通过实时的方式在配准之前或配准过程中，识别并干掉动态点。
如果我们认为动态物体对配准的干扰有限，不太影响轨迹精度，但我们还是无法忍受最终生成的地图中充斥着大量动态物体的“鬼影”（如下图所示）。
这会对后期基于地图的定位、或者基于地图的可行域规划（路径规划）产生不利的影响。
1.1 传统配准思路—-通过聚类+卡尔曼滤波预测过滤动态障碍物
传统方式比如在配准迭代过程中剔除距离过远的点，物检测流程一般如下：
考虑到车上有多个传感器共同作业，需要对输入的激光点云做时间同步和外参标定。
考虑到激光雷达的采样噪声和点云数据量大的问题，需要对点云做预处理，减少数据量，剔除噪声点。
每帧点云数据中包含了大量的地面点，检测的目的是获取道路障碍物信息，需要进一步分割出地面上的点云。
地面上的障碍物点通常采用无监督的聚类算法形成多个团簇，每个团簇则表示一个障碍物。
针对团簇的物体识别可以根据任务需求而定，如果需要类别信息，可以采用特征提取+分类器的方式分类障碍物。
对每一块团簇做包围框拟合，计算障碍物属性，比如中心点，质心点，长宽高等。
对每一个障碍物构建一个卡尔曼滤波器做跟踪，平滑输出，从而来判断是否运动。
1.2 传统配准思路—-适用submap来精配准
“rf-lio: removal-first tightly-coupled lidar inertial dometry in high dynamic environments ”，这项工作就是传统的匹配滤波的思路。
它建立在 lio-sam 的基础上，先剔除是指所提出的rf-lio首先去除没有准确姿势的运动物体，然后采用 scan-matching 。
当新的scan到达时，rf-lio不会立即执行扫描匹配以获得准确的位姿，因为它很容易受到动态环境的影响。
相反，我们使用紧耦合惯性测量单元 (imu) 里程计来获得粗略的初始状态估计，然后 rf-lio 可以利用自适应分辨率距离图像初步去除环境中的运动点。
在初步去除运动点后，rf-lio 使用 scan-matching 来获得相对更准确的位姿。
在精配准迭代过程中，不断基于初值和多分辨率深度图检测submap中的动态点并移除，最终实现基于“静态submap”的精配准。
因此，即使在高动态环境中也可以获得准确的姿势。
实验结果表明，在高动态环境下与 loam 和 lio-sam 相比，所提出的 rf-lio 的绝对轨迹精度可以分别提高 90% 和 70%。
rf-lio 的总体框架，它由三个主要模块组成：imu 预积分、特征提取和建图。首先，imu 预积分模块用于推断系统运动并生成 imu 里程计。
然后，特征提取模块补偿点云的运动畸变。通过评估点的粗糙度来提取边缘和平面特征。
建图模块是我们提出方法的关键模块，要在没有准确位姿的情况下先去除动态物体，
有几个关键步骤：
初始位姿是通过 imu 里程计获得的。
然后使用 imu 预积分和 scan-matching 之间的误差来确定初始分辨率（即每个像素对应多少个 fov 角度）。
rf-lio 使用此初始分辨率从当前激光雷达扫描和相应的子图分别构建距离图像。
通过比较它们的能见度，去除子图的大部分动态点。
rf-lio 将激光雷达扫描与子图进行匹配，并判断 scan-matching 是否收敛。
如果是收敛的，经过图优化后，用最终的高分辨率去除当前关键帧中剩余的动态点，否则，将生成新的分辨率，并重复步骤2、3、4。
1.3 现代配准思路—-通过深度学习实现动态物体识别
而当前更流行的方式则是基于deep-learning直接识别出动态物体并将点云去除。
“dynamic object aware lidar slam based on automatic generation of training data ”。
作者基于deep-learning（3d-mininet网络）进行实时3d动态物体检测，滤除动态物体后的点云被喂给loam，进行常规的激光slam。
文中提到为了克服动态障碍物的问题并支持机器人在现实世界场景中的部署，文章提出了一个用于动态对象感知激光雷达slam算法。
文中提出了一种新颖的端到端占用网格管道，可以自动标记各种各样的任意动态对象。
从结果中，我们可以大致看出其可以有效地对动态障碍物完成分割。
2. 动态物体滤除
2.1 环境物体分类
环境中的所有物体依据“动态程度”的不同，分为四类：
高动态物体：实时移动的物体，如行人、车辆、跑动的宠物…
低动态物体：短暂停留的物体，如站在路边短暂交谈的人…
半静态物体：在一个slam周期中不动，但是并非永远不动的物体，如停车场的车辆、堆放的物料、临时工棚、临时围墙、商场中临时搭建的舞台…
静态物体：永远不动的物体，如建筑物、马路、路沿、交通信号灯杆…
除了静态物体外的其它三类物体，都有不同程度上的动态属性，应对策略也各不相同：
针对高动态物体：在线实时过滤
针对低动态物体：一次slam过程结束后，后处理方式过滤
针对半静态物体：全生命周期建图（life-longmapping, or long-term mapping）
2.2 实时点云过滤
实时动态点云过滤一定需要参考帧来比对出动态点，上面一节主要讲述的就是动态点云滤除的操作，主要是分为传统滤除方法以及深度学习滤除方法。
在深度学习方面基本思路就是先通过深度学习完成动态障碍物的分割，然后将分割好的点云数据放入slam当中。
这里主要阐述一个基于深度学习的三维激光雷达动态物体分割（lidar-mos）方法，论文提出了一种利用深度学习和时空信息结合的方法实现了三维激光雷达动态物体分割，并用以提高激光雷达slam定位和建图的精度。
在这项工作中，我们的目标是对 lidar 数据进行动态物体分割 （lidar mos）。
在这项工作中，与点云语义分割不同的是我们的任务不是要预测点云的语义类别，如车辆、道路、建筑物等，而是更专注于将场景分割成两部分：
一部分是实际移动的物体，例如正在行驶的汽车、行人，另一部分是静态物体，例如停放的汽车和静态背景，例如道路和建筑物等。
我们提出了一种新的基于深度学习的方法，该方法利用 lidar 距离图像（range image），运算速度非常快，能够实现在线实时点云动态物体分割。
上面所展示的是该方法的概述图。我们使用基于距离图像的 lidar 表示方式和神经网络来实现在线动态物体分割。
给定当前激光雷达观测和过去的激光雷达数据，我们首先生成过去lidar数据和当前 lidar 观测之间的“残差图像”（residual image），通过这种方式，我们可以得到时间上的序列信息。
生成残差图像后，我们将残差图与当前扫描连接到一起，一同用作神经网络的输入。
然后我们利用所提出的动态物体二分类标签训练神经网络，该标签仅包含移动和非移动的两个类别。
最终，所提出的方法可以实现对激光雷达数据中动静物体的检测和分离。
2.3 后处理点云过率
后处理方式由于不需要顾虑实时性，因此可以将整个slam周期内的所有帧作为参考信息，来识别动态点。
相比于实时方式，后处理方式更追求动态点云滤除的准确性和充分性。
以后处理方式为前提，常见的动态物体过滤方法可以分为典型的三类：segmentation-based, ray-casting based, 和 visibility-based
visibility-based其基本思路是，把一个queryscan投影为深度图，然后在同一视点把queryscan附近的submap也投影为一个深度图，比对两个深度图上同一位置的像素深度。
如果后者深度更浅，则该像素位置对应submap上的点为动态点（前方的点把后方的点遮挡了，则前方的点为动态点）。
remove, then revert: static point cloud map construction using multiresolution range images
这篇文章以此为基本原理，做了诸多改进，并用更粗糙分辨率的深度图对比来恢复被误杀的静态点。
本文为基于视点可见性（或基于深度图）的方法提供了参考。
2.4 life-long建图
life-long mapping的核心问题，其实远不止动态/半静态物体过滤。
动态/半静态物体过滤只是life-long过程中不同session之间地图融合的一部分。
lt-mapper: a modular framework for lidar-based lifelong mapping提出一个long-term的点云建图系统
其基本结构如下：
multi-session slam优化
不同时间构建的点云地图diff检测
地图更新和长期地图管理
multi-session slam:
每个session的点云地图通过关键帧构建，对不同session的关键帧进行anchor node检测，基于anchor帧构建的闭环因子实现multi-session之间offset的修正。
在保证单个session pose最优的情况下，multi-session之间的pose也是对齐的；
diff检测：
首先会对新session的每一帧点云划分动态点检测，动态点会划分为高动态（hd）和低动态 (ld) 两种，高动态的点会在单次建图完成后直接去除，低动态的点会根据kd-tree阈值区分。
地图更新和长期地图管理
构造两种类型的静态地图：移除弱pd的meta map和保留弱pd的live map。metamap和livemap的示例如图3所示。
在live map中，场景的最新表示将得到有效维护。在meta map中，non-volume-maximizing points被迭代删除（红色框），而其他永久结构保留。
我们可以发现该life-long算法在第二部分也是对静态和半静态进行了滤波
3. 有所思考
目前众多的开源方案中，基本上只要用了自己的数据集，就很少能达到论文展示的效果。
一种方法即使在理论上是完备的，实际中受限于雷达线束密集程度，轨迹误差等因素，也不可能达到理想的效果。
目前但就过滤动态障碍物而言，个人还是提倡使用深度学习，因为传统的pcl的ransec过滤方法难以满足真实场景下的需求。
上文提到的实时处理/后处理/life-long处理这三种方法本质上基本一致，只是面对不同的需求设计了相似的方法，完全可以替换
可以尝试多传感器融合来规避这些问题，像激光、视觉、惯导里程等，因为通常环境变化不会对所有传感器产生影响
也有人指出对于机器人来说slam的目的还是用来导航，导航只关心机器人对自身位置的感知，并不关心地图是不是有误差，所以可以使用位姿的拓扑图来代替这类点云地图。
永磁无刷直流电机控制在电动、园林工具上的应用
Murata推出两级DC/DC转换器的BEI15系列
带屏智能音箱成为新的市场增长点 低价牌无法长久打下去
蓝山月销破5千，魏牌拨云见蓝天
基于超低压差线性稳压器 RT9048A的PCB设计实现
围绕深度学习的方法来讲述激光雷达分割的问题
索尼XperiaXZ1评测 值不值得买
AMD发布新款锐龙嵌入式 性能将提升3倍
中国将突破ASML在极紫外光刻技术上的垄断？
24位立体声编解码器AK4957的性能特性及应用
谷歌云业务再次迎来蓬勃发展
TI推出最新Sitara AM335x ARM Cortex-A8微处理器
易华录出席2021京津冀交通协同发展大会
机器人流程自动化的意义
印制电路板制造中磁力线热熔工艺研究
安森美半导体为可穿戴电子领域推出全面的开发资源
电力线载波技术及两种协议在智能家居网络中的应用
开关电源的PCB应该如何布线来降低EMI详细技巧说明
一种崭新的光通信技术问世，光导纤维通信
“中微普业”高速数据线缆测试解决方案