自动驾驶环境感知——激光雷达物体检测(chapter4)
1. 基本概念
相比于视觉间接地获取3d信息，激光雷达可以直接获取目标及场景的3d信息，但是激光雷达不能获取纹理、颜色等特征，因此激光雷达和相机是互补的
调频连续波是毫米波雷达测距的原理。
随着自动驾驶级别的提高，对于激光雷达的需求也逐渐提高。
激光雷达不仅可以做到多视图融合，还能进行多传感器融合(此时是一个状态估计问题，将不同传感器的感知结果看成是观测)。
2. 点云数据库
随着工业界落地需求的增加，数据集的规模也越来越大。
3. 物体检测算法
3.1 点视图
pointnet直接处理无序点云，因此在最后需要借助一个操作(例如max_poolingaverage_pooling)来消除最终的结果与点云输入顺序间的关联
pointnet++逐层提取特征扩大感受野。pointnet++可以将聚类结果作为候选框生成的依据：对聚类结果中的每个点关联一组锚框，并且进行分类与回归的操作(类似rpn网络)
point-rcnn通过前景分割的方式来避免耗时的聚类过程，但是也会存在较为耗时的全局搜索过程。
3d-ssd通过改进聚类的质量，直接在聚类结果上生成候选框。
3.2 俯视图
voxelnet通过将三维空间划分成体素，并在每个体素内进行特征提取，形成四维张量(d, h, w, c)。
利用3d-cnn对四维张量进行特征提取，并将高度方向上压缩为1d，得到三维张量(h', w', c')。最后，利用2d视觉感知算法进行检测任务。
voxelnet在划分体素时，由于点云是稀疏的，会导致大量体素是空白的，这样在进行3d卷积时会造成很多无效计算。
second采用稀疏卷积避免空白体素区域的无效计算
pixor将高度方向划分为h个等级，如果有点云落在某个格子里，此处的occupancy为1，且intensity为格子里点云强度的均值。
afdet经过轻量级的点云特征提取，首先将点云体素化，并且每个体素的特征为点云反射强度的均值，再用稀疏3d卷积进行特征提取。这样，可以将四维张量变为伪图像的三维张量。
afdet中的自校准卷积其实就是对三维张量施加了注意力机制。
afdet与centernet比较类似：先预测中心点的objectiveness，然后结合z轴方向的预测，可以得到物体在三维坐标系中的位置；接着预测物体框的大小和朝向，以及物体中心点的偏移；同时，会加入物体框的iou置信度预测(衡量框的质量好坏，因为中心点objectiveness不包含框质量的信息)和关键点预测
点视图的精度一般较高，因为没有量化损失
俯视图可以并行优化，一般速度较快
3.3 前视图
前视图虽然是网格结构，但是编码了三维空间信息，因此需要设计额外的操作来提取空间信息。
采用普通卷积提取特征，会损失空间信息
meta-kernel是动态变化的：1）对于同一样本的不同位置是不同的；2）对于不同样本相同位置也是不同的。普通卷积对于不同样本的相同位置都是一样的。因此，meta-kernel可以看作是对样本和位置的一种注意力机制。
3.4 多视图融合
voxel特征可看作粗粒度的特征，而点特征可看作细粒度特征
每个pillar内部采用pointnet进行特征提取，并采用maxpooling将同一个pillar内部多个点的特征压缩成一个全局特征，从而形成伪图像
当预测的角度与真实的角度相差180°时，δθ的损失值一样，因此加入l_dir弥补这一缺点，但是权重要小一点。
粗粒度与细粒度特征的融合
对候选框中的稀疏点集进行扩展
将3d proposal分别向bevfront viewimage上投影
在俯视图上通过自车运动的补偿，融合多帧信息进行检测(可以将多帧图像拼接在一起送入检测网络提取特征，并进行检测)
虽受疫情影响，但智能音箱市场的销售仍在增长
SMP、NUMA、MPP体系结构比较
Chiplet规划进入高速档
2024年全球个人电脑市场将增长8%，出货达2.67亿台
国产12nm芯片 紫光国芯攻克12nm工艺
自动驾驶环境感知——激光雷达物体检测(chapter4)
高折射率AR光学晶圆概述
选择交换机前需要考虑哪些主要因素
无人机最新出台“酒驾”法规
快恢复二极管P-i-N的基本结构
SimpleFOC之多路PWM驱动，相电流监测1
浅谈中国移动的20年发展史
华为能否在系统上比肩苹果？
紧急出租/出售8960/CMU200手机综合测试仪
功能丰富、完善的GSM/GPRS蜂窝电话音频记录/回放方案
坚果官方公布调价消息：坚果R2到手价仅需2999元起
华硕也要进军VR了！明年推出PC VR虚拟现实方案
人工智能在健康穿戴设备中的应用
ISM-RF接收机中的静噪
高通推出单模NB2芯片组，有助于扩大NB-IoT市场覆盖面
相比于视觉间接地获取3d信息，激光雷达可以直接获取目标及场景的3d信息，但是激光雷达不能获取纹理、颜色等特征，因此激光雷达和相机是互补的
调频连续波是毫米波雷达测距的原理。
随着自动驾驶级别的提高，对于激光雷达的需求也逐渐提高。
激光雷达不仅可以做到多视图融合，还能进行多传感器融合(此时是一个状态估计问题，将不同传感器的感知结果看成是观测)。
2. 点云数据库
随着工业界落地需求的增加，数据集的规模也越来越大。
3. 物体检测算法
3.1 点视图
pointnet直接处理无序点云，因此在最后需要借助一个操作(例如max_poolingaverage_pooling)来消除最终的结果与点云输入顺序间的关联
pointnet++逐层提取特征扩大感受野。pointnet++可以将聚类结果作为候选框生成的依据：对聚类结果中的每个点关联一组锚框，并且进行分类与回归的操作(类似rpn网络)
point-rcnn通过前景分割的方式来避免耗时的聚类过程，但是也会存在较为耗时的全局搜索过程。
3d-ssd通过改进聚类的质量，直接在聚类结果上生成候选框。
3.2 俯视图
voxelnet通过将三维空间划分成体素，并在每个体素内进行特征提取，形成四维张量(d, h, w, c)。
利用3d-cnn对四维张量进行特征提取，并将高度方向上压缩为1d，得到三维张量(h', w', c')。最后，利用2d视觉感知算法进行检测任务。
voxelnet在划分体素时，由于点云是稀疏的，会导致大量体素是空白的，这样在进行3d卷积时会造成很多无效计算。
second采用稀疏卷积避免空白体素区域的无效计算
pixor将高度方向划分为h个等级，如果有点云落在某个格子里，此处的occupancy为1，且intensity为格子里点云强度的均值。
afdet经过轻量级的点云特征提取，首先将点云体素化，并且每个体素的特征为点云反射强度的均值，再用稀疏3d卷积进行特征提取。这样，可以将四维张量变为伪图像的三维张量。
afdet中的自校准卷积其实就是对三维张量施加了注意力机制。
afdet与centernet比较类似：先预测中心点的objectiveness，然后结合z轴方向的预测，可以得到物体在三维坐标系中的位置；接着预测物体框的大小和朝向，以及物体中心点的偏移；同时，会加入物体框的iou置信度预测(衡量框的质量好坏，因为中心点objectiveness不包含框质量的信息)和关键点预测
点视图的精度一般较高，因为没有量化损失
俯视图可以并行优化，一般速度较快
3.3 前视图
前视图虽然是网格结构，但是编码了三维空间信息，因此需要设计额外的操作来提取空间信息。
采用普通卷积提取特征，会损失空间信息
meta-kernel是动态变化的：1）对于同一样本的不同位置是不同的；2）对于不同样本相同位置也是不同的。普通卷积对于不同样本的相同位置都是一样的。因此，meta-kernel可以看作是对样本和位置的一种注意力机制。
3.4 多视图融合
voxel特征可看作粗粒度的特征，而点特征可看作细粒度特征
每个pillar内部采用pointnet进行特征提取，并采用maxpooling将同一个pillar内部多个点的特征压缩成一个全局特征，从而形成伪图像
当预测的角度与真实的角度相差180°时，δθ的损失值一样，因此加入l_dir弥补这一缺点，但是权重要小一点。
粗粒度与细粒度特征的融合
对候选框中的稀疏点集进行扩展
将3d proposal分别向bevfront viewimage上投影
在俯视图上通过自车运动的补偿，融合多帧信息进行检测(可以将多帧图像拼接在一起送入检测网络提取特征，并进行检测)
虽受疫情影响，但智能音箱市场的销售仍在增长
SMP、NUMA、MPP体系结构比较
Chiplet规划进入高速档
2024年全球个人电脑市场将增长8%，出货达2.67亿台
国产12nm芯片 紫光国芯攻克12nm工艺
自动驾驶环境感知——激光雷达物体检测(chapter4)
高折射率AR光学晶圆概述
选择交换机前需要考虑哪些主要因素
无人机最新出台“酒驾”法规
快恢复二极管P-i-N的基本结构
SimpleFOC之多路PWM驱动，相电流监测1
浅谈中国移动的20年发展史
华为能否在系统上比肩苹果？
紧急出租/出售8960/CMU200手机综合测试仪
功能丰富、完善的GSM/GPRS蜂窝电话音频记录/回放方案
坚果官方公布调价消息：坚果R2到手价仅需2999元起
华硕也要进军VR了！明年推出PC VR虚拟现实方案
人工智能在健康穿戴设备中的应用
ISM-RF接收机中的静噪
高通推出单模NB2芯片组，有助于扩大NB-IoT市场覆盖面