基于摄像技术的点云配准
一、点云配准基础知识
1．入门知识及背景
1）点云概念
点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（point cloud）。
2）点云图像是最基础也是最常见的三维图像。
那什么是三维图像呢？三维图像是一种特殊的图像信息表达形式。相比较于常见的二维图像，其最大的特征是表达了空间中三个维度（长度宽度和深度）的数据。
3）三维图像的表现形式
深度图（以灰度表达物体与相机的距离），几何模型（由cad软件建立），点云模型（所有逆向工程设备都将物体采样成点云）。
4）点云根据测量原理主要分为两种
根据激光测量原理得到的点云，包括三维坐标（xyz）和激光反射强度（intensity）。强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
根据摄影测量原理得到的点云，包括三维坐标（xyz）和颜色信息（rgb）。
当然也有把激光和摄影相结合在一起的（多传感器融合技术），这种结合激光测量和摄影测量原理得到点云，包括三维坐标（xyz）、激光反射强度（intensity）和颜色信息（rgb）。
本次的文章主要讲的是基于摄像技术的点云配准。
5）点云的获取设备
rgbd设备（深度摄像机）是可以获取点云的设备。比如primesense公司的primesensor、微软的kinect、华硕的xtionpro。
6）点云的属性
空间分辨率、点位精度、表面法向量等。
7）点云存储格式
.pts; .asc ; *.dat; .stl ; [1] .imw；.xyz；.las。
8）点云的数据类型
（1）pcl::pointxyz
pointxyz 成员：float x，y，z;表示了xyz3d信息，可以通过points[i].data[0]或points[i].x访问点x的坐标值
（2）pcl::pointxyzi
pointxyzi成员：float x, y, z, intensity; 表示xyz信息加上强度信息的类型。
（3）pcl::pointxyzrgb
pointxyzrgb 成员：float x,y,z,rgb; 表示xyz信息加上rgb信息，rgb存储为一个float。
（4）pcl::pointxyzrgba
pointxyzrgba 成员：float x , y, z; uint32_t rgba; 表示xyz信息加上rgba信息，rgba用32bit的int型存储的。
（5） pointxy 成员：float x,y;简单的二维x-y点结构
（6）normal结构体：
表示给定点所在样本曲面上的法线方向，以及对应曲率的测量值，用第四个元素来占位，兼容sse和高效计算
9）点云处理的三个层次
一般将图像处理分为三个层次，低层次包括图像强化，滤波，关键点/边缘检测等基本操作。中层次包括连通域标记（label），图像分割等操作。高层次包括物体识别，场景分析等操作。工程中的任务往往需要用到多个层次的图像处理手段。
pcl官网对点云处理方法给出了较为明晰的层次划分：
低层次处理方法
①滤波方法：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。②关键点：iss3d、harris3d、narf，sift3d
中层次处理方法
①特征描述：法线和曲率的计算、特征值分析、shot、pfh、fpfh、3d shape context、spin image
②分割与分类：
分割：区域生长、ransac线面提取、全局优化平面提取
k-means、normalize cut（context based）
3d hough transform(线、面提取)、连通分析
分类：基于点的分类，基于分割的分类，基于深度学习的分类（pointnet，octnet）
高层次处理方法
①配准
点云配准分为粗配准（coarse registration）和精配准（fine registration）两个阶段。
精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。应用最为广泛的精配准算法应该是icp以及icp的各种变种（稳健icp、point to plane icp、point to line icp、mbicp、gicp、nicp）。
粗配准是指在点云相对位姿完全未知的情况下对点云进行配准，可以为精配准提供良好的初始值。当前较为普遍的点云自动粗配准算法包括基于穷举搜索的配准算法和基于特征匹配的配准算法。
基于穷举搜索的配准算法：
遍历整个变换空间以选取使误差函数最小化的变换关系或者列举出使最多点对满足的变换关系。如ransac配准算法、四点一致集配准算法（4-point congruent set, 4pcs）、super4pcs算法等……
基于特征匹配的配准算法：
通过被测物体本身所具备的形态特性构建点云间的匹配对应，然后采用相关算法对变换关系进行估计。如基于点fpfh特征的sac-ia、fgr等算法、基于点shot特征的ao算法以及基于线特征的icl等…
②slam图优化
ceres（google的最小二乘优化库，很强大）， g2o、lum、elch、toro、spa
slam方法：icp、mbicp、idc、likehood field、ndt
③三维重建
泊松重建、 delaunay triangulations、表面重建，人体重建，建筑物重建，树木重建。结构化重建：不是简单的构建一个mesh网格，而是为场景进行分割，为场景结构赋予语义信息。场景结构有层次之分，在几何层次就是点线面。实时重建：重建植被或者农作物的4d（3d+时间）生长态势；人体姿势识别；表情识别；
④点云数据管理
点云压缩，点云索引（kd、octree），点云lod（金字塔），海量点云的渲染。
参考博客：blog.csdn.net/hongju_ta
10）点云配准在三维重建中的应用
以上是关于点云配准的最最基础的知识，其他专业的知识请参见一下其他博客。
1. 关于三维计算机视觉的研究内容
cnblogs.com/yhlx125/p/4
2. 关于点云数据处理方法
（三维计算机视觉中点云数据处理面对的问题，主要方法和技术，概述其特点。）
blog.csdn.net/pdw521/ar
二、书籍和文献
书籍
由于纯粹的点云配准技术发展的并不是很成熟，所以关于点云配准的书籍目前很少，我了解的书籍只有一本国防工业出版社的《点云数据配准及曲面细分技术》讲解了点云配准的相关技术，但主要内容稍显过时，适合没有基础的小白看看，参考意义不多。
笔者主要还是从博客和硕士博士论文中学习
文献
朱琛琛. 基于icp算法的点云配准研究[d]. 2019.（注：基于摄像技术的点云配准）
点云配准若干问题研究[d].2018. （注：基于雷达激光的点云配准）
besl p j , mckay h d . a method for registration of 3-d shapes[j]. ieee transactions on pattern analysis and machine intelligence, 1992, 14(2):0-256.
aiger d , mitra n j , cohen-or d . 4-points congruent sets for robust pairwise surface registration[j]. acm transactions on graphics, 2008, 27(3):1.
automatic registration of large-scale urban scene point clouds based on semantic feature points[j]. isprs journal of photogrammetry and remote sensing, 2016, 113:43-58.
三、课程与博客
1）点云配准算法的说明与流程介绍：
blog.csdn.net/ha_ku/art
2）几种点云配准算法的方法的介绍与比较：
blog.csdn.net/weixin_43
3）三维点云用机器学习的方法进行处理：
blog.csdn.net/u01463624
4）以一个例子详细介绍了点云配准的过程：
zhihu.com/question/3417
四、数据集
the stanford 3d scanning repository（斯坦福大学的3d扫描存储库）
链接：graphics.stanford.edu/d
这应该是做点云数据最初大家用最多的数据集，其中包含最开始做配准的bunny、happy buddha、dragon等模型。
shapenet
shapenet是一个丰富标注的大规模点云数据集，其中包含了55中常见的物品类别和513000个三维模型。
the kitti vision benchmark suite
链接：cvlibs.net/datasets/kit
这个数据集来自德国卡尔斯鲁厄理工学院的一个项目，其中包含了利用kit的无人车平台采集的大量城市环境的点云数据集（kitti），这个数据集不仅有雷达、图像、gps、ins的数据，而且有经过人工标记的分割跟踪结果，可以用来客观的评价大范围三维建模和精细分类的效果和性能。
robotic 3d scan repository
链接：kos.informatik.uni-osnabrueck.de
这个数据集比较适合做slam研究，包含了大量的riegl和velodyne雷达数据
佐治亚理工大型几何模型数据集
链接：cc.gatech.edu/projects/
pascal3d+
链接：cvgl.stanford.edu/proje
包含了12中刚体分类，每一类超过了3000个实例。并且包含了对应的imagenet中每一类的图像。
其他总结
链接：github.com/timzhang642/
五、开源工具
meshlab
简介：是一款开源、可移植和可扩展的三维几何处理系统。主要用于处理和编辑3d三角网格，它提供了一组用于编辑、清理、修复、检查、渲染、纹理化和转换网格的工具。提供了处理由3d数字化工具/设备生成的原始数据以及3d打印功能，功能全面而且丰富。meshlab支持多数市面上常见的操作系统，包括windows、linux及mac os x，支持输入/输出的文件格式有：stl 、obj 、 vrml2.0、u3d、x3d、collada meshlab可用于各种学术和研究环境，如微生物学、文化遗产及表面重建等。
光通讯市场扩容，F5G时代到来
基于Flyboost模块的新型单级功率因数校正变换器
为什么要针对性的测试扩频时钟SSC呢？
常用元器件结构原理介绍
格力首款5G手机上市,采用极致窄边框设计
基于摄像技术的点云配准
AI巨头间的人才争夺战_员工互换已陷入死循环
三菱Q系列PLC远程调试并实现4G/5G数据通讯？
晶澳科技绿色光伏产品及服务累计电池组件出货量超过95GW
探索“星下点”之旅：数字航天，奇妙无限
拥有黑科技的智能化妆镜，它拥有着多种多样的功能
低代码平台或将超越应用开发
部署5G,四大运营商各有侧重
一加4、小米6、iPhone8各自放出自己的底牌，要开始一场激烈的厮杀
如何减少CAD图纸文件大小
英特尔推出第二代低温控制芯片Horse Ridge II
[组图]简易三极管性能判测器
300W光伏电池转换器STEVAL-ISV008V1的性能特点及应用
动力电池pack生产工艺流程_动力电池PACK四大工艺介绍
ICT行业2020：转危为机，推动数字经济全面发展
1．入门知识及背景
1）点云概念
点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（point cloud）。
2）点云图像是最基础也是最常见的三维图像。
那什么是三维图像呢？三维图像是一种特殊的图像信息表达形式。相比较于常见的二维图像，其最大的特征是表达了空间中三个维度（长度宽度和深度）的数据。
3）三维图像的表现形式
深度图（以灰度表达物体与相机的距离），几何模型（由cad软件建立），点云模型（所有逆向工程设备都将物体采样成点云）。
4）点云根据测量原理主要分为两种
根据激光测量原理得到的点云，包括三维坐标（xyz）和激光反射强度（intensity）。强度信息与目标的表面材质、粗糙度、入射角方向，以及仪器的发射能量，激光波长有关。
根据摄影测量原理得到的点云，包括三维坐标（xyz）和颜色信息（rgb）。
当然也有把激光和摄影相结合在一起的（多传感器融合技术），这种结合激光测量和摄影测量原理得到点云，包括三维坐标（xyz）、激光反射强度（intensity）和颜色信息（rgb）。
本次的文章主要讲的是基于摄像技术的点云配准。
5）点云的获取设备
rgbd设备（深度摄像机）是可以获取点云的设备。比如primesense公司的primesensor、微软的kinect、华硕的xtionpro。
6）点云的属性
空间分辨率、点位精度、表面法向量等。
7）点云存储格式
.pts; .asc ; *.dat; .stl ; [1] .imw；.xyz；.las。
8）点云的数据类型
（1）pcl::pointxyz
pointxyz 成员：float x，y，z;表示了xyz3d信息，可以通过points[i].data[0]或points[i].x访问点x的坐标值
（2）pcl::pointxyzi
pointxyzi成员：float x, y, z, intensity; 表示xyz信息加上强度信息的类型。
（3）pcl::pointxyzrgb
pointxyzrgb 成员：float x,y,z,rgb; 表示xyz信息加上rgb信息，rgb存储为一个float。
（4）pcl::pointxyzrgba
pointxyzrgba 成员：float x , y, z; uint32_t rgba; 表示xyz信息加上rgba信息，rgba用32bit的int型存储的。
（5） pointxy 成员：float x,y;简单的二维x-y点结构
（6）normal结构体：
表示给定点所在样本曲面上的法线方向，以及对应曲率的测量值，用第四个元素来占位，兼容sse和高效计算
9）点云处理的三个层次
一般将图像处理分为三个层次，低层次包括图像强化，滤波，关键点/边缘检测等基本操作。中层次包括连通域标记（label），图像分割等操作。高层次包括物体识别，场景分析等操作。工程中的任务往往需要用到多个层次的图像处理手段。
pcl官网对点云处理方法给出了较为明晰的层次划分：
低层次处理方法
①滤波方法：双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。②关键点：iss3d、harris3d、narf，sift3d
中层次处理方法
①特征描述：法线和曲率的计算、特征值分析、shot、pfh、fpfh、3d shape context、spin image
②分割与分类：
分割：区域生长、ransac线面提取、全局优化平面提取
k-means、normalize cut（context based）
3d hough transform(线、面提取)、连通分析
分类：基于点的分类，基于分割的分类，基于深度学习的分类（pointnet，octnet）
高层次处理方法
①配准
点云配准分为粗配准（coarse registration）和精配准（fine registration）两个阶段。
精配准的目的是在粗配准的基础上让点云之间的空间位置差别最小化。应用最为广泛的精配准算法应该是icp以及icp的各种变种（稳健icp、point to plane icp、point to line icp、mbicp、gicp、nicp）。
粗配准是指在点云相对位姿完全未知的情况下对点云进行配准，可以为精配准提供良好的初始值。当前较为普遍的点云自动粗配准算法包括基于穷举搜索的配准算法和基于特征匹配的配准算法。
基于穷举搜索的配准算法：
遍历整个变换空间以选取使误差函数最小化的变换关系或者列举出使最多点对满足的变换关系。如ransac配准算法、四点一致集配准算法（4-point congruent set, 4pcs）、super4pcs算法等……
基于特征匹配的配准算法：
通过被测物体本身所具备的形态特性构建点云间的匹配对应，然后采用相关算法对变换关系进行估计。如基于点fpfh特征的sac-ia、fgr等算法、基于点shot特征的ao算法以及基于线特征的icl等…
②slam图优化
ceres（google的最小二乘优化库，很强大）， g2o、lum、elch、toro、spa
slam方法：icp、mbicp、idc、likehood field、ndt
③三维重建
泊松重建、 delaunay triangulations、表面重建，人体重建，建筑物重建，树木重建。结构化重建：不是简单的构建一个mesh网格，而是为场景进行分割，为场景结构赋予语义信息。场景结构有层次之分，在几何层次就是点线面。实时重建：重建植被或者农作物的4d（3d+时间）生长态势；人体姿势识别；表情识别；
④点云数据管理
点云压缩，点云索引（kd、octree），点云lod（金字塔），海量点云的渲染。
参考博客：blog.csdn.net/hongju_ta
10）点云配准在三维重建中的应用
以上是关于点云配准的最最基础的知识，其他专业的知识请参见一下其他博客。
1. 关于三维计算机视觉的研究内容
cnblogs.com/yhlx125/p/4
2. 关于点云数据处理方法
（三维计算机视觉中点云数据处理面对的问题，主要方法和技术，概述其特点。）
blog.csdn.net/pdw521/ar
二、书籍和文献
书籍
由于纯粹的点云配准技术发展的并不是很成熟，所以关于点云配准的书籍目前很少，我了解的书籍只有一本国防工业出版社的《点云数据配准及曲面细分技术》讲解了点云配准的相关技术，但主要内容稍显过时，适合没有基础的小白看看，参考意义不多。
笔者主要还是从博客和硕士博士论文中学习
文献
朱琛琛. 基于icp算法的点云配准研究[d]. 2019.（注：基于摄像技术的点云配准）
点云配准若干问题研究[d].2018. （注：基于雷达激光的点云配准）
besl p j , mckay h d . a method for registration of 3-d shapes[j]. ieee transactions on pattern analysis and machine intelligence, 1992, 14(2):0-256.
aiger d , mitra n j , cohen-or d . 4-points congruent sets for robust pairwise surface registration[j]. acm transactions on graphics, 2008, 27(3):1.
automatic registration of large-scale urban scene point clouds based on semantic feature points[j]. isprs journal of photogrammetry and remote sensing, 2016, 113:43-58.
三、课程与博客
1）点云配准算法的说明与流程介绍：
blog.csdn.net/ha_ku/art
2）几种点云配准算法的方法的介绍与比较：
blog.csdn.net/weixin_43
3）三维点云用机器学习的方法进行处理：
blog.csdn.net/u01463624
4）以一个例子详细介绍了点云配准的过程：
zhihu.com/question/3417
四、数据集
the stanford 3d scanning repository（斯坦福大学的3d扫描存储库）
链接：graphics.stanford.edu/d
这应该是做点云数据最初大家用最多的数据集，其中包含最开始做配准的bunny、happy buddha、dragon等模型。
shapenet
shapenet是一个丰富标注的大规模点云数据集，其中包含了55中常见的物品类别和513000个三维模型。
the kitti vision benchmark suite
链接：cvlibs.net/datasets/kit
这个数据集来自德国卡尔斯鲁厄理工学院的一个项目，其中包含了利用kit的无人车平台采集的大量城市环境的点云数据集（kitti），这个数据集不仅有雷达、图像、gps、ins的数据，而且有经过人工标记的分割跟踪结果，可以用来客观的评价大范围三维建模和精细分类的效果和性能。
robotic 3d scan repository
链接：kos.informatik.uni-osnabrueck.de
这个数据集比较适合做slam研究，包含了大量的riegl和velodyne雷达数据
佐治亚理工大型几何模型数据集
链接：cc.gatech.edu/projects/
pascal3d+
链接：cvgl.stanford.edu/proje
包含了12中刚体分类，每一类超过了3000个实例。并且包含了对应的imagenet中每一类的图像。
其他总结
链接：github.com/timzhang642/
五、开源工具
meshlab
简介：是一款开源、可移植和可扩展的三维几何处理系统。主要用于处理和编辑3d三角网格，它提供了一组用于编辑、清理、修复、检查、渲染、纹理化和转换网格的工具。提供了处理由3d数字化工具/设备生成的原始数据以及3d打印功能，功能全面而且丰富。meshlab支持多数市面上常见的操作系统，包括windows、linux及mac os x，支持输入/输出的文件格式有：stl 、obj 、 vrml2.0、u3d、x3d、collada meshlab可用于各种学术和研究环境，如微生物学、文化遗产及表面重建等。
光通讯市场扩容，F5G时代到来
基于Flyboost模块的新型单级功率因数校正变换器
为什么要针对性的测试扩频时钟SSC呢？
常用元器件结构原理介绍
格力首款5G手机上市,采用极致窄边框设计
基于摄像技术的点云配准
AI巨头间的人才争夺战_员工互换已陷入死循环
三菱Q系列PLC远程调试并实现4G/5G数据通讯？
晶澳科技绿色光伏产品及服务累计电池组件出货量超过95GW
探索“星下点”之旅：数字航天，奇妙无限
拥有黑科技的智能化妆镜，它拥有着多种多样的功能
低代码平台或将超越应用开发
部署5G,四大运营商各有侧重
一加4、小米6、iPhone8各自放出自己的底牌，要开始一场激烈的厮杀
如何减少CAD图纸文件大小
英特尔推出第二代低温控制芯片Horse Ridge II
[组图]简易三极管性能判测器
300W光伏电池转换器STEVAL-ISV008V1的性能特点及应用
动力电池pack生产工艺流程_动力电池PACK四大工艺介绍
ICT行业2020：转危为机，推动数字经济全面发展