机器人设计的SLAM算法4要素
slam (simultaneous localization and mapping),也称为cml (concurrent mapping and localization), 即时定位与地图构建，或并发建图与定位。问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边逐步描绘出此环境完全的地图，同时一边决定机器人应该往哪个方向行进。例如扫地机器人就是一个很典型的slam问题，所谓完全的地图（a consistent map）是指不受障碍行进到房间可进入的每个角落。slam最早由smith、self和cheeseman于1988年提出。由于其重要的理论与应用价值，被很多学者认为是实现真正全自主移动机器人的关键。
当你来到一个陌生的环境时，为了迅速熟悉环境并完成自己的任务（比如找饭馆，找旅馆），你应当做以下事情：
a.用眼睛观察周围地标如建筑、大树、花坛等，并记住他们的特征（特征提取） b.在自己的脑海中，根据双目获得的信息，把特征地标在三维地图中重建出来（三维重建） c.当自己在行走时，不断获取新的特征地标，并且校正自己头脑中的地图模型（bundle adjustment or ekf） d.根据自己前一段时间行走获得的特征地标，确定自己的位置（trajectory） e.当无意中走了很长一段路的时候，和脑海中的以往地标进行匹配，看一看是否走回了原路（loop-closure detection）。实际这一步可有可无。 以上五步是同时进行的，因此是simultaneous localization and mapping
离不开这两类传感器
目前用在slam上的sensor主要分两大类，激光雷达和摄像头。
这里面列举了一些常见的雷达和各种深度摄像头。激光雷达有单线多线之分，角分辨率及精度也各有千秋。sick、velodyne、hokuyo以及国内的北醒光学、slamtech是比较有名的激光雷达厂商。他们可以作为slam的一种输入形式。
这个小视频里展示的就是一种简单的2d slam。
这个小视频是宾大的教授kumar做的特别有名的一个demo，是在无人机上利用二维激光雷达做的slam。
而vslam则主要用摄像头来实现，摄像头品种繁多，主要分为单目、双目、单目结构光、双目结构光、tof几大类。他们的核心都是获取rgb和depth map(深度信息)。简单的单目和双目（zed、leapmotion）我这里不多做解释，我主要解释一下结构光和tof。
最近流行的结构光和tof
结构光原理的深度摄像机通常具有激光投射器、光学衍射元件（doe）、红外摄像头三大核心器件。
这个图（下图）摘自primesense的专利。
可以看到primesense的doe是由两部分组成的，一个是扩散片，一个是衍射片。先通过扩散成一个区域的随机散斑，然后复制成九份，投射到了被摄物体上。根据红外摄像头捕捉到的红外散斑，ps1080这个芯片就可以快速解算出各个点的深度信息。
这儿还有两款结构光原理的摄像头。
第一页它是由两幅十分规律的散斑组成，最后同时被红外相机获得，精度相对较高。但据说doe成本也比较高。
还有一种比较独特的方案（最后一幅图），它采用mems微镜的方式，类似dlp投影仪，将激光器进行调频，通过微镜反射出去，并快速改变微镜姿态，进行行列扫描，实现结构光的投射。（产自st，st经常做出一些比较炫的黑科技）。
tof（time of flight）也是一种很有前景的深度获取方法。
传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息。类似于雷达，或者想象一下蝙蝠，softkinetic的ds325采用的就是tof方案（ti设计的），但是它的接收器微观结构比较特殊，有2个或者更多快门，测ps级别的时间差，但它的单位像素尺寸通常在100um的尺寸，所以目前分辨率不高。
在有了深度图之后呢，slam算法就开始工作了，由于sensor和需求的不同，slam的呈现形式略有差异。大致可以分为激光slam（也分2d和3d）和视觉slam（也分sparse、semidense、dense）两类，但其主要思路大同小异。
这个是sparse（稀疏）的
这个偏dense（密集）的
slam算法实现的4要素
slam算法在实现的时候主要要考虑以下4个方面吧：
1. 地图表示问题，比如dense和sparse都是它的不同表达方式，这个需要根据实际场景需求去抉择
2. 信息感知问题，需要考虑如何全面的感知这个环境，rgbd摄像头fov通常比较小，但激光雷达比较大
3. 数据关联问题，不同的sensor的数据类型、时间戳、坐标系表达方式各有不同，需要统一处理
4. 定位与构图问题，就是指怎么实现位姿估计和建模，这里面涉及到很多数学问题，物理模型建立，状态估计和优化
其他的还有回环检测问题，探索问题（exploration），以及绑架问题（kidnapping）。
这个是一个比较有名的slam算法，这个回环检测就很漂亮。但这个调用了cuda，gpu对运算能力要求挺高，效果看起来比较炫。
以vslam举个栗子
我大概讲一种比较流行的vslam方法框架。
整个slam大概可以分为前端和后端，前端相当于vo（视觉里程计），研究帧与帧之间变换关系。首先提取每帧图像特征点，利用相邻帧图像，进行特征点匹配，然后利用ransac去除大噪声，然后进行匹配，得到一个pose信息（位置和姿态），同时可以利用imu（inertial measurement unit惯性测量单元）提供的姿态信息进行滤波融合后端则主要是对前端出结果进行优化，利用滤波理论（ekf、ukf、pf）、或者优化理论toro、g2o进行树或者图的优化。最终得到最优的位姿估计。
后端这边难点比较多，涉及到的数学知识也比较多，总的来说大家已经慢慢抛弃传统的滤波理论走向图优化去了。
因为基于滤波的理论，滤波器稳度增长太快，这对于需要频繁求逆的ekf（扩展卡尔曼滤波器），pf压力很大。而基于图的slam，通常以keyframe（关键帧）为基础，建立多个节点和节点之间的相对变换关系，比如仿射变换矩阵，并不断地进行关键节点的维护，保证图的容量，在保证精度的同时，降低了计算量。
列举几个目前比较有名的slam算法：ptam,monoslam, orb-slam,rgbd-slam,rtab-slam,lsd-slam。
所以大家如果想学习slam的话，各个高校提高的素材是很多的，比如宾大、mit、eth、香港科技大学、帝国理工等等都有比较好的代表作品，还有一个比较有前景的就是三维的机器视觉，普林斯顿大学的肖剑雄教授结合slam和deep learning做一些三维物体的分类和识别， 实现一个对场景深度理解的机器人感知引擎。
http://robots.princeton.edu/talks/2016_mit/robotperception.pdf
slam技术从最早的军事用途（核潜艇海底定位就有了slam的雏形）到今天，已经逐步走入人们的视野，扫地机器人的盛行更是让它名声大噪。同时基于三维视觉的vslam越来越显主流。在地面/空中机器人、vr/ar/mr、汽车/agv自动驾驶等领域，都会得到深入的发展，同时也会出现越来越多的细分市场等待挖掘。
slam技术的应用领域
1）室内机器人
扫地机要算机器人里最早用到slam技术这一批了，国内的科沃斯、塔米扫地机通过用slam算法结合激光雷达或者摄像头的方法，让扫地机可以高效绘制室内地图，智能分析和规划扫地环境，从而成功让自己步入了智能导航的阵列。
不过有意思的是，科沃斯引领时尚还没多久，一大帮懂slam算法的扫地机厂商就开始陆陆续续地推出自己的智能导航，直到昨天雷锋网还看到一款智能扫地机新鲜出炉，而这追逐背后的核心，大家都知道就是slam技术的应用。
而另一个跟slam息息相关的室内移动机器人，因为目前市场定位和需求并不明确，我们目前只能在商场导购室内机器人和buddy那样的demo视频里才能看到，国内watchhhh slam和slam tech两家公司都是做这方面方案提供的，以现实的观点看，现在室内移动机器人市场定位和需求没落地的时候，由方案商公司推动，商用室内移动机器人先行，这反而是一种曲线救国的发展方式。
2）ar
目前基于slam技术开发的代表性产品有微软的hololens，谷歌的project tango以及同样有名的magic leap，后者4月20号公布它的新一代水母版demo后，国内的ar公司更加看到了这个趋势，比如进化动力近期就公布了他们的slam demo, 用一个小摄像头实现vr头显空间定位，而易瞳去年10月雷锋网去试用新品的时候，就发现已经整合slam技术了，国内其他公司虽然没有正式公布，但我们可以肯定，他们都在暗暗研发这项技术，只等一个成熟的时机就会展现给大家。
进化动力cto聂崇岭向雷锋网表示，如果用一个准确的说法
很多vr应用需要用到slam技术，定位只是一个feature，路径记录、3d重构、地图构建都可以是slam技术的输出。
3）无人机
国外的话，原来做 google x project wing 无人机的创始人 mit 机器人大牛 nicholas roy 的学生 adam bry 创办的 skydio，挖来了 georgia tech 的 slam 大牛教授 frank dellaert 做他们的首席科学家。
国内大家非常熟悉的大疆精灵四避障用的双目视觉+超声波，一位大疆工程师徐枭涵在百度百家的撰文里坦率承认“p4里面呈现的主动避障功能就是一种非常非常典型的slam的弱应用，无人机只需要知道障碍物在哪，就可以进行 planning，并且绕开障碍物。当然slam能做的事情远远不止这些，包括灾区救援，包括探洞，包括人机配合甚至集群，所有的关于无人机的梦想都建立在slam之上，这是无人机能飞（具有定位，姿态确定以后）的时代以后，无人机最核心的技术。”
而近期另一个号称刷爆美国朋友圈的hover camera无人机，因为其创始人的的计算机视觉背景，正式把slam技术应用进来了，在介绍他们无人机的主要产品技术时，提到了
●slam（即时定位与地图构建）：通过感知自身周围环境来构建3d增量式地图，从而实现自主定位和导航。
4）无人驾驶
因为google无人驾驶车的科普，很多人都知道了基于激光雷达技术的lidar slam。lidar slam是指利用激光雷达作为外部传感器，获取地图数据，使机器人实现同步定位与地图构建。虽然成本高昂，但目前为止是最稳定、最可靠、高性能的slam方式。
另外，2011 年，牛津大学mobile robotics group 首次向公众展示他们的第一辆无人驾驶汽车野猫（wildcat），这是一辆由 bowler wildcat 4x4 改装而成的车。汽车头顶的相机和激光能够搜集信息然后即时分析导航，已经成功通过了测试。2014 年，他们改装的一辆 nissan 的 leaf 也成功路测。
mobile robotics group主要研究领域是大规模的导航和对自然场景理解。据称，团队所拥有的技术非常牛逼，其复杂和先进性远远超过一般的同步定位与地图构建（slam）算法。
可圈可点的是，对于无人驾驶技术，他们并没有使用 gps 或者是嵌入式的基础设施（信标之类的），而是使用算法来导航，包括机器学习和概率推理来建立周围的地图等。
一文看懂锐科激光的焊接战略：上半年增长150% 推动激光走向高端制造
4.2V高压全固态聚合物电解质新突破
使用Arduino的无线传感器节点和远程数据接收器
华为可能正在研发一款全新的液体摄像头
华为正经历一个非常具有挑战性的时期
机器人设计的SLAM算法4要素
双极结型晶体管差分放大器的温度补偿
如何定义Type-C母座？
太阳诱电推出双电层电容器 LT 系列——LT08202R7335
zookeeper的选举机制
苹果最快明年推出5G版iPhone 将掀起换机潮
华为鸿蒙OS将在2021年正式上线
魅族最新高清智能手机采用u-blox GPS芯片
机器人行业最大的渠道商AI机器时代正在加码布局线下零售店
苹果中国智能手机市场份额缩减 iPhoneX将有望重夺中国市场
上市仅两个月多次售罄，两个爆款路由为何如此受欢迎？
人工智能型塑旅游业流程自动化
金航标发发发，Kinghelm阿里巴巴国际站上线
2018年医疗行业10大趋势
PCB板变形的原因有哪一些
当你来到一个陌生的环境时，为了迅速熟悉环境并完成自己的任务（比如找饭馆，找旅馆），你应当做以下事情：
a.用眼睛观察周围地标如建筑、大树、花坛等，并记住他们的特征（特征提取） b.在自己的脑海中，根据双目获得的信息，把特征地标在三维地图中重建出来（三维重建） c.当自己在行走时，不断获取新的特征地标，并且校正自己头脑中的地图模型（bundle adjustment or ekf） d.根据自己前一段时间行走获得的特征地标，确定自己的位置（trajectory） e.当无意中走了很长一段路的时候，和脑海中的以往地标进行匹配，看一看是否走回了原路（loop-closure detection）。实际这一步可有可无。 以上五步是同时进行的，因此是simultaneous localization and mapping
离不开这两类传感器
目前用在slam上的sensor主要分两大类，激光雷达和摄像头。
这里面列举了一些常见的雷达和各种深度摄像头。激光雷达有单线多线之分，角分辨率及精度也各有千秋。sick、velodyne、hokuyo以及国内的北醒光学、slamtech是比较有名的激光雷达厂商。他们可以作为slam的一种输入形式。
这个小视频里展示的就是一种简单的2d slam。
这个小视频是宾大的教授kumar做的特别有名的一个demo，是在无人机上利用二维激光雷达做的slam。
而vslam则主要用摄像头来实现，摄像头品种繁多，主要分为单目、双目、单目结构光、双目结构光、tof几大类。他们的核心都是获取rgb和depth map(深度信息)。简单的单目和双目（zed、leapmotion）我这里不多做解释，我主要解释一下结构光和tof。
最近流行的结构光和tof
结构光原理的深度摄像机通常具有激光投射器、光学衍射元件（doe）、红外摄像头三大核心器件。
这个图（下图）摘自primesense的专利。
可以看到primesense的doe是由两部分组成的，一个是扩散片，一个是衍射片。先通过扩散成一个区域的随机散斑，然后复制成九份，投射到了被摄物体上。根据红外摄像头捕捉到的红外散斑，ps1080这个芯片就可以快速解算出各个点的深度信息。
这儿还有两款结构光原理的摄像头。
第一页它是由两幅十分规律的散斑组成，最后同时被红外相机获得，精度相对较高。但据说doe成本也比较高。
还有一种比较独特的方案（最后一幅图），它采用mems微镜的方式，类似dlp投影仪，将激光器进行调频，通过微镜反射出去，并快速改变微镜姿态，进行行列扫描，实现结构光的投射。（产自st，st经常做出一些比较炫的黑科技）。
tof（time of flight）也是一种很有前景的深度获取方法。
传感器发出经调制的近红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息。类似于雷达，或者想象一下蝙蝠，softkinetic的ds325采用的就是tof方案（ti设计的），但是它的接收器微观结构比较特殊，有2个或者更多快门，测ps级别的时间差，但它的单位像素尺寸通常在100um的尺寸，所以目前分辨率不高。
在有了深度图之后呢，slam算法就开始工作了，由于sensor和需求的不同，slam的呈现形式略有差异。大致可以分为激光slam（也分2d和3d）和视觉slam（也分sparse、semidense、dense）两类，但其主要思路大同小异。
这个是sparse（稀疏）的
这个偏dense（密集）的
slam算法实现的4要素
slam算法在实现的时候主要要考虑以下4个方面吧：
1. 地图表示问题，比如dense和sparse都是它的不同表达方式，这个需要根据实际场景需求去抉择
2. 信息感知问题，需要考虑如何全面的感知这个环境，rgbd摄像头fov通常比较小，但激光雷达比较大
3. 数据关联问题，不同的sensor的数据类型、时间戳、坐标系表达方式各有不同，需要统一处理
4. 定位与构图问题，就是指怎么实现位姿估计和建模，这里面涉及到很多数学问题，物理模型建立，状态估计和优化
其他的还有回环检测问题，探索问题（exploration），以及绑架问题（kidnapping）。
这个是一个比较有名的slam算法，这个回环检测就很漂亮。但这个调用了cuda，gpu对运算能力要求挺高，效果看起来比较炫。
以vslam举个栗子
我大概讲一种比较流行的vslam方法框架。
整个slam大概可以分为前端和后端，前端相当于vo（视觉里程计），研究帧与帧之间变换关系。首先提取每帧图像特征点，利用相邻帧图像，进行特征点匹配，然后利用ransac去除大噪声，然后进行匹配，得到一个pose信息（位置和姿态），同时可以利用imu（inertial measurement unit惯性测量单元）提供的姿态信息进行滤波融合后端则主要是对前端出结果进行优化，利用滤波理论（ekf、ukf、pf）、或者优化理论toro、g2o进行树或者图的优化。最终得到最优的位姿估计。
后端这边难点比较多，涉及到的数学知识也比较多，总的来说大家已经慢慢抛弃传统的滤波理论走向图优化去了。
因为基于滤波的理论，滤波器稳度增长太快，这对于需要频繁求逆的ekf（扩展卡尔曼滤波器），pf压力很大。而基于图的slam，通常以keyframe（关键帧）为基础，建立多个节点和节点之间的相对变换关系，比如仿射变换矩阵，并不断地进行关键节点的维护，保证图的容量，在保证精度的同时，降低了计算量。
列举几个目前比较有名的slam算法：ptam,monoslam, orb-slam,rgbd-slam,rtab-slam,lsd-slam。
所以大家如果想学习slam的话，各个高校提高的素材是很多的，比如宾大、mit、eth、香港科技大学、帝国理工等等都有比较好的代表作品，还有一个比较有前景的就是三维的机器视觉，普林斯顿大学的肖剑雄教授结合slam和deep learning做一些三维物体的分类和识别， 实现一个对场景深度理解的机器人感知引擎。
http://robots.princeton.edu/talks/2016_mit/robotperception.pdf
slam技术从最早的军事用途（核潜艇海底定位就有了slam的雏形）到今天，已经逐步走入人们的视野，扫地机器人的盛行更是让它名声大噪。同时基于三维视觉的vslam越来越显主流。在地面/空中机器人、vr/ar/mr、汽车/agv自动驾驶等领域，都会得到深入的发展，同时也会出现越来越多的细分市场等待挖掘。
slam技术的应用领域
1）室内机器人
扫地机要算机器人里最早用到slam技术这一批了，国内的科沃斯、塔米扫地机通过用slam算法结合激光雷达或者摄像头的方法，让扫地机可以高效绘制室内地图，智能分析和规划扫地环境，从而成功让自己步入了智能导航的阵列。
不过有意思的是，科沃斯引领时尚还没多久，一大帮懂slam算法的扫地机厂商就开始陆陆续续地推出自己的智能导航，直到昨天雷锋网还看到一款智能扫地机新鲜出炉，而这追逐背后的核心，大家都知道就是slam技术的应用。
而另一个跟slam息息相关的室内移动机器人，因为目前市场定位和需求并不明确，我们目前只能在商场导购室内机器人和buddy那样的demo视频里才能看到，国内watchhhh slam和slam tech两家公司都是做这方面方案提供的，以现实的观点看，现在室内移动机器人市场定位和需求没落地的时候，由方案商公司推动，商用室内移动机器人先行，这反而是一种曲线救国的发展方式。
2）ar
目前基于slam技术开发的代表性产品有微软的hololens，谷歌的project tango以及同样有名的magic leap，后者4月20号公布它的新一代水母版demo后，国内的ar公司更加看到了这个趋势，比如进化动力近期就公布了他们的slam demo, 用一个小摄像头实现vr头显空间定位，而易瞳去年10月雷锋网去试用新品的时候，就发现已经整合slam技术了，国内其他公司虽然没有正式公布，但我们可以肯定，他们都在暗暗研发这项技术，只等一个成熟的时机就会展现给大家。
进化动力cto聂崇岭向雷锋网表示，如果用一个准确的说法
很多vr应用需要用到slam技术，定位只是一个feature，路径记录、3d重构、地图构建都可以是slam技术的输出。
3）无人机
国外的话，原来做 google x project wing 无人机的创始人 mit 机器人大牛 nicholas roy 的学生 adam bry 创办的 skydio，挖来了 georgia tech 的 slam 大牛教授 frank dellaert 做他们的首席科学家。
国内大家非常熟悉的大疆精灵四避障用的双目视觉+超声波，一位大疆工程师徐枭涵在百度百家的撰文里坦率承认“p4里面呈现的主动避障功能就是一种非常非常典型的slam的弱应用，无人机只需要知道障碍物在哪，就可以进行 planning，并且绕开障碍物。当然slam能做的事情远远不止这些，包括灾区救援，包括探洞，包括人机配合甚至集群，所有的关于无人机的梦想都建立在slam之上，这是无人机能飞（具有定位，姿态确定以后）的时代以后，无人机最核心的技术。”
而近期另一个号称刷爆美国朋友圈的hover camera无人机，因为其创始人的的计算机视觉背景，正式把slam技术应用进来了，在介绍他们无人机的主要产品技术时，提到了
●slam（即时定位与地图构建）：通过感知自身周围环境来构建3d增量式地图，从而实现自主定位和导航。
4）无人驾驶
因为google无人驾驶车的科普，很多人都知道了基于激光雷达技术的lidar slam。lidar slam是指利用激光雷达作为外部传感器，获取地图数据，使机器人实现同步定位与地图构建。虽然成本高昂，但目前为止是最稳定、最可靠、高性能的slam方式。
另外，2011 年，牛津大学mobile robotics group 首次向公众展示他们的第一辆无人驾驶汽车野猫（wildcat），这是一辆由 bowler wildcat 4x4 改装而成的车。汽车头顶的相机和激光能够搜集信息然后即时分析导航，已经成功通过了测试。2014 年，他们改装的一辆 nissan 的 leaf 也成功路测。
mobile robotics group主要研究领域是大规模的导航和对自然场景理解。据称，团队所拥有的技术非常牛逼，其复杂和先进性远远超过一般的同步定位与地图构建（slam）算法。
可圈可点的是，对于无人驾驶技术，他们并没有使用 gps 或者是嵌入式的基础设施（信标之类的），而是使用算法来导航，包括机器学习和概率推理来建立周围的地图等。
一文看懂锐科激光的焊接战略：上半年增长150% 推动激光走向高端制造
4.2V高压全固态聚合物电解质新突破
使用Arduino的无线传感器节点和远程数据接收器
华为可能正在研发一款全新的液体摄像头
华为正经历一个非常具有挑战性的时期
机器人设计的SLAM算法4要素
双极结型晶体管差分放大器的温度补偿
如何定义Type-C母座？
太阳诱电推出双电层电容器 LT 系列——LT08202R7335
zookeeper的选举机制
苹果最快明年推出5G版iPhone 将掀起换机潮
华为鸿蒙OS将在2021年正式上线
魅族最新高清智能手机采用u-blox GPS芯片
机器人行业最大的渠道商AI机器时代正在加码布局线下零售店
苹果中国智能手机市场份额缩减 iPhoneX将有望重夺中国市场
上市仅两个月多次售罄，两个爆款路由为何如此受欢迎？
人工智能型塑旅游业流程自动化
金航标发发发，Kinghelm阿里巴巴国际站上线
2018年医疗行业10大趋势
PCB板变形的原因有哪一些