深度解析3D视觉成像几种典型方案
3d视觉成像是工业机器人信息感知的一种最重要的方法，可分为光学和非光学成像方法。目前应用最多的还是光学方法，包括：飞行时间法、结构光法、激光扫描法、莫尔条纹法、激光散斑法、干涉法、照相测量法、激光跟踪法、从运动获得形状、从阴影获得形状，以及其他的shapefromx等。本次介绍几种典型方案。
1.飞行时间3d成像
飞行时间（tof）相机每个像素利用光飞行的时间差来获取物体的深。
在经典的tof测量方法中，探测器系统在发射光脉冲的同时启动探测接收单元进行计时，当探测器接收到目标发出的光回波时，探测器直接存储往返时间。目标距离z可通过以下简单方程估算：
这种测距方式也称为直接tof（dtof），d-tof通常用于单点测距系统，为了实现面积范围3d成像，通常需要采用扫描技术。
无扫描tof三维成像技术直到近几年才实现，因为在像素级实现亚纳秒电子计时是非常困难的。
与直接计时的d-tof不同的方案是间接tof（i-tof），时间往返行程是从光强度的时间选通测量中间接外推获得。i-tof不需要精确的计时，而是采用时间选通光子计数器或电荷积分器，它们可以在像素级实现。i-tof是目前基于tof相机的电子和光混合器的商用化解决方案。
tof成像可用于大视野、远距离、低精度、低成本的3d图像采集。其特点是:检测速度快、视野范围较大、工作距离远、价格便宜，但精度低，易受环境光的干扰。
2.扫描3d成像
扫描3d成像方法可分为扫描测距、主动三角法、色散共焦法等。其实，色散共焦法是扫描测距法的一种，考虑到目前在手机、平板显示等制造行业应用比较广泛，在此单独介绍。
1.扫描测距
扫描测距是利用一条准直光束通过一维测距扫描整个目标表面实现3d测量。典型扫描测距方法有：
1、单点飞行时间法，如连续波频率调制（fm-cw）测距、脉冲测距（激光雷达）等；
2、激光散射干涉法，如基于多波长干涉、全息干涉、白光干涉散斑干涉等原理的干涉仪；
3、共焦法，如色散共焦、自聚焦等。
单点测距扫描3d方法中，单点飞行时间法适合远距离扫描，测量精度较低，一般在毫米量级。其他几种单点扫描方法有：单点激光干涉法、共焦法和单点激光主动三角法，测量精度较高，但前者对环境要求高；线扫描精度适中，效率高。比较适合于机械手臂末端执行3d测量的应是主动激光三角法和色散共焦法。
2.主动三角法
主动三角法是基于三角测量原理，利用准直光束、一条或多条平面光束扫描目标表面完成3d测量的。
光束常采用以下方式获得：激光准直、圆柱或二次曲面柱形棱角扩束,非相干光(如白光、led光源)通过小孔、狭缝(光栅)投影或相干光衍射等。
主动三角法可分为三种类型：单点扫描、单线扫描和多线扫描。目前商业化的用于机械手臂末端的产品大多数是单点和单线扫描仪。
在多线扫描方法中,条纹极数可靠识别是难点。为了准确识别条纹编号,通常采用两组垂直光平面高速交替成像，这样还可以实现“flyingtriangulation”扫描，其扫描与三维重构过程如下图所示。多线条投影一次频闪成像产生一幅稀疏3d视图,通过纵横向条纹投影扫描生成若干幅3d视图序列,再通过三维图像准配生成高分辨率的完整致密的三维曲面模型。
3.色散共焦法
色散共焦似乎可以扫描测量粗糙和光滑的不透明和透明物体，如反射镜面、透明玻璃面等，目前在手机盖板三维检测等领域广受欢迎。
色散共焦扫描有三种类型：单点一维绝对测距扫描、多点阵列扫描和连续线扫描，下图分别列出了绝对测距和连续线扫描两类示例，其中连续线扫描也是一种阵列扫描，只是阵列的点阵更多、更密集。
在商业产品上，目前较为知名的扫描光谱共焦传感器是法国的stilmpls180，采用180个阵列点形成一条线，最大线长4.039mm（测量点11.5pm，点与点间距为22.5pm），另一款产品是芬兰的focalspecuula，采用的是色散共焦三角法技术。
3.结构光投影3d成像
结构光投影三维成像目前是机器人3d视觉感知的主要方式，结构光成像系统是由若干个投影仪和相机组成，常用的结构形式有：单投影仪-单相机、单投影仪-双相机、单投影仪-多相机、单相机-双投影仪和单相机-多投影仪等典型结构形式。
结构光投影三维成像的基本工作原理是：投影仪向目标物体投射特定的结构光照明图案，由相机摄取被目标调制后的图像，再通过图像处理和视觉模型求出目标物体的三维信息。
常用的投影仪主要有下列几种类型：液晶投影（lcd）、数字光调制投影(dlp：如数字微镜器件（dmd))、激光led图案直接投影。
根据结构光投影次数划分，结构光投影三维成像可以分成单次投影3d和多次投影3d方法。
1.单次投影成像
单次投影结构光主要采用空间复用编码和频率复用编码形式实现，常用的编码形式有：彩色编码、灰度索引、几何形状编码和随机斑点。
目前在机器人手眼系统应用中，对于三维测量精度要求不高的场合，如码垛、拆垛、三维抓取等，比较受欢迎的是投射伪随机斑点获得目标三维信息，其3d成像原理如下图所示。
2.多次投影成像
多次投影3d方法主要采用时间复用编码方式实现，常用的图案编码形式有：二进制编码、多频相移编码τ35和混合编码法（如格雷码十相移条纹）等。
条纹投影3d成像基本原理如下图所示，利用计算机生成结构光图案或用特殊的光学装置产生结构光，经过光学投影系统投射至被测物体表面，然后采用图像获取设备（如ccd或cmos相机）采集被物体表面调制后发生变形的结构光图像，利用图像处理算法计算图像中每个像素点与物体轮廓上点的对应关系；最后通过系统结构模型及其标定技术，计算得到被测物体的三维轮廓信息。
在实际应用中，常采用格雷码投影、正弦相移条纹投影或格雷码十正弦相移混合投影3d技术。
3.偏折法成像
对于粗糙表面，结构光可以直接投射到物体表面进行视觉成像测量；但对于大反射率光滑表面和镜面物体3d测量，结构光投影不能直接投射到被测则表面，3d测量还需要借助镜面偏折技术，如下图所示。
在这种方案中，条纹不是直接投影到被测则轮廓上，而是投射到一个散射屏上，或用液晶显示屏代替散射屏把条纹直接显示出来。相机通过光亮表面折返光路，获取被光亮表面曲率变化调制的条纹信息，然后解算出三维轮廓形貌。
4.立体视觉3d成像
立体视觉字面意思是用一只眼睛或两只眼睛感知三维结构，一般情况下是指从不同的视点获取两幅或多幅图像重构目标物体3d结构或深度信息。
深度感知视觉线索可分为ocularcues和binocularcues（双目视差）。目前立体视觉3d可以通过单目视觉、双目视觉、多目视觉、光场3d成像（电子复眼或阵列相机）实现。
1.单目视觉成像
单目视觉深度感知线索通常有：透视、焦距差异、多视觉成像、覆盖、阴影、运动视差等。在机器人视觉里还可以用镜像1，以及其他shapefromx10等方法实现。
2.双目视觉成像
双目视觉深度感知视觉线索有：眼睛的收敛位置和双目视差。在机器视觉里利用两个相机从两个视点对同一个目标场景获取两个视点图像再计算两个视点图像中同名点的视差获得目标场景的3d深度信息。典型的双目立体视觉计算过程包含下面四个步骤：图像畸变矫正、立体图像对校正、图像配准和三角法重投影视差图计算，如下图。
3.多目视觉成像
也称多视点立体成像，用单个或多个相机从多个视点获取同一个目标场景的多幅图像，重构目标场景的三维信息。其基本原理如下图所示。
多视点立体成像主要用于下列几种场景：
1）使用多个相机从不同视点，获取同一个目标场景多幅图像，然后基于特征的立体重构等算法求取场景深度和空间结构信息。
2）从运动恢复形状（sm）的技术。使用同一相机在其内参数不变的条件下，从不同视点获取多幅图像，重构目标场景的三维信息。该技术常用于跟踪目标场景中大量的控制点，连续恢复场景的3d结构信息、相机的姿态和位置。
4.光场成像
光场3d成像的原理与传统ccd和cmos相机成像原理在结构原理上有所差异，传统相机成像是光线穿过镜头在后续的成像平面上直接成像，一般是2d图像。
光场相机成像是在传感器平面前增加了一个微透镜阵列，将经过主镜头入射的光线再次穿过每个微透镜，由感光阵列接收，从而获得光线的方向与位置信息，使成像结果可在后期处理，达到先拍照，后聚焦的效果，如下图所示。
5.3d视觉成像方法比较
（1）类似于tof相机、光场相机这类相机，可以归类为单相机3d成像范围，它们体积小，实时性好，适合eye-in-hand系统执行3d测量、定位和实时引导。
但是tof相机、光场相机短期内还难以用来构建普通的eye-inhand系统，主要原因如下：
①tof相机空间分辨率和3d精度低，不适合高精度测量、定位与引导。
②对于光场相机，目前商业化的工业级产品只有德国raytrix一家，虽然性能较好，空间分率和精度适中，但价格太贵，一台几十万元，使用成本太高。
（2）结构光投影3d系统，精度和成本适中，有相当好的应用市场前景。它由若干个相机-投影仪组成，如果把投影仪当作一个逆向的相机，可以认为该系统是一个双目或多目3d三角测量系统。
（3）被动立体视觉3d成像，日前在工业领域也得到较好应用，但应用场合有限。因为单目立体视觉实现有难度，双目和多目立体视觉要求目标物体纹理或几何特征清晰。
（4）结构光投影3d、双目立体视觉3d都存在下列缺点：体积较大，容易产生遮挡。因为这几种方法都是基于三角测量原理，要求相机和投影仪之间或双目立体两个相机之间必须间隔一定距离，并且存在一定的夹角θ(通常大于15°)才能实现测量。
如果减小相机与投影仪（结构光光源）的夹角，虽然在某些程度上可以解决问题，但是却会严重降低系统的测量灵敏度，影响该测量系统的应用。
针对上述问题虽然可以增加投影仪或相机覆盖被遮挡的区域，构成投影仪-相机-投影仪系统、相机-投影仪-相机测量系统或者多个相机投影仪系统，增大可视范围，减小阴影区域，扩大測量区域，但会增加成像系统的体积，减少在eye-in-hand系统中应用的灵活性。从eye-in-hand系统的角度来看，最佳的方案是开发一种成本低廉、精度适中、被动单目3d成像系统。
厨房垃圾处理器好用吗？解析垃圾处理器常见问题
华为：全球运营商部署超过70万个5G基站，年底将超150万
微导纳米计划冲刺科创板 上市辅导申请已获省证监局受理备案
巨微蓝牙芯片MG223概述及参数说明
电路板厂废水处理的方法
深度解析3D视觉成像几种典型方案
双向防堵转机电球阀和燃气表的原理及设计
dfrobotWin10 开发板 2GB/32GB介绍
【新专利介绍】基于复合物联网的燃气表故障提示方法及物联网系统
小米11 Ultra影像先锋的独特魅力
MAX4644双路单刀(SPDT)CMOS模拟开关
光耦在电子领域中的应用
数字电路之时序电路
三款高颜值手机:荣耀8青春版、魅蓝X、360N5s你更喜欢谁?荣耀8青春版、魅蓝X、360N5s区别对比评测
脉管制冷机属于什么制冷方法 脉管制冷机与斯特林制冷机的区别
基于CPCI总线连接的国产化主板的介绍
华为PowerStar网络智慧节能方案助力内蒙古移动网络质量保持领先
英伟达特供版芯片性能降80%！
啪啪啪打脸不？马云说他讨厌人工智能，扭头就悄悄做起智能音箱
SAS被誉为“数据质量工具魔力象限2019年度领导者”
1.飞行时间3d成像
飞行时间（tof）相机每个像素利用光飞行的时间差来获取物体的深。
在经典的tof测量方法中，探测器系统在发射光脉冲的同时启动探测接收单元进行计时，当探测器接收到目标发出的光回波时，探测器直接存储往返时间。目标距离z可通过以下简单方程估算：
这种测距方式也称为直接tof（dtof），d-tof通常用于单点测距系统，为了实现面积范围3d成像，通常需要采用扫描技术。
无扫描tof三维成像技术直到近几年才实现，因为在像素级实现亚纳秒电子计时是非常困难的。
与直接计时的d-tof不同的方案是间接tof（i-tof），时间往返行程是从光强度的时间选通测量中间接外推获得。i-tof不需要精确的计时，而是采用时间选通光子计数器或电荷积分器，它们可以在像素级实现。i-tof是目前基于tof相机的电子和光混合器的商用化解决方案。
tof成像可用于大视野、远距离、低精度、低成本的3d图像采集。其特点是:检测速度快、视野范围较大、工作距离远、价格便宜，但精度低，易受环境光的干扰。
2.扫描3d成像
扫描3d成像方法可分为扫描测距、主动三角法、色散共焦法等。其实，色散共焦法是扫描测距法的一种，考虑到目前在手机、平板显示等制造行业应用比较广泛，在此单独介绍。
1.扫描测距
扫描测距是利用一条准直光束通过一维测距扫描整个目标表面实现3d测量。典型扫描测距方法有：
1、单点飞行时间法，如连续波频率调制（fm-cw）测距、脉冲测距（激光雷达）等；
2、激光散射干涉法，如基于多波长干涉、全息干涉、白光干涉散斑干涉等原理的干涉仪；
3、共焦法，如色散共焦、自聚焦等。
单点测距扫描3d方法中，单点飞行时间法适合远距离扫描，测量精度较低，一般在毫米量级。其他几种单点扫描方法有：单点激光干涉法、共焦法和单点激光主动三角法，测量精度较高，但前者对环境要求高；线扫描精度适中，效率高。比较适合于机械手臂末端执行3d测量的应是主动激光三角法和色散共焦法。
2.主动三角法
主动三角法是基于三角测量原理，利用准直光束、一条或多条平面光束扫描目标表面完成3d测量的。
光束常采用以下方式获得：激光准直、圆柱或二次曲面柱形棱角扩束,非相干光(如白光、led光源)通过小孔、狭缝(光栅)投影或相干光衍射等。
主动三角法可分为三种类型：单点扫描、单线扫描和多线扫描。目前商业化的用于机械手臂末端的产品大多数是单点和单线扫描仪。
在多线扫描方法中,条纹极数可靠识别是难点。为了准确识别条纹编号,通常采用两组垂直光平面高速交替成像，这样还可以实现“flyingtriangulation”扫描，其扫描与三维重构过程如下图所示。多线条投影一次频闪成像产生一幅稀疏3d视图,通过纵横向条纹投影扫描生成若干幅3d视图序列,再通过三维图像准配生成高分辨率的完整致密的三维曲面模型。
3.色散共焦法
色散共焦似乎可以扫描测量粗糙和光滑的不透明和透明物体，如反射镜面、透明玻璃面等，目前在手机盖板三维检测等领域广受欢迎。
色散共焦扫描有三种类型：单点一维绝对测距扫描、多点阵列扫描和连续线扫描，下图分别列出了绝对测距和连续线扫描两类示例，其中连续线扫描也是一种阵列扫描，只是阵列的点阵更多、更密集。
在商业产品上，目前较为知名的扫描光谱共焦传感器是法国的stilmpls180，采用180个阵列点形成一条线，最大线长4.039mm（测量点11.5pm，点与点间距为22.5pm），另一款产品是芬兰的focalspecuula，采用的是色散共焦三角法技术。
3.结构光投影3d成像
结构光投影三维成像目前是机器人3d视觉感知的主要方式，结构光成像系统是由若干个投影仪和相机组成，常用的结构形式有：单投影仪-单相机、单投影仪-双相机、单投影仪-多相机、单相机-双投影仪和单相机-多投影仪等典型结构形式。
结构光投影三维成像的基本工作原理是：投影仪向目标物体投射特定的结构光照明图案，由相机摄取被目标调制后的图像，再通过图像处理和视觉模型求出目标物体的三维信息。
常用的投影仪主要有下列几种类型：液晶投影（lcd）、数字光调制投影(dlp：如数字微镜器件（dmd))、激光led图案直接投影。
根据结构光投影次数划分，结构光投影三维成像可以分成单次投影3d和多次投影3d方法。
1.单次投影成像
单次投影结构光主要采用空间复用编码和频率复用编码形式实现，常用的编码形式有：彩色编码、灰度索引、几何形状编码和随机斑点。
目前在机器人手眼系统应用中，对于三维测量精度要求不高的场合，如码垛、拆垛、三维抓取等，比较受欢迎的是投射伪随机斑点获得目标三维信息，其3d成像原理如下图所示。
2.多次投影成像
多次投影3d方法主要采用时间复用编码方式实现，常用的图案编码形式有：二进制编码、多频相移编码τ35和混合编码法（如格雷码十相移条纹）等。
条纹投影3d成像基本原理如下图所示，利用计算机生成结构光图案或用特殊的光学装置产生结构光，经过光学投影系统投射至被测物体表面，然后采用图像获取设备（如ccd或cmos相机）采集被物体表面调制后发生变形的结构光图像，利用图像处理算法计算图像中每个像素点与物体轮廓上点的对应关系；最后通过系统结构模型及其标定技术，计算得到被测物体的三维轮廓信息。
在实际应用中，常采用格雷码投影、正弦相移条纹投影或格雷码十正弦相移混合投影3d技术。
3.偏折法成像
对于粗糙表面，结构光可以直接投射到物体表面进行视觉成像测量；但对于大反射率光滑表面和镜面物体3d测量，结构光投影不能直接投射到被测则表面，3d测量还需要借助镜面偏折技术，如下图所示。
在这种方案中，条纹不是直接投影到被测则轮廓上，而是投射到一个散射屏上，或用液晶显示屏代替散射屏把条纹直接显示出来。相机通过光亮表面折返光路，获取被光亮表面曲率变化调制的条纹信息，然后解算出三维轮廓形貌。
4.立体视觉3d成像
立体视觉字面意思是用一只眼睛或两只眼睛感知三维结构，一般情况下是指从不同的视点获取两幅或多幅图像重构目标物体3d结构或深度信息。
深度感知视觉线索可分为ocularcues和binocularcues（双目视差）。目前立体视觉3d可以通过单目视觉、双目视觉、多目视觉、光场3d成像（电子复眼或阵列相机）实现。
1.单目视觉成像
单目视觉深度感知线索通常有：透视、焦距差异、多视觉成像、覆盖、阴影、运动视差等。在机器人视觉里还可以用镜像1，以及其他shapefromx10等方法实现。
2.双目视觉成像
双目视觉深度感知视觉线索有：眼睛的收敛位置和双目视差。在机器视觉里利用两个相机从两个视点对同一个目标场景获取两个视点图像再计算两个视点图像中同名点的视差获得目标场景的3d深度信息。典型的双目立体视觉计算过程包含下面四个步骤：图像畸变矫正、立体图像对校正、图像配准和三角法重投影视差图计算，如下图。
3.多目视觉成像
也称多视点立体成像，用单个或多个相机从多个视点获取同一个目标场景的多幅图像，重构目标场景的三维信息。其基本原理如下图所示。
多视点立体成像主要用于下列几种场景：
1）使用多个相机从不同视点，获取同一个目标场景多幅图像，然后基于特征的立体重构等算法求取场景深度和空间结构信息。
2）从运动恢复形状（sm）的技术。使用同一相机在其内参数不变的条件下，从不同视点获取多幅图像，重构目标场景的三维信息。该技术常用于跟踪目标场景中大量的控制点，连续恢复场景的3d结构信息、相机的姿态和位置。
4.光场成像
光场3d成像的原理与传统ccd和cmos相机成像原理在结构原理上有所差异，传统相机成像是光线穿过镜头在后续的成像平面上直接成像，一般是2d图像。
光场相机成像是在传感器平面前增加了一个微透镜阵列，将经过主镜头入射的光线再次穿过每个微透镜，由感光阵列接收，从而获得光线的方向与位置信息，使成像结果可在后期处理，达到先拍照，后聚焦的效果，如下图所示。
5.3d视觉成像方法比较
（1）类似于tof相机、光场相机这类相机，可以归类为单相机3d成像范围，它们体积小，实时性好，适合eye-in-hand系统执行3d测量、定位和实时引导。
但是tof相机、光场相机短期内还难以用来构建普通的eye-inhand系统，主要原因如下：
①tof相机空间分辨率和3d精度低，不适合高精度测量、定位与引导。
②对于光场相机，目前商业化的工业级产品只有德国raytrix一家，虽然性能较好，空间分率和精度适中，但价格太贵，一台几十万元，使用成本太高。
（2）结构光投影3d系统，精度和成本适中，有相当好的应用市场前景。它由若干个相机-投影仪组成，如果把投影仪当作一个逆向的相机，可以认为该系统是一个双目或多目3d三角测量系统。
（3）被动立体视觉3d成像，日前在工业领域也得到较好应用，但应用场合有限。因为单目立体视觉实现有难度，双目和多目立体视觉要求目标物体纹理或几何特征清晰。
（4）结构光投影3d、双目立体视觉3d都存在下列缺点：体积较大，容易产生遮挡。因为这几种方法都是基于三角测量原理，要求相机和投影仪之间或双目立体两个相机之间必须间隔一定距离，并且存在一定的夹角θ(通常大于15°)才能实现测量。
如果减小相机与投影仪（结构光光源）的夹角，虽然在某些程度上可以解决问题，但是却会严重降低系统的测量灵敏度，影响该测量系统的应用。
针对上述问题虽然可以增加投影仪或相机覆盖被遮挡的区域，构成投影仪-相机-投影仪系统、相机-投影仪-相机测量系统或者多个相机投影仪系统，增大可视范围，减小阴影区域，扩大測量区域，但会增加成像系统的体积，减少在eye-in-hand系统中应用的灵活性。从eye-in-hand系统的角度来看，最佳的方案是开发一种成本低廉、精度适中、被动单目3d成像系统。
厨房垃圾处理器好用吗？解析垃圾处理器常见问题
华为：全球运营商部署超过70万个5G基站，年底将超150万
微导纳米计划冲刺科创板 上市辅导申请已获省证监局受理备案
巨微蓝牙芯片MG223概述及参数说明
电路板厂废水处理的方法
深度解析3D视觉成像几种典型方案
双向防堵转机电球阀和燃气表的原理及设计
dfrobotWin10 开发板 2GB/32GB介绍
【新专利介绍】基于复合物联网的燃气表故障提示方法及物联网系统
小米11 Ultra影像先锋的独特魅力
MAX4644双路单刀(SPDT)CMOS模拟开关
光耦在电子领域中的应用
数字电路之时序电路
三款高颜值手机:荣耀8青春版、魅蓝X、360N5s你更喜欢谁?荣耀8青春版、魅蓝X、360N5s区别对比评测
脉管制冷机属于什么制冷方法 脉管制冷机与斯特林制冷机的区别
基于CPCI总线连接的国产化主板的介绍
华为PowerStar网络智慧节能方案助力内蒙古移动网络质量保持领先
英伟达特供版芯片性能降80%！
啪啪啪打脸不？马云说他讨厌人工智能，扭头就悄悄做起智能音箱
SAS被誉为“数据质量工具魔力象限2019年度领导者”