一文带你了解这三种3D视觉技术
技术一览
1. tof (time-of-flight）
tof是一种非常有效的技术，可用于测量距离以获得深度数据。集成在相机中的光源可发出光脉冲照射到物体上，物体将光脉冲反射回相机。根据光脉冲所需的时间，可以确定被测物每个点与相机的距离信息，从而得到深度值。因此，被检测物体的3d值会以范围图或点云的形式输出为一张空间图像。除此之外，tof还能为每个像素以灰度值的形式提供2d强度图像，以及可表示单个值置信度的置信度图。
使用tof进行3d采集时，基本不受物体的强度和颜色的影响，也无需边缘标定、转角等功能设置，因此可以轻松使用图像处理技术将其与背景分开。该采集过程也适用于移动的物体，每秒最多能执行900万次距离测量，精度可达毫米级。与其他3d相机相比，tof相机更为经济、精巧和简单，可实现轻松安装和集成。
不过，tof相机仅在特定环境条件下和定义的测量范围内，才能提供理想的采集结果。这是由于tof相机采用底层的tof测量方法，在测量物体的角落或凹形面时，发射光会进行多次反射，导致tof方法的测量结果出现偏差。离相机太近的高反射表面会导致镜头中出现杂散光，从而产生伪影。而对于非常暗的表面，由于反射光太少，存在无法进行可靠测量的风险。工作距离太小也会对tof方法造成限制，所以它总体上适用于测量范围广、对精度要求适中的应用场景。
在托盘中的包装用伪色显示的3d点云
2. 双目视觉
双目视觉的工作原理与人眼类似。其3d原理是使用两台2d相机从不同视角拍摄同步的图像，从而获得深度信息。为了计算3d数据，必须知道两台相机之间的相对位置（外部参数）。此外，还需要获得有关每台相机的内部参数信息，例如镜头的光学中心和焦距等，这些信息共同决定了特定于相机的校准值。为了计算深度信息，首先需要校正两个2d相机拍摄的图像，然后使用适配算法在左右图像中搜索相应的像素，最后借助校准值，就可以将场景或物体的深度图像生成为点云。此过程中的最佳工作距离具体取决于两台相机的距离和设置角度，因此会各不相同。
对于结构简单的表面，由于双目视觉方法在两个图像中拍摄到的相应特征不足，因此无法从中计算出三维信息，用户可以通过搭配结构光克服这些限制。
3. 结构光
与双目视觉技术不同，结构光技术需要将其中一台相机替换为条纹光投影仪。它会投影具有正弦强度曲线的各种条纹状图案，从而在表面上创建系统已知的人造结构。在表面上投影的条纹变形可用于计算3d信息，并获得更准确的测量结果。
具备结构光功能的芯片在近距离内可实现较高的精度。使用结构光方法时会产生很高的计算负载，它需要逐张采集和分析多个图像，不适用于移动的物体。综上，它仅适用于有限范围内的实时应用，否则需要投入更高的成本。
三者优劣势分析
典型应用
1. 典型tof应用
在工作距离长、测量范围大、高速运作以及系统复杂性低的应用中，tof技术尤其可以发挥所长，而极高的精度则不是重要的考虑因素。
● 测量物体（体积、形状、位置、方向）
● 工厂自动化：查找、拾取、组装物体；检测损坏的物体或堆垛错误
● 机器人：确定机器人的拾取点；传送带上的抓取任务、箱盒取物、拾取与放置
● 物流：包装、堆垛、打（拆）托盘、打标签、自动驾驶车辆（导航、安全警告）
● 医学：病人的定位和监测
2. 双目视觉和结构光的典型应用
双目视觉技术可以提供较高测量精度，而具备结构光功能的相机性能更胜一筹。这些类型的3d相机适用于检测结构较少的平扁表面，或需要实现较高测量精度的应用。
● 确定位置和方向
● 对物体进行高精度测量（体积、形状、位置、方向）
● 机器人：箱盒取物、导航、防撞、装货和卸货服务
● 物流：室内车辆导航、机器的装卸、打（拆）托盘
● 户外：测量和检测树干
● 损坏检测等组件检测
目前，结合深度学习或人工智能的3d技术受到了越来越多应用的青睐。这种技术交互使得物体识别以及精确确定物体在空间中的位置变得更轻松，所以机器人现在能够抓取以前无法抓取的物体。而同步定位与地图构建（slam）系统使用视觉芯片来创建高分辨率的三维地图，同样适用于自动驾驶汽车和增强现实应用方面。
本文转载自：basler计算机视觉微信公众号
看邮件大国如何快速有效处理管理
华为Mate9系统更新：实现十倍变焦，功能不输iphone 7 限量体验
尼日利亚人以其高科技技术影响着世界
SMT的尺寸是什么 继电器检测异常
自学平面设计的经验总结
一文带你了解这三种3D视觉技术
智能雷达液位计的工作原理、特点及适用范围
xilinx Vivado工具使用技巧
ANDON替代DIGISENSOR图像传感器插座
EMC电磁兼容整改主要的整改方法
STM32入门学习笔记之MPU6050传感器解析实验2
FPGA的不同年龄段有什么区别
i-MN：推动MEMS外观检测系统的主要因素是什么？
2022年12月份全国乘用车市场分析
福建省遴选2个区17所学校作为人工智能教育实验区、试点校
3G/WIFI控制太阳能驱动机器人制作详解
LM4766胆石混合功放机,LM4766 POWER AMPLIFIER
2020年我国集成电路销售收入达到8848亿元
中国联通与泰山景区联合成立“5G智慧景区创新示范基地”
Wind ESG评级出炉：软通动力获评AA级 行业第一
1. tof (time-of-flight）
tof是一种非常有效的技术，可用于测量距离以获得深度数据。集成在相机中的光源可发出光脉冲照射到物体上，物体将光脉冲反射回相机。根据光脉冲所需的时间，可以确定被测物每个点与相机的距离信息，从而得到深度值。因此，被检测物体的3d值会以范围图或点云的形式输出为一张空间图像。除此之外，tof还能为每个像素以灰度值的形式提供2d强度图像，以及可表示单个值置信度的置信度图。
使用tof进行3d采集时，基本不受物体的强度和颜色的影响，也无需边缘标定、转角等功能设置，因此可以轻松使用图像处理技术将其与背景分开。该采集过程也适用于移动的物体，每秒最多能执行900万次距离测量，精度可达毫米级。与其他3d相机相比，tof相机更为经济、精巧和简单，可实现轻松安装和集成。
不过，tof相机仅在特定环境条件下和定义的测量范围内，才能提供理想的采集结果。这是由于tof相机采用底层的tof测量方法，在测量物体的角落或凹形面时，发射光会进行多次反射，导致tof方法的测量结果出现偏差。离相机太近的高反射表面会导致镜头中出现杂散光，从而产生伪影。而对于非常暗的表面，由于反射光太少，存在无法进行可靠测量的风险。工作距离太小也会对tof方法造成限制，所以它总体上适用于测量范围广、对精度要求适中的应用场景。
在托盘中的包装用伪色显示的3d点云
2. 双目视觉
双目视觉的工作原理与人眼类似。其3d原理是使用两台2d相机从不同视角拍摄同步的图像，从而获得深度信息。为了计算3d数据，必须知道两台相机之间的相对位置（外部参数）。此外，还需要获得有关每台相机的内部参数信息，例如镜头的光学中心和焦距等，这些信息共同决定了特定于相机的校准值。为了计算深度信息，首先需要校正两个2d相机拍摄的图像，然后使用适配算法在左右图像中搜索相应的像素，最后借助校准值，就可以将场景或物体的深度图像生成为点云。此过程中的最佳工作距离具体取决于两台相机的距离和设置角度，因此会各不相同。
对于结构简单的表面，由于双目视觉方法在两个图像中拍摄到的相应特征不足，因此无法从中计算出三维信息，用户可以通过搭配结构光克服这些限制。
3. 结构光
与双目视觉技术不同，结构光技术需要将其中一台相机替换为条纹光投影仪。它会投影具有正弦强度曲线的各种条纹状图案，从而在表面上创建系统已知的人造结构。在表面上投影的条纹变形可用于计算3d信息，并获得更准确的测量结果。
具备结构光功能的芯片在近距离内可实现较高的精度。使用结构光方法时会产生很高的计算负载，它需要逐张采集和分析多个图像，不适用于移动的物体。综上，它仅适用于有限范围内的实时应用，否则需要投入更高的成本。
三者优劣势分析
典型应用
1. 典型tof应用
在工作距离长、测量范围大、高速运作以及系统复杂性低的应用中，tof技术尤其可以发挥所长，而极高的精度则不是重要的考虑因素。
● 测量物体（体积、形状、位置、方向）
● 工厂自动化：查找、拾取、组装物体；检测损坏的物体或堆垛错误
● 机器人：确定机器人的拾取点；传送带上的抓取任务、箱盒取物、拾取与放置
● 物流：包装、堆垛、打（拆）托盘、打标签、自动驾驶车辆（导航、安全警告）
● 医学：病人的定位和监测
2. 双目视觉和结构光的典型应用
双目视觉技术可以提供较高测量精度，而具备结构光功能的相机性能更胜一筹。这些类型的3d相机适用于检测结构较少的平扁表面，或需要实现较高测量精度的应用。
● 确定位置和方向
● 对物体进行高精度测量（体积、形状、位置、方向）
● 机器人：箱盒取物、导航、防撞、装货和卸货服务
● 物流：室内车辆导航、机器的装卸、打（拆）托盘
● 户外：测量和检测树干
● 损坏检测等组件检测
目前，结合深度学习或人工智能的3d技术受到了越来越多应用的青睐。这种技术交互使得物体识别以及精确确定物体在空间中的位置变得更轻松，所以机器人现在能够抓取以前无法抓取的物体。而同步定位与地图构建（slam）系统使用视觉芯片来创建高分辨率的三维地图，同样适用于自动驾驶汽车和增强现实应用方面。
本文转载自：basler计算机视觉微信公众号
看邮件大国如何快速有效处理管理
华为Mate9系统更新：实现十倍变焦，功能不输iphone 7 限量体验
尼日利亚人以其高科技技术影响着世界
SMT的尺寸是什么 继电器检测异常
自学平面设计的经验总结
一文带你了解这三种3D视觉技术
智能雷达液位计的工作原理、特点及适用范围
xilinx Vivado工具使用技巧
ANDON替代DIGISENSOR图像传感器插座
EMC电磁兼容整改主要的整改方法
STM32入门学习笔记之MPU6050传感器解析实验2
FPGA的不同年龄段有什么区别
i-MN：推动MEMS外观检测系统的主要因素是什么？
2022年12月份全国乘用车市场分析
福建省遴选2个区17所学校作为人工智能教育实验区、试点校
3G/WIFI控制太阳能驱动机器人制作详解
LM4766胆石混合功放机,LM4766 POWER AMPLIFIER
2020年我国集成电路销售收入达到8848亿元
中国联通与泰山景区联合成立“5G智慧景区创新示范基地”
Wind ESG评级出炉：软通动力获评AA级 行业第一