基于HCG-VCSEL的偏振结构光3D相机技术分析
摘要
高反射面，例如玻璃、镜子和水面，是深度传感和三维（3d）成像中的常见场景。它们通常会导致深度感知的严重错误，例如倒影、虚像导致错误的深度测量。目前主流的3d相机，例如传统的结构光相机、立体视觉相机、时间飞行（tof）相机等，在这类场景中都存在着明显的不足。为了解决这些问题，博升光电团队设计了一种新型偏振结构光3d相机。在发射端，设计高对比度光栅（high-contrast-grating，hcg）垂直腔面发射激光器（vertical-cavity surface-emitting lasers，vcsels）用于提供具有强偏振选择比的结构光。在接收端，设计了装有偏振片的红外cmos相机来选择性地接收信号。经过各种测试，在各种成像条件下该偏振结构光相机都可以准确获取反射面场景的深度。
现状
近几十年来，如何让探测器正确识别反射面一直是技术难点。许多技术，例如偏振成像、主动发射式探测器和声纳的融合、深度学习等，都一直致力于反射面的探测。然而，由于反射或多径噪声的影响，大多数这些技术在实际场景中使用并不鲁棒和稳健。
偏振成像通过对不同偏振角度反射强度的多幅图像进行分析，可以得到物体的三维形状。它第一次用于确定反射表面的3d方向可以追溯到20世纪90年代。从那时起，偏振成像就开始被用于重建透明和镜面物体的形状。随后，偏振成像与各种深度传感器的结合，使其能够获得更好的重建效果。然而，偏振成像需要捕获多个偏振图像来估计相对深度，而且依赖于物体折射率的先验知识，并不适用于通用场景的深度探测。而且，基于图像的方法很容易受到物体反射倒影的影响，不能正确测量反射面的深度。
主动发射式的探测与成像，例如激光测距仪和结构光相机，在深度传感领域得到了广泛的应用。以激光测距仪为例，为了处理反射面，一些研究人员使用反射强度分布图来确定玻璃区域。激光测距仪与声纳、偏振成像的融合也用于玻璃环境下的机器人导航研究。然而，这些方法需要扫描多个角度以确定反射面深度，因此它们主要路径规划并不适用于反射面的3d成像。对于结构光相机，它们利用和声纳的融合来获取玻璃场景的深度图像。但是，由于声纳的数据稀疏、角度窄，需要多次扫描才能获得足够的信息。此外，与声纳的融合将会产生系统成本高、体积大、结构复杂等问题。
深度学习领域近些年也不断出现关于反射面检测的工作。他们使用大量反射面图像来训练网络模型，然后输入新的图像进行反射面区域识别。但这种方法也可能会把有框架或边界的区域，比如没有玻璃的空框架，误认为是反射面。因此，对于反射面环境的3d成像应用，仍然需要一种鲁棒的方法。
内容
据麦姆斯咨询报道，近期，博升光电团队开发出一种新型偏振结构光（psl）3d相机，在发射器（tx）和接收器（rx）上都具有偏振特性（图1）。在tx中，高对比度光栅（hcg）垂直腔面发射激光器（vcsels）是专门设计用于提供具有强偏振选择比的结构光。在rx中，设计了偏振选择cmos相机来选择性地接收信号。根据菲涅耳理论，镜面反射与入射偏振光保持相同的偏振。然而，漫反射面的反射即使被强偏振光入射也不表现出任何偏振。因此，使用偏振选择cmos相机可以区分反射面和其他物体，同时可以根据偏振方向的选择来获得反射面或其背后物体的深度信息（图1b）。另外，根据tx和rx的偏振组合，还可以过滤掉反射噪声的影响，获取清晰的场景深度信息（图1c）。本论文了进行了三个实验，以演示如何使用psl 3d相机来实现看到以及看透反射面。
图1 偏振结构光3d传感器原理
看透反射面实验结果
首先，本论文以室内玻璃门场景，来说明psl 3d相机看透反射面的能力。如图2所示psl 3d相机正对玻璃门，距离从0.4 m到1.2 m不等。在玻璃门后面，有柜子和篮球。它们与玻璃的距离固定为0.5m。psl 3d相机的tx向场景投射偏振光结构光。然后结构光被反射回rx，包含玻璃门和后方物体的深度信息。其中玻璃门的反射与tx保持相同的偏振，而柜子和篮球的反射光因漫反射而具有各种偏振方向。如图2a的偏振0°所示，当我们将rx设置为与tx偏振相同时，可以重构玻璃门、柜子和篮球的深度信息。如图2a的偏振90°所示，如果我们将rx旋转到正交方向，则可以过滤玻璃部分，留下柜子和篮球的深度信息。同时，也测试了0.8m和1.2m的情况，看到和看透玻璃的功能都可以实现。
图2 看透反射面实验结果
抗反射噪声成像实验结果
接着，本论文在室外和室内场景展示psl 3d相机抗反射噪声成像的特点（图3）。首先展示室外玻璃场景（图3a），在这种情况下，自然光在反射面上有较强的镜面反射。从图中可以看到，反射噪声使立体视觉相机无法获得场景的深度。然而，该噪声具有较大的s偏振分量。因此，我们可以利用p偏振tx和rx来过滤这种噪声，提高信噪比。如图3c所示，在这种p偏振设置下，psl 3d相机可以清晰地测量整个场景的深度。
图3 抗反射噪声成像实验结果
在室内场景，本论文分析了在墙角情况下的抗噪声检测能力。这种场景是室内服务机器人常见的场景。如图3d-3l所示，展示了在0.24m、0.4m和0.56m三种不同高度下，psl 3d相机和传统立体视觉3d相机的对比结果。可以看到，在这种情况下，由于多径噪声的影响，立体视觉相机（图3e，3h，3k）会出现错误的深度判断。而对于psl 3d相机（图3f，3i，3l），通过将tx和rx设置为p偏振，可以获得完整且正确的墙角深度和点云。
补全反射面实验结果
除了可以实现看透反射面和抗反射噪声，psl 3d相机还可以进行反射面的补全。本论文选取了4个常见场景进行实验（图4），其中包括阳台玻璃、隔音室玻璃、球形玻璃和办公室门玻璃。每一列对应一个场景，首先在偏振度为0°和90°的情况下，取得两幅深度图像。在偏振度为0°的情况下，玻璃和其它漫反射部分都可以重构，而在偏振度为90°的情况下，玻璃部分被消除。相比于立体视觉相机无法检测到玻璃的深度，psl 3d相机这种特别的变化可以作为确定反射面的可靠线索。因此，依靠第二第三行两幅深度图像的相减和第四行预测的玻璃边界，相机就可以提取出属于玻璃的深度，其结果展示在第五行。接着提取的玻璃点可以用来拟合和补全反射面。补全的深度图像显示在第七行，其中部分空的玻璃现在已被填充。最后两行显示了原始点云和补全点云的最终对比。在最后补全的点云中，反射面的3d重建结果正确，再次验证了psl 3d相机的特别之处。
图4 补全反射面实验结果
总结
综上所述，博升光电团队发明了一种新型基于hcg-vcsel的偏振结构光3d相机，并提出了相应的成像方法，用于反射面的各种场景的3d重建。作为机器人的眼睛，psl 3d相机将在服务机器人和物流机器人等领域得到广泛应用。这些机器人将不可避免地遇到反射面的问题，例如报告实验中所示的玻璃门和瓷砖墙角等。psl 3d相机可以使他们正确处理这些情况。此外，反射面物体或场景重建，例如办公室和展览馆等，也将受益于该方法。因此，凭借特殊的偏振特性，psl 3d相机可以进一步扩展到广泛的室内和室外3d应用。
电池知识9则
基于3×3对称耦合器的Labview软件解调方案
“全千兆”时代，给锡城市民带来美好智慧体验
134家世界500强企业落户成都
2021，芯片业热潮将继续汹涌
基于HCG-VCSEL的偏振结构光3D相机技术分析
应用声表面波技术的无线无源温度传感系统
多种激光器在半导体行业中的设计
基于数字PID控制算法的移相全桥零电压开关变换器研究
内存降价指日可待：三星投资186亿美元推动NAND闪存的生产
VivoNEX旗舰版评测 既是品牌初心的延续也是真正大厂的代表作
印度首颗CPU诞生 6大系列覆盖面全相当具规模
新型土壤肥料养分速测仪的功能特点是什么
打造具有不亚于特斯拉科技魅力的产品 才是零跑的更大梦想
云服务器的数据安全风险以及其价值评估
凌力尔特推出高准确度温度传感器LTC2996
机器学习算法：监督学习和强化学习
SvelteKit 1.0正式发布
禾多科技荣获2022年度AI场景落地最具影响力创新企业奖
你真的了解超级电容吗？漏电流的概念
高反射面，例如玻璃、镜子和水面，是深度传感和三维（3d）成像中的常见场景。它们通常会导致深度感知的严重错误，例如倒影、虚像导致错误的深度测量。目前主流的3d相机，例如传统的结构光相机、立体视觉相机、时间飞行（tof）相机等，在这类场景中都存在着明显的不足。为了解决这些问题，博升光电团队设计了一种新型偏振结构光3d相机。在发射端，设计高对比度光栅（high-contrast-grating，hcg）垂直腔面发射激光器（vertical-cavity surface-emitting lasers，vcsels）用于提供具有强偏振选择比的结构光。在接收端，设计了装有偏振片的红外cmos相机来选择性地接收信号。经过各种测试，在各种成像条件下该偏振结构光相机都可以准确获取反射面场景的深度。
现状
近几十年来，如何让探测器正确识别反射面一直是技术难点。许多技术，例如偏振成像、主动发射式探测器和声纳的融合、深度学习等，都一直致力于反射面的探测。然而，由于反射或多径噪声的影响，大多数这些技术在实际场景中使用并不鲁棒和稳健。
偏振成像通过对不同偏振角度反射强度的多幅图像进行分析，可以得到物体的三维形状。它第一次用于确定反射表面的3d方向可以追溯到20世纪90年代。从那时起，偏振成像就开始被用于重建透明和镜面物体的形状。随后，偏振成像与各种深度传感器的结合，使其能够获得更好的重建效果。然而，偏振成像需要捕获多个偏振图像来估计相对深度，而且依赖于物体折射率的先验知识，并不适用于通用场景的深度探测。而且，基于图像的方法很容易受到物体反射倒影的影响，不能正确测量反射面的深度。
主动发射式的探测与成像，例如激光测距仪和结构光相机，在深度传感领域得到了广泛的应用。以激光测距仪为例，为了处理反射面，一些研究人员使用反射强度分布图来确定玻璃区域。激光测距仪与声纳、偏振成像的融合也用于玻璃环境下的机器人导航研究。然而，这些方法需要扫描多个角度以确定反射面深度，因此它们主要路径规划并不适用于反射面的3d成像。对于结构光相机，它们利用和声纳的融合来获取玻璃场景的深度图像。但是，由于声纳的数据稀疏、角度窄，需要多次扫描才能获得足够的信息。此外，与声纳的融合将会产生系统成本高、体积大、结构复杂等问题。
深度学习领域近些年也不断出现关于反射面检测的工作。他们使用大量反射面图像来训练网络模型，然后输入新的图像进行反射面区域识别。但这种方法也可能会把有框架或边界的区域，比如没有玻璃的空框架，误认为是反射面。因此，对于反射面环境的3d成像应用，仍然需要一种鲁棒的方法。
内容
据麦姆斯咨询报道，近期，博升光电团队开发出一种新型偏振结构光（psl）3d相机，在发射器（tx）和接收器（rx）上都具有偏振特性（图1）。在tx中，高对比度光栅（hcg）垂直腔面发射激光器（vcsels）是专门设计用于提供具有强偏振选择比的结构光。在rx中，设计了偏振选择cmos相机来选择性地接收信号。根据菲涅耳理论，镜面反射与入射偏振光保持相同的偏振。然而，漫反射面的反射即使被强偏振光入射也不表现出任何偏振。因此，使用偏振选择cmos相机可以区分反射面和其他物体，同时可以根据偏振方向的选择来获得反射面或其背后物体的深度信息（图1b）。另外，根据tx和rx的偏振组合，还可以过滤掉反射噪声的影响，获取清晰的场景深度信息（图1c）。本论文了进行了三个实验，以演示如何使用psl 3d相机来实现看到以及看透反射面。
图1 偏振结构光3d传感器原理
看透反射面实验结果
首先，本论文以室内玻璃门场景，来说明psl 3d相机看透反射面的能力。如图2所示psl 3d相机正对玻璃门，距离从0.4 m到1.2 m不等。在玻璃门后面，有柜子和篮球。它们与玻璃的距离固定为0.5m。psl 3d相机的tx向场景投射偏振光结构光。然后结构光被反射回rx，包含玻璃门和后方物体的深度信息。其中玻璃门的反射与tx保持相同的偏振，而柜子和篮球的反射光因漫反射而具有各种偏振方向。如图2a的偏振0°所示，当我们将rx设置为与tx偏振相同时，可以重构玻璃门、柜子和篮球的深度信息。如图2a的偏振90°所示，如果我们将rx旋转到正交方向，则可以过滤玻璃部分，留下柜子和篮球的深度信息。同时，也测试了0.8m和1.2m的情况，看到和看透玻璃的功能都可以实现。
图2 看透反射面实验结果
抗反射噪声成像实验结果
接着，本论文在室外和室内场景展示psl 3d相机抗反射噪声成像的特点（图3）。首先展示室外玻璃场景（图3a），在这种情况下，自然光在反射面上有较强的镜面反射。从图中可以看到，反射噪声使立体视觉相机无法获得场景的深度。然而，该噪声具有较大的s偏振分量。因此，我们可以利用p偏振tx和rx来过滤这种噪声，提高信噪比。如图3c所示，在这种p偏振设置下，psl 3d相机可以清晰地测量整个场景的深度。
图3 抗反射噪声成像实验结果
在室内场景，本论文分析了在墙角情况下的抗噪声检测能力。这种场景是室内服务机器人常见的场景。如图3d-3l所示，展示了在0.24m、0.4m和0.56m三种不同高度下，psl 3d相机和传统立体视觉3d相机的对比结果。可以看到，在这种情况下，由于多径噪声的影响，立体视觉相机（图3e，3h，3k）会出现错误的深度判断。而对于psl 3d相机（图3f，3i，3l），通过将tx和rx设置为p偏振，可以获得完整且正确的墙角深度和点云。
补全反射面实验结果
除了可以实现看透反射面和抗反射噪声，psl 3d相机还可以进行反射面的补全。本论文选取了4个常见场景进行实验（图4），其中包括阳台玻璃、隔音室玻璃、球形玻璃和办公室门玻璃。每一列对应一个场景，首先在偏振度为0°和90°的情况下，取得两幅深度图像。在偏振度为0°的情况下，玻璃和其它漫反射部分都可以重构，而在偏振度为90°的情况下，玻璃部分被消除。相比于立体视觉相机无法检测到玻璃的深度，psl 3d相机这种特别的变化可以作为确定反射面的可靠线索。因此，依靠第二第三行两幅深度图像的相减和第四行预测的玻璃边界，相机就可以提取出属于玻璃的深度，其结果展示在第五行。接着提取的玻璃点可以用来拟合和补全反射面。补全的深度图像显示在第七行，其中部分空的玻璃现在已被填充。最后两行显示了原始点云和补全点云的最终对比。在最后补全的点云中，反射面的3d重建结果正确，再次验证了psl 3d相机的特别之处。
图4 补全反射面实验结果
总结
综上所述，博升光电团队发明了一种新型基于hcg-vcsel的偏振结构光3d相机，并提出了相应的成像方法，用于反射面的各种场景的3d重建。作为机器人的眼睛，psl 3d相机将在服务机器人和物流机器人等领域得到广泛应用。这些机器人将不可避免地遇到反射面的问题，例如报告实验中所示的玻璃门和瓷砖墙角等。psl 3d相机可以使他们正确处理这些情况。此外，反射面物体或场景重建，例如办公室和展览馆等，也将受益于该方法。因此，凭借特殊的偏振特性，psl 3d相机可以进一步扩展到广泛的室内和室外3d应用。
电池知识9则
基于3×3对称耦合器的Labview软件解调方案
“全千兆”时代，给锡城市民带来美好智慧体验
134家世界500强企业落户成都
2021，芯片业热潮将继续汹涌
基于HCG-VCSEL的偏振结构光3D相机技术分析
应用声表面波技术的无线无源温度传感系统
多种激光器在半导体行业中的设计
基于数字PID控制算法的移相全桥零电压开关变换器研究
内存降价指日可待：三星投资186亿美元推动NAND闪存的生产
VivoNEX旗舰版评测 既是品牌初心的延续也是真正大厂的代表作
印度首颗CPU诞生 6大系列覆盖面全相当具规模
新型土壤肥料养分速测仪的功能特点是什么
打造具有不亚于特斯拉科技魅力的产品 才是零跑的更大梦想
云服务器的数据安全风险以及其价值评估
凌力尔特推出高准确度温度传感器LTC2996
机器学习算法：监督学习和强化学习
SvelteKit 1.0正式发布
禾多科技荣获2022年度AI场景落地最具影响力创新企业奖
你真的了解超级电容吗？漏电流的概念