一文解析多相机视觉系统的难点及应用
导语：
随着机器视觉应用的日益广泛，大幅面 多相机 视觉系统的需求越来越多，主要应用方向为大幅面高精度的定位与测量和场景拼接等。
多相机视觉系统的难点在于多相机坐标系的统一. 可以分为两类，一是相机视野间无重叠部分，二是相机视野间有重叠部分。
相机间无重叠部分的情况主要用于大幅面多相机高精度的定位和测量，相机间有重叠部分的情况主要用于场景的拼接等。
一. 相机间无重叠部分，介绍两种典型方法。
1. 使用大标定板统一坐标
方案简介：
此方法采用一块大标定板来统一各个相机的坐标，每个大标定板中有若干小标定板，各个小标定板间的位置关系都是已知的，各个相机都能拍摄到一个小标定板。通过各个小标定板可以标定每个相机的内部参数和外部参数，每个相机的坐标都可以转换到各个小标定板的坐标系上，从而统一各个相机的坐标。
系统结构：
常用的标定板形式：
上图所示为单个标定板图像，大标定板由若干单个标定板组成，标定板的大小和数量根据实际测量情况而定。
多个标定板组合示意图：
案例分析：
(1) 检测目标分析
测量产品需要若干个测量指标。如下图所示。
(2)图像获取
采用4只相机来完成所有项目的测量，分别拍到的照片如下图所示。
(3)检测流程
先分别利用每张图的两条垂直边计算出它们的交点，那么得到的4个交点就可以算出l1和l2的值，如下图所示(以右下角相机为例)。
注意事项：
此种方法需要将多只相机的坐标统一到一个坐标系中，并且单一相机还要做自己的校准，保证精度。 根据检测要求，设置取多少个点作为参考，但是这影响测试的时间，需酌情考虑。
应用领域：
手机和平板电脑面板尺寸的检测。
2. 使用相对运动统一坐标
方案简介： 此方法采用相机和被测物之间的相对运动来统一相机的坐标，相机和被测物只要一方运动即可，记录各个位置的坐标，然后通过数学运算来统一坐标。通常情况下是相机位置固定，被测物通过机械手等运动装置进行移动，然后把相机坐标系统一到机械手等运动装置的原点。 总体结构：
方法介绍：
通过相机拍摄的图像对mark点进行定位，从而计算出被测物相对于标准位置的偏差，包含角度偏差和位移偏差，最终确定机械装置需要旋转的角度和平移的距离。选用手机触摸屏和手机外壳的定位系统来介绍算法原理。
手机触摸屏和手机外壳的定位系统，使用多支相机代替一支相机的方法进行定位，使手机触摸屏和手机外壳精确组装。相机分为两组，每组两支相机，一组拍摄手机外壳(组1)，一组拍摄触摸屏(组2)，两组相机标定方法相同，下面只介绍拍摄手机外壳的两支相机的标定。相机固定，机械手吸住手机外壳移动，两支相机分别拍摄手机外壳的两个定位孔，使用模板匹配的方法对两个定位孔进行识别，如下图所示：
(1) 通过机械手的移动获取标定所用坐标 (三点线性标定法)
组1相机1：
把mark点移动到相机视野中，定相机的初始位置，得到初始mark点的中心坐标point11(crow11, ccolumn11)，机械手沿x方向移动一定距离(5mm)后得到mark点的中心坐标point12 (crow12, ccolumn12)，机械手沿y方向移动一定距离(6mm)后得到mark点的中心坐标point13(crow13, ccolumn13)，同时可以得到在上述三个位置机械手的空间坐标robot11(x1[0]，y1[0])、 robot12(x1[1]，y1[1]) 、robot13(x1[2]，y1[2])。
组1相机2：
同上，把相同mark点移动到相机视野中，通过相同的操作得到坐标：point21 (crow21, ccolumn21)、point22 (crow22, ccolumn22)、point23 (crow23, ccolumn23)、robot21 (x2[0]，y2[0])、 robot22(x2[1]，y2[1])、robot23(x2[2]，y2[2])。
(2) 图像距离和实际距离之间转换比例关系的确定：
通过数学运算可计算得到比例关系。
(3) 旋转中心的确定
依据三个点就可以确定一个圆的原理，让机械手在初始位置旋转三次，得到robot31，robot32和robot33三个相对于机械手坐标系的坐标点，三个点的坐标就可以求出旋转圆心的坐标。
(4) 标准线斜率求取：
需要在两个相机的视野中各选取一点作为标准线的起始点和终点，然后求取此标准线在机械手坐标系中的斜率。调整机械手到合适位置，确定此处为标准位置，此时组1的两支相机分别拍摄初始位置的两个不同的mark点的图像。通过模板匹配方法找到两个相机初始位置视野中两个mark点的中心坐标point10(row10,column10)和point20(row20,column20)，point10和point20确定为标准线的起始点和终点。求取point10在机械手中的坐标如下图所示，下图中xoy是机械手坐标系，x1o1y1是组1相机1的图像坐标。
通过点到直线的距离运算可以得到d14，d15和d16的实际长度，由于在移动过程中使用的是同一个mark点，d1，d2，d3在相机1和相机2的视野中的值是一样的。从而可以得到point10在机械手坐标系中的实际坐标为：
point10x=x1[1]+d16+d2，point10y=y1[1]+(d1-d15)。
同样可以得到point20在机械手坐标系中的实际坐标：
point20x=x2[1]+d26+d2，point20y=y2[1]+(d1-d25)。
求取该标准线斜率;
k = (point20y-point10y) / (ponit20x-point20x)
= (y2[1]-y1[1]-d25+d15) / (x2[1]-x1[1]+d26-d16)
之后在每次定位时需要和此标准线的斜率进行比较，从而得到和标准线的夹角，最后进行旋转校正。
注意：由于point10和point20会落在不同的位置，在计算point10和point20的实际坐标时上述公式会有所变化，但原理相同。
定位校准
以后在每次进行检测时，得到的结果都和标准线进行比较，可以得到和标准线的夹角和相对于标准位置的位置偏差，根据得到的角度和位置偏差进行校正。在校正过程中需要先旋转后平移，做一个闭环反馈系统实时校正。
应用领域：
手机或平板电脑触摸屏和外壳的装配定位。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
二. 相机间有重叠部分，介绍两种典型方法。
1. 标定方法拼接图像
方案简介：
对于有些大幅面物体 ，可以通过拍摄多幅图像，每幅图像覆盖物体的不同的部分。如果摄像机经过标定并且它们与一个共有的世界坐标系之间的相对关系已知，就可以通过不同的图像进行精确测量。 甚至可以将多幅图像拼接为一副覆盖整个物体的大图，这个可以通过将每幅图像都校正到同一个测量平面上实现。在结果图像上，可以直接在世界坐标系中进行测量。 图像拼接示意图：
安装：
两个摄像机或多个摄像机必须安装在一个稳定的平台上，并且每幅图像覆盖整个场景的一部分。摄像机的方位可以随意，也就是说不需要它们看起来平行或垂直于物体表面。调整摄像机焦距、灯光以及交迭区域，使用一个大的可以覆盖整个视野的参照物。为了保证可以将多幅图像拼接为一副大图，它们之间必须存在一个小的交迭区域。交迭区域可以很小，因为这个交迭区域只是为了保证在拼接的结果图像中没有缝隙，下图为交叠区域示意图。
标定：
图像的标定可以分为两个步骤。
确定每个摄像机的内参。可以分别对每个摄像机进行标定求取摄像机的内参。
确定所有摄像机的外参。因为最后要将所有的图像转换到某一个世界坐标系中，所以需要使用一个大的标定物，这个标定物可以出现在所有的图像中，它可以由多个标定板组合而成，标定板的数量和使用摄像机的数量一致。下图为两个相机分别拍摄到的标定图像。
注意：为了确定摄像机的外参，每个摄像机只需要拍摄一副标定图像就已经足够。标定物在多个摄像机分别进行拍摄标定图像的过程中不可以移动。理想情况下，这些标定图像应该同时获取。
将单个图像拼接为一个大图：
首先，每幅图像都必须进行校正，将这些图像转换到一个共有的坐标系中，它们之间就会正确匹配。在得到所有进行校正图像需要的映射图后，使用两个摄像机拍摄的每个图像对都可以进行校正并且高效的拼接。拼接的结果图由两幅校正后的图像组成，每个校正后的图像占图像的一个部分，下图为校正后的图像和拼接结果。
应用领域：
液晶面板表面质量的检测
2. 非标定方法拼接图像
简介：
此种方法和前三种方法相比精度较低，适用于不需要实现高精度拼接的应用场合。这种拼接方法的优点是不需要进行摄像机标定，并且每幅单独的图像可以自动进行排列。
拍摄单幅图像规则：
在拍摄每幅图像时需要遵循下面这些规则：
(1) 相邻的图像之间必须有交迭
(2) 图像之间的交迭区域必须有比较明显的特征，这样就可以保证比较精确的自动匹配过程。如果在某些交迭区域内的特征不明显那么可以通过定义合适的图像对来克服。如果整个物体的特征都不是特别明显，那么交迭区域就应该更大一些。
(3) 交迭的图像的缩放比例必须大约相等。一般情况下，缩放比例的不同不能超过 5－10％
(4) 这些图像的亮度应该相似，至少在交迭区域部分的亮度相似。否则，如果亮度区别非常明显的话，图像之间的接缝在结果图像中就非常明显，如下图所示。
定义交叠图像对：
需要定义一些交迭图像对，通过匹配确定这些图像对之间的转换关系。匹配的过程只会应用在这些交迭图像对上。
如果需要拼接的图像比较多，或者交迭图像每行图像比较多，此时合理彻底地安排图像对的配置十分重要。否则就可能有些图像不能实现精确匹配。这主要是因为噪声造成点坐标的一些误差导致不能准确计算图像之间的转换关系，这些误差会由一个图像传到下一幅图像上。
提取图像中的特征点：
提取出的特征点的数量影响运行时间以及匹配的结果。特征点的数量越多，匹配的过程就越慢。但是太少的特征点将增大产生错误结果的可能性。
在交迭的区域中匹配特征点并且确定图像之间转换关系：
在进行图像拼接过程中最重要的任务就是图像对之间的匹配过程。匹配的图像对可以有任意的平移和旋转，唯一的要求就是图像应该有大约相同的缩放比例。如果图像之间平移和旋转的信息可用，它就可以用来限定寻找区域，这样就可以加速匹配过程并且使算法更加健壮。匹配特征点过程如下图所示。
生成拼接图像
知道了图像对之间的转换关系，就可以调用函数进行图像拼接，下图为拼接好的图像。
注意：
需要注意球面拼接的情况，上述方法只适用于摄像机绕光心旋转或缩放。如果摄像机的移动包含平移或不是严格绕光心的旋转，使用这种方法得到的拼接结果将不准确也就不能够用在精确测量的场合。
应用领域：
(1) 街景的拼接。
(2) 电子地图的制作。
(3) 医学影像的拼接。
国内半导体材料产业发展正进入黄金时期
中控智慧科技门禁一体机F20plus简介
台积电公布的2020年第二季度财务报告
日本四大摩托车企成立合作联盟 联手推电动两轮车换电模式
蓝牙适配器有什么功能？
一文解析多相机视觉系统的难点及应用
《工业能效提升行动计划》背后的“减碳”路线图
高通计划将Nuvia技术运用在下世代旗舰智能型手机等芯片设计领域
恩智浦半导体借助极具成本效益的汽车紧急呼叫设备全力支持欧盟每
李秉杰:LED产业仍处于产能过剩,同业竞争激烈,但潜在发展机会巨大
执法证据保全系统|智证据DW-S404
如何鉴别轻触开关质量
海拉为新款大众途锐生产LED矩阵头灯
为什么时钟树上要用clock inverter(min pulse width check)？
TIA Portal Test Suite Advanced介绍
微雪电子USB AVR JTAG ICE XPII下载器简介
人工智能正如火如荼 首届Arm人工智能开发者全球峰会吸引众多AI开发者
光伏电池供应商爱旭股份发布2021年报
LTE和5G无线技术对比简介
ZnO纳米颗粒生长的简单湿化学法晶体结构分析
随着机器视觉应用的日益广泛，大幅面 多相机 视觉系统的需求越来越多，主要应用方向为大幅面高精度的定位与测量和场景拼接等。
多相机视觉系统的难点在于多相机坐标系的统一. 可以分为两类，一是相机视野间无重叠部分，二是相机视野间有重叠部分。
相机间无重叠部分的情况主要用于大幅面多相机高精度的定位和测量，相机间有重叠部分的情况主要用于场景的拼接等。
一. 相机间无重叠部分，介绍两种典型方法。
1. 使用大标定板统一坐标
方案简介：
此方法采用一块大标定板来统一各个相机的坐标，每个大标定板中有若干小标定板，各个小标定板间的位置关系都是已知的，各个相机都能拍摄到一个小标定板。通过各个小标定板可以标定每个相机的内部参数和外部参数，每个相机的坐标都可以转换到各个小标定板的坐标系上，从而统一各个相机的坐标。
系统结构：
常用的标定板形式：
上图所示为单个标定板图像，大标定板由若干单个标定板组成，标定板的大小和数量根据实际测量情况而定。
多个标定板组合示意图：
案例分析：
(1) 检测目标分析
测量产品需要若干个测量指标。如下图所示。
(2)图像获取
采用4只相机来完成所有项目的测量，分别拍到的照片如下图所示。
(3)检测流程
先分别利用每张图的两条垂直边计算出它们的交点，那么得到的4个交点就可以算出l1和l2的值，如下图所示(以右下角相机为例)。
注意事项：
此种方法需要将多只相机的坐标统一到一个坐标系中，并且单一相机还要做自己的校准，保证精度。 根据检测要求，设置取多少个点作为参考，但是这影响测试的时间，需酌情考虑。
应用领域：
手机和平板电脑面板尺寸的检测。
2. 使用相对运动统一坐标
方案简介： 此方法采用相机和被测物之间的相对运动来统一相机的坐标，相机和被测物只要一方运动即可，记录各个位置的坐标，然后通过数学运算来统一坐标。通常情况下是相机位置固定，被测物通过机械手等运动装置进行移动，然后把相机坐标系统一到机械手等运动装置的原点。 总体结构：
方法介绍：
通过相机拍摄的图像对mark点进行定位，从而计算出被测物相对于标准位置的偏差，包含角度偏差和位移偏差，最终确定机械装置需要旋转的角度和平移的距离。选用手机触摸屏和手机外壳的定位系统来介绍算法原理。
手机触摸屏和手机外壳的定位系统，使用多支相机代替一支相机的方法进行定位，使手机触摸屏和手机外壳精确组装。相机分为两组，每组两支相机，一组拍摄手机外壳(组1)，一组拍摄触摸屏(组2)，两组相机标定方法相同，下面只介绍拍摄手机外壳的两支相机的标定。相机固定，机械手吸住手机外壳移动，两支相机分别拍摄手机外壳的两个定位孔，使用模板匹配的方法对两个定位孔进行识别，如下图所示：
(1) 通过机械手的移动获取标定所用坐标 (三点线性标定法)
组1相机1：
把mark点移动到相机视野中，定相机的初始位置，得到初始mark点的中心坐标point11(crow11, ccolumn11)，机械手沿x方向移动一定距离(5mm)后得到mark点的中心坐标point12 (crow12, ccolumn12)，机械手沿y方向移动一定距离(6mm)后得到mark点的中心坐标point13(crow13, ccolumn13)，同时可以得到在上述三个位置机械手的空间坐标robot11(x1[0]，y1[0])、 robot12(x1[1]，y1[1]) 、robot13(x1[2]，y1[2])。
组1相机2：
同上，把相同mark点移动到相机视野中，通过相同的操作得到坐标：point21 (crow21, ccolumn21)、point22 (crow22, ccolumn22)、point23 (crow23, ccolumn23)、robot21 (x2[0]，y2[0])、 robot22(x2[1]，y2[1])、robot23(x2[2]，y2[2])。
(2) 图像距离和实际距离之间转换比例关系的确定：
通过数学运算可计算得到比例关系。
(3) 旋转中心的确定
依据三个点就可以确定一个圆的原理，让机械手在初始位置旋转三次，得到robot31，robot32和robot33三个相对于机械手坐标系的坐标点，三个点的坐标就可以求出旋转圆心的坐标。
(4) 标准线斜率求取：
需要在两个相机的视野中各选取一点作为标准线的起始点和终点，然后求取此标准线在机械手坐标系中的斜率。调整机械手到合适位置，确定此处为标准位置，此时组1的两支相机分别拍摄初始位置的两个不同的mark点的图像。通过模板匹配方法找到两个相机初始位置视野中两个mark点的中心坐标point10(row10,column10)和point20(row20,column20)，point10和point20确定为标准线的起始点和终点。求取point10在机械手中的坐标如下图所示，下图中xoy是机械手坐标系，x1o1y1是组1相机1的图像坐标。
通过点到直线的距离运算可以得到d14，d15和d16的实际长度，由于在移动过程中使用的是同一个mark点，d1，d2，d3在相机1和相机2的视野中的值是一样的。从而可以得到point10在机械手坐标系中的实际坐标为：
point10x=x1[1]+d16+d2，point10y=y1[1]+(d1-d15)。
同样可以得到point20在机械手坐标系中的实际坐标：
point20x=x2[1]+d26+d2，point20y=y2[1]+(d1-d25)。
求取该标准线斜率;
k = (point20y-point10y) / (ponit20x-point20x)
= (y2[1]-y1[1]-d25+d15) / (x2[1]-x1[1]+d26-d16)
之后在每次定位时需要和此标准线的斜率进行比较，从而得到和标准线的夹角，最后进行旋转校正。
注意：由于point10和point20会落在不同的位置，在计算point10和point20的实际坐标时上述公式会有所变化，但原理相同。
定位校准
以后在每次进行检测时，得到的结果都和标准线进行比较，可以得到和标准线的夹角和相对于标准位置的位置偏差，根据得到的角度和位置偏差进行校正。在校正过程中需要先旋转后平移，做一个闭环反馈系统实时校正。
应用领域：
手机或平板电脑触摸屏和外壳的装配定位。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
二. 相机间有重叠部分，介绍两种典型方法。
1. 标定方法拼接图像
方案简介：
对于有些大幅面物体 ，可以通过拍摄多幅图像，每幅图像覆盖物体的不同的部分。如果摄像机经过标定并且它们与一个共有的世界坐标系之间的相对关系已知，就可以通过不同的图像进行精确测量。 甚至可以将多幅图像拼接为一副覆盖整个物体的大图，这个可以通过将每幅图像都校正到同一个测量平面上实现。在结果图像上，可以直接在世界坐标系中进行测量。 图像拼接示意图：
安装：
两个摄像机或多个摄像机必须安装在一个稳定的平台上，并且每幅图像覆盖整个场景的一部分。摄像机的方位可以随意，也就是说不需要它们看起来平行或垂直于物体表面。调整摄像机焦距、灯光以及交迭区域，使用一个大的可以覆盖整个视野的参照物。为了保证可以将多幅图像拼接为一副大图，它们之间必须存在一个小的交迭区域。交迭区域可以很小，因为这个交迭区域只是为了保证在拼接的结果图像中没有缝隙，下图为交叠区域示意图。
标定：
图像的标定可以分为两个步骤。
确定每个摄像机的内参。可以分别对每个摄像机进行标定求取摄像机的内参。
确定所有摄像机的外参。因为最后要将所有的图像转换到某一个世界坐标系中，所以需要使用一个大的标定物，这个标定物可以出现在所有的图像中，它可以由多个标定板组合而成，标定板的数量和使用摄像机的数量一致。下图为两个相机分别拍摄到的标定图像。
注意：为了确定摄像机的外参，每个摄像机只需要拍摄一副标定图像就已经足够。标定物在多个摄像机分别进行拍摄标定图像的过程中不可以移动。理想情况下，这些标定图像应该同时获取。
将单个图像拼接为一个大图：
首先，每幅图像都必须进行校正，将这些图像转换到一个共有的坐标系中，它们之间就会正确匹配。在得到所有进行校正图像需要的映射图后，使用两个摄像机拍摄的每个图像对都可以进行校正并且高效的拼接。拼接的结果图由两幅校正后的图像组成，每个校正后的图像占图像的一个部分，下图为校正后的图像和拼接结果。
应用领域：
液晶面板表面质量的检测
2. 非标定方法拼接图像
简介：
此种方法和前三种方法相比精度较低，适用于不需要实现高精度拼接的应用场合。这种拼接方法的优点是不需要进行摄像机标定，并且每幅单独的图像可以自动进行排列。
拍摄单幅图像规则：
在拍摄每幅图像时需要遵循下面这些规则：
(1) 相邻的图像之间必须有交迭
(2) 图像之间的交迭区域必须有比较明显的特征，这样就可以保证比较精确的自动匹配过程。如果在某些交迭区域内的特征不明显那么可以通过定义合适的图像对来克服。如果整个物体的特征都不是特别明显，那么交迭区域就应该更大一些。
(3) 交迭的图像的缩放比例必须大约相等。一般情况下，缩放比例的不同不能超过 5－10％
(4) 这些图像的亮度应该相似，至少在交迭区域部分的亮度相似。否则，如果亮度区别非常明显的话，图像之间的接缝在结果图像中就非常明显，如下图所示。
定义交叠图像对：
需要定义一些交迭图像对，通过匹配确定这些图像对之间的转换关系。匹配的过程只会应用在这些交迭图像对上。
如果需要拼接的图像比较多，或者交迭图像每行图像比较多，此时合理彻底地安排图像对的配置十分重要。否则就可能有些图像不能实现精确匹配。这主要是因为噪声造成点坐标的一些误差导致不能准确计算图像之间的转换关系，这些误差会由一个图像传到下一幅图像上。
提取图像中的特征点：
提取出的特征点的数量影响运行时间以及匹配的结果。特征点的数量越多，匹配的过程就越慢。但是太少的特征点将增大产生错误结果的可能性。
在交迭的区域中匹配特征点并且确定图像之间转换关系：
在进行图像拼接过程中最重要的任务就是图像对之间的匹配过程。匹配的图像对可以有任意的平移和旋转，唯一的要求就是图像应该有大约相同的缩放比例。如果图像之间平移和旋转的信息可用，它就可以用来限定寻找区域，这样就可以加速匹配过程并且使算法更加健壮。匹配特征点过程如下图所示。
生成拼接图像
知道了图像对之间的转换关系，就可以调用函数进行图像拼接，下图为拼接好的图像。
注意：
需要注意球面拼接的情况，上述方法只适用于摄像机绕光心旋转或缩放。如果摄像机的移动包含平移或不是严格绕光心的旋转，使用这种方法得到的拼接结果将不准确也就不能够用在精确测量的场合。
应用领域：
(1) 街景的拼接。
(2) 电子地图的制作。
(3) 医学影像的拼接。
国内半导体材料产业发展正进入黄金时期
中控智慧科技门禁一体机F20plus简介
台积电公布的2020年第二季度财务报告
日本四大摩托车企成立合作联盟 联手推电动两轮车换电模式
蓝牙适配器有什么功能？
一文解析多相机视觉系统的难点及应用
《工业能效提升行动计划》背后的“减碳”路线图
高通计划将Nuvia技术运用在下世代旗舰智能型手机等芯片设计领域
恩智浦半导体借助极具成本效益的汽车紧急呼叫设备全力支持欧盟每
李秉杰:LED产业仍处于产能过剩,同业竞争激烈,但潜在发展机会巨大
执法证据保全系统|智证据DW-S404
如何鉴别轻触开关质量
海拉为新款大众途锐生产LED矩阵头灯
为什么时钟树上要用clock inverter(min pulse width check)？
TIA Portal Test Suite Advanced介绍
微雪电子USB AVR JTAG ICE XPII下载器简介
人工智能正如火如荼 首届Arm人工智能开发者全球峰会吸引众多AI开发者
光伏电池供应商爱旭股份发布2021年报
LTE和5G无线技术对比简介
ZnO纳米颗粒生长的简单湿化学法晶体结构分析