双目立体匹配的四个步骤

根据schrstein和szeliski的总结，双目立体匹配可划分为四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。一、匹配代价计算匹配代价计算的目的是衡量待匹配像素与候选像素之间的相关性。两个像素无论是否为同名点，都可以通过匹配代价函数计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大。每个像素在搜索同名点之前，往往会指定一个视差搜索范围d（dmin ~ dmax）,视差搜索时将范围限定在d内，用一个大小为w×h×d（w为影像宽度，h为影像高度）的三维矩阵c来存储每个像素在视差范围内每个视差下的匹配代价值。矩阵c通常称为dsi（disparity space image）。匹配代价计算的方法有很多，传统的摄影测量中，使用灰度绝对值差（ad，absolute differences）1、灰度绝对值差之和（sad，sum of absolute differences）、归一化相关系数（ncc，normalized cross-correlation）等方法来计算两个像素的匹配代价；计算机视觉中，多使用互信息（mi，mutual information）法2 3、census变换（ct，census transform）法4 5、rank变换（rt, rank transform）法6 7、bt（birchfield and tomasi）法8 等作为匹配代价的计算方法。不同的代价计算算法都有各自的特点，对各类数据的表现也不尽相同，选择合适的匹配代价计算函数是立体匹配中不可忽视的关键步骤。图1 dsi示意图（c(x,y,d)代表像素(x,y)在视差为d时的匹配代价）二、代价聚合代价聚合的根本目的是让代价值能够准确的反映像素之间的相关性。上一步匹配代价的计算往往只会考虑局部信息，通过两个像素邻域内一定大小的窗口内的像素信息来计算代价值，这很容易受到影像噪声的影响，而且当影像处于弱纹理或重复纹理区域，这个代价值极有可能无法准确的反映像素之间的相关性，直接表现就是真实同名点的代价值非最小。而代价聚合则是建立邻接像素之间的联系，以一定的准则，如相邻像素应该具有连续的视差值，来对代价矩阵进行优化，这种优化往往是全局的，每个像素在某个视差下的新代价值都会根据其相邻像素在同一视差值或者附近视差值下的代价值来重新计算，得到新的dsi，用矩阵s来表示。实际上代价聚合类似于一种视差传播步骤，信噪比高的区域匹配效果好，初始代价能够很好的反映相关性，可以更准确的得到最优视差值，通过代价聚合传播至信噪比低、匹配效果不好的区域，最终使所有影像的代价值都能够准确反映真实相关性。常用的代价聚合方法有扫描线法、动态规划法、sgm算法中的路径聚合法等。图2 代价聚合前后视差图示意图三、视差计算视差计算即通过代价聚合之后的代价矩阵s来确定每个像素的最优视差值，通常使用赢家通吃算法（wta，winner-takes-all）来计算，如图2所示，即某个像素的所有视差下的代价值中，选择最小代价值所对应的视差作为最优视差。这一步非常简单，这意味着聚合代价矩阵s的值必须能够准确的反映像素之间的相关性，也表明上一步代价聚合步骤是立体匹配中极为关键的步骤，直接决定了算法的准确性。图3 赢家通吃（wta）算法示意图四、视差优化视差优化的目的是对上一步得到的视差图进行进一步优化，改善视差图的质量，包括剔除错误视差、适当平滑以及子像素精度优化等步骤，一般采用左右一致性检查（left-right check）算法剔除因为遮挡和噪声而导致的错误视差；采用剔除小连通区域算法来剔除孤立异常点；采用中值滤波（median filter）、双边滤波（bilateral filter）等平滑算法对视差图进行平滑；另外还有一些有效提高视差图质量的方法如鲁棒平面拟合（robust plane fitting）、亮度一致性约束（intensity consistent）、局部一致性约束（locally consistent）等也常被使用。由于wta算法所得到的视差值是整像素精度，为了获得更高的子像素精度，需要对视差值进行进一步的子像素细化，常用的子像素细化方法是一元二次曲线拟合法，通过最优视差下的代价值以及左右两个视差下的代价值拟合一条一元二次曲线，取二次曲线的极小值点所代表的视差值为子像素视差值。如图3所示。图4 二次曲线拟合法子像素位置计算示意图局部匹配算法的步骤一般包括匹配代价计算、代价聚合和视差计算三个步骤，全局算法则包括匹配代价计算，视差计算与视差优化三个步骤，半全局算法sgm则四个步骤都有。

利用FPGA调试光纤的一些设计经验
2004三维力控秋季全国巡演报道之广州站
魅族pro7什么时候上市？魅族pro7最新消息：两种背面副屏设计，魅族Pro7这次真的开大招了！
高性能小型化梳状腔体滤波器的仿真和设计分析
基于STM32F103RB微处理器和W5100芯片实现嵌入式Web服务器的设计
双目立体匹配的四个步骤
Silicon Labs Wireless Gecko平台发布新一代Z-Wave 700系列
射频识别技术应用中的电磁辐射
从5G手机芯片到AI芯片台积电通吃华为新芯片订单
高通缩减研发,华芯通走完3年历程黯然关门
盐雾腐蚀试验检测怎么办理，深圳盐雾测试那里可以做
非洲最强超算或可杀入全球百强超算
北京协和与华为签署战略合作协议，共建研究型智慧医院
MLPerf评测完美收官，浪潮信息44项冠军成功领跑
科大讯飞ICDAR 2023收获四项冠军，图文识别理解能力持续进阶
磁环选型的攻略和EMC整改的技巧
连续四年排名前十，功率器件领先企业新洁能昨日上市，连续两天涨停！
最轻最薄的笔记本是上网本,但实际上你很难再买到
4~20mA变送器的典型故障及解决办法
紫光国微入选“2021中国公司市值增长50强”榜单