一种基于混合匹配代价和自适应窗口的立体匹配方法

本发明涉及一种双目图像立体匹配获取深度图方法，特别涉及一种基于混合匹配代价和 自适应窗口的立体匹配方法，本发明所获得的深度图结果可进一步应用于视觉测量、三维重 构、虚拟视点图像绘制等领域。

立体匹配是计算机视觉中的一个经典问题，一直是研究的热点。多年来,研究者们提出 了大量的算法试图解决这个问题，但由于问题本身的病态性，目前还没有比较完美的解决方 案。Scharstein(参见Daniel Scharstein,Richard Szeliski.A taxonomy and evaluation of dense  two-frame stereo correspondence algorithms[J].International Journal of Computer Vision,2002, 47(1):7-42.)等深入研究了一些典型的立体匹配算法，对各种主要方法进行了较全面的综述。 他们把立体匹配过程概括为匹配代价计算、匹配代价聚合、初始视差计算和视差精化四步， 并根据代价聚合方式把立体匹配算法划分为局部方法和全局方法。全局方法一般有较高的匹 配精度，但是效率较低；局部方法运行速度快，易于实现，但是如何选择合适的支持窗口和 像素的匹配代价计算方法是个难题(参见Yang Qing-xiong.A non-local cost aggregation method  for stereo matching[C].IEEE Conference on Computer Vision and Pattern Recognition,2012: 1402-1409.)。

大多数立体匹配算法的相似性测度都是基于像素的灰度值，即两幅图像中的同一特征点 在理想光照条件下应该具有相同的灰度值(参见王军政,朱华建,李静.一种基于Census变换 的可变权值立体匹配算法[J].北京理工大学学报,2013,33(7):704-710.)。例如灰度差绝对值和 (AD)、灰度差平方和(SD)、Adapt Weight(参见Yoon K,Kweon S.Locally adaptive support  weight approch for visual correspondence search[J].IEEE Transactions on Pattern Analysis and  Machine Intelligence,2006,28(4):924-931.)、Segment Support(参见Tombari F,Mattoccia S. Segmentation based adaptive support for accurate stereo correspondence[C].IEEE Pacific Rim  Symposium on Video and Technology,2007:427-438.)等对于理想图像能够获得较高精度的匹 配结果，但是这些方法对于由光照变化、曝光差异、相机暗角等因素引起的图像幅度失真非 常敏感，因此难以用于真实场景图像的匹配。对幅度失真不敏感的匹配代价主要有归一化互 相关(NCC)、梯度(Gradient)(参见Daniel Scharstein.View synthesis using stereo vision.Phd  thesis,1997,23(5):98-109.)、Rank和Census变换(参见Ramin Zabih,John Woodfill. Non-parametric local transforms for computing visual correspondence[C].Proceedings of  European Conference on Computer Vision,1994:151-158.)等。

传统的固定窗口存在变换窗口大小的选择问题：若窗口太小，则匹配代价区分度过低， 在低纹理区域容易出现误匹配；若窗口过大，又会在深度不连续区域出现误匹配(参见周龙, 徐贵力,李开宇等.基于Census变换和改进自适应窗口的立体匹配算法[J].航空学报,2012, 33(5):886-892.)。Fusiello和Roberto(参见Fusiello A,Roberto V.Efficient stereo with multiple  windowing[C].IEEE Computer Society Conference on Computer vision and Pattern Recognition, 1997:858-863.)提出在预先给定的多个窗口中选择最优窗口作为支持窗口；Veksler(参见 Veksler O.Fast variable window for stereo correspondence using integral image[C].IEEE  Computer Society Conference on Computer vision and Pattern Recognition,2003:556-561.)提出 逐点自适应选取支持窗口的形状和大小；Zhang(参见Zhang K.Cross-based local stereo  matching using orthogonal integral images[J].IEEE Transactions on Circuits and systems for  Video Technology,2009,19(7):1073-1079.)根据相邻像素的彩关系自适应选择任意形状和大 小的支持窗口，取得较好的视差结果。

针对上述匹配代价和窗口选择问题，本发明提出了一种基于混合匹配代价和自适应窗口 的立体匹配方法。首先对传统梯度匹配代价进行了改进，引入梯度相位信息，并结合SAD代 价提出一种新的混合匹配代价；然后利用图像结构和彩信息构建自适应窗口进行代价聚合 及“胜者为王”(Winner-Takes-All(WTA))策略进行视差选择；最后，提出一种局部视差直 方图的视差精化方法，获得了高精度的视差图。

本发明要解决的技术问题是：

1.传统局部匹配方法对图像幅度失真鲁棒性较低，在光照失真条件下匹配精度迅速降低 的问题。

2.固定窗口的代价聚合方法难以在图像低纹理和深度不连续区域同时获得较高匹配精 度的问题。

本发明解决其技术问题所采用的技术方案：基于混合匹配代价和自适应窗口的匹配方法， 其特征在于包括以下步骤：

步骤一：匹配代价计算：匹配代价是左右图像之间对应点相似度的度量，利用梯度向量
在图像x、y方向的两个分量，定义梯度向量的模m和相角然后采用模和相角的线性结合
及SAD作为匹配代价函数，并将其归一化到0～1之间。

步骤二：自适应窗口构造：对待匹配图像的每个像素构造一个自适应大小的聚合窗口， 窗口的大小将直接决定参与聚合的邻域像素多少。本发明采用一种改进的十字交叉自适应窗 口生成方法，可以根据相邻像素的彩和空间位置关系构建自适应窗口。在低纹理区域，提 供较大的窗口以提高匹配精度；而在高纹理区域则产生较小的窗口，以保护物体边缘等细节 信息。

步骤三：代价聚合：确定每个像素的自适应窗口之后，需对窗口内每个单像素的原始匹 配代价进行聚合获得总代价，最后选择使总代价最小对应的视差值作为初始匹配结果。

步骤四：视差精化：通过上述步骤得到的初始视差与真实视差还存在一些误匹配点和不 可信值，需要进行视差精化处理。本发明提出一种基于局部视差直方图的视差精化方法对初 始视差图进行进一步处理。然后，采用左右一致性检验检测仍然存在的误匹配点，利用相邻 有效点中视差较小的值对误匹配点进行赋值。

图1为本发明方法的流程图。

图2为自适应窗口构造过程示意图。

图3(a)为Tsukuba图像对的实验结果。

图3(b)为Venus图像对的实验结果。

图3(c)为Teddy图像对的实验结果。

图3(d)为Cones图像对的实验结果。

图4(a)为相同光照和曝光条件下的实验结果。

图4(b)为不同光照条件下的实验结果。

图4(c)为不同曝光条件下的实验结果。

图4(d)为不同光照和曝光条件下的实验结果。

下面结合附图及具体实施方式进一步详细介绍本发明。

本发明提出了一种基于混合匹配代价和自适应窗口的立体匹配方法，主要有四个步骤。

步骤一：匹配代价计算。具体实现方法如下：

图像梯度定义为图像沿x和y方向的一阶偏导数：

$G=\left(\begin{array}{c}{G}_x\\ G_y\end{array}\right)=\left(\begin{array}{c}\frac{\partial I}{\partial x}\\ \frac{\partial I}{\partial y}\end{array}\right)---\left(1\right)$

其中I为图像灰度，实际应用中，可以通过水平方向和竖直方向的模板计算梯度向量。 这样就可以得到左、右图像的梯度图GL＝(GLx,GLy)T、GR＝(GRx,GRy)T；考虑校正后的图像， 设p(x,y)为左图像上一点，则右图像上对应视差d的匹配点为pd(x-d,y)。

利用梯度向量在x、y方向的两个分量，定义梯度向量的模和相角：

$m=\sqrt{G_x^2+G_y^2}---\left(2\right)$

梯度的模m表征灰度变化率，相角表征灰度变化率最大时的方向，它们提供了像素邻
域的不同信息，并且对光照失真有不同的不变性。输入图像对增益失真会影响梯度模，而相
角则不会变化，但是它们都不会受到偏置失真影响。因而，将梯度的模和相角分开考虑更有
利于控制方法对噪声的敏感性。本发明采用模和相角的线性结合作为匹配代价函数，以便最
大限度利用梯度信息。表达如下：

式中m_c、分别表示对应于彩图像R，G，B三个通道的梯度向量模和相角，α是加权系
数。由于相角是以π为周期，需要将其归一化到单周期内，故定义f(x)：

$f\left(x\right)=\left\{\begin{array}{cc}x& 0\le x\le \pi \\ 2\pi -x& \pi <x<2\pi \end{array}\right.---\left(5\right)$

由于引入了加权系数α，可以通过调整参数α的值改变方法对光照失真和噪声的鲁棒性。 α越小，相位的影响越大，α越大，模值的影响越大。由于不同的图像会有不同程度的光照 失真，实际中需要通过实验来确定α的合理取值范围。

由于图像的颜信息直接反映了像素的亮度，单独使用梯度匹配代价会丢失一些场景的 细节信息。本发明结合SAD代价，提出一种新的混合匹配代价。SAD匹配代价表示如下：

$C(p,d)=\underset{c\in \{R,G,B\}}{\Sigma }|I_l^c\left(p\right)-I_r^c\left(\mathrm{pd}\right)|---\left(6\right)$

其中，和分别表示左右图像的对应于通道c的亮度值，然后采用一个鲁棒函
数将其归一化到[0,1]：

$\rho (x,\lambda )=1-\exp (-\frac{x}{\lambda })---\left(7\right)$

式中λ是控制参数。最终像素p对应于视差d的混合匹配代价定义为：

$e(p,d)=1-\exp (-\frac{G(p,d)}{{\lambda }_G})+1-\exp (-\frac{C(p,d)}{{\lambda }_C})---\left(8\right)$

式中，梯度代价G(p,d)和灰度代价C(p,d)的取值范围均为[0,1]，它们对总匹配代价的 贡献可通过参数λG和λC进行调节，其最佳取值可通过实验确定。

步骤二：自适应窗口构造。具体实现方法如下：

本发明所用方法的核心是根据相邻像素的彩和空间位置关系构建自适应窗口，具体构
造过程如图2所示。首先，根据图像结构和彩信息确定当前待匹配像素p的一个十字交叉
区域，该十字交叉区域包含水平和垂直方向，分别用H(p)和V(p)表示，区域的大小由4个方
向的臂长确定，并可根据图像的结构和彩信息自适应地改变。以为例，臂
长的判别准则如下：

1.Dc(pi,p)<τ1和Dc(pi,pi+(1,0))<τ1；

2.Ds(pi,p)

3.Dc(pi,p)<τ2,L2

其中，D_s(p_i,p)为像素p_i和p的空间距离差；D_c(p_i,p)是彩差，定义为
τ₁>τ₂，L₁>L₂，为预设的彩阈值和距离阈值。准则1
不仅限定了p_i和p的彩差异性，同时要求p_i和其右侧相邻像素p_i+(1,0)的彩差异性小于
τ₁，避免了臂长跨过边界区域；准则2和3放宽了臂长范围，在低纹理区域使用较大的距离
阈值L₁可以获得较大的窗口；而当臂长超过预设值时L₂时，将采用更严格的阈值τ₂来保证臂
长仅在颜非常相近的低纹理区域扩展，使高纹理区域和深度不连续区域窗口不会过大。

利用上述方法可分别确定4个臂长进而得到正交的十字交叉区域H(p)和
V(p)：

$\left\{\begin{array}{c}H\left(p\right)=\left\{(x,y)\right|x\in [x_p-h_p^{-},x_p+h_p^{+}],y=y_p\}\\ V\left(p\right)=\left\{(x,y)\right|x=x_p,y\in [y_p-v_p^{-},y_p+v_p^{+}]\}\end{array}\right.---\left(9\right)$

最后，沿着竖直方向对V(p)中每个像素q重复上述过程，求得图像中任意像素p的自适 应区域为：

$U\left(p\right)=\underset{q\in V\left(p\right)}{\cup }H\left(q\right)---\left(10\right)$

步骤三：代价聚合。具体实现方法如下：

本发明将对称地考虑左、右图像各自的局部支持区域。对于左右图像中两个对应的匹配 点p(x,y)和pd(x-d,y)，利用上述方法可分别生成自适应区域U(p)和U'(pd)，将它 们的联合公共区域确定为最终的支持区域：

Ud(p)＝{(x,y)|(x,y)∈U(p),(x-d,y)∈U'(pd)}        (11)

然后，在联合支持区域内对原始的单像素匹配代价进行聚合，求得区域内总代价：

$E_d\left(p\right)=\frac{1}{N}\underset{q\in U_d\left(p\right)}{\Sigma }e(q,d)---\left(12\right)$

式中，N为聚合区域Ud(p)内的像素总个数。最后采用“胜者为王”(Winner-Takes-All (WTA))策略，在视差区间内选择匹配代价最小的点作为匹配点对p点进行视差选择，获得 初始视差：

$d_p^0=\arg \underset{0\le d\le d_{\max }}{\min }{E}_d\left(p\right)---\left(13\right)$

其中d表示视差空间中的可能视差，其取值一般为0到最大视差dmax之间的整数。

步骤四：视差精化。具体实现方法如下：

本发明提出一种基于局部视差直方图的视差精化方法对初始视差图进行进一步处理。对
于视差图中某个像素p，以其为中心，在它的邻域范围内构造一个局部视差直方图统
计领域内每个视差值出现的次数。在直方图中将出现一个峰值，表示视差出现的最大次数。
该峰值对应的视差值是统计意义上的最优视差值本发明采用这一最优值代替像素p的初
始视差

此过程利用前一步骤中生成的自适应窗口作为像素的邻域，因而没有产生额外的计算负 担。另外，本发明对这一过程进行三次迭代，使最优视差值更加准确。

然后，采用左右一致性检验检测仍然存在的误匹配点，通过一致性检验的点标记为有效 点，反之则为无效点。对于检测到的误匹配点，扫描水平方向左右第一个有效点，并利用两 者中视差较小的值对误匹配点进行赋值。

为了验证方法的有效性,在VS2008平台上对本发明方法进行编程实现，并采用目前学术 界公认的由Middlebury网站发布的标准立体图片对方法进行了实验和评测。该网站提供了4 组基准彩图像对Tsukuba、Venus、Teddy和Cones，以及对应的真实深度图。将实验结果与 真实视差图(Ground truth)比较可得到量化的匹配误差，从而客观地评价方法精度。表1为 本发明方法在误差限δd＝1时的误匹配像素百分比数据。Noocc、All、Disc所在的列分别为非 遮挡区域误匹配像素比、总误匹配像素比和深度不连续区域误匹配像素比。并与GC+occ(参 见Kolmogorov V,Rabih R.Computing visual correspondence with occlusions using graph cuts[C]. IEEE Conference on Computer Vision,2001.)、SemiGlob(参见Hirschmüller H.Accurate and  efficient stereo processing by semi-global matching and mutual information[J].IEEE Transactions  on Pattern Analysis and Machine Intelligence,2008,30(2):328-341.)、AdaptWeight(参见Yoon K, Kweon S.Locally adaptive support weight approch for visual correspondence search[J].IEEE  Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):924-931.)及Enhanced BP (参见Larsen S,Mordohai P,Pollefeys M et al.Temporally consistent reconstruction from  multiple video streams using enhanced belief propagation[C].IEEE International Conference on  Computer Vision,2007:1-8.)方法进行了对比。

表1匹配结果客观评价

图3直观地反应了本发明方法运行结果的精度。(a)、(b)、(c)、(d)依次为Tsukuba、Venus、 Teddy和Cones图像对的实验结果；图中第1列为原始待匹配图像；第2列为对应的真实视 差图；第3列为本发明方法获得的视差图；第4列为本发明方法的误匹配像素图，图中白 大片区域是匹配正确的点，灰区域和黑区域分别代表遮挡区域和无遮挡区域的误匹配点。

图4为本发明方法在光照失真条件下的运行结果，并与使用传统灰度绝对差(AD)为匹 配代价的方法进行了比较，以验证本发明方法对光照失真的鲁棒性。实验结果如图4所示， 图中(a)、(b)、(c)、(d)分别为相同光照和曝光、不同光照、不同曝光以及不同光照和曝光条件 下的实验结果。每组结果的第1列为原始左图像，第2列为原始右图像，第3列为Variable Cross 匹配结果，第4列为本发明方法匹配结果。实验结果表明，本发明方法由于采用了对幅度失 真具有抵抗性的梯度信息作为匹配代价，在有光照失真的情况下，仍然能获得精度较高的匹 配结果，具有很好的鲁棒性。