普通相机受限于焦距与传感器，采集的图像有时无法满足人们对于高分辨率与宽视角的图像的需求，为了利用普通相机获得此类特定需求的图像，图像拼接技术应运而生。图像拼接技术是指通过对输入的、具有重叠部分的图像序列进行图像预处理、图像配准、图像融合等操作，将其拼接成一幅具有高分辨率、宽视角图像的技术。目前该技术广泛地应用在无人驾驶[1]、虚拟现实[2]、遥感图像处理[3]、医学成像[4]、视频编辑[5]等领域。 图像拼接算法通常可分为图像配准与图像融合两个步骤。其中，图像配准是核心，也是解决视差问题的关键。图像配准的难点在于如何构建一个更加精准、合适的模型，以减少配准误差且不破坏图像内容的结构。根据相机的运动状况，图像配准算法主要可分为单视点配准算法和多视点配准算法两种。图像视差产生于多视点情况下，具有视差的图像的配准是长期以来图像配准技术中的一个挑战，也是当前的研究热点。近年来，针对视差图像配准的研究工作多数采用基于特征的空域变换方法。根据生成变形模型的方式不同，可主要将其分为基于多平面对齐的图像配准、基于网格变形的图像配准以及缝合线驱动的图像配准三类。本文对三类方法近年的一些相关工作进行了分析并讨论了其优缺点。 1视差问题概述与图像配准流程
1.1视差形成原因
视差是指从具有一定间隔的两个点上观察同一目标时产生的方向上的差异。在拍摄时，如果相机的位置
视差图像配准技术研究综述
夏丹，周睿
华中师范大学教育信息技术学院，武汉430079
摘要：传统图像配准技术受限于严苛的初始输入已难以满足人们的需求，近年来，视差图像的配准逐渐成为图像拼接技术中的研究热点。基于视差形成原理介绍了视差图像配准的难点与一般流程。主要研究了基于特征的视差图像配准技术，对近年来视差图像配准的研究成果进行了归纳梳理，并从基于多平面对齐的图像配准、基于网格变形的图像配准以及缝合线驱动的图像配准三个方面进行阐述。通过对各种典型的视差图像配准算法的算法思想、特点以及局限性进行描述和比较，提供该领域研究现状的系统综述，并对视差图像配准技术的研究趋势进行了展望。关键词：视差图像；图像配准；图像拼接；网格变形；缝合线
文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.2007-0040
Survey of Parallax Image Registration Technology
XIA Dan,ZHOU Rui
School of Information Technology in Education,Central China Normal University,Wuhan430079,China
Abstract：Limited by the initial input images,traditional image registration technology cannot meet people’s needs. Nowadays parallax image registration has gradually become a research focus in image mosaic technology.The difficulty and general flow of parallax image registration are introduced based on the principle of parallax formation.And the feature-
based parallax image registration technology is mainly introduced.The research results of parallax image registration in recent years are summarized and expanded from the image registration based on multi-plane alignment,the image registra-tion based on mesh deformation and the seam-driven image registration.Through summarizing and comparing the algo-rithm ideas,characteristics and limitations of various typical parallax image registration algorithms,a systematic overview of the research status in this field is provided.Furthermore,the future research directions of parallax image registration are also prospected.
Key words：parallax image;image registration;image stitching;mesh deformation;seam
基金项目：国家自然科学基金青年科学基金（61907021）。
作者简介：夏丹（1985—），女，博士，讲师，主要研究方向为图像处理技术、虚拟现实技术、在线教育应用研究，E-mail：xiadanchina@ 163；周睿（1997—），男，硕士研究生，研究方向为图像拼接技术、三维重建。
收稿日期：2020-07-03修回日期：2020-10-19文章编号：1002-8331（2021）02-0018-10
发生移动，则获取的图像间会存在视差。图1为一个简单视差案例。分别从视点1与视点2处观察图像，在视点1处的成像结果中，被观测物体位于背景中的灰正方形处，而在视点2的成像结果中，被观测物体落于绿圆圈处。对比两成像图可以发现，被观测物体在两视点的成像结果中的位置发生了改变，即产生了视差。在实际的拍摄场景中，往往难以保持相机的位置不发生改变而只围绕垂直于光轴的方向做旋转运动。因此，通常获得的多数照片之间具有视差。
1.2视差图像配准难点
视差图像配准的关键与难点是出一个可以较好
地描述两幅图像之间转换关系的数据模型。对于视差较小的情况，如图2（a ）所示，相机做简单的平移运动，此时图像重叠区域中的对应点只存在单一方向的视差。这类情况可以利用特征匹配点轻松求解出对应变换关系模型。实际场景中，相机的运动往往较为复杂可能包含平移、旋转、镜头缩放等，如图2（b ）所示。重叠区域的物体在真实的场景中可能处于多个平面（具有较大深度差异），较大的深度差异加上复杂的相机运动使得很难通过特征获得一个复杂的转换关系模型，来实现对大部分的场景物体进行精确变换描述。同时，输入图像的重叠区域时常会出现纹理较少、特征不足的情况，这使得对大视差图像进行精确配准更为困难。此外，由于采用空域变换的方式进行图像配准，当视差较大时，为保证重叠区域的精确对齐，往往会导致非重叠区域图像结构遭到破坏。因此，如何保证对齐精度的同时保护图像结构也成为视差图像配准中的一个难点。
2多视点图像配准技术
Lowe 与Brown [6]于2007年提出了一套完整的自动
图像拼接算法流程，基本确定了单视点配准算法的一般步骤，同时也为多视点图像配准算法的研究提供了较大的启示。当前基于多视点模型配准的主流配准算法可主要分为基于多平面对齐的图像配准、基于网格变形的图像配准以及缝合线驱动的图像配准三类。
2.1基于多平面对齐的图像配准
当场景中的景物近似处于同一平面时，可利用单个
全局单应矩阵来表达图像之间的关系。然而实际场景往往较为复杂，景物之间由于深度信息相差较大难以将其归属于同一平面，单个全局单应矩阵无法准确表达图像之间的几何变换关系。解决该问题的一种方法是将图像分割为多个平面，利用多个单应性矩阵来分别表达图像中不同平面景物的关系。
Gao 等人[7]首先提出利用双单应性矩阵分别对齐不
同平面来进行视差图像配准的思想。针对景点这类可以明显区分前景和背景的场景，可将图像从物理层面简单分割为近地面与远背景面两个平面，分别使用两个单应性矩阵将其对齐，然后根据两个单应性矩阵求出一个通用表达式对所有像素点进行投影。该方法利用K -means 算法[8]根据特征点的位置将其聚类成G g 和G d
两组实现对图像分割。相较于使用单个单应矩阵对齐图像，该方法可以一定程度提升对齐精度，但对于具有多个平面的复杂场景，该方法将处于不同的平面错误地分为一个结构，将导致配准出错。此外，该方法使用K -means 算法进行聚类耗时较长，导致整体配准效率较低。Yan 等人[9]将此方法推广至上方为建筑下方为地面的图像场景中，提出一种利用图像中的直线特征分割图像的方法以实现配准效率的优化。该方法充分利用建筑场景中直线特征较多这一特点，使用霍夫变换
（Hough Transform ）[10]对图像中的直线结构进行提取，
然后选取所有直线中，位置处于最下端的直线作为平面分割线。通过将复杂的点聚类求解转化为直线搜索，在保证一定分割精度的同时较好地提高了配准效率，然而该方法的适用场景较为有限。
上述的双平面对齐方法采用的为基于物理平面的分割方式，其分割依据为近地平面与远背景平面具有完全不同方向的法向量。当场景较为复杂，存在多个物理平面时，该方法将会出错。对于此类复杂的场景，Zheng
等人[11]借鉴Gao 等人将平面法向量作为分割依据的思想，充分考虑图像成像的特点，提出了一种基于投影一致平面的新颖图像配准方法。该方法将滤除外点后的特征点作为顶点，利用德洛内三角剖分方法[12-13]生成一个初始三角平面集合，并将三角平面的一般表达式定义为：
ax +by +cz +d =0
（1）
进而得到平面的法向量(a ,b ,c )。利用法向量求出各平面间的方向相似度后，结合投影误差可对各三角平面进行合并，进而实现平面的分割。最后，
在对各个平面求
视点1
视点2
背景
图1
简单视差模型图
（a ）简单相机运动
（b ）复杂相机运动
生产企业原材料的订购与运输图2
相机运动方式图
解单应矩阵进行对齐后，该方法从各个平面中选取相同数目的特征点用于估计全局变换进一步提升配
准的精度。此方法可以较好地处理大视差图像的配准问题，但由于三角平面合并时需要利用从深度信息中计算得到的投影误差，因此其性能依赖于三角平面初始化时估计的图像深度信息的精度。此外，对于弧形的非平面结构，由于其中不同的点运动不一致，单个投影变换模型无法对整个平面的运动情况进行描述。因此，对于此类包含有非平面结构的场景图像，该方法的配准精度不高。
对于具有复杂场景的图像平面分割，一个有效方法是借助深度学习的方法。Haines等人[14]通过从一个最大标记样本集中训练法向量方向，将图像中的显著点分组至具有不同法向量的平面区域，实现对图像进行分割。Lou等人[15]借鉴文献[16]中的深度学习方法，利用参考图像中的光照强度、梯度、纹理、对极几何等信息获得一个初始图像片段集。为每个图像片段估计一个仿射变换，并将具有相似变换参数的相邻片段合并可得到若干平面。最后分别对各个平面求解仿射变换即可实现多平面的对齐。为避免各对齐后平面间出现重叠或分离情况，该方法通过添加一个全局约束保证了各平面区域连续性。相较于Gao等人[7]所采用的简单分割方法，借助深度学习方法进行平面分割，可以充分挖掘图像中各物体的内在联系，实现更精准的分割，进而有利于估计出更精确的变换模型。
当前用于图像配准的区域分割方法可大致总结为固定单元分割法[17-21]、多结构数据分割法[22-23]、基于物理平面分割法[7，11]以及基于图像表征特征分割法[24-30]四类，四类方法的特点及局限性如表1所示。其中固定单元分割法由于其灵活性高、操作简易以及对大部分场景鲁棒性较好等特点近年来得到快速发展，在其基础上衍生的基于网格变形的图像配准方法已成为一种主要配准方法。其余三类
分割方法则逐渐与深度学习技术相结合，利用机器学习的优势以提升分割精度。基于多平面对齐的图像配准方法的配准精度易受平面分割精度的影响。由于平面分割的目的是通过使用相同的局部变换模型以保证各分割区域中的所有像素得到相应的变换，进而实现平面的对齐。若平面分割精度较低，部分像素可能会被误划分到错误平面，然后执行错误的变换从而产生重影等误配准现象。Zheng等人[11]对此进行了相关的实验并证实在一定范围内，平面分割的精度与图像配准精度呈正相关。此外，该配准方法的精度还易受图像视差大小的影响。随着图像间的视差的增大，部分大视差平面的变换模型可能出现单应矩阵过少、对齐能力不足情况，导致配准精度较低。此时若该部分平面分割精度较低，可通过提升分割精度细化分割一定程度提升配准精度。在实际应用中，结合考虑图像场景的内容结构与各类方法的局限性选择对应的分割方法可获得综合性能较好的算法。
2.2基于网格变形的图像配准
基于网格变形的图像配准的主要思想为对粗对齐后的图像进行网格划分，将图像的变形转化为网格的重绘，再将网格的变形对应到图像的变形，使绝大多数的匹配特征点对完全对齐。此类方法通过为网格顶点构造一个能量函数实现整个流程，通过在能量函数中添加不同的约束项可达到不同目的。
Liu等人[31]提出内容保护变换（Content-Preserving Warps，CPW）用于三维视频稳定。该方法将已对齐的图像划分为多个网格单元，然后为网格顶点构造一个由数据项、相似变换项以及全局对齐项组
成的能量函数，通过最小化能量函数，得到重绘的网格顶点坐标。特征点所在网格的顶点坐标经过能量函数的优化，可以保护图像重要区域的形状在变换中不被改变。文献[32-33]使用一种平滑过渡的仿射变换模型，以解决传统算法求出的全局仿射变换参数无法准确对齐待拼接图像问题[34]。该算法在高斯函数的平滑约束下，利用SIFT特征点的仿射变换参数插值得到任意点的仿射变换参数，进而利用各位置的仿射变换进行局部配准，提升配准精度。Zaragoza等人[17]在上述两种方法基础上更一步，提出了一个基于网格变形的平滑过渡的透视模型。该方法的配准过程示意图如图3所示。首先利用传统配准方法计算出一个全局单应矩阵，然后将图像划分成若干均匀网格单元，并在DLT（Direct Linear Transform）算法基础上提出一个移动的DLT算法以求解每个网格单元的局部单应矩阵。求解局部单应矩阵时，该方法依然采用DLT算法来优化特征点的配准误差，但其考虑了特征点周围的结构，为每个配准误差赋予了一个相应的权
分割方法
固定单元分割法
多结构数据分割法
基于物理平面分割法
基于图像表征特征分割法
特点
plc学习机将整个图像分割成一组固定大小的单元
将符合同一局部变换模型的内点被视为同一
平面结构
根据图像中显著点的法向量方向进行分类
利用图像的颜、纹理等特征对像素进行聚类
分组
局限性
分割精度过度依赖于内点，若单元中的内点数太少或同一单
元内包含不同平面的特征点，将得到错误单应矩阵
易将相隔较远但满足同一单应变换的区域误分类为同一平
面结构
当图像包含复杂场景时，分割精度依赖于训练样本集
（1）需要先验知识，方法的鲁棒性依赖于训练集
（2）具有相似颜或纹理的像素未必属于同一平面，分割平
面与真实目标平面可能不一致
表1区域分割方法总结
ngd-071
重w i
*。权重的大小根据特征点到网格中心的距离计
匕首算，距离中心点越近权重越大。特征点的权重通过高斯函数计算得到：
w i
*=exp(- x *-x i 2
/σ2)
（2）
其中，x *为网格中心位置，x i 为特征点位置，σ2为尺度参数。
传动力工作室通过将图像分割成多个网格，在全局对齐的基础上利用多个局部单应矩阵对各网格单元内容进行局部优化调整的方法，在处理具有一定视差的图像时，可以实现更精确的配准。但它过分依赖于特征点对的数量，若图像纹理信息较少或图像间的重叠区域较小，则部分区域无法满足计算得到可靠的单应矩阵所需的最小条件，致使配准效果不佳。且同一单元可能包含来自不同平面的特征点，该情况下计算得到的单应矩阵准确性不高，对于配准精度也会产生影响。因此该方法最终的拼接效果很大程度取决于特征点对的数量以及网格单元的划分情况。
Zaragoza 等人[17]
提出的尽可能射影变换（As-Projective-As-Possible Image Stitching with Moving DLT ，APAP ）算法为视差较大的图像的配准提供了一个较好的解决示例。在此基础上涌现出了许多基于网格变形优化的图像配准工作，这些工作主要从提升对齐精度与改善图像的自然性两方面改进图像配准效果。
2.2.1提升对齐精度的图像配准
如何精确、高效地对齐图像是图像配准的核心问题。基于网格变形的配准的方法虽较好地提高了对齐精度，但过分依赖于特征点，特征点的数量与分布对于最终的拼接效果有着较大影响。针对过度依赖特征点对配准精度造成的一些影响，近年来涌现出了一些解决
方案[18-19，35-38]
。
图像网格划分的方式对于对齐的精度有着很大影响。若网格划分过密，会导致计算量过大或因网格内特征点过少致使估计的单应矩阵不准确；而划分过于稀疏，当图像重叠区域包含复杂纹理时，会由于矩阵对齐能力不足致使配准结果中产生重影。针对这一问题，齐
向明等人[18]提出一种细分网格变形的方法。在对图像粗分割的基础上，对重叠区域内特征点较为密集的区域进行细化分割以适当增加变换矩阵数量，提升配准精度。但该方法对于不同场景需多次调整以获得最佳的细分阈值，且易出现过分割问题。王元炜等人[19]提出了一种自适应四叉树分块的网格划分法，在初始分割时迭代地对图像进行四叉树分块直至区块内特征点数量小于预先设定阈值或达到树的最大深度。该方法可在保证APAP 算法配准精度的同时大幅提升算法的效率，但对于图像的纹理
稀疏部分，该划分方式会加剧误匹配。Liu 等人[39]提出一种利用图像中特征点的分布实现自动网格生成的方法。该方法对特征点分别建立（横坐标，特征点数）与（纵坐标，特征点数）两个数据集。对特征
卷轴门点数据集进行处理后，令两组数据中的局部极大值数分别为其对应特征点分组数W 与L 。然后利用公式（3）进而可得网格在竖直与水平两个方向的分割系数w 与l 。
W =w ×ImageWidth FeatureWidth ,L =l ×ImageLength
FeatureLength （3）
其中，ImageWidth 与ImageLength 分别表示图像的宽度与高度，FeatureWidth 与FeatureLength 分别为当前图像在重叠区域的宽度与高度。此外，该方法为进一步提升算法的多图像配准效率，采用了与Qu 等人[40]相似的思想，即在初始对图像两两之间进行特征点检测与匹配时记录其各自对应的信息，当下次对具有对应信息记录的图像进行配准时，直接利用原有记录信息，以避免反复执行特征点提取与匹配过程。该网格自动生成方法受图像特征点的分布影响较大，若特征点分布较为平均则难以生成有效的网格且可能会降低算法效率。
当重叠区域纹理分布不均或特征匹配对不足时，已有的局部单应矩阵无法对图像进行精确的配准，此
时调整网格的划分也很难有所改善。针对重叠区域特征点匹配对数量不足问题，Liu 等人[39]提出了一套自动识别未对齐区域并在其中插入匹配点的算法。该算法通过对图像的视觉显著图进行迭代阈值处理求得一系列新增插入像素点，然后利用获得像素的强度值，根据定义的强度匹配代价函数在对应图像中到相应特征点组成匹配对。该方法可以解决重叠区域关联性较弱时配准出错的问题，但其搜索对应特征关系耗时较长，且由于需要输入图像间在颜与亮度具有一致性，因此在配准前需进行预处理操作，导致整体算法效率不高。此外，该方法插入的特征匹配对接受率较低，算法性能不高。
除点特征外，还可利用图像中的线特征作为辅助，
为图像低纹理区域提供丰富可靠的对应关系[35-37，41]
。Li 等
人将线段作为补充特征元素，提出一种采用点、线结合的双特征配准算法。通过利用线段作为点特征的补充，在缓解纹理稀疏区域特征点不足问题的同时也保护了图像中的直线结构。该方法首先使用EDLine
直线检测
目标图像
源图像
输出图像
图3APAP 算法配准示意图
法[42]检测图像中的直线结构，并对检测的线段采用端点参数化以解决点线度量不一致无法进行计算的问题。然后使用MSLD 描述子[43]对检测到的线段进行表述。针对MSLD 描述子采用固定大小的方形区域采样导致无法处理缩放、透视变换等情况，该方法提出了使用点引导线进行匹配使得采样区域可变的解决方案。进行局部调整时，该方法在网格顶点坐标的能量函数中加入直线约束项E line (V )，以提升对齐精度，其表达式为：
E line (V )=∑j,k
(l ′T j ⋅V P k w P k )
(
)
a ′2j
+b ′2j
2
（4）
其中，(l ′T j ⋅V P k w P
k 为源图像中线段端点到
目标图像中对应特征线段的距离，根据公式d (l ′,p k )=
l ′T ,p k 得来，p k 为源图像中线段的端点，a 、b 为直线
l ′函数中的参数。计算原理示意图如图4所示[37]。该方
法虽利用了直线特征对图像结构进行了保护，但由于二维模型的固有局限性，对于大视差或深度突变的场景，该方法会失效。且采用射影变换进行图像对齐，拼接结果会不可避免地遭受射影失真。
Joo 等人[36]对APAP 算法中的移动DLT 进行了扩展，提出了一个直线引导moving DLT （L-mDLT ）图像拼接框架。该方法将求解函数中的点权重替换成一个综合了点、线误差的混合权重w =diag([w p
,λw l ])，并根据点、线的几何投影误差，计算出一个权重平衡参数λ进一步改善拼接效果。由于需要手动对图像中的直线进行标注，该方法实际操作较为复杂。Lin 等人[35]在利用直线特征作为特征补充的基础上，将光流法[44]与网格变形配准结合，提出了基于网格的光度校准（Mesh-based Photometric Alignment ，MPA ）方法，以进一步提升对齐精度。该方法借鉴了光流法思想，根据像素点的光强度构造了一个测光误差函数E c (τ(q ))，并将该函数作为约束项添加到网格顶点的能量函数中，以优化配准误差。改进后的能量函数公式如下：
E (V
)=E p (V )+λ1E s (V )+λ2E l (V )（5）
其中，E p (V
)为测光约束项，E p (V )=∑q E c (τ(q ))。此方法充分利用了直接光度校准在低纹理区域的优越性能，然而对于大面积均匀区域或无任何显著结构区域，MPA
方法也无法准确地估计相机运动。此外，对于动态场景，该方法未对物体边界或遮挡区域中的点进行
处理，这可能导致这些局部区域配准出错。
特征点中的外点对于配准精度也有着较大的影响。多数配准算法利用RANSAC 算法对外点进行过滤以提高配准的精度，然而对于不同的场景，很难保证每次都能确定一个合适的阈值在尽可能保留内点的同时滤除外点。针对这一问题，Zhang 等人[41]提出一种局部DLT 方法在局部去除外点。对于任意特征点，若它们间的距离小于R ，则视其为一个平面，利用DLT 算法计算它们的单应矩阵，然后计算该单应矩阵的残差，残差值小于γ则视为内点，反之为外点。局部DLT 方法仅适用于纹理丰富区域，在特征点不足的区域会失效。且如果邻域内的匹配特征点数小于4，无法估计出可靠的单应矩阵。
2.2.2改善图像自然性的图像配准
基于网格变形的配准方案普遍使用单应矩阵对图像进行射影变换。由于射影变换的特性，生成的单视角图像会不可避免地在变换图像的非重叠区域产生投影失真，影响最终拼接图像的观感。针对这一问题，可利用全局相似性保留多幅图像的视角以减少投影失真。Chang 等人[45]率先提出一个保留形状的半射影（Shape-Preserving Half-Projective Warps ，SPHP ）方案以解决图像投影失真问题。其主要思想为在重叠区域使用射影变换保证较好的对齐效果，同时在非重叠区域使用相似变换保留每个视图的视角。为使目标图像从射影变换平滑地过渡到相似变换，该方法使用两条平行于v 轴的
直线u 1与u 2将待变换的目标图像分割为R H 、
R T 与R S 三个部分。然后构造一个分段变换函数W (u,v )分别对图像三个区域进行变换，利用函数W 连续这一条件可求解出各部分对应的表达式。该分段函数的表达式为：
W (u,v )=ìíîï
ï
H (u,v ),(u,v )∈R H T (u,v ),(u,v )∈R T S (u,v ),(u,v )∈R S
（6）
该方法还为每幅图像I i 定义了一个代价函数E i 来衡量图像变换函数W i 与其最近相似变换的偏差。通过最小化代价函数值求解参数u 1与u 2，可最大范围地保留图像视角。SPHP 算法可以有效地改善非重叠区域透视失真问题，然而该方法从全局单应变换中推导出相似变换，当估计的单应矩阵不准确时，可能会导致拼接结果出现非自然的旋转问题。
Liu 等人[39]同样采用单应矩阵结合相似矩阵的思路，但只将图像分为两部分处理。对于重叠区域，该方法利用APAP 的射影变换进行处理，对于非重叠区域则
定义一个形状优化变换A n =W n (H n S -H n APAP )对图像优化。权重W n 为一个3×3的矩阵，其中的子元素ωn ij 的表
达式为：
源图像目标图像
图4网格变形模型中线段特征对应关系图
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议