L可第41卷 第2期 高 师 理 科 学 刊 Vol. 41 No.2 2021年 2月 Journal of Science of Teachers′College and University Feb. 2021
白菊醋
文章编号：1007-9831（2021）02-0036-06
苏泽清，刘忠艳，陈子韵
（岭南师范学院 信息工程学院，广东 湛江 524048）
摘要：全景图应用领域广阔，为了获取全景图，图像拼接是其中关键技术．图像拼接是将多幅存在一定重叠部分的图像进行匹配，经融合后拼接成一个视野较宽，场景完整的图像．兼顾算法的精度和效率2个方面，提出一种基于随机一致性（RANSAC）算法的图像拼接方法．在VS2013环境下，结合Opencv，对室内图像及自然光照环境下采集的２幅图像进行拼接，得到无缝拼接图像，效果非常好，验证了该方法的有效性． 关键词：特征点匹配；图像拼接；RANSAC算法；改进的FLANN算法 中图分类号：TP391 文献标识码：A doi：10.3969/j.issn.1007-9831.2021.02.008
Two-dimensional image mosaic method based on RANSAC algorithm
SU Zeqing，LIU Zhongyan，CHEN Ziyun
（School of Information Engineering，Lingnan Normal University，Zhanjiang 524048，China）
Abstract：Panorama has a wide range of applications．In order to obtain panorama，image mosaic is one of the key technologies．Image mosaic is to match multiple images with certain overlapping parts，after fusion to form a wide view scene and complete image．Considering the accuracy and efficiency of the algorithm，proposes an image mosaic method based on random consistency（RANSAC）in the VS2013 environment，combined with Opencv，the two images collected in indoor and natural light environment are spliced by the proposed method，and the seamless mosaic image is obtained，and the effect is very good．The validity of the proposed method is verified．
Key words：feature point matching；image mosaic；RANSAC algorithm；improved FLANN algorithm
矿物泥浆面膜全景图应用领域广阔，如酒店宾馆、旅游景点、建筑房地产及装修展示等．全景图可以弥补效果图角度单一的缺憾，又比三维动画经济实用．在建筑设计、房地产装潢等领域可以通过全景图技术完成．
为了获取全景图，图像拼接是其中的关键技术．图像拼接是通过对多个具有相互重叠部分的图像进行配准，拼接成一个分辨率更高、视野更宽、尽量与原图像接近、没有明显缝隙、失真小的图像[1-2]．图像拼接技术克服了一般成像设备视场受限且价格昂贵的弊端，在不改变硬件条件的前提下极大地拓展了视野．目前，已广泛用于建筑、旅游及酒店等领域．
图像拼接主要包括图像特征点提取、特征匹配和图像融合等步骤，其中最为关键的步骤是特征提取及匹配，直接影响图像拼接的速度与精度．对特征点提取及匹配问题目前国内外学者进行了大量的研究，已提出多种算法．如Harris特征点提取算法[3]，由于易受噪声和图像光照影响，容易提取出错误的特征点，导致精度较低．SIFT（Scale Invariant Feature Transform）算法[4]是由D.G. Lowe提出的一种尺度不变特征变换
收稿日期：2020-10-29
基金项目：广东省大创项目（S202010579026）；湛江市非资助科技攻关专题（2020B01031，2019B01075）；岭南师范学院人才专项（ZL2054）作者简介：苏泽清（2000-），男，广东揭阳人，在读本科生．E-mail：*****************
通信作者：刘忠艳（1975-），女，黑龙江依安人，副教授，博士，从事计算机视觉及数字图像处理研究．E-mail：****************
cd4013应用电路
第2期 苏泽清，等：基于RANSAC 算法的二维图像拼接方法 37 算法，它在多尺度空间检测特征点，能够在图像发生旋转及变化时，仍能提取出稳定的特征点，但是特征
点的表示维数高，计算量大．SURF（Speeded Up Robust Features）算法由Bay [5]在2006年提出的，在特征点
匹配性能方面接近 SIFT 算法，但计算时间较快．
因此，为了降低特征点的表示维数，减少计算量，提高精度，本文在进行特征点提取时采用SURF 算法，利用改进的快速最近邻算法实现图像特征点间的初始匹配；采用 RANSAC （Random Sample Consensus）
算法[6]剔除误匹配点对，得到２幅图像的对应特征点匹配对．根据匹配点对计算出图像间的变换参数，完成图像特征点间的匹配．为了得到无缝拼接的完整图像，利用渐入渐出的融合方法对图像进行处理． 1 图像特征点提取与描述
SURF 算法提取特征点是基于尺度空间理论[7]，在图像的每个尺度上，利用３个方框滤波器表示不同方向的核函数来近似计算高斯-拉普拉斯滤波器，构造Hession 矩阵．由于使用了积分图像，能提高方框滤波器的滤波速度．
SURF 算法主要包括特征点主方向的确定和特征向量生成２个部分[8]．确定特征点主方向的方法是以特
征点为圆心，6σ为半径的圆形范围内，以o 60角为单位的区域内计算所有特征点的水平haar 小波特征和垂直haar 小波特征的总和．接着以一定间隔旋转每个区域，取特征总和为最大值的方向作为该特征点的主方向．
根据特征点确定特征向量的生成，首先以特征点为区域中心，沿主方向选取边长为20σ的正方形，再把该正方形均分为44´的子正方形区域，对每个小正方形计算相对于主方向的水平方向和垂直方向的haar 小波响应之和，即x d å，y d å及其绝对值之和x d å，y d å．每个小正方形有一个四维的描述子()4,,,x y x y
V d d d d =åååå，整个区域就有44464´´=维的特征向量．再进行归一化，形成特征点的描述向量．相比SIFT 特征点描述而言，维数少了一半，这在特征匹配过程中会加快速度．
2 图像匹配
考虑到匹配的时间和准确率等问题，本文采用索引树改进的快速最近邻搜索方法，进行特征点初始匹配，然后用RANSAC 算法完成精确匹配．
2.1 初始匹配
索引树常用于多维空间关键数据的搜索，快速最近邻算法（fast library for approximate nearest neighbors，
简称FLANN）算法[9-10]，能有效地减少计算量．首先计算特征向量间的相似性距离，根据相似性距离建立
K-D 树索引，对于某一特征向量距离的计算，计算其最近邻与次近邻的比值．若这个值小于预先假设的阈值，则就认为该最近邻是较好的匹配，完成特征点对的初始匹配，经实验验证将阈值设为0.8时匹配的正确率较高．但是直接采用FLANN 算法来进行初始匹配，误匹配太多，因此提出一种改进的FLANN 算法．
改进的FLANN 算法根据每个特征点Laplacian 标识符的值为1还是为0来区分暗背景上的亮斑和亮背景的暗斑，只有同类型的特征点才能互为匹配．
2.2 精确匹配
由于连续拍摄图像时，不可避免地会出现图像不在同一个平面上，这样拼接的图像相对于待拼接的图
像会有一定的倾斜，所以采用投影变换模型，把２幅图像映射同一坐标系下[11]．投影变换模型
01234567ˆˆ111x m m m x y m m m y m m éùéùéùêúêúêú==êúêúêúêúêúêúëûëû
ëû （1） 这是8参数投影变换模型，对于8个未知参数，使用线性方法求解，至少需要4对特征点的坐标，求取变换矩阵H ．由于快速最近邻匹配中会存在大量的误匹配点对，所以，计算出的变换矩阵H 误差较大．为了进一步消除错误的匹配对，采用RANSAC 算法去除误匹配．
RANSAC 算法思想：
38 高 师 理 科 学 刊 第41卷
对于符合极线约束的匹配点对集合，记为集合B ．集合B 中元素数越大，变换矩阵估计的精度越高；反之，如果随机选取的匹配项是错误的，则变换矩阵的估计精度不会高，集合B 中元素数也会减少．
RANSAC 算法就是随机选取匹配的项，并确保集合B 中元素数最多的变换矩阵作为最佳结果，得到的模型记为最优模型．对于不符合最优模型的特征点，称为“外点”．
3 图像融合
图像在拍摄过程中，不可避免地会受到光线、设备本身等各种因素的影响，导致图像的亮度及颜的差异，如果直接把多幅图像拼接到一起，会出现明显的拼接痕迹．因此，本文采用加权平滑算法中的渐入渐出法融合图像．设f 代表融合后的图像，1f 和2f 分别代表待拼接的２幅图像，则f 为
()()()()()()()()1111221222
, ,,,, , , ,f x y x y f f x y d f x y d f x y x y f f f x y x y f Îìï=+ÎÇíïÎî （2） 其中：12,d d 表示权重值，1d 和2d 都在（0，1）区间内且121d d +=．在重叠部分1d 从1到0，2d 从0到1，这样就克服了多幅图像拼接过程中的缝隙问题．
4 实验结果
实验图像采集所用的设备为大恒相机水星系列 MER-500-7UM，大恒图像卡DH-VT123；开发工具为Visual Studio 2013+英特尔公司Opencv．为了验证提出算法的有效性，选取了在自然光环境下拍摄的２幅具有一定重叠的建筑物图像作为实验图像，采集的左右图像见图1~2．利用SURF 算法提取左右图像的特征点，提取及描述结果见图3~4．然后采用改进的快速最近邻算法进行特征点初始匹配，结果见图5．
图1 楼房左图像 图2 楼房右图像
图3 左图的特征点及描述 图4 右图的特征点及描述
第2期 苏泽清，等：基于RANSAC算法的二维图像拼接方法 39
图5 初始匹配图
从图5可以看出，匹配点对的连线杂乱无章，而且非重叠部分的特征点对拼接是没有用的，说明存在大量的错误匹配点对．因此，采用RANSAC算法去除误匹配，得到的结果见图6．
图6 采用RANSAC算法去除误匹配的结果图
从图6可以看出，去除了图5中的错误匹配．接着对图6进行融合，得到拼接的结果见图7．从图7可看出，采用本文提出的图像拼接算法拼接效果非常好，完全可以满足工程上的需要．
图7 利用融合算法得到的拼接图
商场导购系统本文进一步对比了基于SURF的特征点提取和基于SIFT的特征点提取算法进行融合的效果，对相同的图像（图1~2）采用SIFT算法进行特征点提取，提取结果见图8~9，初始匹配结果见图10．采用RANSAC 算法精确匹配结果见图11．
图8 楼房左图SIFT提取的特征点及描述 图9 楼房右图SIFT提取的特征点及描述
40 高 师 理 科 学 刊 第41卷
ccc29图10 初始匹配结果
图11 精确匹配结果
同时对采用SIFT算法和SURF算法提取特征点方法进行定量比较，对同样的２幅图像所提取出的特征点数、初始匹配点对、精确匹配点对所用时间对比见图12~13．从图12~13可以看出，采用SIFT算法提取的左右图像特征点数没有采用SURF算法提取的特征点数多，用时比SURF算法长，而且特征点描述的维数比SURF高．同时SIFT算法匹配结果中2个特征向量间的差异较大，而且精确匹配点对较少．所以，通过对比证明，本文所提出的基于SURF的图像拼接算法在时间上及精度都是非常有效的．
图12 SIFT提取特征点数量及所用时间
图13 SURF提取特征点数量及所用时间
（下转第53页）
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议