收稿日期：2004-05-10
基金项目：高等学校博士点专项基金资助项目（200288024） 全景图是近年来兴起的基于图像绘制技术中的重要研究方向，其在虚拟环境、计算机视觉以及多媒体领域得到广泛应用。获取全景图的方法包括：① 利用广角镜头和扫帚相机获得[1]，但得到360°的全景图比较困难且边缘会产生变形；② 利用图像拼接技术将一系列有重叠区域的普通图像进行无缝拼接，可以很好地解决广角镜的不足，而图像拼接质量决定了全景图的视觉效果。图像拼接根据相邻图像间重叠区域的相似性进行，传统拼接算法主要分为两类：基于特征的对准算法和基于相关的对准算法[2], [3]。前者从图像的局部特征出发寻最优匹配区域，受光照影响其结果一般为局部最优解；后者最小化图像重叠区域对应像素的差值，受光照变化的影响较大，抗干扰能力差；因此亟待研究光照条件变化的图像拼接算法。 笔者针对柱面全景图提出了基于光照调整和特征曲线的拼接方法。通过同态滤波处理左右图像，调整使其光照度基本一致，然后分别对调整后的图像提取特征图像、分块选择特征点、建
立特征曲线。最后通过在右图像特征曲线序列中
搜索左图像特征曲线的最佳匹配部分，从而确定左右图像的匹配位置。
1 柱面全景图的生成
照相机采集到的图像序列是在不同角度获得的，不满足实际场景中的空间约束关系。如果对原始图像序列直接进行拼合会破坏实际场景的视觉一致性，因此，需要把原始图像投影到某个标准的投影面上。柱面投影和球面投影以其构造简单成为目前应用最多的标准投影面。
为了将图像投影到柱面空间上必须先知道相机的像素焦距，文献[4]给出了在相机绕经过光心的垂直轴旋转的前提下，从环视图像序列中恢复相机像素焦距的算法。摄像机运动有很多自由度，笔者只考虑固定视点摇镜头(pan)向四周拍摄的情况。将相机固定在三角架上，绕通过其光心的垂直轴旋转拍摄图像，并且保证相邻图像之间有一定的重叠区域。在原始图像采集过程中相机
2005年 工 程 图 学 学 报 2005第1期 JOURNAL OF ENGINEERING GRAPHICS No.1
基于光照调整和特征曲线的全景图拼接
肖 甫， 吴慧中， 肖 亮， 汤 杨
（南京理工大学计算机科学与技术系, 南京 210094）
摘 要：图像拼接是生成全景图的关键技术之一。针对传统图像拼接方法只能处理光照一致图像的问题，笔者提出了一种对环境光照鲁棒的全景图拼接方法。该方法运用同态滤波、特征点自动提取、
特征曲线匹配等技术，有效地解决了图像拼接中的光照差、区域精确匹配、噪声点及图像融合问题。实验表明对光照变化的图像采用该方法进行拼接可以获得满意的视觉效果。
关 键 词：计算机应用；图像拼接；同态滤波；特征曲线 中图分类号：TP 391
文献标识码：A 文 章 编 号：1003-0158(2005)01-0035-04
没有发生较大的俯仰和偏斜，所采集到的图像序列之间主要是平移关系。通过圆柱面将图像坐标
(x , y ) 映射到圆柱面坐标 (x ′, y ′)公式[5]为
⎟⎟⎠⎞⎜⎜⎝⎛×+⎥⎥⎥⎥⎦
⎤⎢⎢⎢⎢⎣⎡−×=′f w f f w x f x 2arctg 2arctg 2
222
2H
f
w x H y f y +
+⎟⎠⎞
⎜⎝
⎛−⎟
⎠⎞⎜⎝
⎛
−=′
其中，W 和H 分别对应图像的像素宽度和高度，f 为照相机的像素焦距。
2 图像光照处理
传统的图像拼接都假设待拼接图像拍摄时光照条件没有变化，但这种假设有时并不满足。当待拼接图像的光照度变化较大时，传统拼接方法存在两个问题：首先，拼接算法依赖光照条件从而影响拼接位置的精确计算；其次，全景图浏览时光差变化较大，给人不真实的感觉。
同态滤波是一种频域的图像增强处理方法，
通常用于处理光照明不均的图像问题。在模型简化的条件下图像可以看成是场景照明与目标表 面单元反射系数的乘积，即：⋅=),(),(y x i y x G
),(y x r 。其中),(y x i 是场景光照度，且
)(∞<<y x i ,0；而)(y x r ，是反射系数，且)(1,0<<y x r 。首先建立对数函数图像，这
样乘法转变为加法，然后进行傅立叶变换，由于场景照明度变化缓慢对应图像低频部分，而反射系数变化剧烈对应高频部分，因此，可以使用滤波器来修改低频部分或高频部分以增强图像。具体流程为
实验中，通过调整照相机曝光系数来模拟光照的变化。设1I 和2I 为待拼接图像，其重叠区域分别为1i ，2i 。受环境光照变化影响，1i 和2i 中对应像素点的像素值并不完全相同。为了实现图像的无缝拼接，需要调整两图像的入射光。对1i 和2i 进行同态滤波计算环境光照度21s s 和。 1i ，
2i 光照度与1I ，2I 的光照度对应。 选定2I 为标准光照，对图像1I 参照2s 调整1s ，得到与2I 光
浴室电视机照度基本一致的图像'1ccenter
I ，其中滤波器
n
D v u D v u H 20]
/),([11
),(+=
，2,20==n D 。 3 基于特征曲线的图像拼接
3.1 图像特征点的选取
图像的特征点不仅在灰度上有特点，而且在集合位置上也有特点，一般为图像中的边缘点、角点、拐点等。 通常两幅图像重叠区域水平偏移量不超过图像宽度的一半，而垂直偏移量也不超过图像高度的十分之一。因此，只需在图像的可能重叠区域内进行搜索而不必扩展到整个图
像空间。设左图像'
1I 待匹配模板为1T ，如图1(a)所示： 1T 和'
1I 的水平中线一致，通过向上、向下延伸n 个像素；右图像2I 搜索区域为S ，初始匹配模板为2T ，
如图1(b)所示：S 和2I 的水平中线一致，通过向上、向下延伸3n 个像素，2T 和2
I 的水平中线一致，通过向上、向下延伸n 个像素，n 为图像高度的十分之一。
(a) (b) 图1 图像匹配搜寻区域
类似[6]的方法选取特征图像)(y x t ,
)({}D C B A y x t ,,,min ,= （1）
·36· 工 程 图 学 学 报 2005年
其中
2
2222
222)]1,1(),([)]1,1(),([)]1,1(),([)]1,1(),([)]1,(),([)]1,(),([)],1(),([)],1(),([++−+−−−=−+−++−−=+−+−−=+−+−−=y x f y x f y x f y x f D y x f y x f y x f y x f C y x f y x f y x f y x f B y x f y x f y x f y x f A 水平方向上将T 1对应的特征图像划分成互
不重叠的小区域W ，
在每个小区域中取值最大的点作为特征点。为了实现图像的最佳匹配，在S 对应的特征图像中对T 2在水平和垂直两个方向平移，得到不同偏移量下的对应匹配模板序列T 及其特征点。
3.2 特征曲线及最佳匹配位置计算
以W 的编号为横坐标，对应特征点的像素值为纵坐标，即可得到图像匹配模板的特征曲线。图像具有重叠区域，对应特征曲线的某一段具有较好的相似性[7]。因此，图像重叠区域的确定就转化为特征曲线的匹配。接下来的工作就是在搜索区域S 对应的特征曲线序列T 中寻一条T like ，使T 1和T like 中某段的相似程度是所有匹配中最好的
()
2
1
10
11
12)()(min ),(Diff ∑=−=+′−=′L i L L k k i T i T T T 其中，21,,L L T T ∈′分别为T T ′,1对应特征曲线的长度。1
201min
),(Diff L L k T T −==′∑=−1
1
21
)((L i i T
))()(2)(12
k i T i T k i T +′−+′，其中∑=1121)(L i i T 为
1T 对应特征曲线的能量，
为常数； ∑=+′1
1
2
)(L i k i T 随着k 的增长变化缓慢，为特征曲线T ′中的一
段，其能量也可以视为常数，因此),(Diff 1T T ′对应)()(1k i T i T +′最大，定义归一化互相关函数[6]为
()
2
11
22
毛巾挂件11
21
1
1
011
1
1
1
2)()()()(max
),(Similarity ⎟⎟⎠⎞⎜⎜⎝⎛+′⎟⎟⎠⎞⎜⎜⎝⎛+′=′∑∑∑===−=L i L i L i L L k k i T i T k i T i T T T
特征曲线对应图像区域块的特征点，前面采用式(1)计算特征图像可能包含噪声点，而计算重叠区域时需同时考虑特征点邻域像素以消除噪声的干扰。逐个计算T T ∈′，当
),(Similarity 1T T ′最大时，T ′即为1T 的最佳匹配曲线like T ，此时特征点()k T +1like 和)1(1T 相匹
配，由此确定图像的重叠区域。
4 实验结果及结论
图2显示了在不同环境光照条件下拍摄的两幅图像，图2(a)比图2(b)要暗一些。通过同态滤波调整图2(a)的亮度，得到新的图像3(a)，图3(a)和图2(b)对应点像素值基本相同。 图4(a)为对应
1T 的特征曲线，图4(b)为2T 在S 中某一偏移量下
的特征曲线。拼接的结果如图3 (b)所示。图5为对另外一组图片使用本文方法得到的全景图。
(a) (b) 图2 不同光照条件下的待拼接图像
(a)
(b)
图3 调整光照后的图像(a)及拼接后图像(b)
第1期 肖 甫等：基于光照调整和特征曲线的全景图拼接 ·37·
里氏木霉
(a) (b)
图4
匹配模板对应的特征曲线
图5 拼接全景图
实验表明笔者的算法是有效的。在调整环境光照度时使用同态滤波，对图像低频部分调整很好地实现了环境光照的一致；图像特征点定义为特征图像中的最大值点，最后计算重叠区域时，特征点邻域像素的考虑较好地克服了噪声点的影响，这二者保证了算法鲁棒性。
参 考 文 献
[1] Hartley R, Gupta R. Linear push broomcameras [A].
In: Proceedings of the 3rd European Conference on Computer Vision [C]. Stockholm, Sweden, 1994. 555~566.
[2] Brown L G . A survey of image registration techniques
[J]. ACM Computing Surveys, 1992, 24(4): 325~376. [3] Szeliski R, Shum H Y . Creating full view panoramic
image mosaics and texture-mapped models [A]. In: Proc SIGGRAPH 97[C]. Los Angeles, California, 1997.251~258.
[4]
Kyung Ho Jang, Soon Ki Jung. Constructing cylindrical
panoramic image using equidistant matching [J]. IEEE Electronics Letters, 1999, 35(20): 1715~1716. [5] 张茂军, 虚拟现实系统[M]. 北京: 科学出版社,
2001. 126~127.
[6] 高 文, 陈熙霖. 计算机视觉[M]. 北京: 清华大学
出版社, 1999. 65~72.
[7] 封靖波, 苏志勋. 一种基于相似曲线的全景图自动
拼接算法[J]. 计算机学报, 2003, 26(11): 1605~1608.
Panorama Mosaics Based on Illumination Alignment and封包过滤器
Characteristic Curve Match
XIAO Fu, WU Hui-zhong, XIAO Liang, TANG Yang
(Department of Computer Science &Technology, Nanjing University of Science and Technology, Nanjing 210094, China)
Abstract: Image mosaic is the key step for panorama, while existing algorithms focus on scenes with a same illumination. This paper presents a novel method for image mosaics with notable illumination difference. Using homomorphic filtering, feature points extraction and characteristic curves matching, our method gives a good solution for illumination difference, accurately match, noise points, etc problems in image mosaics. The results of experiment show that we can gain good visual effect by using this method in image mosaics with notable illumination difference.
矿渣微粉
Key words: computer application; image mosaics; homomorphic filtering; characteristic curves ·38· 工 程 图 学 学 报 2005年
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议