基于MATLAB的图像拼接实现
第⼀章 绪论
1.1 图像拼接技术的研究背景及研究意义
图像拼接(image mosaic)是⼀个⽇益流⾏的研究领域，他已经成为照相绘图学、计算机视觉、图像处理和计算机图形学研究中的热点。图像拼接解决的问题⼀般式，通过对齐⼀系列空间重叠的图像，构成⼀个⽆缝的、⾼清晰的图像，它具有⽐单个图像更⾼的分辨率和更⼤的视野。
早期的图像拼接研究⼀直⽤于照相绘图学，主要是对⼤量航拍或卫星的图像的整合。近年来随着图像拼接技术的研究和发展，它使基于图像的绘制（IBR）成为结合两个互补领域——计算机视觉和计算机图形学的坚决焦点，在计算机视觉领域中，图像拼接成为对可视化场景描述（Visual Scene Representaions）的主要研究⽅法：在计算机形学中，现实世界的图像过去⼀直⽤于环境贴图，即合成静态的背景和增加合成物体真实感的贴图，图像拼接可以使IBR从⼀系列真是图像中快速绘制具有真实感的新视图。
在军事领域⽹的夜视成像技术中，⽆论夜视微光还是红外成像设备都会由于摄像器材的限制⽽⽆法拍摄
视野宽阔的图⽚，更不⽤说360度的环形图⽚了。但是在实际应⽤中，很多时候需要将360 度所拍摄的很多张图⽚合成⼀张图⽚，从⽽可以使观察者可以观察到周围的全部情况。使⽤图像拼接技术，在根据拍摄设备和周围景物的情况进⾏分析后，就可以将通过转动的拍摄器材拍摄的涵盖周围360 度景物的多幅图像进⾏拼接，从⽽实时地得到超⼤视⾓甚⾄是360 度⾓的全景图像。这在红外预警中起到了很⼤的作⽤。
微⼩型履带式移动机器⼈项⽬中，单⽬视觉不能满⾜机器⼈的视觉导航需要，并且单⽬视觉机器⼈的视野范围明显⼩于双⽬视觉机器⼈的视野。利⽤图像拼接技术，拼接机器⼈双⽬采集的图像，可以增⼤机器⼈的视野，给机器⼈的视觉导航提供⽅便。在虚拟现实领域中，⼈们可以利⽤图像拼接技术来得到宽视⾓的图像或360 度全景图像，⽤来虚拟实际场景。这种基于全景图的虚拟现实系统，通过全景图的深度信息抽取，恢复场景的三维信息，进⽽建⽴三维模型。这个系统允许⽤户在虚拟环境中的⼀点作⽔平环视以及⼀定范围内的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这样的全景图像相当于⼈站在原地环顾四周时看到的情形。在医学图像处理⽅⾯，显微镜或超声波的视野较⼩，医师⽆法通过⼀幅图像进⾏诊视，同时对于⼤⽬标图像的数据测量也需要把不完整的图像拼接为⼀个整体。所以把相邻的各幅图像拼接起来是实现远程数据测量和远程会诊的关键环节圆。在遥感技术领域中，利⽤图像拼接技术中的图像配准技术可以对来⾃同⼀区域的两幅或多幅图像进⾏⽐较，也可以利⽤图像拼接技术将遥感卫星拍摄到的有失真地⾯图像拼接成⽐较准确的完整图像，作为进⼀步研究的依据。 从以上⽅⾯可以看出，图像拼接技术的应⽤前景⼗分⼴阔，深⼊研究图像拼接技术有着很重要的意义
1.2图像拼接算法的分类lc谐振放大器
图像拼接作为这些年来图像研究⽅⾯的重点之⼀，国内外研究⼈员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核⼼和关键。根据图像匹配⽅法的不同仁阔，⼀般可以将图像拼接算法分为以下两个类型： （1) 基于区域相关的拼接算法。
这是最为传统和最普遍的算法。基于区域的配准⽅法是从待拼接图像的灰度值出发，对待配准图像中⼀块区域与参考图像中的相同尺⼨的区域使⽤最⼩⼆乘法或者其它数学⽅法计算其灰度值的差异，对此差异⽐较后来判断待拼接图像重叠区域的相似程度，由此得到待拼接图像重叠区域的范围和位置，从⽽实现图像拼接。也可以通过FFT 变换将图像由时域变换到频域，然后再进⾏配准。对位移量⽐较⼤的图像，可以先校正图像的旋转，然后建⽴两幅图像之间的映射关系。
当以两块区域像素点灰度值的差别作为判别标准时，最简单的⼀种⽅法是直接把各点灰度的差值累计起来。这种办法效果不是很好，常常由于亮度、对⽐度的变化及其它原因导致拼接失败。另⼀种⽅法是计算两块区域的对应像素点灰度值的相关系数，相关系数越⼤，则两块图像的匹配程度越⾼。该⽅法的拼接效果要好⼀些，成功率有所提⾼。
(2) 基于特征相关的拼接算法。
基于特征的配准⽅法不是直接利⽤图像的像素值，⽽是通过像素导出图像的特征，然后以图像特征为标准，对图像重叠部分的对应特征区域进⾏搜索匹配，该类拼接算法有⽐较⾼的健壮性和鲁棒性。
基于特征的配准⽅法有两个过程：特征抽取和特征配准。⾸先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集冈。然后在两幅图像对应的特征集中利⽤特征匹配算法尽可能地将存在对应关系的特征对选择出来。⼀系列的图像分割技术都被⽤到特征的抽取和边界检测上。如canny 算⼦、拉普拉斯⾼斯算⼦、区域⽣长。抽取出来的空间特征有闭合的边界、开边界、交叉线以及其他特征。特征匹配的算法有：交叉相关、距离变换、动态编程、结构匹配、链码相关等算法。
1.3本⽂的主要⼯作和组织结构
本⽂的主要⼯作：
(1) 总结了前⼈在图像拼接⽅⾯的技术发展历程和研究成果。
(2) 学习和研究了前⼈的图像配准算法。
(3) 学习和研究了常⽤的图像融合算法。
(4) ⽤matlab实现本⽂中的图像拼接算法
(5) 总结了图像拼接中还存在的问题，对图像拼接的发展⽅向和应⽤前景进⾏展望。
本⽂的组织结构：
第⼀章主要对图像拼接技术作了整体的概述，介绍了图像拼接的研究背景和应⽤前景，以及图像拼接技术的⼤致过程、图像拼接算法的分类和其技术难点。第⼆章主要介绍讨论了图像预处理中的两个步骤，即图像的⼏何校正和噪声点的抑制。第三章主要介绍讨论了图像配准的多种算法。第四章主要介绍讨论了图像融合的⼀些算法。第五章主要介绍图像拼接软件实现本⽂的算法。第六章主要对图像拼接中还存在的问题进⾏总结，以及对图像拼接的发展进⾏展望。 1.4 本章⼩结
魔幻音响本章主要对图像拼接技术作了整体的概述，介绍了图像拼接的研究背景和应⽤前景，以图像拼接算法的分类和其技术难点，并且对全⽂研究内容进⾏了总体介绍。
第⼆章 图像拼接的基础理论及图像预处理
2.1图像拼接
图像拼接技术主要有三个主要步骤：图像预处理、图像配准、图像融合与边界平滑，
如图。
图像拼接技术主要分为三个主要步骤：图像预处理、图像配准、图像融合与边界平滑，图像预处理主
要指对图像进⾏⼏何畸变校正和噪声点的抑制等，让参考图像和待拼接图像不存在明显的⼏何畸变。在图像质量不理想的情况下进⾏图像拼接，如果不经过图像预处理，很容易造成⼀些误匹配。图像预处理主要是为下⼀步图像配准做准备，让图像质量能够满⾜图像配准的要求。图像配准主要指对参考图像和待拼接图像中的匹配信息进⾏提取，在提取出的信息中寻最佳的匹配，完成图像间的对齐。图像拼接的成功与否主要是图像的配准。待拼接的图像之间，可能存在平移、旋转、缩放等多种变换或者⼤⾯积的同⾊区域等很难匹配的情况，⼀个好的图像配准算法应该能够在各种情况下准确到图像间的对应信息，将图像对齐。图像融合指在完成图像匹配以后，对图像进⾏缝合，并对缝合的边界进⾏平滑处理，让缝合⾃然过渡。由于任何两幅相邻图像在采集条件上都不可能做到完全相同，因此，对于⼀些本应该相同的图像特性，如图像的光照特性等，在两幅图像中就不会表现的完全⼀样。图像拼接缝隙就是从⼀幅图像的图像区域过渡到另⼀幅图像的图像区域时，由于图像中的某些相关特性发⽣了跃变⽽产⽣的。图像融合就是为了让图像间的拼接缝隙不明显，拼接更⾃然
图像拼接技术原理是根据图像重叠部分将多张衔接的图像拼合成⼀张⾼分辨率全景图 。这些有重叠部分的图像⼀般由两种⽅法获得 : ⼀种是固定照相机的转轴 ，然后绕轴旋转所拍摄的照⽚ ；另⼀种是固定照相机的光⼼ ,⽔平摇动镜头所拍摄的照⽚。其中 ，前者主要⽤于远景或遥感图像的获取 ，后者主要⽤于显微图像的获取 ，它们共同的特点就是获得有重叠的⼆维图像。
2.3 图像的预处理
2.3.1 图像的校正
当照相系统的镜头或者照相装置没有正对着待拍摄的景物时候，那么拍摄到的景物图像就会产⽣⼀定的变形。这是⼏何畸变最常见的情况。另外，由于光学成像系统或电⼦扫描系统的限制⽽产⽣的枕形或桶形失真，也是⼏何畸变的典型情况。⼏何畸变会给图像拼接造成很⼤的问题，原本在两幅图像中相同的物体会因为畸变⽽变得不匹配，这会给图像的配准带来很⼤的问题。因此，解决⼏何畸变的问题显得很重要。
图象校正的基本思路是，根据图像失真原因，建⽴相应的数学模型，从被污染或畸变的图象信号中提取所需要的信息，沿着使图象失真的逆过程恢复图象本来⾯貌。实际的复原过程是设计⼀个滤波器，使其能从失真图象中计算得到真实图象的估值，使其根据预先规定的误差准则，最⼤程度地接近真实图象。
2.3.2 图像噪声的抑制
图像噪声可以理解为妨碍⼈的视觉感知，或妨碍系统传感器对所接受图像源信息进⾏理解或分析的各种因素，也可以理解成真实信号与理想信号之间存在的偏差。⼀般来说，噪声是不可预测的随机信号，通常采⽤概率统计的⽅法对其进⾏分析。噪声对图像处理⼗分重要，它影响图像处理的各个环节，特别在图像的输⼊、采集中的噪声抑制是⼗分关键的问题。若输⼊伴有较⼤的噪声，必然影响图
像拼接的全过程及输出的结果。根据噪声的来源，⼤致可以分为外部噪声和内部噪声；从统计数学的观点来定义噪声，可以分为平稳噪声和⾮平稳噪声。各种类型的噪声反映在图像画⾯上，⼤致可以分为两种类型。⼀是噪声的幅值基本相同，但是噪声出现的位置是随机的，⼀般称这类噪声为椒盐噪声。另⼀种是每⼀点都存在噪声，但噪声的幅值是随机分布的，从噪声幅值⼤⼩的分布统计来看，其密度函数有⾼斯型、瑞利型，分别成为⾼斯噪声和瑞利噪声，⼜如频谱均匀分布的噪声称为⽩噪声等。
1.均值滤波
所谓均值滤波实际上就是⽤均值替代原图像中的各个像素值。均值滤波的⽅法是，对将处理的当前像素，选择⼀个模板，该模板为其邻近的若⼲像素组成，⽤模板中像素的均值来替代原像素的值。如图2.4所⽰，序号为0是当前像素，序号为1⾄8是邻近像素。求模板中所有像素的均值，再把该均值赋予当前像素点((x, y)，作为处理后图像在该点上的灰度g(x,y)，即
g(x,y)= (2-2-2-1)
其中，s为模板，M为该模板中包含像素的总个数。
电厂余热回收 2.中值滤波
中值滤波是基于排序统计理论的⼀种能有效抑制噪声的⾮线性信号处理技术。它的核⼼算法是将模板中的数据进⾏排序，这样，如果⼀个亮点（暗点）的噪声，就会在排序过程中被排在数据序列的最右侧或者最左侧，因此，最终选择的数据序列中间位置上的值⼀般不是噪声点值，由此便可以达到抑制噪声的⽬的。
取某种结构的⼆维滑动模板，将模板内像素按照像素值的⼤⼩进⾏排序，⽣成单调上升（或下降）的⼆维数据序列。⼆维德中值滤波输出为( 2-2-2-2 )
其中，f(x,y)，g (x,y)分别为原图像和处理后的图像，w⼆维模板,k ,l为模板的长宽，Med 为取中间值操作，模板通常为3 3 、5 5 区域，也可以有不同形状，如线状、圆形、⼗字形、圆环形。
2.4 本章⼩结
本章主要介绍了图像⼏何畸变校正和图像噪声抑制两种图像预处理.
第三章 图像配准算法
图像配准简⽽⾔之就是图像之间的对齐。图像配准定义为：对从不同传感器或不同时间或不同⾓度所获得的两幅或多幅图像进⾏最佳匹配的处理过程。为了更清楚图像配准的任务，我们将图像配准问题⽤更精确的数学语⾔描述出来。配准可以⽤描述为如下的问题:
给定同⼀景物的从不同的视⾓或在不同的时间获取的两个图像I ,I 和两个图像间的相似度量S(I ,I )，出I ,I 中的同名点，确定图像间的最优变换T，使得S(T(I ),I )达到最⼤值。
图像配准总是相对于多幅图像来讲的，在实际⼯作中，通常取其中的⼀幅图像作为配准的基准，称它为参考图，另⼀幅图像，为搜索图。图像配准的⼀般做法是，⾸先在参考图上选取以某⼀⽬标点为中⼼的图像⼦块，并称它为图像配准的模板，然后让模板在搜索图上有秩序地移动，每移到⼀个位置，把模板与搜索图中的对应部分进⾏相关⽐较，直到到配准位置为⽌。
耐高温盘根
如果在模板的范围内，同⼀⽬标的两幅图像完全相同，那么完成图像配准并不困难。然⽽，实际上图像配准中所遇到的同⼀⽬标的两幅图像常常是在不同条件下获得的，如不同的成像时间、不同的成像位置、甚⾄不同的成像系统等，再加上成像中各种噪声的影响，使同⼀⽬标的两幅图像不可能完全相同，只能做到某种程度的相似，因此图像配准是⼀个相当复杂的技术过程。
3.2 基于区域的配准
3.2.1 逐⼀⽐较法
逐⼀⽐较法的配准思想是:
GATAL歌词翻译在搜索图S中以某点为基点(i,j)，截取⼀个与模板T⼤⼩⼀样的分块图像，这样的基点有(M-U+1) (N-V+1)个，配准的⽬标就是在(M-U+1) (N-V+1)个分块图像中⼀个与待配准图像最相似的图像，这样得到的基准点就是最佳配准点。
设模板T在搜索图s上移动，模板覆盖下的那块搜索图叫⼦图S ,(i,j)为这块⼦图的左上⾓点在S图中的坐标，叫做参考点。然后⽐较T和S 的内容。若两者⼀致，则T和S 之差为零。在现实图像中，两幅图像完全⼀致是很少见的，⼀般的判断是在满⾜⼀定条件下，T和S 之差最⼩。
根据以上原理，可采⽤下列两种测度之⼀来衡量T和S 的相似程度。D(i,j)的值越⼩，则该窗⼝越匹配。
D(i,j)= [S (m,n)-T(m,n)] (3-1)
或
D(i,j)= [S (m,n)-T(m,n) (3-2)
或者利⽤归⼀化相关函数。将式(3-1)展开可得:
D(i,j)= [S (m,n)] -2 S (m,n)*T(m,n)+ [T(m,n)] (3-3)
式中等号右边第三项表⽰模板总能量，是⼀常数，与(i,j)⽆关；第⼀项是与模板匹配区域的能量，它随((i,j)的改变⽽改变，当T和S 匹配时的取最⼤值。 (3-5)
根据Cauchy-Schwarz不等式可知式(3-5)中0 R(i,j) 1，并且仅当值S (m, n)/T (m, n)=常数时，R(i,j)取极⼤值。
该算法的优点:
(1)算法思路⽐较简单，容易理解，易于编程实现。
(2)选⽤的模板越⼤，包含的信息就越多，匹配结果的可信度也会提⾼，同时能够对参考图像进⾏全⾯的扫描。
该算法的缺点:
(1)很难选择待配准图像分块。因为⼀个如果分块选择的不正确，缺少信息量，则不容易正确的匹配，即发⽣伪匹配。同时，如果分块过⼤则降低匹配速度，如果分块过⼩则容易降低匹配精度。·
(2)对图像的旋转变形不能很好的处理。算法本⾝只是把待配准图像分块在标准参考图像中移动⽐较，
选择⼀个最相似的匹配块，但是并不能够对图像的旋转变形进⾏处理，因此对照⽚的拍摄有严格的要求。
3.2.2 分层⽐较法
图像处理的塔形(或称⾦字塔:Pyramid)分解⽅法是由Burt和Adelson⾸先提出的，其早期主要⽤于图像的压缩处理及机器⼈的视觉特性研究。该⽅法把原始图像分解成许多不同空间分辨率的⼦图像，⾼分辨率(尺⼨较⼤)的⼦图像放在下层，低分辨率(尺⼨较⼩)的图像放在上层，从⽽形成⼀个⾦字塔形状。
在逐⼀⽐较法的思想上，为减少运算量，引⼊了塔形处理的思想，提出了分层⽐较法。利⽤图像的塔形分解，可以分析图像中不同⼤⼩的物体。同时，通过对低分辨率、尺⼨较⼩的上层进⾏分析所得到的信息还可以⽤来指导对⾼分辨率、尺⼨较⼤的下层进⾏分析，从⽽⼤⼤简化分析和计算。在搜索过程中，⾸先进⾏粗略匹配，每次⽔平或垂直移动⼀个步长，计算对应像素点灰度差的平⽅和，记录最⼩值的⽹格位置。其次，以此位置为中⼼进⾏精确匹配。每次步长减半，搜索当前最⼩值，循环这个过程，直到步长为零，最后确定出最佳匹配位置。
算法的具体实现步骤如下:
（1）将待匹配的两幅图像中2 2邻域内的像素点的像素值分别取平均，作为这⼀区域(2 2)像素值，得到分辨率低⼀级的图像。然后，将此分辨率低⼀级的图像再作同样的处理，也就是将低⼀级的图像4 4邻域内的像素点的像素值分别取平均，作为这⼀区域(4 4)点的像素值，得到分辨率更低⼀级的图像。依次处理，得到⼀组分辨率依次降低的图像。
铁盒制作(2)从待匹配的两幅图像中分辨率最低的开始进⾏匹配搜索，由于这两幅图像像素点的数⽬少，图像信息也被消除⼀部分，因此，此匹配位置是不精确的。所以，在分辨率更⾼⼀级的图像中搜索时，应该在上⼀次匹配位置的附近进⾏搜索。依次进⾏下去，直到在原始图像中寻到精确的匹配位置。
算法的优点:
(1)该算法思路简单，容易理解，易于编程实现。
(2)该算法的搜索空间⽐逐⼀⽐较要少，在运算速度较逐⼀⽐较法有所提⾼。
算法的缺点:
(1)算法的精度不⾼。在是在粗略匹配过程中，移动的步长较⼤，很有可能将第⼀幅图像上所取的⽹格划分开，这样将造成匹配中⽆法取出与第⼀幅图像⽹格完全匹配的最佳⽹格，很难达到精确匹配。
(2)对图像的旋转变形仍然不能很好的处理。与逐⼀⽐较法⼀样，该算法只是对其运算速度有所改进，让搜索空间变⼩，并⽆本质变化，因此对图像的旋转变形并不能进⾏相应处理。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议