图像拼接技术是数字图像处理技术⼀个重要的研究⽅向，它即是将两幅或多幅相互有部分重叠的场景照⽚拼接成具有超宽视⾓、与原始图像接近且失真⼩、没有明显缝合线的⾼分辨率图像。可以很好地解决⼴⾓镜、鱼眼镜头等全景图获取设备的不⾜。如下图：
图像拼接产⽣的图像不仅具有较好的景物全局影像,⽽且还保留了原始图像的细节信息。通过图像拼接技术，可以剔除图像冗余信息，压缩信息存储量，从⽽更加有效地表⽰信息。⾃动建⽴⼤型、⾼分辨率的图像拼接技术⼀直是计算机视觉、照相绘图学、图像处理和计算机图形学的活跃研究领域。 ⼀、基本流程
早在计算机出现之前图像拼接技术就应⽤在实践中，⼈们把拍摄的图像拼接起来得到⼀幅视⾓更⼤的图像，这便是最初的⼿⼯图像拼接。随着电⼦信息技术的不断发展，现在所说的图像拼接往往指的是对数字图像的拼接。⽬前国内外有很多单位及个⼈致⼒于全景图像的⽣成和图像拼接算法的研究。
图像获取、图像预处理、图像配准和融合这四步是图像拼接的整体流程，其中图像配准被视为图像拼接最为关键的⼀步。 1、图像的获取
获取图像的⽅式不同必将导致输⼊图像的不同，从⽽需要根据不同的图像获取⽅式选择不同的图像配准⽅法。使⽤普通相机拍摄图像时，照相机的运动⽅式决定着图像的获取⽅式。使⽤普通相机拍摄时⼀般有旋转相机拍摄、平移相机拍摄和⼿持相机拍摄三种⽅式。
（1）使⽤三脚架旋转相机进⾏拍摄：使⽤这种⽅法采集图像时三脚架放置在某⼀位置不动，照相机绕垂直轴旋转，每旋转过⼀定⾓度便拍摄⼀张图像，相邻的两种图像必须有部分重叠。因为相机固定不需要恢复太多参数，因此⽐较容易实现图像的拼接。但是由于这种旋转拍摄的图像序列不在同⼀平
⾯上，若简单投影到同⼀平⾯上会导致图像发⽣扭曲等现象使图像质量下降影响整个图像拼接结果。旋转相机拍摄⼀般需要使⽤柱⾯投影或是球⾯投影来⽣成全景图像。这种拍摄⽅式也需要相邻的两幅图像有较⼤的重叠区域才能保证图像拼接的质量，⼀般选⽤不⼩于50%的重叠⽐例较为合适。⽽过⼤的重叠率会导致拼接全景图时需要更多的图像，增⼤需要处理的信息量。为了减⼩计算量采集图像时可以适当地使⽤⼴⾓镜头。
（2）把相机固定在⽔平滑轨上，保持相机焦距不变，⽔平移动相机每隔⼀定距离拍摄⼀幅图像，最后得到有⼀定重合区域的图像序列。这种⽅法获取的图像都在⼀个平⾯上是⽐较容易实现图像的拼接。但是这种⽅法对拍摄条件的限制⽐较苛刻，物体和相机的距离也会影响图像的配准结果，⽽且这种拍摄⽅式视点放⽣改变不适宜⽤来⽣成360度全景。
（3）⼿持相机拍摄，可以站在原地旋转相机进⾏拍摄，也可以⽔平移动进⾏拍摄，这种拍摄⽅式对拍摄器材的限制⽐较⼩只需要⼀台相机即可完成拍摄，是最易实现的拍摄⽅式。但是⼿持相机拍摄过程中相机的运动⾮常复杂，势必会发⽣难以预料的抖动，旋转⾓度或是平移距离都难以精确控制，给图像配准带来了很⼤的困难。但是研究这种相机运动⽅式复杂情况下拍摄的图像的拼接对图像拼接的⼴泛应⽤有着重要的意义。
这三种拍摄⽅式必须⾯对的同⼀问题就是相邻图像间的光强变化，理想情况下图像相同区域应该具有
相同的光强，但是拍摄过程中光源的变化及相机与光源间⾓度的变化都是导致图像的相同区域之间具有不同光强的原因。使⽤多相机拍摄时不同摄像头的个体差别也会导致图像曝光的差异。使⽤合适的融合⽅法解决好图像获取中的曝光差异也是图像拼接需要研究的⼀个重要问题。
2、预处理
对图像的预处理主要包括去噪和校正，去噪不在此细提，主要说明⼀下校正。在图像采集的过程中相机的运动会导致图像发⽣⼏何形变，摄像头⾃⾝的问题也会使采集的图像⽆法还原真实世界中的场景，因此对图像的畸变进⾏校正是进⾏全景拼接前必不可少的⼀步。
这⾥⾸先研究相机本⾝系统问题导致的失真。理想情况下的摄像头可以还原真实世界中的场景，但是由于拍摄⽅式的问题及摄像机本⾝光学和电⼦系统的误差会使获取的图像发⽣扭曲⽆法还原真世界中的场景，这种扭曲是不规则的，但是这种扭曲通常情况下是以摄像头中⼼为对称轴成径向形态对称的，我们把这种畸变叫做径向畸变。径向畸变⼀般分为桶形失真和枕形失真两种：
在进⾏预处理时就需要将这些失真进⾏校正。
3、图像配准
海水防腐涂料
图像配准可以认为是在不同时间或相同时间、从不同视⾓或相同视⾓对同⼀场景拍摄的两幅或者多幅图像进⾏空间域上的匹配过程 。⽤于得到输⼊图像之间的对应关系，包括平移、旋转、缩放等⼏何关系以及⾊差、亮度差等⾮⼏何关系。
把两幅图像分别定义为已知的⼆维矩阵， 和 分别表⽰两幅图像的灰度空间分布，则可以利⽤下⾯式⼦来表⽰两幅图像间的映射关系
式中f 为⼆维空间域的坐标变换，g 是⼀维图像灰度变换，所以图像配准的问题就是求解最优函数f 和g 的过程。图像配准的关键就在于获取最合适的空间或⼏何变换参数。
图像配准可划分为以下４个要素：
1. 特征空间：是指从图像中所提取出来的特征集合，例如⾓点、灰度与轮廓等；
2. 搜索空间：是指图像间的⼏何变换关系。例如仿射、刚体及投影等形式：
3. 相似度衡量：⽤于表⽰图像间匹配的依据，不同的情况会使⽤不同的度量⽅式；
4. 捜索策略：根据度量⽅式，采⽤合适的算法进⾏捜索，⽬的是得到最佳的变换模型。
环保润滑油图像配准算法主要分为Ｈ个类别；基于变换域、基于灰度信息以及基于特征。
1）基于变换域的配准⽅法
该⽅式也称作基于频率域。处理⽅式是傅⾥叶变换。可Ｗ实现空间域到频域的对应，然后利⽤功率谱来计算图像间的⼏何关系，再根据结果进⾏配准。运⽤傅⾥叶变换的好处在于：实际中的图像变换有对应量；对抗噪声有很好的鲁棒性；运⽤FFT（快速傅⾥叶变换）可提⾼速度。
2）基于灰度信息的配准⽅法
基于灰度信息的图像配准⽅法，⼀般来说，不⽤经过复杂的预处理环节，⽽是通过图像本⾝就有的灰度信息来统计度量图像间的相似程度。所以，该⽅式的优缺点也很明显：优点在于不⽤提取特征，直按利⽤图像的灰度信息，可提⾼匹配精度和鲁棒性；缺点在于因计算邻域灰度⽽导致计算量⼤、速度慢，若图像间的灰度差异较⼤时⽆法保证精确配准。
该配准⽅法有互相关和互信息两种经典⽅法。其中，互相关配准⽅法是通过度量图像与模板间的相似
度来进⾏配准的。互信息配准法是近年来研究最多的⼀种配准⽅法，是通过捜索图像间最⼤互信息来进⾏配准的，常应⽤于模板匹配或模式识别。
3）基于特征的配准⽅法
该配准⽅法的思路主要是从图像中获取具有显著特点的局部结构特征，如⾓点、边缘线、亮区域的暗点或暗区域的亮点等，再对所提取的特征进⾏匹配以确定图像间的对应关系。该⽅法的优点在于只需要局部显著特征，对应的计算量⼩、速度快，⽽且适⽤于带有⼀定程度噪声或变形等的情况：缺点是配准的效果受特征提取影响，⽽且还存在⼀定的误匹配情况，若图像间特性差异⼤时，误差较⼤。常见的特征提取⽅法有⾓点检测法、Forstner算法、SIFT算法和基于⼩波变换的 提取算法及Canny检测算法等。
4、图像融合
图像融合技术是在图像配准之后进⾏的。该过程是针对上⼀步处理获得的两幅图像的数据信息，通过采取⼀定的算法将所包含的信息互补地合并处理，从⽽得到⼀幅所含信息更加完整、可靠队及准确的新图像。新图像能⽐较全⾯的描述图像采集场景，与单⼀图像作⽐较，能够降低或者控制对图像采集场景整体认知中可能存在的不确定性、⽚⾯性及多义性，最⼤程度地运⽤图像序列所提供的信息。总的来说，图像融合能更好地描述或表达被采集对象或场景，能够提⾼对图像信息的分析、理解及提取
等⽅⾯的能⼒。
融合算法根据图像融合特⾊可分为三个层次，即像素级融合、铅征集融合和决策级融合。
（１）像素级融合
该分类是种低⽔平的图像融合技术。像素级融合的基本思路就是针对图像配准后的图像数据直接进⾏融合，然后再对融合结果中进⾏相应的特征提取，并做出必要的属性说明。其优点在于融合结果能尽可能地保留原始信息，能更好地显⽰源图像中的细节信息；缺点在于融合过程中需要处理的数据量⼤、所耗费地时间长，即计算和存储都不⽅便，并且要求传感器是同质的。
（２）特征级融合
这是⼀种中等⽔平的图像融合技术。该分类的基本思路是提取特征并⽤数学语⾔加以描述得到特征⽮量，最后再通过综合分析对特征⽮量进⾏融合处理。其优点待处理的信息得到压缩，从⽽提⾼计算速度，有利于实时；缺点是忽略了⼤量的原始细节信息，导致精度有所降低。
医用手套（３）决策级融合
家庭智能控制这是⼀种⾼等⽔平的图像融合技术。决策级融合的基本思路是对单幅图像做属性说明，得到初步决策结果，再对获得的结果进⾏融合处理，从何获取最终的联合判决。其优点在于信息浓缩，具有⼀定的容错性和开放性，处理时间较短；缺点是融合结果效果不准确。
⼆、拼接质量评价
图像拼接质量的好坏主要体现在两个⽅⾯，即图像间的亮度⼀致性与结构⼀致性，其中亮度⼀致性主要取决于图像融合算法的性能，⽽结构⼀致性主要取决于图像配准算法的性能。为得到⾼质量的全景图像，许多先进的拼接⽅法被提出，如何评价这些⽅法的性能就成为⼀个重要问题。⽬前，图像拼接质量的评价⽅法主要有两种：主观质量评价⽅法和客观质量评价⽅法。
1、主观质量评价⽅法
主观质量拼接⽅法根据观察者对图像的主观视觉感知来评价图像质量的好坏。在图像拼接过程中，常
见的视觉异常现象（visible artifacts）包括：
1. 模糊（blurring）；
2. 重影（ghosting）；
3. 亮度突变（intensity saltation）；
4. 纹理断裂（texture crack）；
5. 透视畸变（perspective distortion）柔性触觉传感器
荧光灯电子镇流器对于融合后的全景图像，通常并不存在⽤于对⽐的“真值”（ground truth）。近年来⼀些⽆参考图像下的图像质量评价指标相继被提出，它们能够反映出图像压缩或传输过程中产⽣的噪声对图像质量的影响。但这些指标并不能客观有效地识别全景图像中是否存在上述视觉异常现象，这种情况下对图像质量的评价依然需要依靠⼈的常识和经验，因此，⽬前对图像拼接中融合⽅法性能的评价主要采⽤主观质量评价⽅法。
主观质量评价⽅法直接依赖于⼈类视觉系统（human visual system，HVS），因此评价结果最为可靠，但每⼀幅全景图像质量的评价都需要观察者介⼊，当图像数据量较⼤时，评价过程繁复耗时，实际应⽤中受限较⼤。
2、客观质量评价⽅法
客观质量评价⽅法使⽤特定的量化指标对图像质量进⾏定量评价。图像拼接中主要⽤于评价图像配准的精确程度，具体地，通过计算重叠区域图像间的相似程度衡量图像拼接质量的好坏。⽬前常⽤的客观质量指标主要有：均⽅误差（mean square error，MSE），峰值信噪⽐（peak signal-to-noise ratio，PSNR），归⼀化互相关系数（normalized cross-correlation，NCC），零均值归⼀化互相关系数（zero mean normalized cross-correlation，ZNCC），结构相似性指数（structuralsimilarity index，SSIM）以及多尺度结构相似性指数（multi-scale structural similarity index，MS-SSIM）等。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议