摘要：详细介绍了像素级图像融合的原理 ,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展 ,探讨了像素级图像融合技术的发展趋势。 关键词：图像融合; 多尺度变换; 评价标准
Abstract: This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically and
summed up the present routine algorithm of image fusion at pixel level and evaluation criteria of its quality. It pointed out the
recent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixel
level.
Key words: image fusion; multi-scale transform; evaluation criteria
1.引言：
图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程, 从而可以有效地把不同图像传感器的优点结合起来, 提高对图像信息分析和提取的能力[ 1] 。近年来干油分配器, 图像融合技术广泛地应用于自动
目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性; 通过对多幅图像间互补信息的处理来提高图像的清晰度。根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。融合的层次不同, 所采用的算法、适用的范围也不相同。在融合的三个级别中, 像素级作为各级图像融合的基础, 尽可能多地保留了场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能.
2. 图像融合算法概述
2.1 图像融合算法基本理论
相对图像融合的其他层次aveee, 像素级图像融合是直接在采集到的原始图像上进行的, 在各种传感器原始数据未经特征提取与分类前就进行数据综合与分析, 是最低层次上的融合。在某些场合( 如目标识别) , 实施像素级图像融合之前, 有时需要先对参加融合的各图像进行预处理( 如图像增强、降噪等) , 其目的是提高检测性能。不过这种预处理并非必需, 但对参加融合的各图像必须进行精确的配准。其配准精度应达到像素级。 像素级图像融合通过互补信息的有机集成, 可以减少或抑制单一信息对被感知对象或环境解释中可能存在的多义性、不完整性、不确定性和误差, 最大限度地利用各种信息源提供的信息, 从而大大提高在特征提取、分类、目标识别等方面的有效性[ 2] 。图1 给出了像素级图像融合的结构示意图。
2.2基于非多尺度变换的图像融合方法
2.2.1平均与加权平均方法
加权平均方法将原图像对应像素的灰度值进行加权平均,生成新的图像, 它是最直接的融合方法。其中平均方法是加权平均的特例。使用平均方法进行图像融合, 提高了融合图像的信噪比, 但削弱了图像的对比度, 尤其对于只出现在其中一幅图像上的有用信号。锁架
2.2.2像素灰度值选大( 或小) 图像融合方法
假设参加融合的两幅原图像分别为A、B, 图像大小均为M×N, 融合图像为F, 则针对原图像A、B 的像素灰度值选大( 或小) 图像融合方法可表示为
F( m, n) =max( or min) { A( m, n) , B( m, n) }
其中: m、n 分别为图像中像素的行号和列号。在融合处理时, 比较原图像A、B 中对应位置( m, n) 处像素灰度值的大小, 以其中灰度值大( 或小) 的像素作为融合图像F 在位置( m, n) 处的像素。这种融合方法只是简单地选择原图像中灰度值大( 或小) 的像素作为融合后的像素, 对待融合的像素进行灰度增强( 或减弱) , 因此该方法的实用场合非常有限。
2.2.3 基于PCA 的图像融合方法
PCA 图像融合方法首先用三个或以上波段数据求得图像间的相关系数矩阵, 由相关系数矩阵计算特征值和特征向量,再求得各主分量图像; 然后将高空间分辨率图像数据进行对比度拉伸, 使之与第一主分量图像数据具有相同的均值和方差;最后用拉伸后的高空间分辨率图像代替第一主分量, 将它与其他主分量经PCA 逆变换得到融合图像。
PCA 融合算法的优点在于它适用于多光谱图像的所有波段; 不足之处是在PCA 融合算法中只用高分辨率图像来简单替换低分辨率图像的第一主成分, 故会损失低分辨率图像第一主成分中的一些反映光谱特性的信息, 使得融合图像的光谱畸变严重。只按统计的思想, 不考虑图像各波段的特点是PCA融合算法的致命缺点。
2.2.4 基于调制的图像融合方法
借助通信技术的思想, 调制技术在图像融合领域也得到了
一定的应用[ 3, 4] , 并在某些方面具有较好的效果。用于图像融合上的调制手段一般适用于两幅图像的融合处理, 具体操作一般是将一幅图像进行归一化处理; 然后将归一化的结果与
另一图像相乘; 最后重新量化后进行显示。用于图像融合上的调制技术一般可分为对比度调制技术和灰度调制技术。
2.2.5 非线性方法
将配准后的原图像分为低通和高通两部分, 自适应地修改每一部分, 然后再把它们融合成复合图像。文献[ 5] 采用自适应的非线性处理方法融合可见光和红外图像。
2.2.6 逻辑滤波方法
逻辑滤波方法是一种利用逻辑运算将两个像素的数据合成为一个像素的直观方法, 例如当两个像素的值都大于某一阈值时, “与”滤波器输出为“1”( 为“真”) 。图像通过“与”滤波器而获得的特征可认为是图像中十分显著的成分。
2.2.7 颜空间融合法
颜空间融合法的原理是利用图像数据表示成不同的颜通道。简单的做法是把来自不同传感器的每幅原图像分别映射到一个专门的颜通道, 除湿机回收合并这些通道得到一幅假彩融合图
像。该类方法的关键是如何使产生的融合图像更符合人眼视觉特性及获得更多有用信息。Toet 等人将前视红外图像和微光夜视图像通过非线性处理映射到一个彩空间中, 增强了图像的可视性[ 6] 。文献[ 7] 研究表明, 通过彩映射进行可见光和红外图像的融合, 能够提高融合结果的信息量, 有助于提高检测性能。
2.2.8 最优化方法
最优化方法为场景建立一个先验模型, 把融合任务表达成一个优化问题, 包括贝叶斯最优化方法和马尔可夫随机场方法。贝叶斯最优化方法的目标是到使先验概率最大的融合图像。文献[ 8] 提出了一个简单的自适应算法估计传感器的特性与传感器之间的关系, 以进行传感器图像的融合; 文献[ 9] 提出了基于图像信息模型的概率图像融合方法。马尔可夫随机场方法把融合任务表示成适当的代价函数, 该函数反映了融合的目标, 模拟退火算法被用来搜索全局最优解。文献[ 10] 电动画舫船提出了基于匹配图像相似性的Markov 融合模型; 文献[ 11] 提出了一种只考虑图像边缘图构造的马尔可夫随机场,与迭代条件共同使用, 可实现图像的实时融合。
2.2.9 人工神经网络方法
受生物界多传感器融合的启发, 人工神经网络也被应用于图像融合技术中。神经网络的输入向量经过一个非线性变换可得到一个输出向量, 这样的变换能够产生从输入数据到输出数据的映射模型, 从而使神经网络能够把多个传感器数据变换为一个数据来表示。由此可见, 神经网络以其特有的并行性和学习方式, 提供了一种完全不同的数据融合方法。然而, 要将神经网络方法应用到实际的融合系统中, 无论是网络结构设计还是算法规则方面, 都有许多基础工作有待解决, 如网络模型、网络的层次和每一层的节点数、网络学习策略、神经网络方法与传统的分类方法的关系和综合应用等。目前应用于图像融合有三种网络: a)双模态神经元网络。文献[ 12] 提出六种类型的双模态神经元用于可见光和红外图像的融合。b) 多层感知器。Fechner 和Godlewski 提出了基于多层感知器神经网络的图像融合方法[ 13] , 通过训练多层感知器识别前视红外图像中感兴趣的像素, 将其融入可见光图像中。c) 脉冲耦合神经网络( PCNN) 。Broussard 等人借助该网络实现图像融合来提高目标的识别率[ 14] , 并证实了PCNN用于图像融合的可行性。
2.3基于多尺度变换的图像融合方法
基于多尺度变换的图像融合方法是像素级图像融合方法研究中的一类重要方法。基于多尺
度变换的融合方法的主要步骤[ 15] 为: 对原图像分别进行多尺度分解, 得到变换域的一系列子图像; 采用一定的融合规则, 提取变换域中每个尺度上最有效的特征, 得到复合的多尺度表示; 对复合的多尺度表示进行多尺度逆变换, 得到融合后的图像。
2.3.1 基于金字塔变换的图像融合方法
Burt 最早提出基于拉普拉斯金字塔变换的融合方法[ 16] 。该方法使用拉普拉斯金字塔和基于像素最大值的融合规则进行人眼立体视觉的双目融合, 实际上该方法是选取了局部亮度差异较大的点。这一过程粗略地模拟了人眼双目观察事物的过程。用拉普拉斯金字塔得到的融合图像不能很好地满足人类的视觉心理。在文献[ 17] 中, 比率低通金字塔和最大值原则被用于可见光和红外图像的融合。比率低通金字塔虽然符合人眼的视觉特征, 但由于噪声的局部对比度一般都较大, 基于比率低通金字塔的融合算法对噪声比较敏感, 且不稳定。为了解决这一问题, Burt 等人[ 18] 提出了基于梯度金字塔变换的融合方法, 该方法用了匹配与显著性测度的融合规则。Richard 等人[ 19] 给出了以上三种金字塔用于图像融合的定性和定量的结果。另外, Barron 氧气推车和Thomas[ 20] 提出一种基于纹理单元的金字塔算法, 它在每层图像中采用24 个纹理滤波器以获取不同方向的细节信息。与梯度金字塔算法相比, 它能够提取出更多的细节信息。文献[ 21] 提出了一种基于形态学金字塔变换的图像融合方法。
基于金字塔变换融合方法的优点是可以在不同空间分辨率上有针对性地突出各图像的重要特征和细节信息, 相对于简单图像融合方法, 融合效果有明显的改善。其缺点是图像的金字塔分解均是图像的冗余分解, 即分解后各层间数据有冗余;同时在图像融合中高频信息损失较大, 在金字塔重建时可能出现模糊、不稳定现象; 图像的拉普拉斯、比率低通、形态学金字塔分解均无方向性。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议