图像融合(Image Fusion)
是⽤特定的算法将两幅或多幅图像综合成⼀幅新的图像。融合结果由于能利⽤两幅(或多幅) 图像在时空上的相关性及信息上的互补性，并使得融合后得到的图像对场景有更全⾯、清晰的描述，从⽽更有利于⼈眼的识别和机器的⾃动探测。 确保待融合图像已配准好且像素位宽⼀致，且融合后的图像相对原始图像具有较⾼的空间分辨率和光谱分辨率，具有明显的突出信息和较低的噪声。两幅（多幅）已配准好且像素位宽⼀致的待融合源图像，如果配准不好且像素位宽不⼀致，其融合效果不好。
彩钢板安装工程图像融合(Image Fusion) 技术在遥感探测、安全导航、医学图像分析、反恐检查、环境保护、交通监测、清晰图像重建、灾情检测与预报尤其在计算机视觉等领域都有着重⼤的应⽤价值。⽤于较多也较成熟的是红外和可见光的融合，在⼀副图像上显⽰多种信息，突出⽬标。
⼀般情况下，图像融合由低到⾼分为：信号级融合、数据级融合、特征级融合、决策级融合。 信号级：
无水硫铝酸钙在最低层对未经处理的传感器输出在信号域进⾏混合，产⽣⼀个融合后的信号。融合后的信号与源信号形式相同但品质更好，来⾃传感器的信号可建模为混有不同相关噪声的随机变量。此种情况下，融合可以考虑为⼀种估计过程，信号级图像融合在很⼤程度上是信号的最优集中或分布检测问题，对信号时间和空间上的配准要求最⾼。
像素级：
像素级图像融合是三个层次中最基本的融合，经过像素级图像融合以后得到的图像具有更多的细节信息，如边缘、纹理的提取，有利于图像的进⼀步分析、处理与理解，还能够把潜在的⽬标暴露出来，利于判断识别潜在的⽬标像素点的操作，这种⽅法才可以尽可能多的保存源图像中的信息，使得融合后的图⽚不论是内容还是细节都有所增加，这个优点是独⼀⽆⼆的，仅存在于像素级融合中。但像素级图像融合的局限性也是不能忽视的，由于它是对像素点进⾏操作，所以计算机就要对⼤量的数据进⾏处理，处理时所消耗的时间会⽐较长，就不能够及时地将融合后图像显⽰出来，⽆法实现实时处理；另外在进⾏数据通信时，信息量较⼤，容易受到噪声的影响；还有如果没有将图⽚进⾏严格的配准就直接参加图像融合，会导致融合后的图像模糊，⽬标和细节不清楚、不精确。
特征级：
特征级图像融合是从源图像中将特征信息提取出来，这些特征信息是观察者对源图像中⽬标或感兴趣
的区域，如边缘、⼈物、建筑或车辆等信息，然后对这些特征信息进⾏分析、处理与整合从⽽得到融合后的图像特征。对融合后的特征进⾏⽬标识别的精确度明显的⾼于原始图像的精确度。特征级融合对图像信息进⾏了压缩，再⽤计算机分析与处理，所消耗的内存与时间与像素级相⽐都会减少，所需图像的实时性就会有所提⾼。特征级图像融合对图像匹配的精确度的要求没有第⼀层那么⾼，计算速度也⽐第⼀层快，可是它提取图像特征作为融合信息，所以会丢掉很多的细节性特征。
决策级：
决策级图像融合是以认知为基础的⽅法，它不仅是最⾼层次的图像融合⽅法，抽象等级也是最⾼的。决策级图像融合是有针对性的，根据所提问题的具体要求，将来⾃特征级图像所得到的特征信息加以利⽤，然后根据⼀定的准则以及每个决策的可信度（⽬标存在的概率）直接作出最优决策。三个融合层级中，决策级图像融合的计算量是最⼩的，可是这种⽅法对前⼀个层级有很强的依赖性，得到的图像与前两种融合⽅法相⽐不是很清晰。将决策级图像融合实现起来⽐较困难，但图像传输时噪声对它的影响最⼩。
综上，研究和应⽤最多的是像数级图像融合，⽬前提出的绝⼤多数的图像融合算法均属于该层次上的融合。图像融合狭义上指的就是像数级图像融合。
红外和可见的融合很多⽂献都是从像素级⼊⼿，基于已有的融合算法，根据实际情况，来设⽴融合规
则，得到适合实际应⽤场景的融合图像。
像素级图像融合主要包括：
1)平均与加权平均⽅法
加权平均⽅法将原图像对应像素的灰度值进⾏加权平均,⽣成新的图像，它是最直接的融合⽅法。其中平均⽅法是加权平均的特例。使⽤平均⽅法进⾏图像融合，提⾼了融合图像的信噪⽐，但削弱了图像的对⽐度，尤其对于只出现在其中⼀幅图像上的有⽤信号。
2)像素灰度值选⼤（或⼩）的图像融合⽅法
假设参加融合的两幅原图像分别为A、B，图像⼤⼩分别为M*N，融合图像为F，则针对原图像A、B的像素灰度值选⼤（或⼩）图像融合⽅法可表⽰为
F(m,n)=max(or min){A(m,n),B(m,n)}
其中：m、n分别为图像中像素的⾏号和列号。在融合处理时，⽐较原图像A、B中对应位置（m、n）处像素灰度值的⼤⼩，以其中灰度值⼤（或⼩）的像素作为融合图像F在位置（m、n）处的像素。这种融合⽅法只是简单地选择原图像中灰度值⼤（或⼩）的像素作为融合后的像素，对待融合后的像素进⾏灰度增强（或减弱），因此该⽅法的实⽤场合⾮常有限。
3)基于PCA的图像融合⽅法
PCA图像融合⽅法⾸先⽤三个或以上波段数据求得图像间的相关系数矩阵，由相关系数矩阵计算特征值和特征向量，再求得各主分量图像；然后将⾼空间分辨率图像数据进⾏对⽐度拉伸，使之与第⼀主
分量图像数据集具有相同的均值和⽅差；最后拉伸后的⾼空间分辨率图像代替第⼀主分量，将它与其他主分量经PCA逆变换得到融合图像。
PCA融合算法的优点在于它适⽤于多光谱图像的所有波段；不⾜之处是在PCA融合算法中只⽤⾼分辨率图像来简单替换低分辨率图像的第⼀主成分，故会损失低分辨率图像第⼀主成分中的⼀些反应光谱特性的信息，不考虑图像各波段的特点是PCA融合算法的致命缺点。
4)基于调制的图像融合⽅法
借助通信技术的思想，调制技术在图像融合领域也得到了⼀定的应⽤，并在某些⽅⾯具有较好的效果。⽤于图像融合上的调制⼿段⼀般使⽤于两幅图像的融合处理，具体操作⼀般是将⼀幅图像进⾏归⼀化处理；然后将归⼀化的结果与另⼀图像相乘；最后重新量化后进⾏显⽰。⽤于图像融合上的调制技术⼀般可分为对⽐度调制技术和灰度调制技术。、
5)⾮线性⽅法
将配准后的原图像分为低通和⾼通两部分，⾃适应地修改每⼀部分，然后再把他们融合成符合图像。
6)逻辑滤波⽅法无骨花灯
6)逻辑滤波⽅法
逻辑滤波⽅法是⼀种利⽤逻辑运算将两个像素的数据合成为⼀个像素的直观⽅法，例如当两个像素的值都⼤于某⼀阈值时，“与”滤波器输出为“1”（为“真”）。图像通过“与”滤波器⽽获得特征可认为是图像中⼗分显著的成分。
7)颜⾊空间融合⽅法
颜⾊空间融合法的原理是利⽤图像数据表⽰成不同的颜⾊通道。简单的做法是把来⾃不同传感器的每幅原图像分别映射到⼀个专门的颜⾊通道，合并这些通道得到-⼀幅假彩⾊融合图像。该类⽅法的关键是如何使产⽣的融合图像更符合⼈眼视觉特性及获得更多有⽤信息。Toet等⼈将前视红外图像和微光夜视图像通过⾮线性处理映射到⼀个彩⾊空间中，增强了图像的可视性。⽂献研究表明，通过彩⾊映射进⾏可见光和红外图像的融合，能够提⾼融合结果的信息量，有助于提⾼检测性能。
8)最优化⽅法
最优化⽅法为场景建⽴⼀个先验模型，把融合任务表达成⼀个优化问题，包括贝叶斯最优化⽅法和马尔可夫随机场⽅法。贝叶斯最优化⽅法的⽬标是到使先验概率最⼤的融合图像。⽂献提出了⼀个简单的⾃适应算法估计传感器的特性与传感器之间的关系，以进⾏传感器图像的融合；另⼀⽂献提出了基于图像信息模型的概率图像融合⽅法。马尔可夫随机场⽅法把融合任务表⽰成适当的代价函数，该函数反映了融合的⽬标，模拟退⽕算法被⽤来搜索全局最优解。
9)⼈⼯神经⽹络⽅法
受⽣物界多传感器融合的启发，⼈⼯神经⽹络也被应⽤于图像融合技术中。神经⽹络的输⼊向量经过⼀个⾮线性变换可得到⼀个输出向量，这样的变换能够产⽣从输⼊数据到输出数据的映射模型，从⽽使神经⽹络能够把多个传感器数据变换为⼀个数据来表⽰。由此可见，神经⽹络以其特有的并⾏性和学习⽅式，提供了⼀种完全不同的数据融合⽅法。然⽽，要将神经⽹络⽅法应⽤到实际的融合系统中，⽆论是⽹络结构设计还是算法规则⽅⾯，都有许多基础⼯作有待解决，如⽹络模型、;⽹络的层次和每⼀层的节点数、⽹络学习策略、神经⽹络⽅法与传统的分类⽅法的关系和综合应⽤等。⽬前应⽤于图像融合有三种⽹络: a)双模态神经元⽹络。b)多层感知器。c) 脉冲耦合神经⽹络(PCNN)。Broussard等 ⼈借助该⽹络实现图像融合来提⾼⽬标的识别率，并证实了PCNN⽤于图像融合的可⾏性。
2、基于多尺度变换的图像融合⽅法
基于多尺度变换的图像融合⽅法是像素级图像融合⽅法研究中的⼀类重要⽅法。基于多尺度变换的融合⽅法的主要步骤[5]为：对原图像分别进⾏多尺度分解，得到变换域的⼀系列⼦图像；采⽤⼀定的融合规则，提取变换域中每个尺度上最有效的特征，得到复合的多尺度表⽰；对复合的多尺度表⽰进⾏多尺度逆变换，得到融合后的图像。
1)基于⾦字塔变换的图像融合⽅法
焊接应力
Burt最早提出基于拉普拉斯⾦字塔变换的融合⽅法。该⽅法使⽤拉普拉斯⾦字塔和基于像素最⼤值的融合规则进⾏⼈眼⽴体视觉的双⽬融合，实际上该⽅法是选取了局部亮度差异较⼤的点。这⼀过程粗略地模拟了⼈眼双⽬观察事物的过程。⽤拉普拉斯⾦字塔得到的融合图像不能很好地满⾜⼈类的视觉⼼理。在⽂献中,⽐率低通⾦字塔和最⼤值原则被⽤于可见光和红外图像的融合。⽐率低通⾦字塔虽然符合⼈眼的视觉特征，但由于噪声的局部对⽐度⼀般都较⼤，基于⽐率低通⾦字塔的融合算法对噪声⽐较敏感，且不稳定。为；了解决这⼀问题，Burt等⼈提出了基于梯度⾦字塔变换的融合⽅法，该⽅法采⽤了匹配与显著性测度的融合规则。R ichard等⼈给出了以上三种⾦字塔⽤于图像融合的定性和定量的结果。另外, Baron和Thomas提出⼀种基于纹理单元的⾦字塔算法它在每层图像中采⽤24个纹理滤波器以获取不同⽅向的细节信息。与梯度⾦字塔算法相⽐，它能够提取出更多的细节信息。⽂献提出了⼀种基于形态学⾦字塔变换的图像融合⽅法。
基于⾦字塔变换融合⽅法的优点是可以在不同空间分辨率上有针对性地突出各图像的重要特征和细节信息，相对于简单图像融合⽅法，融合效果有明显的改善。其缺点是图像的⾦字塔分解均是图像的冗余分解，即分解后各层间数据有冗余；同时在图像融合中⾼频信息损失⼤，在⾦字塔重建时可能出现模糊、不稳点现象；图像的拉普拉斯、⽐率低通、形态学⾦字塔、分解均⽆⽅向性。
2)基于⼩波变换的图像融合⽅法
⼩波变换技术具有许多其他时(空)频域所不具有的优良，特性，如⽅向选择性、正交性、可变的时频域分辨率、可调整的局部⽀持以及分析数据量⼩等。这些优良特性使⼩波变换成为图像融合的⼀-种强有⼒的⼯具。⽽且,⼩波变换的多尺度变换特性更加符合⼈类的视觉机制，与计算机视觉中由粗到细的认知过程更加相似，更适于图像融合。
基于⼩波变换的图像融合⽅法的基本步骤为：对每⼀幅原图像分别进⾏⼩波变换，建⽴图像的⼩波⾦字塔分解；对各分解层从⾼到低分别进⾏融合处理，各分解层上的不同频率分量可采⽤不同的融合规则进⾏融合处理，最终得到融合后的⼩波⾦字塔；对融合后所得的⼩波⾦字塔进⾏⼩波逆变换，所得重构图像即为融合图像。下图给出了基于⼩波变换的图像融合⽅法的结构⽰意图。
⽬前，基于⼩波变换的图像融合⽅法的研究主要集中在以下⼏个⽅⾯:
a)融合规则及融合算⼦的选择。在⼩波图像融合过程中，融合规则及融合算⼦的选择对融合质量⾄关
重要，这直接影响到图像质量的好坏。针对不同类型和特征的图像,⽬前已经提出了⼤量的⾼、低频融合规则。⾼频融合规则主要包括简单和加权平均准则、取系数绝对值较⼤准则、基于⼩波模极⼤值的融合准则、基于区域能量的融合准则、局部⽅差准则、局部平均梯度准则、局部均⽅差准则、消除⾼频噪声法等。通常情况下，低频部分融合⼀般采 ⽤平均的线性融合规则，但在许多情况下，这种取平均的线性融合⽅法会影响最终的融合效果。⽂献（⼀种基于⼩波变换的图像融合算法）提出了平均与选择相结合的低频融合规则。该⽅法考虑了两幅图像的相关性，在⼀⼀定程度上符合⼈眼对较显
著的点⽐较敏感这⼀-事实，融合效果相对平均法有⼀定的改善，但⽆显著的提⾼。燕⽂浩等⼈提出了基于Canny边缘检测算⼦的低频融合规则，有效地改善了融合图像边缘细节的准确度，提⾼了融合图像的分辨率。
b)⼩波分解与重构的形式。LiMing等⼈将离散⼩波变换应⽤于遥感图像融合中，取得了很好的融合效果。在进⾏⼩波变换时，由于采⽤了⾏列降采样，图像的⼤⼩发⽣了变化，每层图像的⼤⼩均为上⼀-层图像的1/4。 这种变化在图像融合处理过程中有时是不利的，特别是在图像配准精度不⾼的情况下，容易产⽣分块效应。为此，Zhang Zhong和Blum提出了基于⼩波框架的图像融合算法，这种算法经变换后的图像⼤⼩不发⽣变化，克服了上述缺点，但计算量相对较⼤。多⼩波是近⼏年刚刚发展起来的⼩波理论的-⼀个新的组成部分，它提供了更加⼴泛的⼩波基选择范围，能够到具有更好性质的优于⼆进制⼩波的⼩波函数。Wang HaiHhuf提出了基于多⼩波变换的图像融合⽅法，使图像的融合效
果得到了进⼀b步改善。 1994年Svelens不依赖于傅⾥叶，提出了⼀种基于提升机制的⼩波变换新⽅法。基于提升机制⽅法能够实现⼩波变换的快速算法，可以提⾼融合速度，节省内存和存储空间，所以基于提升机制的⼩波变换开始被应⽤于许多图像融合之中。根据⼩波分解与重构的形式不同，基于⼩波的图像融合⽅法⼤致可分为塔形⼩波变换(PDWT)、塔形⼩波帧变换(PDWFT)、树状⼩波帧变换(TDWFT)、⼩波框架、多⼩波变换、基于提升机制⼩波变换( FILWT)的融合⽅法。
c)⼩波融合⽅法与其他融合⽅法的结合。⽬前，针对某类特定的融合原图像和某种特殊的融合⽬的，出现了许多⼩波⽅法与其他融合⽅法相结合的算法。唐国良等⼈提出了基于IHS变换和⼩波变换的昼夜彩⾊图像融合算法; Zhang Yun等⼈将HIS与⼩波技术结合起来⽤于遥感图像融合中，明显降低了融合结果中的颜⾊扭曲现象；蒋年德等⼈提出–种新的基于主分量变换与⼩波变换的图像融合⽅法，该⽅法使融合图像在较好地保留光谱信息的同时，增强了空间细节信息。
基于⼩波变换的图像融合⽅法进⼀步的研究⽅向主要包括：新的融合量测指标；新的⾼、低频融合规则；分解层数对融合图像的影响及层数优化；新的⼩波分解与重构⽅法；⼩波融合⽅法与其他融合⽅法新的结合。
3)基于Ridgelet变换的图像融合⽅法
当⼩波变换推⼴到⼆维或更⾼维时，由⼀维⼩波张成的可分离⼩波只有有限的⽅向，不能最优表⽰含
线或者⾯奇异的⾼维函数。因此,⼩波只能反映信号的点奇异性(零维),⽽对诸如⼆维图像中的边缘以及线状特征等线、⾯奇异性(⼀维或更⾼维),⼩波则难以表达其特征。针对⼩波变换的不⾜,Candes提出了⼀种适合分析⼀维或更⾼维奇异性的脊波( Ridgelet)变换。脊波变换⽤于图像融合的意义在于： a)脊波变换通过Radon变换把图像中线特征转换成点特征，然后通过⼩波变换将点的奇异性检测出来。其处理过程克服了⼩波仅仅能反映“过”边缘的特征,⽽⽆法表达“沿”边缘的特征。b)脊波变换继承了⼩波变换的空域和频域局部特性。e)脊波变换具有很强的⽅向性，可以有效地表⽰信号中具有⽅向性的奇异性特征，如图像的线性轮廓等，为融合图像提供更多的信息。d)脊波变换较⼩波变换具有更好的稀疏性，克服了⼩波变换中传播重要特征在多个尺度上的缺点，变换后能量更加集中，所以在融合过程中抑制噪声的能⼒也⽐⼩波变换更强。因此将脊波变换引⼊图像融合，能够更好地提取原始图像的特征，为融合图像提供更多的信息。⽂献（R idgelet: theory and app lications）提出了⼀种基于脊波变换的SAR与可见光图像融合⽅法。该⽅法在保留合成孔径雷达SAR与可见光图像重要信息、抑制噪声能⼒⽅⾯均优于⼩波变换。
由于脊波理论建⽴时间不长，还有许多值得研究的课题，例如，如何能够减轻甚⾄消除在重构图像过程中出现的轻微划痕、如何简化脊波的复杂计算、寻求快速算法等。
4)基于Curvelet变换的图像融合⽅法
Curvelet变换是由Candes提 出的Ridgelet变换演变⽽来的。Ridgelet变换对含有直线奇异的多变量函数有很好的逼近效果，能稀疏地表⽰包含直线边缘的分⽚平滑图像。但是对于含有曲线奇异的图像, Ridgelet变换的逼近性能只与⼩波变换相当。由于多尺度Ridgelet分析冗余度很⼤，Candes和Donoho于1999年提出了曲线波( Curveleb)变换理论，即第⼀代Cuvelet变换。其基本思想是:⾸先对图像进⾏⼦带分解；然后对不同尺度的⼦带图像采⽤不同⼤⼩的分块；最后对每个块进⾏Ridgelet分析。由于Curvelt结合了Ridgelet变换的各向异性和⼩波变换的多尺度特点，它的出现对于⼆维信号分析具有⾥程碑式的意义，也开始被应⽤于图像融合。Choi等⼈⾸次将Curvelet应⽤于多光谱图像和全景图像的融合，结果具有更丰富的空间和光谱信息以及更佳的视觉效果。⽂献（⼀种基于 Curvelet变换多传感器图像融合算法）提出了⼀种基于Cuvelet变换 多传感器图像融合算法，该⽅法相⽐传统的基于⼩波变换的图像融合算法。能够有效避免⼈为效应或⾼频噪声的引⼊，得到具有更好视觉效果和更优量化指标的融合图像。
药品采集由于第⼀代Curvelet变换的数字实现⽐较复杂，需要⼦带分解、平滑分块、正规化和Ridgelet分析等系列步骤，且Curvelet⾦字塔的分解也带来了巨⼤的数据冗余量，Candes等⼈⼜提出了实现更简单、更便于理解的快速Cuvelet变 换算法，即第⼆代Curvelet变换。第⼆代Cuvelet与第⼀代在构造上已经完全不同：第⼀代的构造思想是通过⾜够⼩的分块将曲线近似到每个分块中的直线来看待，然后利⽤局部的Ridgelet分析其特性；第⼆代Curvelet与Ridgelet理论并没有关系，实现过程也⽆须⽤到Ridgelet
两者之间的相同点仅在于紧⽀撑、框架等抽象的数学意义。⽂献（基于⼆代 Cu rvelet变换的图像融合研究）提出了⼀种基于第⼆代Curvelet变换的图像融合⽅法，并应⽤于多聚焦图像的融合。该⽅法可以更好地提取原始图像的特征，为融合提供更多的信息，相⽐第⼀代Curvelet变换更易于实现。
参考：
钢副框角码blog.csdn/colourful_sky/article/details/76560316
blog.csdn/Dandelion_2/article/details/96427159
blog.csdn/weixin_43262648/article/details/102853741
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议