1、图像融合：图像融合是指将多幅图像，在经过去噪、配准等预处理后，再依据某些融合规则合成⼀幅图像的过程。融合图像对⽬标的描述更清晰和准确，更适合图像后续的处理。（多传感器图像融合（可见光图像和红外图像融合）、单⼀传感器多聚焦图像融合） 多人交互式VR图像融合需要遵守的3个基本原则：
1)融合后图像要含有所有源图像的明显突出信息；
2)融合后图像不能加⼊任何的⼈为信息；
3) 对源图像中不感兴趣的信息，如噪声要尽可能多地抑制其出现在融合图像中。
融合图像的作⽤
太阳能电池板制作
①图像增强。通过综合来⾃多传感器（或者单⼀传感器在不同时间）的图像，获得⽐原始图像清晰度更⾼的新图像。②特征提取。通过融合来⾃多传感器的图像更好地提取图像的特征，如线段，边缘等。③去噪。④⽬标识别与跟踪。⑤三维重构。2、图像融合应⽤领域
图像融合技术的研究呈不断上升的趋势，应⽤领域也遍及遥感图像处理，可见光图像处理，红外图像处理，医学图像处理等。
本地摄像头3、⼏种典型的数字图像融合⽅法
主成分分析法
差分演化计算法（DE）
遗传算法 GA
粒⼦算法（PSO）
蚁算法
神经⽹络法
⼩波变换法
模糊图像融合
。。。。
热交换设备
如果按研究⽅法分类，彩⾊图像融合⼤体可以分为两类：基于⼈的视觉系统和直接基于物理光学。基于物理光学的研究是直接在颜⾊空间RGB中对图像进⾏处理、融合。⽽基于⼈的视觉系统的融合，更多是从感官上在⾊彩的 HI V空间对图像进⾏融合。
4、融合过程：
图像融合的⽅法很多，按照信息提取的层次从低到⾼的原则可划分为 3 类：像素级图像融合、特征级图像融合和决策级图像融合。
像素级融合依据⼀定的融合规则直接对源图像基于像素的特征进⾏融合，最后⽣成⼀幅
融合图像的过程。它保留源图像的原始信息最多、融合准确性最⾼，但该类⽅法也存在着信息量最⼤、对硬件设备和配准的要求较⾼、计算时间长和实时处理差等缺点。
特征级图像融合是⾸先对源图像进⾏简单的预处理，再通过⼀定模型对源图像的⾓点、边缘、形状等特征信息进⾏提取，并通过合适的融合规则进⾏选取，再依据⼀定的融合规则对这些特征信息进⾏选取和融合，最后⽣成⼀幅融合图像的过程。
该类融合⽅法融合的对象是源图像的特征信息，所以对图像配准环节的要求没有像素级融合要求的严格。同时，该类⽅法提取了源图像的特征信息，对图像的细节信息进⾏了压缩，增强其⾃⾝实时处理
能⼒，并尽最⼤可能为决策分析提供所需要的特征信息。相对于前⼀级图像融合⽅法，特征级图像融合⽅法的精度⼀般。
决策级图像是在进⾏融合之前，每⼀源图像都已独⽴地完成了分类、识别等⾃⾝的决策任务，融合过程是通过对前⾯每⼀独⽴决策结果进⾏综合分析，从⽽⽣成全局最优决策并依此形成融合图像的过程。这种融合⽅法具有灵活度⾼、通信量⼩、实时性最好、容错能⼒强、抗⼲扰能⼒强等优点。但是决策级图像融合需要⾸先对各个图像分别进⾏决策判断，导致最终融合前的处理任务太多、前期的预处理代价⾼。
根据图像融合处理对象所处空间的不同，图像融合⽅法⼜可以分为多尺度分解图像融合和空间域图像融合两⼤类。
墨水生产最早的图像融合实现是提出基于空间域上采⽤加权平均、HIS变换、PCA变换等算法，并应⽤到雷达图像与卫星遥感图像融合、卫星多光谱遥感图像与全⾊图像融合、卫星图像与红外图像融合等领域。（加权平均算法简单的采⽤像素的某项值作为权值计算的依据，容易引⼊噪声；HIS变换适⽤于⾼分辨率的彩⾊图像，应⽤范围太窄；PCA算法对于源图像之间差异较⼤时，容易引⼊错误的信息。）
多尺度分解融合算法⾸先将源图像进⾏多尺度分解，然后依据⼀定的融合规则对每⼀尺度上的光谱信息进⾏提取融合，⽣成新的多尺度频谱
信息数据，最后对每⼀尺度上的数据进⾏分解的逆变换重构融合图像。由于此类算法可有有效提取那些在空间上相互重叠、关系复杂但在频率域上独⽴的图像特征。
（1984 年，Burt 等）拉普拉斯⾦字塔多尺度分解的图像融合算法，该算法的主要思想是：先将源图像分别进⾏将采样滤波卷积处理，构成⼀个塔状结构，然后对塔状结构的每⼀层的系数进⾏融合运算保存图像的边缘、纹理等特征⽣成新的塔状结构，最后对塔状结构每⼀层系数进⾏⾦字塔逆变换得到融合图像。
（1993 年，Ranchin T 和 Wald L）离散⼩波变换算法运⽤到遥感图像的融合。该算法主要思想是：⾸先将源图像进⾏正交⼩波变换处理，得到⼀系列⾼频带和低频信息，然后依据⼀定融合规则对各层系数进⾏融合，⽣成新的⾼频和低频系数，最后对新的各层系数进⾏分解的逆变换得到融合图像。
（2005 年 Do M N）轮廓波变换（Contourlet Transform，CT），该算法可以对图像的边缘和纹理进⾏稀疏表⽰，是真正的⼆维波，并且⾼频层多⽅向分析数量可以根据需要多⽅向设定。将 CT应⽤到图像融合，通过将区域能量作为⾼频⼦带系数的融合规则，提⾼了融合图像的质量。但是，由于该类⽅法采⽤将采样处理，其融合算法依然存在着平移不变性问题，融合图像存在 Gibbs现象。
（2006年AL Da Cunha等⼈）提出了⾮降采样轮廓波变换（NSCT）理论，该理论在保留其他多尺度分解算法优点的同时，⼜解决了平移不变性问题，是⽬前最好的多尺度分解算法。
相对应于多尺度图像融合算法，空间域图像融合算法以计算量⼩见长，⽽且随着图像聚类和分割技术的发展，基于空间区域特征的图像融合算法得到很快发展。近年来，空间域图像融合主要在多聚集图像融合上取得了快速发展。多聚焦空间域图像融合基本上可以分为基于像素点、基于块和基于区域的图像融合⽅法。
基于像素点图像融合是直接将像素点或其邻域窗⼝的聚焦度测量作为计算融合权重的融合⽅法。该⽅法计算最简单，最容易实现，但是该⽅法缺乏像素点空间的聚焦特性和相互关系考虑，导致相邻像素点之间缺乏⼀致性。同时，该⽅法对噪声敏感，容易从源图像中融合错误点。
基于块的图像融合算法将源图像分成相对应的⼤⼩相等块，通过块的聚焦度测量⼤⼩作为图像块选取的融合规则，计算完各块的融合权重后⽣成融合图像。该类⽅法计算简单，容易实现，但是受到两个⽅⾯的影响：⼀是分块的策略，将影响运算速度和分块的质量。⼆是块尺⼨的⼤⼩，块的尺⼨太⼤将导致块中既包含聚焦区域⼜有⾮聚焦区域；块的尺⼨太⼩导致块内不能完全包含聚焦区域。且该类⽅法容易在聚焦区域和⾮聚焦区域之间产⽣“块效应”，影响融合图像的质量。
为了克服上述缺点，基于区域的图像融合⽅法被提出。⾸先，利⽤分割算⼦将源图像分割为不同的区域，然后计算每个区域的聚焦度测量，再依据⼀定的融合规则将聚焦区域进⾏合并⽣成融合图像。研究者提出基于⽔平集⽅法、基于区域四叉树分裂合并的⽅法、基于 K-means 聚类⽅法等⽅法。然⽽该类算法计算量太⼤，不利于实时操作。
Fay 和 Waxman等提出了基于神经⽹络的彩⾊图像融合规则⽅法，该⽅法采取了中⼼和四周相分离的原则，简称 MIT法。
Min L等将PCNN（Pulse Coupled Neural Network）作为图像区域划分的依据，提出了图像⾃适应分割。
5、融合流程框架
图像融合由图的描述可看出系统的框架可分为4个部分：图像配准、图像预处理、图像融合、输出和图像后处理。
配准的⽬的是使图像满⾜时间和空间上的⼀致，实际配准的过程是以⼀幅图像作为基础，把其他的图像通过⼀定算法复合在其上。
6、图像配准
图像配准主要分为以下 4 个步骤：（1）确定特征空间。（2）确定搜索空间。（3）相似性度量。（4）搜索策略。
当前的图像配准⽅法依据其配准对象的不同可以分为像素级图像配准⽅法和特征级图像配准⽅法，⽽像素级图像配准⽅法⼜可分为基于灰度的图像配准⽅法和基于变换域的配准⽅法。
1、像素级图像配准⽅法
像素级图像配准⽅法，先将图像进⾏校正、边缘锐化、增强运算等预处理后，待配准图像进⾏⼆维傅⾥叶变换或计算相关参数与参考图像进⾏像素配准。
（1）基于灰度的图像配准⽅法：其基本思想是利⽤基于全局的两幅图像灰度值的相关性，然后通过确定搜索相似性度量的最值点来确定两幅图像之间的变换模型。⼀些⽂献分别提出了基于⽅差、相关系数、信息熵等相关性度量的模型，这些⽅法都采⽤了基于全局相似性度量的⽅法，由于⾼分辨率图像的相似性度量计算量太⼤，所以此类⽅法适⽤于低分辨率图像的配准。
（2）基于变换域的图像配准⽅法：该类⽅法最主要的是基于傅⾥叶变换的配准⽅法，该类⽅法利⽤了傅⾥叶变换的平移不变性特点。相对于前⼀种配准⽅法，基于变换域的图像配准⽅法对噪声有鲁棒性和计算量较⼩。
当图像的灰度差异较⼤，且图像存在缩放、扭曲和旋转等⼏何变换时，基于像素级图像配准⽅法的应⽤会受到限制。⽽变换域配准⽅法仅局限于傅⾥叶变换，当图像转换形式⽐较复杂时，基于变换域图像配准⽅法就不太适⽤了。采⽤基于图像特征的图像配准⽅法可以有效克服以上两种⽅法的不⾜。
2、基于特征的图像配准⽅法
headcall特征级图像配准⽅法是通过对从参考图像上提取的⾓点、边缘、区域等特征集与待配准图像进⾏特征配准。该类⽅法⼀般分为以下 3 个步骤：
特征提取、特征匹配、图像转换。
图像的边缘特征能够代表图像的⼤部分结构信息，可以克服⼀些图像畸变带来的影响，⽽且基于特征配准⽅法的计算量⼩。常⽤的边缘检测算⼦有 Sobel、LOG、Canny等。
这些融合图像质量评价⽅法可分为两类：主观评价⽅法和客观评价⽅法。
主观评价⽅法容易受环境、观察者等因素的影响，仅依靠单个或少数观察者的图像评价结果并不可靠，只有在统计的条件下，评价结果才有意义，该⽅法容易实现。有五级质量尺度和五级妨碍尺（如下）。
对融合图像的定量评价⽅法和准则，即客观评价⽅法。分为全参考图像质量评价、半参考图像质量评价和⽆参考图像质量评价。
基于⽆参考图像质量评价指标：信息熵（Entropy）、空间频率（Space Frequency）、拉普拉斯算⼦等。
基于有参考图像的评价指标：均⽅根误差( RMSE)、信噪⽐ SNR（Signal-to-Noise Ratio）、峰值信噪⽐ PSNR（Peak-Signal-to-Noise Ratio）、结构失真的图像质量评价指标UQI(Universal Image Quality Index)。
基于有参考图像的图像质量客观评价指标主要是通过参考图像与融合图像之间的差异程度的来评价融合图像的质量好坏。由于在实际运⽤中往往不到参考图像，所以此类融合图像质量客观评价指标的应⽤会受到⼀定的限制。
基于源图像的评价指标：互信息（Mutual Information, MI）、结构相似度（Structural Similarity,SSIM）、加权融合质量指标（Weighted Fusion Quality Index,WFQI）、边缘保持度融合质量指标。
基于源图像的融合图像质量评价指标对应⽤条件要求较少，⽽且能够很好的检测源图像的边缘、结构等信息，其数据的准确度和可靠性相对前两类评价指标较⾼。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议