iData_基于人眼视觉系统的假彩融合图像质量的评价方法_陈振跃

第41卷第4期
2012年4月            光 子 学 报ACTA PHOTONICA SINICAVol.41No.4
Ap
ril 2012  基金项目:
国家自然科学基金(No.61077077)和武器装备预研基金项目(No.9140A01060110BQ0108)资助第一作者(通讯作者):陈振跃(1987-),男,硕士研究生,主要研究方向为偏振成像、图像处理.Email:czy
bit@foxmail.com导  师:王霞(1972-),女,副教授,博导,主要研究方向为光电成像技术及图像处理技术.Email:angelniuniu@bit.edu.cn收稿日期:2011 10 24;修回日期:2011 12 
07doi:10.3788/g小学数学课堂教学的有效性
zxb20124104.0451基于人眼视觉系统的假彩融合图像质量的评价方法
陈振跃,王霞,邹晓风,金伟其
(北京理工大学光电学院,北京100081
)摘 要:随着图像融合技术的发展,各种融合算法层出不穷,而很多情况下最终的融合图像是由人眼观察的,
从政提醒因此基于人眼视觉系统的图像融合质量评价显得尤为重要.为了能够模拟人眼对于融合图像的感知,得到融合后图像质量的客观评价,本文提出了一种基于差理论的假彩融合图像质
量的评价方法.首先将源图像和融合图像转化到CIE 
L*a*b*
均匀空间,在频域对图像进行对比度敏感函数滤波,通过计算滤波后融合图像的差判断图像的细节信息,在一定程度上差越大信息越丰富;通过计算融合图像与源图像的差判断融合图像与源图像的相关性,相关性越高,融合算法越好.通过融合图像的差大小以及与源图像的相关性两个参量,得出融合算法的优劣.实验表明,
与其他评价方法相比,本文提出的评价方法与人眼观察的结果较为一致.关键词:图像融合;人眼视觉系统;对比度敏感函数;差中图分类号:O432.3    文献标识码:A   
文章编号:1004-4213(2012)04-0451-
50 引言
随着成像技术和计算机技术的发展,多源图像信息的融合被越来越多地应用到目标的探测识别中.对融合图像质量的可比性评价是对各种融合算法评价的关键一步.很多情况下,融合得到的图像是人眼进行观察的,因此基于人眼视觉系统(HumanVisual System,HVS)的图像评价指标显得尤为重要.传统的评价指标如均方差(Mean Square Error,MES)、信噪比(Signal-to-Noise Ratio,SNR)、峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、熵等其数值与图像的感知质量没有必然联系,基于人眼视觉特性的评价方法能更好地模拟人眼对于图像的感知特性,而不是单纯地依据统计数字评价融合图像质量的好坏.
Xy
deas和Petrovic[1]
通过比较源图像和融合图像的边缘信息提出了一种像素级融合图像质量的评
价方法.Qu等人[2]
渝安集团
提出了一种基于互信息的图像融
合质量的评价方法.Wang和B
ovik在文献[3]中提出了一种普遍适用的图像质量评价指标.Piella[4]在
Wang和Bovik的基础上,提出了一个新的包含三个变量的评价方法,在不知道真实图像或是没有参考图像的情况下能够比较不同融合算法的优劣.景
娟娟等[5]
提出了在多个波段将多种客观评价方法结
合起来使用的评价手段.
以上评价方法都没有考虑人眼的视觉特性.狄红卫等[6]和刘军等[7]
提出了一
种基于结构相似度的图像融合质量评价方法,充分考虑了图像的结构信息和人类视觉系统的特性,但
是没有发掘彩图像的颜信息.黄小乔等[8]提出
了基于差的均方误差与峰值信噪比的评价方法,该方法没有考虑融合图像与多幅源图像之间的关系,
且融合图像与源图像较为接近时,不确切地认为融合算法较好.谢正祥[9]等人提出了一种基于人类
视觉感知噪音模型的彩图像质量评价方法,该方法没有建立源图像与融合图像之间的关系,无法用于融合图像算法评价.为了更好地提高客观评价与主观感觉的相关性,本文提出了一种基于对比度敏感函数(Contrast Sensitivity Function,CSF)模型的融合图像差评价指标,实验表明客观评价的效果与人眼的感知具有较高的一致性.
1 对比度敏感函数
人眼视觉是一个较为复杂的系统,直到现在人们仍然在对其做大量的科学研究.人眼视觉感知有3个显著的特性,
即视觉非线性特性、视觉敏感度带通和视觉多通道特性及掩盖效应[10]
光 子 学 报41卷
1.1 人眼视觉模型
人眼视觉系统分辨细节的能力与亮度的关系是它取决于相对亮度的变化,而不是取决于整幅图像的整体亮度;视觉与对比度的关系用视觉系统的CSF表示,或称为人眼视觉系统空间调制传递函数(Modulation Transfer Function,MTF).不同实验所得的CSF形式各异,但基本上都认为HVS对比度敏感特性是空间频率的函数,且具有带通滤波器性质.视觉皮层的细胞对不同的视觉信息或激励,如颜、频率和方向等有不同的敏感性,而目标识别、掩盖与自适应的研究认为所有这些特征激励在人的视觉系统中,是在不同的通道进行处理的,后续的理论证明,视觉机制的多通道之间并不是彼此孤立的,而是存在着相互的作用、判决与相互影响,以产生最佳视觉,然而多通道之间的相互作用的细节还没有定论[10].
掩盖效应(masking)是指由于另一个激励的存在导致一个激励完全不能或者不容易被检测到,即被掩盖了.在描述多通道中激励之间的相互作用时,掩蔽效应是必须考虑的一种非常重要的现象.另外,这种掩盖效应导致的视觉系统的探测阈值(JustNoticeable Difference,JND)的改变,既可以是抑制,也可以是加强.掩盖效应用阈值提升函数表示(Threshold Elevation),即对比度阈值随背景对比度变化的关系曲线,取决于掩盖物的带宽、相位、方向以及观察者对掩盖物的熟悉程度.根据引发掩盖效应的起因,如强烈的局部对比度、边缘和局部活动性,把它区分为对比度掩盖、边缘掩盖与纹理(噪音)掩盖.
1.2 对比度敏感函数
基于人眼的视觉特性,对图像滤波时必须建立相对应的数学模型,也即滤波器模型.将待评价的图像转换到频域,由CSF对不同频率的响应,可得D(u,v)=F(u,v)Θ(r)(1)式中r=u2+v
槡2,Θ(r)是CSF在频域的表达式.目前使用最广的三种CSF模型分别是Mannos-Skarison滤波器、Daly滤波器以及Ahumada滤波器.三种滤波器有不同的属性,其中最大的差别在于滤波器之间的带宽.Mannos-Skarison滤波器在0~50之间具有非零值,Daly滤波器在1~13之间存在非零值,而Ahumada滤波器是三者中最平坦的滤波器[11].实验中,选用Mannos-Skarison滤波器进行滤波,Mannos-Skarison滤波器的二维图形如图1所示,横坐标表示空间频率,单位是lp/mm
,纵坐标表示传递系数,单位是1.
图1 Mannos-Skarison滤波器模型
Fig.1 Mannos-Skarison filter model
2 CIE L*a*b*颜空间
CIE L*a*b*(CIE LAB)是惯常用来描述人眼可见的所有颜的最完备的彩模型.它是与设备无关的均匀空间模型.也就是说,在CIE L*a*b*空间中,不同颜之间的距离与人眼感知的差异存在一定的对应关系.因此,通过计算图像的差信息,就可以预测人眼的感知效果.
RGB空间是使用最多的颜空间,很多情况下,需要将其转换到CIE L*a*b*空间.转换时首先将RGB颜空间转换到CIE 1931XYZ系统中,再由CIE 1931XYZ空间转换到CIE 1976L*a*b*,详细过程见文献[12].
在L*a*b*模型中把每个颜处理为三维空间(L*,a*,b*)中一个点来近似,通过计算它们之间的欧几里得距离ΔE即两种颜之间的差,可以模拟人眼对颜的相对感知差别.
3 假彩融合图像质量评价
根据第2节中的理论依据,针对红外图像和微光图像的图像融合实验,本文提出了假彩图像融合质量的评价方法.该方法也适用于其他的假彩图像融合质量评价,但是算法中某些步骤要做适当的调整.值得说明的是,该方法不适用于对融合图像彩自然感的评价,仅作为图像融合后细节凸显能力的一种客观评价手段.
3.1 评价算法
实验中,选取2°视场对融合图像的区域进行观察,因此中心区域面积设定为16×16pixel 2.融合图像的详细评价过程如下:
1)将待评价的融合图像F以及源图像A和B分别转换到CIE L*a*b*颜空间,并将转换后的图像分解成16×16的宏块.考虑到数据的运算量和处理速度,每个宏块彼此没有重叠.
254
4期陈振跃,等:基于人眼视觉系统的假彩融合图像质量的评价方法
)对每一个宏块做快速傅里叶变换,并在频域通过Mannos-Skarison滤波器进行对比度敏感函数滤波.
3)对融合图像F的第i个宏块计算L*、a*
、b*
三个图层的均值L-
i、a-
i、b-
i,
利用式(2)计算宏块的差.
ΔEFi=∑16
j,k=1
[(L*(j,k)-L-
i)2
+(
a*(j,k)- a-i
)2
+(b*(j,k)-b-
i)2]
1/2(2
)式中(j,
k)是宏块中像素对应的数值.4
)分别计算融合图像F与源图像A和B对应的第i个宏块的差ΔEFAi、ΔEFBi,融合图像与源图像的差ΔEFABi取二者中较小的一个
 ΔEFAi=∑16
j,k=1
[(L*F(j,k)-L*A(j,k))2+(a*
F(
j,k)-a*A(j,k))2+(b*F(j,k)-b*A(
j,k))2]1/
2(3
) ΔEFBi=∑16
j,k=1
[(L*F(j,k)-L*B(j,k))2+(a*
F(
j,k)-a*
(j,k))2
+(b*F
(j,k)-b*B
(j,k))2]1/2
(4
) ΔEFABi=min(ΔEFAi,Δ
EFBi)(5
)式中(j,
k)是宏块中像素对应的数值.5
)计算所有宏块的差的均值Δ
EF=1N∑N
i=1
ΔEFi(6)Δ
EFAB=1N∑N
i=1
ΔEFABi(7
)式中,N是宏块总的个数.
对于评价参量ΔEF,其值越大越好,越大表明融合图像所包含的细节信息越多;ΔEFAB的值越小越好,越小表示与源图像的相关性越高,当其值为零时表明融合图像是两幅源图像的宏块的组合.尽管有些情况下ΔEF的值很大,而在人眼看来图像的融合效果并不好,通过计算可以发现,此时融合图像与源图像的差ΔEFAB较大,因此最理想的情况是融合图像差最大,而与源图像的差最小.3.2 实验结果及分析
按照3.1节中的评价算法,本文分别对不同算法获得的假彩图像进行评价.第一组数据是对微光图像与红外图像在YUV空间、RGB空间融合以及TNO算法和MIT算法得到的图像,以下用相关算法对图进行命名,如图2,评价结果如表1
图2 源图像及不同算法得到的融合图像(组一)
Fig.2 Source images and fused images based on different algorithms(group 1)表1 组一评价参量
Table 1 Evaluation parameters of group 1SampleΔEFΔEFABFYUVCPrgb01 1.057 2 3.091 3FYUVCPrg
b02 0.385 2 1.811 4FYUVCPrgb03 1.308 2.866 5FYUVCPrg
b04 0.863 6 2.238 3TNO 1.843 5 4.579 9MIT 0.167 4 0.725 2Py
rFusion 0.339 8 1.516 8BIT_YUV_lap 0.821 4 2.777 
3IR source image 0.043 3 0LLL source imag
e 0.330 9 
  第二组数据同样是对红外图像与微光图像融合
的结果(图3(c)~(j))进行评价,目标是被烟雾遮挡的房屋,
评价结果如表2.第三组数据中,目标是躲藏在树木之后的人,如图4.
针对不同的融合算法,评价结果如表3.从表1~表3可以看出,如果融合图像的差较大,则融合图像往往包含较多的细节信息;如果融合图像与源图像的差较大,
融合图像往往不够自然或是说与源图像有较大的差异.在实际应用中,需要根据不同的目的对不同的算法进行取舍.
54
光 子 学 报41
图3 源图像及不同算法得到的融合图像(组2
)Fig.3 Source images and fused images based on different algorithms(group 
)图4 源图像及不同算法得到的融合图像(组3
Fig.4 Source images and fused images based on different algorithms(group 3)表2 组二评价参量
Table 2 Evaluation parameters of group 2SampleΔEFΔEFABFYUVCPrgb01 1.004 7 3.052 5FYUVCPrgb02 0.164 1 1.204 7FLinearCPrgb01 0.955 4 2.956 7FLinearCPrg
b02 0.175 3 1.279 7TNO 1.268 8 4.513 4Py
rFusion 0.875 6 3.382 2MIT 
0.194 9 0.79BIT_YUV_lap 0.896 9 3.323 
4IR source image 0.013 3 0LLL source imag
e 0.179 7 
表3 组三评价参量
Table 3 Evaluation parameters of group 3SampleΔEFΔEFABFYUVCPrgb01 1.061 7 3.009 1FYUVCPrgb02 0.237 9 1.351 5FLinearCPrgb01 1.036 6 3.057 6FLinearCPrg纳什均衡解
b02 0.206 3 1.487 4TNO 1.438 4 4.249 7MIT 0.090 1 0.506 1Py
rFusion 0.645 3 2.364 4BIT_YUV_lap 0.882 6 3.100 
6IR source image 0.006 2 0LLL source imag
e 0.075 5 
4 结论
与传统的统计评价方法相比,本文引入了人眼视觉的对比度敏感函数以及针对彩图像所具有的差
参量,通过计算CSF滤波之后图像的差信息,一定程度上能够模拟人眼对于彩图像的细节的感知能力,因此,对于假彩图像的客观评价具有
参考意义.
实验中仍有很多不足,如某些情况下计算得出的参量与人眼感知结果不完全一致,
只有当图像中目标所占区域较大时,计算得到的评价参量才与人眼感知的结果相一致;另外本文提出的评价算法并没有考虑基于自然原理的假彩图像融合算法.因此,对于本课题还有待做进一步的研究.
454
4期陈振跃,等:基于人眼视觉系统的假彩融合图像质量的评价方法
参考文献
[1] XYDEAS C,PETROVIC V.Objective imag
e fusionperformance measure[J].Electronics Letters,2000,36(4):308-
309.[2] QU G,ZHANG D,YAN P.Information measure f
orp
erformance of image fusion[J].Electronics Letters,2002,38(7):313-315.[3] WANG Z,BOVIK A C.A universal image quality 
index[J].IEEE Signal Processing Letters,2002,9(3):81-84.[4] PIELLA G.New quality 
measures for image fusion[C].Proceeding
s of The 7th International Conference onInformation Fusion.Stockholm,Sweden,2004:542-546.[5] JING Juan-j
uan,L Qun-bo,ZHOU Jin-song,et al.Studyon the evaluation of fused imag
e[J].Acta Photonica Sinica,2007,36(S1):313-
316.景娟娟,吕波,周锦松,等.图像融合效果评价方法研究[J].光子学报,2007,36(S1):313-
316.[6] DI Hong-wei,LIU Xian-feng.Image fusion quality 
assessmentbased on structural similarity[
J].Acta Photonica Sinica,2006,36(5):766-
771.狄红卫,刘显峰.基于结构相似度的图像融合质量评价[J].光子学报,2006,36(5):766-
771.[7] LIU Jun,SHAO Zhen-feng.Feature-based remote sensing
image fusion quality metrics using 
structure similarity[J].Acta Photonica Sinica,2011,40(01):126-
131.刘军,邵振峰.基于特征结构相似度的遥感影像融合质量评价指标[J].光子学报,2011,40(01):126-助动词
131.[8] HUANG Xiao-q
iao,SHI Jun-sheng,YANG Jian,et al.Studyon color image quality evaluation by 
MSE and PSNR based oncolor difference[J].Acta Photonica Sinica,2007,36(S1):295-
298.黄小乔,石俊生,杨健,等.基于差的均方误差与峰值信噪比评价彩图像质量研究[J].光子学报,2007,36(S1):295-298.
[9] XIE Zheng-xiang,WANG Zhi-fang,XIONG Xing-liang
,etal.Color image quality 
assessment based on noise model ofhuman vision perception and color image quality 
optimization[J].Journal of Image and Graphics,2010,10:1454-1464.谢正祥,王志芳,熊兴良,等.基于视觉感知噪音模型的彩图像质量评价和彩图像质量最佳化[J].中国图象图形学报,2010,10:1454-
1464.[10] CHEN Y,BLUM R S.A new automated quality assessmentalgorithm for image fusion[J].Image and VisionComputing,
2009,27(10):1421-1432.[11] CHEN H,VARSHNEY P K.A human perception insp
iredquality 
metric for image fusion based on regional information[J].Inf
ormation Fusion,2007,8(4):193-207.[12] 胡威捷,
汤顺青.现代颜技术原理及应用[M].北京:北京理工大学出版社,2007.
A Novel Quality 
Evaluation Method for False Color Fused Image Based onHuman Visual Sy
stemCHEN Zhen-yue,WANG Xia,ZOU Xiao-feng
,JIN Wei-qi(School of Optoelectronics,Beijing 
Institute of Technology,Beijing100081,China)Abstract:With the development of image fusion technology,various fusion methods are prop
osed.However,in many cases,the final fused image is observed by 
human eyes.As a result,fused imagequality assessment based on human visual system is particularly 
important.In order to obtain the objectivequality evaluation by simulating 
qq空间打开空白human eye perception,a novel method is proposed.First,the sourceimages and the fused image are transformed into CIE L*a*b*
color space respectively
.Then in thefrequency domain these images are filtered by the contrast sensitivity 
function.The richness of details ofthe fused image can be predicted by calculating 
the chromatism of it.With the increasement o
f thechromatism value,the information details also increase.While the correlation coefficient is evaluated at 
thesame time by calculating the chromatism among 
the source images and the fused image.The higher thecorrelation coefficient,the better the fusion alg
orithm.With these two constrained parameters,ajudg
ement can be given to different evaluation algorithms.Experiments show that the results of theprop
osed method are consistent with the human eye observation.Key 
words:Image fusion;Human visual system;Contrast sensitivity function;Chromatism5
54

本文发布于:2024-09-22 21:15:14,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/91418.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

上一篇:PhotoShop颜模式
下一篇:调漆方法
标签:图像   融合   评价   视觉   人眼   质量   方法   色差
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议