金偉其!王嶺雪!王生祥!高稚允!劉廣榮
(北京理工大学光电工程系9北京100081)摘要! 介绍了夜视彩图像融合算法的研究进展!
着重分析了以接近自然彩为目的的M I T 法以及我们提出的线性组合法"基于视觉拮抗模型的非线性图像增强与线性组合法结合的混合结构法!给出了若干组场景下各方法的微光与热成像的彩融合图像以及微光彩融合图像!显示出良好的目视观察效果!提出了需要进一步研究的问题和关键技术#
关键词! 图像融合$ 彩图像$ 夜视$ 微光$ 红外
中图分类号!TN216 文献标识码!A 文章编号!1001-8891"2003#01-0006-07
引言
随着现代战场对侦察\观瞄\精确制导\探测\识别
和跟踪等多种需求以及高新技术的不断发展9新型图
像传感器不断涌现9性能不断提高9而成本逐步降低o
在追求单一图像传感器的高性能同时9充分利用或挖
掘现有图像传感器的潜力9以新的工作模式进行统筹
甘肃政法学院学报
优化9成为高性能价格比成像传感器系统发展的重要
方向之一o
微光夜视与热成像技术是当前夜视装备的主要技
术模式9是世界各国重点发展的关键技术o 基于多传
感器的图像融合技术可以充分利用现有成像传感器的
特点9通过信息处理与视频处理技术9更全面地获取目
标的信息9因此9夜视图像融合技术成为重要的技术发
展方向之一o
以往的微光图像和热图像都是单图像9其最大
缺陷是低信噪比且图像缺乏体视感(深度感)9不利于
目标的探测o 利用人眼彩视觉的高分辨力和高灵敏
度的特性9实现彩夜视图像融合对于目视夜视系统
可提高探测和识别目标能力9具有明显的战场效果o
与以往图像灰度彩编码的伪彩技术不同9彩
甲基丙烯酸正丁酯夜视融合图像包含了景物的光谱或波谱信息9具有
更丰富的景物信息o 但是9由于彩夜视图像融合的
彩往往与人类本身的视觉不同9过于鲜明的彩图
像对比易造成观察者的疲劳和烦恼9不适宜长时间的
密集观察9甚至难以获得理想的效果9因此9寻接近
人眼视觉感的彩夜视图像融合算法成为研究重点o
本文将介绍几种彩夜视融合方法及其研究进展o l 接近人眼视觉感的夜视彩图像融合方法彩夜视图像融合主要指多种微光夜视\中波与长波热成像系统之间图像的彩融合o 目前接近人眼视觉感的的彩夜视图像融合算法主要有彩微光夜视以及微光与热成像的彩夜视o 彩夜视图像融合通常采用基于RGB 空间以及基于HSV 空间的融合结构9本文主要介绍基于TGB 空间的彩夜视融合技术o l .l 彩微光夜视荷兰DEP 公司采用双通道微光CCD (I CCD )构造了彩微光夜视系统C II 9获得了明显的夜视视觉改善(如图1)9实验结果表明[8]：相对单微光夜视仪可使目标识别速度提高30%9识别错误减少60%9并具有一定的体视效果9有利于目标的探测与识别o l .2 微光与热成像的彩夜视基于RGB 空间的微光与红外热图像融合体系(图2)大致分为5个部分:1)预处理：主要为针对微光的噪声去除和热图像的失真校正32)增强：为保证彩融合图像的自然性9不同属性的微光与热图像的增强应成一定的比例33)组合：通常组合方式分为直接映射\线性组合和非线性组合三类o 直接映射方式源图像不经过组合(即跳过图2虚线框的处理)而直接映射到RGB 通道中形成假彩图像o 源图像间组合方式为线性运算时称为线性组合9为非线性运算时称为非线性组合o 4)动态范围调整：完成组合图像映射到RGB 通道前的动态范围调整3
6
第25卷 第1期2003年1月 红外技术Infrared T echnolo gy V ol .25 No.1Jan.2003
收稿日期:2002-10-113 H 十五国防重点预研项目
图2基于RGB空间的微光与热图像融合体系
F i g.2Lo wlevel li g ht and t he t her m al i m a g e f usi on s y ste m based on RGB s p ace
5>RGB映射：完成预处理图像的RGB映射实
现彩夜视图像的显示
直接映射模式一般将热图像送入R通道微光图
像分别送入G和B通道使得热图像中亮的像素呈红
微光图像中亮的像素呈青2l直接映射模式处
理量较小但重现的彩图像自然性较差
比较成功的非线性组合方法有麻省理工学院
<M I T>林肯实验室提出的M I T法346l以及人力因素
所提出的TNO法56l其中M I T法从90年代开始
研究提出在1995年以来逐年取得重要进展提出了
多种彩融合处理结构3456l采用多个DSP芯片构
成的处理系统实现了实时彩夜视M I T法的基本
思想为6l:
1>应用前馈型中心-周边分离网络增强融合图像
的对比度
2>采用较为自然的彩映射方案并将红外图像
中的冷热目标分开：细节丰富的微光图像作为绿通
道；热目标<；白热图像>呈现不同强度的红冷目标
<；黑热图像>呈现不同强度的蓝红与蓝的强度
由灰度级的大小决定
l.3一些研究进展
在M I T法的基础上我们近年来研究提出了一些
新的彩夜视融合结构
1>线性组合结构：一种简单而有效的彩融合
融合结构如下式:
R
G B :
71-LL+11-I R
72-LL+12-I R
73-LL+13-I R
<1>
式中微光图像为LL红外图像为I R:7
1~7
2
~7
3
~1
1
~
12~13为正有理数通常7212
线性组合结构可获得较自然的彩效果且算法非常简单处理计算量小便于实现实时处理但在细节增强方面稍显劣势
2>混合结构：非线性增强与线性组合的混合结构<；如图4>非线性增强采用视觉拮抗模型组合采用式<1>的线性组合
图31998年夜视彩图像融合的M I T法
F i g.3M I T m et hod f or ni g ht visi on color i m a g e f usi on<1998>
图4夜视彩图像融合的混合结构法
F i g.4M i xed architect ure m et hod f or ni g ht visi on color i m-
a g e f uei on
混合结构法的算法较为简单既可保证图像细节的增强又可用简单的线性组合得到与M I T结构相媲美的彩融合图像
人类登月50周年
图5!8给出了4组采用M I T法及线性组合法~
7
第25卷第1期2003年1月金伟其等：夜视图像的彩融合技术及其进展V ol.25No.1
Jan.2003
混合结构法融合的彩夜视场景 可以较好地体现各
方法的特点 此外 我们还研究了其它几种可见光图
像与热图像的彩融合算法 例如 基于T&W 法 5 及其改进T&W 法 神经网络法等 均取得较好的彩图像融合效果 如图9 混合结构法也可以较好地用于微光彩夜视融合 图10给出了一组利用EBCCD 微光夜视仪采集的微光场景图像 包括3幅分光微光夜视图像和1幅单微光图像 以及利用混合结构算法得到的三通道和双通道微光彩夜视图像 2 结束语本文介绍了几种夜视彩图像融合算法 在M I T 法基础上 重点介绍了我们提出的线性组合法和混合结构法 线性组合结构的算法非常简单 容易实现硬
件上的实时处理 但难以增强图像的细节 混合结构法的算法较M I T 法简单 可保证图像细节的增强 具有可与M I T 法相媲美的彩融合图像效果 适宜实时
处理 通过若干场景图像彩夜视图像显示 为人们
提供了彩夜视处理效果的感性认识 为进一步的算
法研究及其实时处理的实现奠定了基础
目前 我们研究的重点主要集中在以下几个方面
1 彩夜视系统理论
2 彩夜视融合算法 特别是
根据微光与红外图像特征自动确定式 1 参数的方法
3 彩夜视融合算法的硬件实施 已研制了基于3个
DSP 芯片的处理系统 正在进行相应的算法调试 以
马钱子散上研究已取得重要的进展 研究结果将陆续发表
本文基于作者在2002年全国夜视技术学术交流会
的论文修改而成 由于 红外技术 的大力支持 使本文
能够以彩图文形式发表 作者在此表示衷心的感谢 参 考 文 献
1 W
at ki ns W R Cu O l ock-Kno pp V G.S ensor f usi on a p re-attenti ve visi on a pp roach A Proc .SPI E C 2000.4029 59!67. 2 S
teele P M Perconti P.Part task i nvesti g ati on of m ultis p ectral i m a g e f usi on usi n g g ra y scale and s y nt hetic col or ni g ht visi on sensor i m a g er y f or helico p ter p il ota g e A Proc .SPI E C 1997.3062 88!100.
3 W
ax m an A M F a y D A G ove A N et .al . C ol or ni g ht visi on o pp onent p rocessi n g i n t he f usi on of visi ble and I R i m a g er y J Neural Net 1997.1 1!6.
4 A g uilar M F a y D A Ross W D et .al Real-ti m e f usi on of l ow
-li g ht CCDand uncooled I Ri m a g er y f or col or ni g ht visi on A Proc .SPI E C 1998.3364 124!135.
5 A
lexander T W alraven J .Ne w f alse col or m a pp i n g f or i m a g e f usi on J O P tical E1g i1eeri1g 1996.35 3 650!658. 6 王岭雪 金伟其 刘广荣 何玉青 张建勇.夜视图像的彩融合方法综述
J .红外技术 2002.24 2 9!13. 7 金伟其.多传感器图像融合技术及其进展
A .信息科学与微电子技术 M .北京 中国科技出版社 1998 42!45.作者简介! 金伟其 男 1961年生 工学博士 教授 博士生导师 主要研究微光与红外成像系统理论 系统评价 图像处理和系统应
用技术
王岭雪 女 1973年生 博士生 主要研究方向光电技术与图像融合
王生祥 男 1976年生 博士生 主要研究方向夜视图像处理及其实时处理技术
C o lor fus ion techno lo gy for n i g ht v is ion i m a g i n g and its pro g ress2008年北京奥运会会徽
JI N W ei-c i WANG L i n g -xue WANG Shen g -x i an g GAO Zhi-y un L I U Guan g -ron g
B ei j i1g I 1stit ute o f T ech1olo gy B ei j i1g 100081
Abs tract T he p ro g ress i n research on al g orit h m s f or ni g ht visi on col or i m a g e f usi on is i ntroduced w it h e m -
p hasis on t he anal y sis of t he M
新河东狮吼下载
I T m et hod which ai m s at nearl y nat ural col or as w ell as t he li near co m p osite m et hod and t he m i xed architect ure m et hod co m p risi n g t he non-li near i m a g e enhance m ent based on visual anta g -onis m m odel and li near co m p osite m et hod bot h of which are p ro p osed b y us .Bot h t he col or f usi on i m a g es i n l o w level li g ht and t her m al i m a g i n g and t he l o w -li g ht col or f usi on i m a g es m ade b y vari ous m et hods under sev-eral sets of sceneri es are g i ven w it h g ood visual observati on results .T he issues and ke y technol o g i es needed f or f urt her devel o p m ent are p ro p osed .
K e y words i m a g e f usi on col or I m a g e ni g ht visi on l o w -li g ht level i nf rared
8
第25卷 第1期2003年1月 红外技术Infrared T echnolo gy V ol .25 No.1Jan.2003
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议