〈综述与评论〉
陈 钱
（南京理工大学电子工程与光电技术学院，江苏南京 210094）
摘要：红外热成像系统因其成像波长较长，导致了红外图像存在噪声大、对比度低、非均匀性大、空间分辨力差等缺陷，为克服这些缺陷，自红外热成像技术诞生之初，红外探测器材料、制造工艺和成像电子学组件的研究便成为三大热点研究方向。在当前电子学硬件平台趋于完善的条件下，先进的红外图像处理技术能够有效地提高红外成像系统的性能及其应用效果，受到了世界各国科技工作者的广泛关注，各种研究成果不断涌现。本文从提高红外图像的温度分辨能力出发，重点对非均匀性校正技术、图像细节增强技术的研究现状进行了总结，并对红外图像处理技术的发展趋势进行了展望。 关键词：红外图像；非均匀性校正；数字细节增强
中图分类号：TN911.73 文献标识码：A 文章编号：1001-8891(2013)06-0311-08
The Status and Development Trend of Infrared Image Processing Technology
CHEN Qian
peepm(School of Electronic and Optical Engineering, NUST, Nanjing 210094, China)
Abstract：Because of the longer imaging wavelength, the characteristics of infrared images have defects of big noise, low contrast, large non-uniformity and limited spatial resolution. In order to overcome these drawbacks, the material, manufacturing crafts and imaging electronics components have throughout been three main research directions along with the development of infrared imaging technology. Under the present condition when the hardware has been well-developed, the updated infrared image processing technology succeeds to improve the performance of imaging system and applying capability. It attracts the attention of scientists all over the world, and various research results continue to emerge. Focusing on improving the temperature sensitivity of infrared images, this paper concludes the technologies of non-uniformity correction and image enhancement, and discusses its future development.
Key words：infrared images，non-uniformity，digital detail enhancement
0引言
红外成像电子学组件是热成像系统的重要组成部分，其肩负着充分发挥红外焦平面探测器性能、将红外焦平面探测器输出的电信号经过处理转化为视频信号或者其它系统规定格式的信号的功能。红外成像电子学组件则包括硬件系统和图像处理算法两大部分，由于当前硬件系统平台已经十分完善，因此红外图像处理技术成为成像电子学组件的重要研究内容。红外图像处理技术需要针对红外图像的具体特点而开展。受限于红外探测器的制作工艺难度和材料纯度影响，红外图像主要存在如下几个共性问题：第一，红外成像受非均匀性及无效像元的影响，实际温度分辨率不高；第二，红外成像普遍存在噪声大、图像对比度低、灰度范围窄的现象。
针对上述缺陷，国内外学者均进行了相关研究，并取得了一定进展。比如，针对红外图像非均匀性问题，提出了非均匀性校正方法。针对图像对比度 311
312 低和灰度范围窄的问题开展了数字细节增强等相关技术研究。本论文将综述上述技术的研究进展，分析红外图像处理技术的发展前景。
1 非均匀性校正技术
理想情况下，凝视焦平面探测器受均匀入射辐射时，视频输出幅度应完全一样。实际上，由于制作器件的半导体材料不均匀（杂质浓度、晶体缺陷、内部结构的不均匀性等）、掩膜误差、缺陷、工艺条件等影响下，其输出幅度并不相同（图1可看出神舟十号整流罩分离红外图像的非均匀性）。凝视焦平面探测器的视频输出非均匀性是红外敏感元件（探测器）、读出电路、半导体特性以及放大电路等各种因素综合的结果[1, 2-4]。具体来源主要有：1）凝视焦平面探测器中各像元的响应特性不一致。2）电荷传输效率。3）1/f 噪声。4）凝视焦平面探测器外界输入的影响。5）红外光学系统的影响。6）凝视焦平面探测器中无效像元的影响。7）凝视焦平面探测器所处环境温度的变化。8）基底掺杂变化，主要依赖基底的生长技术。9）泄漏单元。10）多路转换器的变化以及多输出的端口不匹配。
对红外图像非均匀性的校正，目前主要有基于定标和基于场景的两大类校正方法。 1 .1 基于定标的非均匀性校正技术
无论是一点校正还是二点校正技术，它们都是建立在以下一元线性时间不变的理论模型的基础上的：
()ij b ij b ij V T a T b =×+ (1)
式中：a ij 是各像元的增益系数，b ij 是各像元的偏移系数。该模型假设红外焦平面阵列探测器响应电信号V ij 是黑体或场景红外辐射温度T b 的一元线性函数关系，而且，响应是不随时间变化的。在稳定的使用环境和较窄的场景红外辐射温度范围情况
下，做这样的近似简化可以减少计算量和系统的复杂性[5-7]。具体的校正示意图如图2所示。
图1 2013年6月11日发射的神舟十号红外监控图像的
非均匀性
Fig.1 Infrared image non-uniformity of the 10th Shenzhou
spaceship launched in June 11, 2013
基于定标的校正法主要有如下优点： 1）两点校正法的计算量很小，每个像元的校正只需要一次加法运算和一次乘法运算即可实现。
2）由于计算量小，因此两点校正法可以用硬件实时实现，从而实现红外焦平面阵列探测器成像非均匀性的实时校正。
3）对需要校正的目标图像无任何要求。 但也存在如下缺点： 1）由于探测器单元响应的非线性，系统工作偏离校正定标点时，校正精度变差。
2）由于探测器单元响应特性随时间漂移，系统工作一段时间后，校正效果有可能变差，需要重新定标。
3）如果系统的非线性比较严重或者系统对非均匀性校正要求特别高时，两点校正法将无法满足应用需求。
为解决基于定标的非均匀性校正方法的缺陷，基于场景的非均匀性校正方法正得到快速发展。
耐腐蚀泵技术
Vij
Vij
Vij
(a) 原始响应曲线 (b) 校正增益的响应曲线 (c) 增益和偏移校正的响应曲线
(a) Original response curve (b) Response curve of corrected gain (c) Response curve of corrected gain and offset
图2 非均匀性校正示意图 Fig.2 Diagram of non-uniformity correction
2013年6月 陈 钱：红外图像处理技术现状及发展趋势 June 2013
313
1.2 基于场景的非均匀性校正技术
所谓基于场景的非均匀性校正技术是指，红外图像的非均匀性校正参数通过场景获得，而非通过黑体的定标获得。基于场景的方法能够对校正参数进行自适应更新，因此其可以随时校正发生漂移的红外图像，具有比基于定标法更好的校正效果。自从基于场景校正这一概念出现以来，国外学者便给予了高度关注，并取得了大量的研究成果与一批良好的校正算法。总的来说，这些算法都是通过两大类途径实现的。一类是基于统计的校正方法[8-13]，这类方法通常对于焦平面每个像元接收到的辐射量作一些时间上或者空间上的统计假设，在此假设的基础上不断修正校正参数，校正焦平面像元的非均匀
性。其中最具代表性的技术有时域高通法，统计恒定法，神经网络法，恒定范围法及其它相应的扩展形式，如统计维纳滤波法，卡尔曼滤波法等。该类算法一般要求目标场景与IRFPA 器件相对运动，以使IRFPA 器件中所有探测单元在一段时间内所接收到的目标场景辐射满足一定的统计假设。然而，由于图像场景的多样性，该假设不一定能够得到满足，因此这类校正算法经常伴随较为严重的鬼影问题。另一类是基于配准的校正方法[14-16]，这类方法通常认为，在较短的时间间隔内观察场景中相同的位置时，每个像元的响应也应该是相同的，因此这类技术需要准确估计帧与帧之间的移动。其中比较有代表性的技术有全景图积累法，代数校正法等。但是这类算法由于其要求限制较多，计算量与存储量较大，且校正误差易逐级累计传播，所以难以达到实际应用。
与基于定标的非均匀性校正方法相比，基于场景的校正方法无论在校正的稳定性还是环境适应性上均有所提高，是非均匀性校正技术的发展方向。
但是其也存在计算量大难以实时校正、鬼影严重、收敛速度慢、需要目标长时间运动等严重影响其实用的技术难题。
针对上述问题，南京理工大学的左超、陈钱等提出了基于帧间配准的非均匀性校正方法[17]，该方法认为，如果红外探测器是均匀的，那么相邻图像对同一目标的响应应当是均匀的，正是由于探测器非均匀性的存在，才导致了相邻像元对同一目标具有不同的响应。该算法的核心思想就是，通过帧间配
准方法获得对同一目标响应的不同像元的位置，利用最陡下降法使对同一目标进行响应的像元输出逐渐逼近。图3为相邻两帧图像的示意图，重合部分图像的校正参数为需要随时更新的参数，而配准的目的则是获得相邻两帧图像的位移偏移值d i 和d j 。
N
M
图3 相邻两帧图像的示意图 Fig.3 Diagram of two adjacent images
图4是该算法的原理示意图，前后两帧原始红外图像首先经过非均匀性校正，之后进行图像配准，并更新校正参数，更新后的校正参数用于后续视频序列的非均匀性校正，如此迭代，便可完成该算法。需要指出的是，在参数更新过程中可以选择不同的
图4 基于帧间配准误差最小化的非均匀性校正的原理图
园林垃圾桶
Fig. 4 Block scheme of the non-uniformity correction method based on inter-frame registration
2013年6月 Infrared Technology June 2013
314 更新速率，更新速率越快，则算法收敛越快，但是最终的校正精度低；更新速率越慢，则算法收敛越慢，但是最终的校正精度高。图5是三种学习速率下的RMSE 随帧数的关系。
由图5能够看出，该算法的最快收敛速度只要10帧左右，非常容易硬件化，最终校正后的RMSE 降至20左右。该算法无论在校正速度还是校正精度上均有一定优势，但是对图像的配准精度和目标的运动依然有一定要求。
纵观红外图像的非均匀性校正技术，基于场景的校正方法是发展方向，结合当前基于场景方法的特点，其研究方向和发展趋势主要包括如下几点：
1）新的校正方法与思路：利用更加丰富多元的假设理论与数学工具。
2）更完善的理论模型：如探测器环境温度，多参量对像元响应的精确刻画。
3）更高的收敛速度：用十几帧甚至几帧就可以完成非均匀性校正。
4）更少的不良效果：进一步完善假设，减少鬼影效应。
5）更低的运算量与存储量：更加易于系统集成与硬件实时实现。
2 红外图像数字细节增强方法
红外图像的低对比度严重影响了红外图像对目标的探测和识别精度，限制了红外热成像技术在航天、军事、工业和医疗等领域的进一步应用。红外图像的低细节分辨能力、低信噪比与人们对高性能红外图像的迫切需求之间的矛盾，已经成为制约红外成像技术进一步发展与应用的瓶颈，寻求有效的技术手段破解该难题成为红外成像领域的重要发展方向。
反光道钉对红外图像进行增强是解决上述难题的有效方法之一，世界各国的科技工作者为此进行了不懈努力，形成了以直方图均衡（HE ）和反锐化掩膜（UM ）两种方法为主，其它新方法不断涌现的局面，并产生了大量研究成果。
传统的HE 方法因其简单和有效，在图像增强中获得了较为广泛的应用[18]，但是该方法存在过增强、平坦区域噪声被放大和漂白效应等问题[19]。为解决上述问题，Vickers [20]（1996）、西安电子科技大学
的王炳健等[21]
（2005）、邵明礼等[22]（2006）、华中科技大学的马泳等[23] （2012）提出了平台直方图（PHE ）以及其变化形式，缓解了上述问题。平均维持双向直方图（BBHE ）也是为克服传统HE 方法的缺陷而由Kim [24]（1997）提出的，该方法根据原始图像的平均亮度将图像分为两个子图像，并分别对两个子图像进行直方图均衡，其可以在一定程度上维持原始图像亮度，减轻过增强，但是存在伪轮廓（伪像）。之后，Chen 等（2003）[25]提出了递归均值直方图均衡（RMSHE ）方法，中国科学技术大学的王超等（2005）[26] 提出了基于极大熵的亮度维持直方图均衡（BPHEME ），这两种方法均是对BBHE 方法的扩展和优化，并在图像亮度保持性能和消除伪像等效果上优于BBHE 方法。
看门狗芯片反锐化掩膜（UM ）是另一种发展成果较多的图像增强方法，该方法在突出图像细节方面表现优越，但仍然存在过增强、平坦区域噪声被放大以及滤波器不完美而产生伪像等问题[27]。为减轻图像伪像，多种滤波器相继被提出来：Tumblin 等[28]（1999）提出了利用各向异性滤波器（AD ）[29]提取图像细节，经过该滤波器的多次迭代能够一定程度上降低伪像，但是算法复杂，且对有些场景应用还不够稳
图5 三种学习速率下RMSE 随帧数的关系 Fig.5 RMSE relationship with the number of frames at three kinds of learning rate
2013年6月 陈 钱：红外图像处理技术现状及发展趋势 June 2013
315
定；中国地质大学的王毅等[30]（2010）提出了区域自适应各向异性滤波器（RAAD ），该滤波器与AD 滤波器相比在稳定性上有所提高，并在减轻伪像上也更胜一筹。双边滤波器（BF ）也是为提取图像细节分量而由Darash 等[31]（2002）提出的一种滤波器，该滤波器能够防止强边缘被过度增强，但算法耗时；于是，Paris 等[32]（2002）提出了快速双边滤波的实现方法，缩减了双边滤波的运行时间。此后，针对高动态范围图像，Branchitta 等[33]（2009）提出了双边滤波和动态范围划分（BF&DRP ）的方法，该方法能够在压缩大动态范围的基频分量的同时对细节图像进行有效放大，但却存在细节部分的噪声被过度放大，伪像依然严重等问题。
近年来，通过模拟人眼视觉特性进行图像增强的方法也获得了较大发展。Provenzi 等[34]（2007）、北京理工大学的金伟其等[35]（2009）均将模拟人眼视觉获得图像过程的Retinex 方法应用到图像增强处理上，并取得了较好效果。中国科学院半导体研究所的谌琛，李卫军等[36]（2012）则提出了新的自适应仿生图像增强算法-LDRF 方法，该方法能够避免过增强，并且针对不同大小、不同内容的图像能够自适应地进行图像增强。此外，纯粹通过光学手段对图像增强也获得了研究成果，比如，Vasefi 等[37]（2008）利用楔形棱镜偏离激光源的方法改善了图像双角钢
对比度。在实际工程应用上，美国FLIR 公司无疑
走在了世界的前列，其提出的DDE 技术已经工程化并具有较好的图像对比度[38]，但依然受困于信噪比低和伪像严重等难题。
南京理工大学的左超、陈钱等[39]提出了新的基于BF&DRP 的UM 方法，该技术的处理流程如图6所示。
该技术包含了4个主要的处理手段，分别为：基于非线性滤波器的图像基频细节分离技术、基于自适应高斯滤波器的细节优化技术、基于冗余灰度直方图投影技术和细节图像的自适应增益控制技术。
基于非线性滤波器的图像基频细节分离技术的目的是分离出红外图像的基频分量和细节分量，便于后续对基频图像的压缩以及细节图像的放大，在该技术中主要采用了双边滤波器进行基频分离。然而，这种滤波器可能在图像的强边缘附近产生梯度翻转效应，其原因是由于双边滤波器的机理与均值漂移相关，一次双边滤波器的执行过程就相当于向图像的局部模式收敛了一步。然而，当一个像素周围有很少的与其相似的像素时，加权统计结果是非常不稳定的。为此需要经过自适应高斯滤波器对基频图像进行修正，图7为梯度反正效应的二位图像
图6 数字细节增强技术完整处理流程 Fig. 6 Complete processing of digital detail enhancement technology
(a) 原始输入图像经普通直方图显示效果(b) 双边滤波处理后提取的图像细节(c) 经过高斯平滑处理修正后提取的图像细节 (a) Original image after histogram processing (b) Image detail after bilateral filtering (c) Image detail after Gaussian filtering
图7 梯度反转效应二维图像图示 Fig. 7 Two-dimensional image effect of gradient reversal
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议