王鹤铭，沈文忠
（上海电力大学电子与信息工程学院，上海200090）
花的启示引言
虹膜识别技术[1]是从拍摄到的虹膜图像中提取生物特征并识别身份。在不可控的应用场景中，例如监控、移动生物识别，由于设备或采集距离的限制，采集的虹膜图像缺失像素分辨率，导致虹膜定位错误，严重影响识别性能。图像超分辨率（Super Resolution，SR）重建技术为解决这一问题提供了方法。 图像超分辨率重建技术[2]可分为基于插值、基于重构和基于学习的方法。基于插值的方法，如双三次插值法和Lanczos重采样，快速简单，但重建图像精度不足。基于重构的方法，如邻域嵌入法[3]、梯度轮廓清晰法[4]等，采用复杂的先验信息限制可能的解空间，并生成锐利清晰的纹理细节。但当缩放因子增大时，耗时也增加，重建性能迅速退化。
近年来，随着计算机硬件的进步及深度学习技术的发展，基于学习的方法在自然图像领域取得巨大成功。该方法主要利用卷积神经网络，通过学习大量高、低分辨率图像对，到它们之间的非线性映射， 利用映射关系重建高分辨率图像。Dong[5]首次利用CNN进行SR重建（SR-
CNN），SRCNN仅有三层卷积层，图像的重建质量远远优于插值法和重构法。但由于网络结构简单，非线性映射不充分，重建图像仍有模糊现象。Kim[6]拓展SRCNN的网络深度，提出深度卷积网络VDSR，以20层的VGG-net为基本架构，并采用梯度削波解决网络过深带来的梯度消失问题，取得良好的重建效果。Shi[7]改进了SRCNN的放大策略，将亚像素卷积层作为一种新的后放大策略，在低维度空间实施超分辨，降低了计算复杂度。随后，Kim[8]为减少网络参数，重复堆叠递归层，运用递归监督和跳跃连接加速网络收敛，稳定训练过程，最终提高重建图像质量。Zhang[9]结合残差块和密集块的独特优势，设计更复杂的残差密集网络RDN，大量连接结构充分融合上下文信息，进一步提高重建精度。 当代艺术品投资摘要：低分辨率虹膜图像由于缺乏足够的纹理细节，会降低虹膜识别性能。针对这一问题，结合虹膜图像特点和超分辨率重建任务，提出一种利用自适应加权残差网络的虹膜图像超分辨率算法。设计加权残差块，直接对低分辨率虹膜图像提取特征，并采用亚像素卷积层重建虹膜图像。此外，添加虹膜匹配实验验证该算法的有效性。在CASIA-IrisV4数据库的实验结果表明，该算法重建的高分辨率虹膜图像结构清晰，纹理细节丰富。虹膜匹配结果表明，该方法重建的虹膜图像表现出良好的识别性能，达到了虹膜图像超分辨率重建的预期效果。
关键词：图像超分辨率重建；虹膜识别；残差块；自适应权重；加权残差连接；虹膜匹配
中图分类号:TP391文献标志码:A文章编号:2095-2945(2021)07-0008-05
Abstract:Low-resolution iris images contain less effective information,which will affect the performance of iris recognition.To solve this problem,this paper proposes a super-resolution algorithm of iris images using adaptive weighted residual network according to the characteristic of iris images and the task of super-resolution.The weighted residual block is designed to directly extract features from the low-resolution iris images,and the sub-pixel convolutional layer is used for reconstruction.Then,iris matching experiment is added to verify the effectiveness of the algorithm.Experimental results on CASIA-IrisV4database show that the high-resolution iris image reconstructed by this algorithm has clear structure and rich texture details.The results of iris matching indicate that the iris image reconstructed by this method exhibits better recognition accuracy,thus achieving the expected effect of iris images super-resolution reconstruction.
Keywords:image super-resolution reconstruction;iris recognition;residual block;adaptive weight;weighted residual network;iris matching
*基金项目：国家自然科学基金(编号:61802250)；上海市科委地方能力建设项目(编号:151****0700)
作者简介：王鹤铭（1996-），男，硕士研究生，研究方向：虹膜识别、图像超分辨率。
不同于自然图像，虹膜图像拥有独特的属性，其结构信息较少，虹膜纹理具有随机性、复杂性，这使得对开放的虹膜图像库进行超分辨任务变得尤为困难。
此外，自然图像仅仅关注视觉效果，着重于优化保真度指标（PSNR 与SSIM ）。而虹膜图像除提升视觉感受外，还应考虑其识别性能。本文在上述工作的基础上，提出自适应加权残差网络，主要有以下几点贡献：（1）结合虹膜图像特点，提出适用于虹膜图像超分辨率重建的自适应加权残差网络，并设计虹膜匹配实验以验证网络的重建效果与识别性能。（2）考虑虹膜图像纹理特征，通过级联加权残差块加深网络，提高网络重建能力。设计加权残差块整合不同层次的特征以充分获取高频信息。采用后放大策略重建高分辨率虹膜图像，最大限度减少误差信息。实验结果证明，本文算法重建的高分辨率虹膜图像有较高的保真度和良好的识别性能。
协议分析仪1算法设计
1.1自适应加权残差网络Dong 首次提出SRCNN 网络结构用于图像超分辨任
务，将该任务分为特征提取、
非线性映射以及图像重建三个部分。之后的网络大多改进非线性映射部分，VDSR 、DRCN 通过增加网络深度，RDN 设计复杂的模块化结构提高非线性映射能力。本文在以上研究基础上，
提出自适应加权残差网络（Adaptive Weighted Residual Net ，AWRN ）如图1所示。考虑到虹膜图像的纹理特征，重新
设计三部分网络模块。
特征提取采用一组3×3卷积核，提取浅层特征F 0，为减小计算量，直接对低分辨率虹膜图像（LR ）提取特征。非线性映射包含N 个自适应加权残差块
（Adaptive Weight Residual Block ，AWRB ）及全局加权残差连接。叠加残差
块可以增加网络深度，扩大感受野，提取丰富的虹膜特征信息。为降低网络优化难度，
提升性能，添加加权残差连接，以强化特征信息传递和梯度流通[10，11]
。设第n 个AWRB
输出为F n ，则第n+1个AWRB 的输入F n+1为：
电影植物学家的女儿F n+1=x n F n +y n F 0
式中，x n ，y n 分别表示当前特征F n 与浅层特征F 0的加权系数。加权残差连接将低维度特征图F 0
共享到每一个AWRB ，F n+1融合了高低两层次的虹膜信息，避免由于卷积操作带来的特征丢失。最终，非线性映射提取的深层虹膜特征F N 为：
F N =x N （x N-1（…x 0F 0+y 0F 0…）+y N-1F 0）+y N F 0图像重建将低维空间的特征通过上采样映射为目标尺寸。插值法是常用的上采样方法，通常与前置放大策略结合。这种方法会损坏原始图像的关键信息，增加网络计算复杂度，不利于图像的精确重建。而虹膜图像对细微的纹理信息极为敏感，微小的重建误差可能导致较差的识别效果。本文采用亚像素卷积层（Pixel Shuffle layer ，PS ）作为上采样模型。PS 适用于虹膜图像，并与特征提取相对应，直接对低维特征上采样，不会引入错误信息，减少计算量。其次，PS 不使用人工卷积核，而是通过训练得到一组周期移动卷积核，这些卷积核切合虹膜图像的超分辨任务，有效保证重建质量。PS 可表示为：
式中，w 和h 是像素坐标，r 为上采样因子，T 表示网络中的张量。PS 将H ×W ×（R 2×C ）特征图映射为RH ×RW ×
C 大小。图1中，
刘靖尧3×3卷积层将F N 与F 0特征通道数调整为R 2×C ，通过PS 映射为目标尺寸后，加权相加得到重建
的高分辨率图像SR ：
式中，f x ，f y 表示调整特征通道数。
1.2加权残差块
虹膜图像超分辨率重建的目的在于恢复丢失的高频信息，VDSR 、DRCN 等高速网络在信息传递时存在信息丢失或损耗现象，不利于高频信息的保存。Ledgi [12]在SRResnet 将残差块作为生成器的基本模块，通过同一性短连接融
图1自适应加权残差网络
/,[/],mod ,mod ,,,w r h r C r h r C w r c
w h c PS T T g g g 0final x N final y SR x PS f F y PS f F
合高频信息，恢复更多图像细节纹理。
受Ledgi 启发，本文提出AWRB 作为基本特征提取模块，如图2所示。AWRB 包含三个残差单元、特征融合和密集连接。AWRB 与Resnet 残差块的不同之处在于：（1）本文提出的残差学习结构堆叠了三个原始残差块，并以密集连接的方式构成。残差块相当于高通滤波器，将高频虹膜信息保留并像素加和，增强特征表达能力。密集连接通过特征重用改善了网络中信息流和梯度流，使网络易于训练而不会额外增加参数量。（2）本文的残差连接都以自适应加权的方式按照一定比例相加。SRResnet 中残差连接的系数是固定的，限制了梯度的传递。本文将权重设置为可训练标量，动态调整残差特征和深度特征的比例，提高重建图像精度。每个AWRB 中有4个残差连接。设第n 个AWRB 中第m （1⩽m ⩽3）个残差单元的输入特征F n m
为：
式中，f 为残差单元中的卷积层，γ为激活函数。密集连接会使特征通道数翻倍，采用1×1卷积核降维，特征融合之后，整个AWRB 输出为：
式中，θ（[·]）表示密集连接。
图2加权残差块
2实验结果及分析2.1实验设置
本文采用中科院CASIA-IrisV4-Lamp 虹膜数据库的图像，该数据库是在不同光照条件下采集的，瞳孔会随光照变化而弹性变形，
这使得虹膜图像SR 难度增加，但选用Lamp 旨在模拟应用场景，
更具现实意义。Lamp 包含411人，选择300人，每人左右眼各10幅图像作为训练集。选择300人，左右眼各6幅图像作为测试集。训练网络需要高低分辨率图像对，Lamp 图像视为HR ，采用Bicubic 作为退化模型对Lamp 下采样，模拟
。
实验所采用的设备配置为：处理器
Core （TM ）
i7-
8700K ***********3.70GHz ，显卡GeForce RTX 2080Ti ，运行环境是Tensorflow 。初始化学习率为10-4，学习率
更新策略为Adam ，动量参数β设置为0.9，训练周期为100，激活函数为Relu 。本文使用MAE 作为损失函数。本文算法进行了2倍、4倍和8倍的重建，并与Bicubic 、ESPCN 、VDSR 、DRCN 、RDN 等算法比较，这些网络的训练采用与本文相同的训练集和测试集，训练设置
均与其对应开源代码一致。
2.2网络优化
图3显示了AWRB 数量对网络性能的影响。固定缩放因子为4，随着AWRB 的增加，PSNR 呈现先增加后减小的变化趋势。加深网络增强了网络的非线性表达能力，能够更好地学习虹膜高低分辨率图像之间的复杂变换。之后，网络性能逐渐饱和并下降，这是由于过深的网络存在梯度消失、过拟合等问题，使得网络优化困难。AWRB 数量为5时，网络性能最优。
图3AWRB 数量对网络性能的影响
表1显示了对局部加权，全局加权效应的消融研究。
Baseline 没有任何添加权重，性能最差，
添加自适应加权系数后，重建性能逐渐提升。这是因为加权残差连接强化了梯度和特征信息的流动，进一步优化了网络，
也验证了加权残差连接的有效性。
表1加权连接消融研究
2.3结果与分析
11m m m m m n n n n n
F x f f F y F g
30123
1,,n n n n n n n F x F F F y F q 表2不同超分辨率重建算法的PSNR 与SSIM
不同超分辨率算法重建虹膜图像的PSNR 和SSIM 如表2所示。本文算法均取得较高的PSNR 和SSIM ，仅在×2时，本文算法的SSIM 低于DRCN 0.0019，客观上表明本文算法的巨大优势。图4、5分别是虹膜图像在×2、×4时超分辨率重建的主观比较。×2时，各算法的重建效果都较理想，
仅Bicubic 的重建图像边缘有轻微的模糊感。×4时，Bicubic 已经完全模糊，其他算法都由于过度平滑而丢失大量细节信息。放大图中块状细节可以看出，本文算法较为准确地重建更多纹理，结构也相对清晰，主观上证明本文算法的较大优势。
PSNR 与SSIM 无法完全反映高频纹理细节重建效
果，因此本文进行了虹膜匹配实验，根据匹配分数统计等错误率（EER ），该值越小，图像重建越精确。原始虹膜图像的EER 为1.394%，其他算法的EER 如表3所示。在×2时，ESPCN 的EER 最优，
本文算法与其有0.005%的差距，因为×2的超分辨任务相比×4、×8简单得多，高频信息更易恢复。×4与×8时，本文算法都是最优结果，表明本文算法更加准确地重建了人的身份信息，取得良好的识别效果。
3结束语
本文提出一种适用于虹膜图像超分辨率的自适应加权残差网络，为恢复更多虹膜纹理细节，直接将低分辨率虹膜图像作为输入，亚像素卷积层作为上采样模型，优点是提取特征信息准确，计算复杂度低。同时采用大量加权残差连接和密集连接重建高分辨率虹膜图像，用以保留
和传递高频虹膜信息。实验结果表明，该算法重建的高分辨率虹膜图像纹理细节丰富，
识别效果优势突出。接下来的工作可将该网络部署到移动虹膜识别设备上，进一步优化调试网络，以期能真正实际运用到虹膜识别领域。参考文献:
台湾三党是哪三党
[1]Daugman J.How iris recognition works [J].IEEE Transac -tions on Circuits &Systems for Video Technology ，2004，14（1）：21-30.
[2]W.Yang ，X.Zhang ，Y.Tian.Deep Learning for Single Image Super-Resolution ：A Brief Review [J].IEEE Transac -tions on Multimedia ，2019，21（12）：3106-3121.
[3]Alonso-Fernandez F ，Farrugia R A ，Bigun J.Iris Super-Resolution Using Iterative Neighbor Embedding [C]//Computer
Vision &Pattern Recognition Workshops.IEEE ，2017.
[4]Yan Q ，Xu Y ，Yang X ，et al.Single Image Super reso -lution Based on Gradient Profile Sharpness [J].IEEE Transac -
tions on Image Processing ，2015，24（10）：3187-3202.
[5]Dong C.，Loy C.C.，He K.，Tang X.Learning a Deep
Convolutional Network for Image Super -Resolution [C]//Pro -ceedings of European Conference on Computer Vision ，2014：184-199.
[6]J.Kim ，J.K.Lee and K.M.Lee ，Accurate Image Super-
图4重建图像视觉对比×2
图5重建图像视觉对比×4表3各算法的
EER
(下转16页
)
Resolution Using Very Deep Convolutional Networks[C]//Pro-ceedings of IEEE Conference on Computer Vision and Pattern Recognition，Las Vegas，NV，2016：1646-1654. [7]Shi W，Caballero J，Ferenc Huszár，et al.Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network[C]//2016IEEE Con-ference on Computer Vision and Pattern Recognition（CVPR）. IEEE，2016.
[8]J.Kim，J.K.Lee and K.M.Lee，Deeply-Recursive Convolutional Network for Image Super-Resolution[C]//Pro-ceedings of IEEE Conference on Computer Vision and Pattern Recognition，2016：1637-1645.
[9]Y.Zhang，Y.Tian，Y.Kong，et al.Residual Dense Net-work for Image Super-Resolution[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，Salt Lake City，UT，2018：2472-2481.
[10]H.Liu，Z.Lu，W.Shi.A Fast and Accurate Super-Resolution Network Using Progressive Residual Learning[C]//// Proceedings of IEEE Conference on Acoustics，Speech and Signal Processing（ICASSP），Barcelona，Spain，2020，pp. 1818-1822.
[11]J.Du，W Wei，C Fan，et al.Lightweight Image Super-Resolution with Mobile Share-Source Net
work[J].IEEE Ac-cess，vol.8，pp.60008-60018，2020.
[12]Ledig C，Theis L，Huszar F，et al.Photo-Realistic Sin-gle Image Super-Resolution Using a Generative Adversarial Network[J].2016.
数据传输，又充分利用了计算机的存储能力，使其几乎具有无限的数据记录容量。
（2）由于虚拟仪器关键在于软件，硬件的局限性比较小，因此与其他仪器连接比较容易实现。且可以方便地与网络、外设及其他应用连接，还可通过网络进行多用户数据共享。
（3）利用LabVIEW的灵活性、便捷性，可将原本手动操作的工作，逐步转换成自动操作。例如远程自动校准传感器、远程自动增压、远程自动处理数据等等，均可嵌入开发程序，提高效率。
4.2效益情况
（1）该成果大幅提高了系统试车时序控制文件的编写和数据处理，编写时间是原手动编写的1/50到1/150，数据处理从原来的一两周缩短至1天。
（2）该成果有效地降低了手动编写的容错率，消除了由人为因素所产生的差错，软件运行准确率为100%。
（3）利用该设计方法，大大地缩短试验前期准备时间和后期数据处理时间，大幅度节省了试验期间的时间，缩短了试验周期，增强了效益。
5结论
航天企业通过软件编译，实现全系统试验时序图编写，生成数据信息，图片信息，减少了编写的时间，实现了控制程序自动转化。大大降低了控制程序编写时间，同时提高了试验测控数据的准确性。实现了后台自动生成数据处理文件，将控制系统与采集系统形成一个高效的对接，减少了80%数据处理时间。
参考文献:
[1][美]Gary W.Johnson Richard Jennings.LabVIEW图形编程[M].北京大学出版社，2002.
[2]李江全.LabVIEW虚拟仪器数据采集与串口通信测控应用实战[M].人民邮电出版社，2010.
[3]雷振山.LabVIEW高级编程与虚拟仪器工程应用[M].中国铁道出版社，2009.
(上接11页)
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议