基于Inception模块的卷积自编码器图像去噪

第38卷第2期   计算机应用与软件
Vol 38No.22021年2月 
ComputerApplicationsandSoftware
Feb.2021
基于Inception模块卷积自编码器图像去噪
雷景生 闫晨阳 杨忠光
(上海电力大学计算机科学与技术学院 上海200082)
收稿日期:
2019-08-09。国家自然科学基金项目(61672337)。雷景生,教授,主研领域:大数据,机器学习,计算机视觉。闫晨阳,硕士生。杨忠光,硕士生。
摘 要  为了更有效地去除图像中存在的高斯噪声,提出一种结合Inception模块的卷积自编码器图像去噪模型。以完整图像作为输入和输出,利用Inception模块对噪声图像进行去噪,
使用改进Inception反卷积模块将去噪图像进行还原,提升模型去噪能力。同时在模型中引入批量归一化(BatchNormalization,BN)和随机失活层(Dropout)有效解决过拟合问题,引入ReLU函数避免模型梯度消失,加速网络训练。实验结果表明,与深度卷积神经网络方法相比,该模型获得了更高的峰值信噪比和结构相似度,其去噪能力更好,视觉效果更佳,具有更好的鲁棒性。
关键词  卷积自编码器 Inception模块 图像去噪 峰值信噪比 结构相似度
中图分类号 TP3    文献标志码 A    DOI:10.3969/j.issn.1000 386x.2021.02.036
CONVOLUTIONALAUTO ENCODERFORIMAGEDENOISING
BASEDONINCEPTIONMODEL
LeiJingsheng YanChenyang YangZhongguang
(CollegeofComputerScienceandTechnology,ShanghaiUniversityofElectricPower,Shanghai200082,China)
Abstract  Thispaperproposesaconvolutionalauto encoderimagedenoisingmodelcombinedwithinceptionmoduleinordertoremovetheGgaussnoiseintheimagemoreeffectively.Takethewholeimageastheinputandoutput,itusedInceptionmoduletodenoisethenoiseimage,andtheimprovedInceptiondeconvolutionmodulewasusedtorestorethedenoisedimagetoimprovethedenoisingabilityofthemodel.WealsointroducedBNandDropouttopreventover fittingandusedReLUfunctiontoavoidgradientdisappearanceandspeedupnetworktraining.Theexperimentresultsshowthatcomparedwiththedeepconvolutionneuralnetworkmethod,theproposedmethodcanremovetheGaussnoisemoreeffectively,obtainhigherpeaksignal to noiseratioandstructuralsimilarity,andhasbettervisualeffectandrobustness.Keywords  Convolutionalauto encoder Inceptionmodule Ima
gedenoising Peaksignaltonoiseratio Structuralsimilarity 
0 引 言
随着计算机技术和互联网技术的飞速发展,人们的日常生活充满着各种各样的信息。调查研究发现,在人类所有获取的外界信息中,视觉系统获取的占
70%以上[1],因此对图像信息的获取、处理和使用显得
尤为重要。图像去噪是一个图像处理领域的重要研究课题,是在去除噪声的同时尽量把图像中的重要信息
保留下来。数字图像处理一般可分为基于空间域的处
理与基于变换域的处理[
2]
。基于空间域的去噪方法是在原始图像的像素灰度空间上作运算,对像素的灰度值直接进行处理。常
用的方法有均值滤波、中值滤波、基于偏微分的图像去噪等。中值滤波可以有效地滤除椒盐噪声;均值滤波适用于滤除高斯噪声;基于变换域的去噪方法是先对源图像作图像变换,如傅里叶变换、小波变换等。
目前,国内外学者已经提出了很多图像去噪的方
222   
计算机应用与软件
2021年
法。去噪效果较好的BM3D(BlockMatchingand3D)[2]算法是将图像分为一定大小的块,将具有相似特征的块合并为三维数组,采用三维滤波的方法处理三维数
组,进行逆变换后获得降噪后的图像。Burger等[3]
出MLP(Multilayerperceptron)模型,其将图像预处理
与多层感知器神经网络学习模型结合。S
chuler等[4]
提出的算法将多层感知机MLP(MultilayerPerceptron)
运用于图像去噪。C
hen等[5]
提出了TNRD(TrainableNonlinearReactionDiffusion)模型,对稀疏编码和迭代方法进行展开成为前向反馈网络,取得了很好的图像去噪效果。
近年来的研究表明,自编码器(Auto Encoder,AE)作为深度学习中一个典型代表,通过无监督学习,主要用来学习给定数据集的压缩、分布式特征表达,从而重
构输入数据[6]
。在自编码器的基础上,衍生出多种自编码器。H
inton等[7]
改进原有浅层结构,提出深度学习神经网络的概念和训练策略,继而产生了去噪自编
码器(DenoisingAuto Encoder,DAE)。Bengio等[8]
出稀疏自编码器(SparseAuto Encoder,SAE)的概念。除此之外还有边缘化去
噪自编码器(
MarginalizedDe noisingAuto Encoder,MDA)和栈式稀疏去噪自编码
器[
9]
卷积编码(StackedSparseDenoisingAuto Encoder,SSDA)。本文采用了基于卷积自编码器的神经网络去噪模型,加快了网络的运算速度。
1 卷积自编码器网络结构
图像去噪是将含噪图像进行处理并还原图像的过程,本文使用轻量级的网络结构达到优秀的去噪效果,采用四层卷积自编码器的深度学习网络结构,为了加快网络训练速度,将数据集中的数据分割成20×20的大小,加入噪声后按原图像内容分别存入不同的H5文件,以加快文件读取速度,更好地完成网络训练。
1.1 生成噪声图像
高斯噪声是一种符合正态分布的随机噪声,也是最常见的噪声分布,其公式如下:
X(h,w,c)=0   T(h,w,c)<
02
55T(h,w,c)>
255T(h,w,c){
其他
(1)
T(h,w,c)=X(h,w,c)+
k·ZZ~N(μ,σ
)式中:
Z是噪声数据,符合期望为μ和方差为σ的正态分布;k是噪声强度;X(h,w,c)是图像的像素。最后对加
噪声后的图像像素取值进行限制,避免数据溢出[
10]
。本文采用噪声等级为25的高斯噪声数据集,对数据进行去噪实验。原图与噪声图的比较如图1所示,本文在噪声等级为2
的基础上对图像噪声进行去除。(a)原图(b)噪声图
图1
 原图与噪声图的比较1.2 多特征提取Inception模块
受VGGNet和GoogLeNet等图像处理算法的启发,将InceptionV3模块用于提取图像特征和图像还原,并取得了良好的效果。Inception模块主要改进了网络中的传统卷积层,在增加网络深度和宽度的同时减少参数。I
nception模块对同一输入映射上的多个不同变换结果进行并行计算,将它们的结果连接成为
一个输出。使用Inception模块有利于含噪图像尽可能多地从不同大小卷积核提取特征信息,为模型网络提供更好的泛化能力。因此本文在Inception基础上进行了改进,将原有的卷积层修改为反卷积层作上采样操作,使用小卷积核分别为1×1、3×3、5×5的组合降低特征图像的通道维度,更好地还原特征图像,使其更接近原图。
与上采样操作不同的是,本文使用两层Inception模块进行噪声图像去噪。但是这使得每一层特征映射的数量增加,计算成本大大增加。因此本文对Incep tion模块做如下设置:
1)将Inception每一个卷积层加入ReLU激活函数,简化了计算过程,活跃度的分散性使得Inception模块计算成本下降。
2)加入批量归一化(BatchNormalization,BN)和随机失活层(Dropout)。BN层可以让Inception网络的训练速度加快很多倍,提高网络的泛化能力,使输出规范化到N(0,1)的正态分布,减少了内部神经元的分布,产生更稳定的非线性输出。实验过程中,发现只有
BN层的操作时,训练的PSNR不稳定,考虑非数据集和非验证集的问题后,使用Dropout层来解决模型训练过程中出现的过拟合现象,结果发现使用Dropout层可以减少PSNR不稳定的现象。Dropout在学习过程中将隐含层部分权重或输出随机归零,降低了节点间的相互依
赖性。
第2期   
雷景生,等:基于Inception模块的卷积自编码器图像去噪
223
 1.3 卷积自编码器网络设计
为了使去噪网络模型能够处理自然图像,本文将每幅图像的数据转化为三维矩阵。将卷积自编码器分成解码器和编码器,共有4层。基于Inception模块的卷积自编码器去噪网络结构如图2所示。该网络的优
点是利用自编码器结构,在编码层Encoder使用Incep tionV3经典结构前两层,在解码层Decoder使用反卷积构成I
nception反卷积模块,能更大程度地将编码层提取的噪声图像特征进行深层次的还原,相较于一层反
卷积能更好地还原原图的特征。
图2 卷积自编码器去噪网络结构图
  1)编码层Encoder。
(1)第一层:由五个不同尺度卷积层和一个平均池化层构成Inception模块,扩大卷积自编码器的宽度,使用多个卷积核提取图像不同尺寸的信息进行融合,可以得到图像更好的表征。卷积层第一层为5×5×32、1×1×64,图片输出通道为64;第二层为3×3×64,图片输出通道为
64;第三层为1×1×64,图片输出通道为64;第四层为平均池化层,步长为1,池化层为3×3,后接一个1×1×32的卷积层,图片输出通道为32。每层输入加入标准化,Padding均为SAME使用ReLU函数防止梯度消失,最后由Concat层进行连接,加入标准化B
N层,使用Dropout防止过拟合。此时图片输出的通道数为64+64+64+32=224。
(2)第二层:使用InceptionV3中第二个模块的结构。Conv第一层为1×1×64;第二层为1×1×48、5×5×64;第三层为1×1×64、3×3×96,3×3×96;第四层为平均池化层,池化层大小为3×3,步长为1,后接一层卷积层,卷积核大小为1×1,通道数为32。最后由Concat层进行连接,加入标准化BN层,使用Drop out防止过拟合。经过该层Inception模块,输出的图片通道为64+64+96+32=256。
2)解码层:Decoder。
1)第一层:由改进Inception模块使用反卷积实现上采样层。由不同尺寸的反卷积层组成,分别为3×3×16、5×5×16、1×1×16,步长设置为2,使用Concat层连接。使用
改进Inception模块进行反卷积可以使特征更好地融合,此时图片的形状为20×20×64,加入B
N层进行标准化操作。(2)第二层:使用反卷积实现上采样层,使用上采样层将解码层的图像进行还原,为了得到原图一样的大小,通过1层的上采样进行实现,将图像恢复到原来的大小,此时图片形状为20×20×1。
综上所述,为了增强图像去噪的鲁棒性,引入Inception模块进行卷积操作,改进Inception模块内的卷积进行反卷积操作,更好地对噪声图像特征进行提取,使用ReLU函数防止梯度消失,引入BN和Dropout操作防止网络过拟合,提升模型整体去噪性能,缩短训练时间。
使用该网络进行图像去噪的流程如图3所示。随着训练次数的增加,使用验证集来评估模型是否过拟合,具体操作为:将节点数设置为500,通过训练集训练出相应的参数后,由验证集去检测该模型的误差,接着改变节点数。如果模型的误差大于100%或者小于0%,则立即停止网络并进行相应的修改。
224   
计算机应用与软件
2021
图3 卷积自编码器去噪网络的训练流程
2 实 验
2.1 实验数据
基于卷积自编码器的图像去噪实验采用VOC2012数据集,由于该数据集非常庞大,因此从中随机选取1000幅图像作为数据集,其中700幅为训练集,300幅为测试集。同时使用图像去噪领域常用的10幅标准图像作为对比实验的参考图像。VOC2012中的所有图像均为彩图像,而本文用到的是灰度图像,因此需要将彩图像转换为灰度图并添加噪声等级为25的高斯噪声。为了便于训练,将输入图片裁剪为20×20的子图像块,
将裁剪好的图片按原图每5幅存入一个H5文件中,以便于模型读取和训练。
2.2 实验环境与评估准则
实验环境系统配置为Windows10操作系统,处理器为IntelCorei7 3370CPU,内存为8GB。
使用峰值信噪比(PeakSignaltoNoiseRatio,PSNR)和结构相似度(StructuralSimilarity,SSIM)作为去噪评价指标,计算公式如下:
1)均方误差(MSE):
MSE=1M×N∑M
i=1∑N
j=1
(f^(i,j)-f(i,j))2
(4)
式中:
MSE表示当前图像f^
(i,j)和参考图像f(i,j)的均方误差;
M、N分别为图像的高度和宽度。2)峰值信噪比(PSNR):
PSNR=10log10
(2n-1)
()
MSE
(5)
式中:n为每像素的比特数,一般取8,即像素灰阶数为256,单位为dB。PSNR值越大,代表失真越少。
3)结构相似度(SSIM):
SSIM(x,y)=(2μx+C1)(2σxy+C2
)(μ2x+μ2y+C1)(σ2x+σ2
y+C2
)(6)式中:μx是x的平均值;μy是y的平均值;σ2
x是x的方差;σ2y是y的方差;σxy是x和y的协方差;c1=(k1L)2
、c2=(k2
L)2是用来维持稳定的常数;L是像素值的动态范围;k1=0.01,k2=0.03。相似结构角的范围为0~1,该值越大,两幅图像越接近。
2.3 网络模型对去噪性能的影响
2.3.1 Inception模块对去噪性能影响
本文网络大量使用Inception模块对图片进行特征提取,为了表现本文多个Inception结构的特征提取能力,使用普通卷积自编码器、一层Inception模块和
本文多个Inception模块进行PSNR对比,实验结果如图4所示。对比实验设置相同的解
码层,
分别为3×3×32和3×3×1的反卷积层。编码层采用两层卷积层的结构,普通自编码器使用两个3×3的卷积层作为编码层;一层Inception模块使用本文中第一个Incep tion模块,第二层使用3×3的卷积层;两层Inception模块则使用本文用到的模块。使用相同的实验环境和训练集,训练过程输出训练PSNR。可以看出,经过500次训练,本文算法在训练过程中的PSNR值不断上升,最高可达25dB,而普通卷积自编码器初始阶段较差,前期骤升后期缓慢下降,最终在19dB左右达到平缓;一层Inception前期波动后平缓上升,最终在21dB左右达到平缓。而本文用到的两层Inception模块从一开始就优于其他两种方法,最终在23dB左右达到平缓。综上,训练次数越多,本文算法的稳定性和鲁棒性越好,
因此展现出较优的去噪结果。
图4 不同编码层对模型影响对比
2.3.2 Inception反卷积模块对去噪性能的影响
本文使用Inception反卷积对已提取的特征进行反馈,对比一层反卷积和Inception反卷积模块对图像去噪的影响。编码层与本文编码层一致,解码层使用一
第2期   
雷景生,等:基于Inception模块的卷积自编码器图像去噪
225
 层卷积核为3×3的反卷积层和本文Inception反卷积模块进行对比实验,实验结果如图5所示。可以看出,前期训练普通一层反卷积比较稳定,而Inception反卷积模块则出现短暂波动,在后期的训练中使用Inception模块比普通一层反卷积效果好,最终稳定在24dB左右。总体而言,使用I
nception
反卷积模块效果更好。图5 使用一层反卷积和Inception反卷积模块对比2.4 对比实验分析
为了验证本文方法的鲁棒性,选用10幅经典测试图像,与文献[11]、文献[12]和文献[13]分别做对比实验,PSNR与SSIM对比结果分别如表1和表2所示。文献[11]和文献[12]均使用深度卷积神经网络进行图像去噪。可以看出,本文算法表现出了较好的去噪效果,相比原图,其PSNR平均提高11.088,SSIM平均提高0.451。文献[11]和文献[12]均使用5层深度卷积神经网络,不同的是,文献[11]前三层为卷积层,后两层为反卷积层,而文献[12]则使用5个卷积层进行去噪,本文相比于文献[11]和文献[12],PSNR分别提高4.813和1.361,SSIM分别提高0.050和0.019。文献[
13]使用一层Inception模块和五层卷积层,在相同实验环境下发现PSNR平均提高2.626,SSIM平均提
高0.011。
表1 10幅图像各方法峰值信噪比(PSNR)
PSNRHouse1Woman1Woman2mancameralenabarbaraboatHouse2girl原图20.1820.2120.3420.2220.5820.2320.3120.3020.3520.63文献[11]28.1328.3630.3828.0127.9929.1926.5827.6830.0829.70文献[12]29.192
9.3230.8530.1130.2830.2129.5830.2230.7730.09文献[13]29.4629.1529.2228.8428.1528.8629.0328.2628.6928.31本文
30.12
31.55
32.08
31.69
30.59
32.54
30.04
32.13
31.82
31
.67
表2
 10幅图像各方法结构相似度(SSIM)
SSIMHouse1Woman1Woman2mancameralenabarbaraboatHouse2girl原图0.430.490.420.530.490.490.570.530.420.47文献[11]0.900.890.920.870.890.910.850.870.850.90文献[12]0.920.900.920.930.920.920.940.920.890.90文献[13]0.930.920.930.930.930.920.930.940.910.90本文
0.94
0.93
0.93
0.94
0.92
0.93
0.95
0.96
0.93
0.92
选取其中5幅图像进行输出对比,如图6所示。可以看出,本文图像视觉效果较好,边缘较为清晰,通过细节可见本文去噪算法效果明显,细节处理比较到位,更加清晰地展示了去噪后的图像。
原图噪声图文献[11]文献[12]
文献[13]本文
a)House1原图噪声图文献[11]

本文发布于:2024-09-21 23:26:59,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/4/377728.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:图像   卷积   进行   模块   训练
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议