面向自然场景的超分辨率算法研究*
Research on Super-resolution Algorithms for Real World
纵子尧杨飚周芷晴(北方工业大学电气与控制工程学院，北京100144)
摘要：由于真实低分辨率图片下采样核处于未知状态，难以估计，在实验室训练的超分辨率模型对自然场景图片的恢复效果不佳，而实验室里退化处理的低分辨率图片的恢复效果显著，导致深度学习在图片超分辨率上的算法难以在自然场景中使用。近年来越来越多的研究关注于通过对未知下采样核的模拟，训练得到可以处理自然场景低分辨率图片的超分辨率模型遥针对这些问题，提出一个新的框架，利用无监督训练得到的非线性模型代替自然场景中的未知下采样核，端到端地生成低分辨率图像制作数据集。另外，提出了一种改进的残差网络结构用于生成模型的搭建。实验结果表明该文提出的算法在多种真实图片数据集均达到了先进的水平，并且干净地处理了低分辨率图片(LR)中的噪声与伪影。 关键词：图像超分辨率；下采样核；非线性模型
Abstract:"recent years,more and more researches have focused on the training of super-resolution models that can process low-resolution iamges of natural scenes by simulating unknown down-samp
ling kernels.In response to these prob-lems,this paper proposes s new framework that uses the nonlinear model obtained by unsupervised training to replace the unknown down-sampling kernel in the natural scene to generate end-to-end low-resolution image datasets.In addition,an improved residual network structure is proposed to build the generative model.Experimental results show that the algorithm proposed in this paper has reached an advanced level in a variety of real image data sets,and cleanly handles the noise and artifacts in low-resolution images(LR).
Keywords:image super resolution,down-sampling kernel,nonlinear models
热轧板在计算机视觉的算法研究中，对低分辨率图片进行上采样是计算机视觉技术的一个基础研究方向，超分辨率的研究成果不仅本身具有实际使用价值，而且也对其他计算机视觉算法在不同分辨率的输入条件下效果的改进提供支持，如不同分辨率下的行人检测［1］，或者目标检测利用超分辨率算法对输入图片进行数据增强［2］遥同时超分辨率算法中的空间条件判断和底层特征与深层特征的融合也具有良好的学术研究意义。 图片超分辨率的任务是增加图片的分辨率，实现从低分辨率图片到高分辨率图片的映射。随着深度学习的发展与应用，在超分辨率的任务中，卷积网络(CNN)的引入实现了远远超越过去传统计算机视觉算法的效果回。超分辨率模型的训练中丄1范数作为图像增强与恢复领域最常见的损失函数，在像素级
别一对一的计算对应像素的差值用来调整模型的参数，但是低分辨率图像和高分辨率图像之间不仅仅是一对一的映射关系，使用L1范数作为损失函数同样会约束网络的表达能力。因此对于生成任务来说，往往会额外使用生成对抗网络(GAN)结构的设置叫它允许训练神经网络生成的SR图像与目标高分辨率图像无法区分。并且为了使网络专注于图像的纹理和结构部分袁VGG(—个为了目标分类任务而预训练的神经网络)网络也作为损失函数的一部分加入到神经网络的训练中咱5-6］，使生成的图像人眼感知效果更好。
生成网络的结构创建上，最广泛使用的是残差网络［7-8］，基于深度学习方法的好处主要来自其两个关键因素，即网络深度和跳跃连接(残差网络和密集特征层)，网络深度提供了强大的功能来表示和建立更复杂的LR-HR映射，同时保留更多上下文更大的接受域的信息。跳跃连接可以有效地缓解仅通过为了加深网络堆叠更多层数而导致的梯度消失或者梯度爆炸问题；其次，通过全局和局部的特征连接也可以令生成网络产生令人满意的效果回。注意力网络的使用也被证明在超分网络结构设计中对最终结果的改善是有效的问。
1相关工作
随着研究的深入，实验室的模型的鲁棒性和在工业界的落地应用也吸引了研究者们更多的注意力。为了解决通过监督训练的模型不能在真实图片上取得良好效果的问题，近年来有很多研究者们针对这一
问题做了大量的研究。如图1,DPED数据集［11］里的图片经过ESRGAN模型处理后显得更模糊了。这些SR模型的训练方式，大多广泛依赖于监督训练，这需要成对的高分辨率(HR)和相应的低分辨率渊LR)图像对。实验室里很难收集完全相同场景的HR和LR图像。在研究领域,LR图像通常由HR图像采用参数已知的下采样核生成，常用的方法如通过简单地应用双三次降尺度算法得到HR图像对应的LR图像。虽然这种方法简单易行，并且训练得到的生成模型在干净的输入设置下能得到良好的输岀图像，但也带来了一个新的问题，双三次降尺度改变了图像特征。例如，它减少了LR的噪声因素，即减少了模型使用时得到的先验信息遥因此，该模型只在由被相同参数下采样算子改变的LR图像构成的数据集上效果显著。这导致模型在对真实图片，例如手机拍摄的图像和网络上下载的图片进行增强时性能显著下降。
Bicubic BSRCIAN
图1x4设置下我们的方法下与Bicubic,ESRGAN的对比
双三次算法在下采样的同时破坏了图片的高频细节与噪声分布丄R图像数据分布所在的域同样被改变了。在这种情况下
国家自然科学基金(61374191)；北京市教育委员会科技计划(KM201710009001)
的LR-HR重构是一个病态问题。由于缺少了图片本身存在的噪声分布和对现实图片的高频分布估计未知，训练得到模型映射相当于图片在一个不完整的域LR(细节损失)映射到另一个HR域(包含噪声)中。解决这个问题的一种方法是直接收集HR 和LR对应的数据集阳，但这种方法花费太高且效果一般。另一种思进行路是在实验室模拟接近自然场景中的图像下采样过程与估计存在于真实图片中的噪声，使训练的神经网络更符合从LR到HR的映射。在噪声方面，学习HR图像中的噪声分布再注入到LR图像问，可以让超分网络具有一种输入去噪的功能。
也有研究者提岀了模拟图像下采样的方法,ZSSR网使用一种放弃预训练的方法，通过在不断缩放的目标图片中学习目标自身的数据分布然后对图像进行处理；Ker n elGAN问采用深度线性网络作为下采样核算子，通过训练去估计模糊核的权重，在HR上生成LR，再进行监督训练。
在本文中，我们提岀了一种新颖的下采样框架模拟真实低分辨率图像的产生，生成用于训练超分辨率网络的数据集。训练网络时，使用低通滤波器将输入图像转换为高频和低频两部分。有研究者把噪声注入和下采样内核估计设置为两个独立的操作，与之不同的是，本文采用端到端的方法生成接近真实图像的低分辨率图像。HR图像y沂再通过训练后的下采样网络Gd(-)得到LR图像x沂Z从而获得对真实图片的模拟。将HR图像定义为y沂再,LR图像定义为x沂X，真实低分辨率图像定义为z沂Z，并且用X、Y、Z分别表示下采样图像X、高分辨率图像y，真实低分辨率图像z的数据分布。由于传统的下采样操作会改变HR 图像的图像特征，下采样得到的LR图像与真实低分辨率图像Z 的图像处于不同的分布域。
因此，我们的目标是在保留图像原本内容的同时，将低分辨率图像从X域映射到Z域。
同时我们改进了生成模型的结构，在深层卷积网络中引入了回传机制，新的回传机制可以融合原始低分辨率图像的层次特征和卷积神经网络处理后的本地特征的有效信息，并稳定了更深的卷积网络的训练。和一般的基于残差网络的生成网络相比，本文充分的利用了所有卷积层的层次特征，从而获得相对更高的性能。在最常见的数据集中，无论是人工下采样处理的低分辨率图片还是自然场景的真实低分辨率图片，我们的方法均取得了良好性能。
2基于图像频率分离的无监督训练
2.1模拟自然场景图像数据分布
在主流的超分辨率模型训练中，输入模型的低分辨率图像由数据集中的高分辨率图像通过下采样核已知的下采样算法生成。尽管缩放后的图像缩减了自身的分辨率，但是对于自然场景的真实低分辨率图像来说，它们并不存在于同一个数据分布之中。这种在实验室里通过对高分辨率图像y下采样获得的图像x e X，在X域中，缺少真实图像z的噪声分布和高频细节，在实际使用时，尽管超分辨率模型G s(-)对低分辨率图像x的恢复效果优于常见的上采样算法，但是对真实低分辨率图像z的恢复效果却相当差。先前的方法是通过将图像x沂X和图像y沂再配对，分别作为输入和目标图像，从而制作数据集并训练超分辨率模型。然后在实际使用的时候，将真实的低分辨率图像z e Z 作为输入，由训练过的模型输
岀超分辨率图像。对训练后的生成模型G s(-)来说，图像z e Z具有更多的模糊或锐利的纹理边缘和噪声分布，这是网络G s(-)在训练时缺少先验输入的。特别是对于图像z中的噪声，在这种配对设置下，由于生成模型G s(-)在训练过程中缺乏相关的先验知识，因此G s(-)将图像z中的噪声对应为图像x e X中的高频细节，最终模型输岀的生成图像充斥着伪影和噪声(如图1，输入图像来自DPED数据集)。
本文采用非线性网络将高分辨率图像下采样到低分辨率图像并为下采样得到的图像注入噪声，即y寅z遥当前生成低分辨率图像的主流方法是分别采取下采样内核估计和噪声注入的操作［14-15］，这对于生成训练数据的过程而言太复杂了并且效果一般。实验结果可以证明我们的方法训练的模型对真实低分辨率图像的增强取得了更好的效果。与KenelGan"啲深度线性网络不同，本文提岀的模型使用深度非线性网络生成LR数据。与ZSSR网相比，我们的模型在提供足够的先验知识的条件下进行了预训练，这在测试过程中更方便使用。与DSAGN相比较,DSAGN仅对噪声进行了估计并不涉及下采样核估计的部分。
flag标签抗体2.2非线性下采样模型的训练
首先，本文使用双三次插值算法对高分辨率图像y进行下采样x=B(y)，以获得低分辨率图像X。由于x的图像分布现在位于错误的域X中，因此设置中将源图像z e Z作为实际数据引入网络的训练中。训练完成的下采样非线性模型Gd(-)生成的数据分布接近自然场景的低分辨率图像X z=G d(y)。下采样模型G
d(-)对y进行下采样得到的X z的数据分布接近或近似于真实的低分辨率图像所在的域Z遥此外为了训练下采样网络G d (-)，我们使用标准GAN问的设置，额外训练了一个对图像进行评价的鉴别器D d(-)。
接下来，我们使用使用线性滤波器来分离图像的低频和高频成分，分别去计算颜、感知、对抗损失。为此，我们首先定义一个低通滤波器W l,-)。一张图片的低频和高频部分可以通过简单的卷积获得：
X L,z(•)=W L,z(x z)(1) X(,z(•)=X z(•)-X L,z(•)=(1-W L,z(x z))(2)训练下采样模型Gd(-)使用的损失函数被分为三个单独的部分。X z和x的低频部分被共同计算颜损失，完整的图像X z和x 一起计算感知损失(通过预训练的分类网络的中间层VGG19购)，X z和z的高频部分作为鉴别器的输入去计算对抗损失：
m
L coi=占移椰W l*X z-W l
得到训练
,d鄢X zll(3)
III i1
m
Lp”=m移椰VGG*X z-VGG*x||(4)
m
L D=m.移椰mean(logD(W H,d*x=))椰(5)对真实图片细节的学习使下采样网络Gd(・)生成的低分辨率图像的纹理分布接近真实图片z的纹理分布，同时保持X z的内容与颜。频率分离下采样框架如图2所示。
图2频率分离下采样框架
通过对图像频率的分离处理，模型的生成任务可以被分为简单的x到y的单一映射和复杂的x到z的多值映射。不同于图像的颜主要被低频部分定义，图像的细节和噪声在另一种意义上来说有多个映射，一一对应的L1损失难以让下采样网络
G d(窑)生成足够接近真实低分辨率图片的结果。因此，我们额外训练了一个判别器，通过让生成网络和鉴别网络在对抗中学习真实场景低分辨率图片数据分布Z中的高频部分。同时，判别器避免了处理低频信息，简化了判别器的训练难度。另外袁VGG网络常在PI、LPIPS等更接近人眼感知指标的图像超分辨率网络训练中，利用生成图片的中间层特征图与高分辨率图片的中间层特征图求均方误差实现对
纹理等高层抽象特征的重建。我们加入VGG网络希望在像素层面之外稳定GAN的训练。
3类循环残差网络
众多的实验结构已经证明对于不同目标下使用卷积神经网络模型来说，越深的卷积层往往都具有更好的效果遥但是，随着网络深度的增加，在反向传播逐层传导的时候，偏差会越来越小，梯度会逐渐消失；另一方面，随着卷积层的堆叠和激活函数的使用，高层特征图包含的图像信息会逐渐减少。通过将输入和输入的一个非线性变换的线性叠加，残差网络有效改善增加卷积层深度带来的问题。一个简单的残差块可以表示为：Layer I+1=Layer^F(Layer,W I)(6)这里丄ayer代表I层特征图,W代表I层卷积核参数,F代表残差操作。但是，大多数的残差网络并没有完全的使用不同层级特征图的局部信息，在对图像进行超分辨率处理的时候，这限制了它们生成更清楚的细节。我们提岀了一种新的层级融合类循环结构去提取丰富的局部信息，并且对高层的抽象信息与不同层级的输岀结果线性叠加，逐级的提取图像的层级特征，在不同数据集上的实验验证了我们的类循环残差网络具备了更好的信息提取与融合能力。
3.1密集特征的提取与融合
如图3，我们的网络主要包含3部分：浅层的特征提取、不断进行局部特征提取与层级间特征融合的残差块和一个上采样网络。低分辨率图片和高分辨率图片分别作为类循环网络的输入和输岀。我们使用
一个3x64的卷积核，对输入的低分辨率图像进行初步处理，从RGB三个颜特征上升为64个不同特征，使网络可以进一步对图像进行特征通道上的变换。假设我们使用了D层残差块，每一层残差块的输岀FF d都会被作为神经网络的记忆存储保留下来，D层残差块的融合输岀的F d经过上采样网络后，输岀高分辨率图片。上采样网络采用了常见的像素混合操作，令标号依次代表批、通道、长、宽，Nx(Cxrxr)xWxH 大小的特征图经过像素混合后转换为NxCx(Wxr)x(Hxr)的特征图。经过像素混合操作后，图片的通道缩小为原来的rxr 倍，但长和宽比之前分别扩大r倍。
Fwikn
图3类循环残差网络
在类循环残差网络中，我们使用了特征融合、类循环结构、全局学习，并且将每一次FRB的输岀保留下来，形成一种连续的记忆机制。将F0记为FRB模块之前的输岀，且F d和F d」记为第d层FRB的输入和输岀，d层FRB的输岀可以被公式化为
F d=B(WI(F d-1,F°))(7)
这里滓代表了LeakReLU激活函数,W d代表了FRB模块的权重。很多研究已经发现了训练好的CNN神经网络，低层的特征图的属性往往只具有局部特征，如纹理、边缘等。而高层的特征图则具有了逻辑
性和抽象性的结构，很多作者据此设计各种各样已被证明在不同任务中均有效果的回传结构，主要有特征图回传和注意力回传机制。在上层FRB模块与下一层FRB 模块之间，我们使用了全局残差，将F0和Fw作线性融合，得到的结果作为下一个FRB模块的输入。
如果每一个FRB模块的参数结构相同，则可以视为使用了一种循环结构，将FRB每一次计算得到的特征图回传到FRB 的输入，与初始特征进行线性融合，融合后的特征图具有一定的记忆性和网络对特征初步处理后的结果，新的特征图作为FRB 模块新的输入进行下一次计算。可以多次循环这个过程，得到FRB最后的输岀。所以FRB模块同时具有类似循环结构的特性，反复的处理图像，同时处理图像的低层和高层特征。在多次实验中，本文对比不同参数的FRB模块与相同参数FRB模块的实验结果，采用多FRB模块的生成网络性能略优于采用单一FRB模块的生成网络，不过，这却可以证明我们提岀的回传机制与密集特征提取模块的有效性。
3.2融合残差模块
融合残差模块由2*c层卷积层组成，由c个子卷积网络组成，每一个子卷积网络包括2层卷积和一层Re I u激活函数。在融合残差模块，我们设置了局部残差学习和局部特征融合，子卷积网络的输岀可以被公式化为：
F c=B(Hres(F c-1,F c-2,“•£))(8)
其中，滓代表ReLU激活函数袁Hres代表卷积核参数,F代表第i层特征图。局部残差学习可以进一步提升网络的表示能力，输岀更好的超分辨率图像。同时，我们保存了每一个融合残差模块的输岀，形成一定的记忆机制，保留单一模块的输岀，线性融合后作为上采样网络的输入。全局残差的使用使网络更好地提取全局特征，同时，连续的融合残差模块保存了网络的前馈性质，也提取了密集的局部特征。如图4所示。
图4融合残差模块
4实验结果与分析
在本节中，我们首先评估了我们的模型对真实图像的超分效果，并将其与其它先进的超分辨率算法(包括双三次袁EDSR、ESRGAN和Real SR)进行了比较。测试集包括DPED数据集以及iOS手机和安卓手机拍摄的一些图像。由于此部分没有相应的自然真实图像，因此直接展示了每种算法的生成结果。第二部分，计算比较在DIV2K数据集上不同算法生成的图像的PSNR问、SSIM冋和LPIPS0暂评价指标遥这些图像被人为的添加噪声，以模拟自然场景中的传感器噪声。验证集包含100张具有对应真实高分辨率参照的低分辨率图像，因此可以根据真实高分辨率图像计算算法生成结果的数值评价指标。
4.1基于自然低分辨率图片的测试
阀门试压设备如图5所示，EDSR、ESRGAN和Real SR方法不能正确地从内容和版本中区分岀噪声，结果中存在着密集的伪影和噪声遥在我们的结果中，对象的表面更清晰，并且对象和背景之间的分界线更加自然。关于ESRGAN的方法，由于对噪点的错误处理袁其输岀的结果会产生不必要的纹理细节；放大图像的尺寸，Real SR的图像的生成结果仍然存在着噪声袁Real SR
的生成图像
更清楚，但是产生了扭曲的纹理。相反，本文提岀的模型输岀的图像恢复了更多的细节，生成结果从视觉上看更加自然遥在第一幅图像中，本文提岀的算法是还原墙壁细节的最佳方法，而在第三幅图像中，只有本文的结果可以清楚地看到车顶的反射。
EDSR ISRGAN Oifii
图5在不同数据集上与主流超分辨率算法的比较
4.2基于人工低分辨率图片的测试
在表员中，我们在
DIV2K验证集上计算并比较了我们的方法和最先进的图像超分辨率算法的主流评价指标。使用原作者们公开的模型分别生成超分辨率图片后,
表1主流图像质量评价指标对比M c II hk I rSNR ssrvf LPTPS ft>sr o
•伽0.5RS USI-iGAN]-y>：ij U.24J O.75(j ZSSR25.23-：：'.62.5 K：u：:J l$K2-1,671)X^3
Ours.27.26(K7530.26L!
我们根据真实高分辨率图片计算岀超分辨率图片的指标PSNR、SSIM和LPIPS分数。通常认为，在这三个指标中，PSNR和SSIM代表图像恢复的程度，而较低的LPIPS意味着更适合人眼感知的评价。但是我们认为没有一个指标能够完全代表视觉质量，因此我们也很重视三重指标叠加的优势。如表1所示，我们的方法获得了最佳的PSNR和SSIM性能和第二位的LPIPS性能。这也表明我们的模型输岀的结果更接近真实高分辨率图像并恢复了更多内容。
5结束语
本文提岀了一种基于无监督学习的框架来生成接近真实世界低分辨率图片的输岀，在超分辨率模型的设计上提岀了一种新的类循环残差生成网络。在残差网络的基础上，设计了一种类循环机制，通过特征融合、局部与全局的残差连接和一定的记忆机制，对图像的特征进行了充分的提取与利用遥在各种来源的图像数据集上证明了本文所提岀的方法在不同图像评价指标与对真实图像的增强效果上，均优于现有的方法。
参考文献
[1]Zijie Zhuang,Haizhou Ai,Long Chen,et al.Cross-Resolution
Person Re-identification with Deep Antithetical Learning[C]// Computer Vision and Pattern Recognition,20f8:f8f0.f022f [2]Bai Yancheng,Zhang Yongqiang,Ding Mingli,et al.Finding Tiny
气泵接头
Faces in the Wild with Generatiye Adyersarial Network[Cp^/ 31st Meeting of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2018:135-213
可降解塑料袋子吹膜机[3]Kaiming He,Xiaoou Tang,Chao Dong,et al.Learning g deep
conyolutional network for image super-resolution[C]//Euro-pean Conference on Computer Vision,2014:360-035
[4]Ian Goodfellow,Jean Pouget-Abadie,Mehdi Mirza,et al.Gen-
eratiye adyersarial nets[J].Adyances in neural information processing systems,2014:2672-2680
[5]Chao Dong,Chen Change Loy,Kaiming He,et al.Learning a
deep conyolutional network for image super-resolution[Cp^/7 Computer Vision-ECCV2014-13th European Conference, Zurich,Switzerland,2014:184-199
[6]Chao Dong,Chen Change Loy,Kaiming He,et al.Image super
resolution using deep conyolutional networks[C]//IEEE Transactions on Pattern Analysis and Mochine lntelligence,2016:38
(2):295-307
[7]Jiwon Kim,Jung Kwon Lee,Kyoung Mu Lee.Accurate image
super-resolution using yery deep conyolutional networks[C]// Computer Vision and Pattern Recognition,2016
[8]Tong Tong,Gen Li,Xiejie Liu,et al.Image super-resolution us
ing dense skip connections[C]//IEEE International Conference on Computer Vision,2017:2380-7504
[9]Yulun Zhang,Yapeng Tian,Yu Kong,et al.Residual Dense Net
work for Image Super Resolution[C]//Computer Vision and Pattern Recognition,2018
[10]Yue Lu,Yun Zhou,Zhuqing Jiang,et al.Channel Attention and
Multi-leyel Features Fusion for Single Image Super-Resolution[C]//2018IEEE Visual Communications
and Image Processing,2018:115-372
[11]Andrey Ignatoy,Nikolay Kobyshey,Radu Timofte,et al.Dslr-
quality photos on mobiledeyices with deep conyolutional networks.[C]//IEEE International Conference on Computer Vision,2017:3277-3285
[f2]Chang Chen,Zhiwei Xiong,Xinmei Tian,et al.Camera lens super-resolution©//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,20f9:1652-1660 [13]Manuel Fritsche,Shuhang Gu,Radu Timofte.Frequency Sep
aration for Real-World Super-Resolution[C]//IEEE International Conference on Computer Vision,20f9:369-22f
[14]Assaf Shocher,Naday Cohen,Michal Irani.“Zero-Shot”Su
per-Resolution Using Deep Internal Learning[C]//Computer Vision and Pattern Recognition,2018
[15]Sefi Bell-Kligler,Assaf Shocher,Michal Irani.Blind Super-Res
olution Kernel Estimation using an Internal-GAN[C]//Com-puter Vision and Pattern Recognition,2020
[16]Xiaozhong Ji,Yun Cao,Ying Tai,et al.Real-World Super-Res
olution yia Kernel Estimation and Noise lnjection[C]//Confer-ence on Computer Vision and Pattern Recognition Work-shops,2020
[17]Karen Simonyan,Andrew Zisserman.''Very Deep Conyolu
tional Networks for Large-Scale Image Recognition[C]// Computer Vision and Pattern Recognition,2015
[f8]Agustsson Eirikur,Timofte Radu.NTIRE2017Challenge on Single Image Super-Resolution:Dataset and Study[C]//The IEEE Conference on Computer Vision and Pattern Recognition(CVPR),20f7:f90-652
[19]Zhen Li,Jinglei Yang,Zheng Liu,et al.Feedback Network for
Image Super-Resolution[C]//The IEEE Conference on Computer Vision and Pattern Recognition,2019
[20]Tao Dai,Jianrui Cai,Yongbing Zhang,et al.Second-Order At
tention Network for Single Image Super-Resolution[C]//The IEEE Conference on Computer Vision and Pattern Recogni-tion,2019
[21]Muhammad Haris,Greg Shakhnaroyich,Norimichi Ukita.Re-
current Back-Projection Network for Video Super-Resolu-tion.[C]//Computer Vision and Pattern Recognition,2019
[收稿日期：2020.12.24]
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议