一种基于生成对抗网络的无监督图像超分辨率重建方法

本发明属于图像处理与深度学习技术领域，涉及一种基于生成对抗网络的无监督图像超分辨率重建方法。

从低分辨率(LR)图像中提取高分辨率(HR)图像这一极具挑战性的任务称为超分辨率 (SR)，在监控设备、卫星图像和医学影像等领域都有重要的应用价值，超分辨率重建除了提升图像感知的品质，也有助于其他计算机视觉任务。超分辨率重建是非常具有挑战性的视觉任务，具有不适定性，因为总是有多张高分辨率图像对应于单张低分辨率图像。近几年来图像超分辨率通过使用深度学习技术，已经取得了不错的进步。而目前大多基于深度学习的超分辨方法，依赖于外部图像数据集，训练成本较大，因为对设备要求同样较高。基于插值的传统超分辨方法，重建的图像比较模糊，缺乏高频信息。因此，本发明利用生成对抗网络涉及了一种无监督的单张图像超分辨率重建方法。

本发明旨在实现单张图像的超分辨重建，由于基于插值的方法难以获得含有丰富高频信息的图像，而基于有监督的深度学习的超分辨率重建方法又需要外部数据集，对设备要求较高且训练成本大，外部数据集的存储也需要占用较大的空间。故本发明提出了一种基于生成对抗网络的无监督图像超分辨率重建方法。通过本发明提出的方法，不需要外部数据集，仅通过单张图像就可以实现超分辨重建，实验表明，本发明中的方法可以获得较好的PSNR和 SSIM指标，同时获得更佳的NIQE指标，即重建出的图像人眼视觉效果更好。

本发明公开的技术方案包括：

基于生成对抗网络的无监督图像超分辨率重建方法，包括以下步骤：

步骤1：图像预处理。通过对待重建的图像进行预处理，生成一系列金字塔图像，如图2 所示。设待处理图像为I，通过对图像I进行下采样得到一些列金字塔图像，记为 I1，I2，I3，…，IN。其中，IN为最粗尺度的输入图像。

In＝Down(I)，n＝1，2，...，N

上式中，Down表示下采样操作。

步骤2：设计基于GAN(生成对抗网络)的无监督图像超分辨率重建网络，主要由N个尺度的生成对抗网络组成，每个生成对抗网络由生成器和判别器组成，生成器和判别器主要由卷积模块组成，卷积模块由卷积层和激活层组成。在第i个尺度的网络中，生成器中的卷积模块个数为m，生成器中使用残差结构；判别器中的卷积模块个数为m。第i个尺度的网络结构具体如下：

在第i个尺度的网络中，生成器的输入为生成器的输出为Gi-1，是由第i-1个尺度的网络输出通过上采样后生成的，和Gi-1的尺寸一致。在最粗尺寸N的网络中，其输入是由IN通过上采样，生成的尺寸和IN-1的尺寸一致。在第i个尺度的网络中，判别器由一系列卷积模块组成，其输入为Gi-1，监督信号为Ii-1。

在本发明所提出的金字塔网络第i个尺度中，判别器和生成器中卷积模块个数为m，第 i-1个尺度中，判别器和生成器中卷积模块个数为m+1。

使用一种新的损失函数对网络参数进行优化。设生成器输出的图像为G，设真实图像为I。传统的图像质量增强网络中，一般使用MSE损失，虽然容易得到较高的峰值信噪比(PSNR)，但容易引起图像的模糊，导致图像的高频细节缺失问题。故本发明使用了预训练VGG网络来计算生成图像和高质量PNG图像之间的L1距离，记为lvgg，如下：

为获取较高的峰值信噪比(PSNR)，计算MSE损失，如下：

对抗损失用于提高判别器区分G与I。当判别器无法区分G与I时，说明生成器生成的图像G质量与I相当。对抗损失记为ladv，如下：

上式中，D表示判别器。

综上，本发明所提出的损失函数l记为：

l＝α·lvgg+β·lMSE+γ·ladv

上式中，α、β、γ分别表示lvgg、lMSE和ladv的超参数，用于调整lvgg、lMSE和ladv各自所占的比重。

步骤3：生成金字塔网络和参数初始化。设网络共有N个尺度，则网络的构成如下表：

表1金字塔网络

步骤4：训练单一尺度网络。

(1)从第N个尺度开始训练网络。首先将IN通过上采样生成和GN-1的尺寸一致。首先用过第N个尺度的生成器生成GN-1，将GN-1作为判别器的输入，输入到判别器网络中，判别器的网络来提取输入图像GN-1的特征，然后再将真实图像IN-1输入判别器网络中，通过最大化判别器的损失，来优化整个网络的参数。

(2)通过随机梯度下降，对损失函数求导并优化网络的参数，更新网络参数，使整个网络的损失不断减小，l＝α·lvgg+β·lMSE+γ·ladv，α、β、γ分别表示lvgg、lMSE和ladv的超参数，用于调整lvgg、lMSE和ladv各自所占的比重。

(3)重复步骤(1)-(2)，达到网络训练的停止条件或者最大训练次数，完成网络的训练，保存训练好的模型。

步骤5：训练第i个尺度网络。

(1)在第i个尺度中，首先将上一个训练好的生成器生成结果Gi-1通过上采样生成和Ii-2的尺寸一致。首先用过第i个尺度的生成器生成Gi-2，将Gi-2作为判别器的输入，输入到判别器网络中，判别器的网络来提取输入图像Gi-2的特征，然后再将真实图像Ii-2输入判别器网络中，通过最大化判别器的损失，来优化整个网络的参数。

(2)通过随机梯度下降，对损失函数求导并优化网络的参数，更新网络参数，使整个网络的损失不断减小，l＝α·lvgg+β·lMSE+γ·ladv，α、β、γ分别表示lvgg、lMSE和ladv的超参数，用于调整lvgg、lMSE和ladv各自所占的比重。

(3)重复步骤(1)-(2)，达到网络训练的停止条件或者最大训练次数，完成网络的训练，保存训练好的模型。

步骤6：i＝i-1，重复步骤5，即训练下一尺度的网络。直至第1个尺度训练完成，保存第一个尺度训练好的模型。

步骤7：待处理图像为I，通过插值方法将I放大至相应倍数，记为将输入到第一个尺度的生成器中，即可完成相应放大倍数的图像超分辨任务。

本发明的有益效果：本发明提出的基于生成对抗网络的无监督图像超分辨率重建方法，过本发明提出的方法，不需要外部数据集，仅通过单张图像就可以实现超分辨重建，实验表明，本发明中的方法可以获得较好的PSNR和SSIM指标，同时获得更佳的NIQE指标，即重建出的图像人眼视觉效果更好。

图1是本发明所设计的基于生成对抗网络的无监督图像超分辨率重建方法的网络框架。

图2是本发明中对图像I下采样后得到的一系列金字塔图像。

图3是本发明所设计的网络框架中第i个尺度的网络结构示意图。

图4是本文本发明对实例图像进行下采样得到的一系列金字塔图像，记为 I0，I1，I2，I3，I4。

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

步骤1：设待处理图像为I0，通过对I0进行下采样，得到一系列金字塔图像，分别记为 I1，I2，I3，I4。下采样方法为bicubic，In-1＝0.75*In。

In＝Downbicubic(I0)，n＝1，2，...，N

上图为本实例中通过下采样得到的金字塔图像，原始图像I0和I1，I2，I3，I4的尺寸如表2 所示。

表2金字塔图像尺寸

图像 尺寸 I₀ 256*256 I₁ 192*192 I₂ 144*144 I₃ 108*108 I₄ 81*81

步骤2：设计基于GAN(生成对抗网络)的无监督图像超分辨率重建网络，主要由N个尺度的生成对抗网络组成，每个生成对抗网络由生成器和判别器组成，生成器和判别器主要由卷积模块组成，卷积模块由卷积层和激活层组成。

生成器由卷积模块组成，分别为Conv_1，Conv_2，…，Conv_m。卷积模块由卷积层和激活层组成。第i个尺度网络参数设置如下：

表3生成器参数设置

判别器中，同样由卷积模块组成，如Conv_1，Conv_2，…，Conv_(m+N-i)。判别器用于区分输入图像真假。

表4判别器参数设置

在本发明公开的方法中，使用了一种新的损失函数对网络参数进行优化。使用一种新的损失函数对网络参数进行优化。设生成器输出的图像为G，设真实图像为I。传统的图像质量增强网络中，一般使用MSE损失，虽然容易得到较高的峰值信噪比(PSNR)，但容易引起图像的模糊，导致图像的高频细节缺失问题。故本发明使用了预训练V66网络来计算生成图像和高质量PN6图像之间的L1距离，记为lvgg，如下：

为获取较高的峰值信噪比(PSNR)，计算MSE损失，如下：

对抗损失用于提高判别器区分G与I。当判别器无法区分G与I时，说明生成器生成的图像G质量与I相当。对抗损失记为ladv，如下：

上式中，D表示判别器。

综上，本发明所提出的损失函数l记为：

l＝α·lvgg+β·lMSE+γ·ladv

上式中，α、β、γ分别表示lvgg、lMSE和ladv的超参数，用于调整lvgg、lMSE和ladv各自所占的比重，α＝0.1、β＝0.6、γ＝0.025。

步骤3：生成金字塔网络和参数初始化。设网络共有4个尺度，则网络的构成如下表：

表5金字塔网络

在每个尺度的生成器中，均采用了残差结构。即将与最后一个卷积模块输出相加，最为网络的最终输出。

步骤4：训练第4个尺度网络。

(1)从第4个尺度开始训练网络。首先将I4通过上采样生成和G3的尺寸一致。首先用过第4个尺度的生成器生成G3，将G3作为判别器的输入，输入到判别器网络中，判别器的网络来提取输入图像G3的特征，然后再将真实图像I3输入判别器网络中，通过最大化判别器的损失，来优化整个网络的参数。

(2)通过随机梯度下降，对损失函数求导并优化网络的参数，更新网络参数，使整个网络的损失不断减小，l＝α·lvgg+β·lMSE+γ·ladv，α、β、γ分别表示lvgg、lMSE和ladv的超参数，用于调整lvgg、lMSE和ladv各自所占的比重，α＝0.1、β＝0.6、γ＝0.025。。

(3)重复步骤(1)-(2)，达到网络训练的停止条件或者最大训练次数，完成网络的训练，保存训练好的模型。最大训练次数设置为1000。通过随机梯度下降，对损失函数求导并优化网络的参数，更新网络参数，使整个网络的损失不断减小。学习率r＝0.001。

步骤5：训练第i个尺度。

(1)在第i个尺度中，首先将上一个训练好的生成器生成结果Gi-1通过上采样生成和Ii-2的尺寸一致。首先用过第i个尺度的生成器生成Gi-2，将Gi-2作为判别器的输入，输入到判别器网络中，判别器的网络来提取输入图像Gi-2的特征，然后再将真实图像Ii-2输入判别器网络中，通过最大化判别器的损失，来优化整个网络的参数。

(2)通过随机梯度下降，对损失函数求导并优化网络的参数，更新网络参数，使整个网络的损失不断减小，l＝α·lvgg+β·lMSE+γ·ladv，α、β、γ分别表示lvgg、lMSE和ladv的超参数，用于调整lvgg、lMSE和ladv各自所占的比重。

(3)重复步骤(1)-(2)，达到网络训练的停止条件或者最大训练次数，完成网络的训练，保存训练好的模型。通过随机梯度下降，对损失函数求导并优化网络的参数，更新网络参数，使整个网络的损失不断减小。学习率r＝0.001。

步骤6：i＝i-1，重复步骤5，即训练下一尺度的网络。直至第1个尺度训练完成，保存第一个尺度训练好的模型。

步骤7：待处理图像为I，通过插值方法将I放大至相应倍数，记为将输入到第一个尺度的生成器中，即可完成相应放大倍数的图像超分辨任务。

以上是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所发明的特定实施例，并且对所发明的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。