生成对抗网络模型的训练方法、超分图像重建方法及设备与流程

1.本技术涉及图像处理技术领域，尤其涉及一种生成对抗网络模型的训练方法、超分图像重建方法及设备。

背景技术：

2.传统的超分图像重建方法对图像中所有的区域都是执行的相同的计算方式，很难在人眼感兴趣区域(前景区域)和背景区域都得到比较满意的结果。现有技术中，传统的超分辨率工作是通过堆叠网络算力来对前景区域(人眼感兴趣区域)进行重建增强。然而这种方式会造成对背景区域有“过生成”的问题，具体表现为背景平滑区域出现一些假的纹理，破坏了背景区域原有的平滑干净。

技术实现要素：

3.本技术实施例提供了一种生成对抗网络模型的训练方法、超分图像重建方法及设备，用以解决传统超分图像重建方法中重建效果不理想的问题。
4.第一方面，本技术实施例提供了一种生成对抗网络模型的训练方法，所述生成对抗网络模型包括生成网络和判别网络，所述方法包括：
5.获取训练样本集，所述训练样本集包括多个第一图像、所述多个第一图像分别对应的分割结果和所述多个第一图像分别对应的第二图像，一个第二图像对应的第一图像是对所述一个第二图像降采样得到的，所述分割结果用于分割所述第一图像的前景和背景；
6.将所述训练样本集中的所述第一图像、所述第一图像的分割结果输入生成网络，通过所述生成网络对所述第一图像中的前景进行特征增强处理得到前景增强后的所述第一图像，并对前景增强后的所述第一图像进行超分处理得到第一超分图像；
7.将所述第一超分图像和第二图像输入所述判别网络，通过所述判别网络输出判别结果，所述判别结果用于表征所述第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的概率；
8.根据所述第一超分图像和所述第二图像之间的比对结果以及所述概率构造第一损失函数，根据所述第一损失函数调整所述生成网络的网络参数；并根据所述概率构造第二损失函数，根据所述第二损失函数调整所述判别网络的网络参数，以获得所述生成对抗网络模型。
9.基于上述方案，通过将低分辨率图像的分割结果以及低分辨率图像输入生成对抗网络中，可以通过生成网络中的特征增强模块根据分割结果对低分辨率图像中的前景区域进行特征增强，进而使超分后的图像中前景区域的超分效果较好，并且不影响背景区域的超分效果。
10.一种可能的实现方式中，所述通过所述生成网络对所述第一图像中的前景进行特征增强处理得到前景增强后所述第一图像，并对前景增强后所述第一图像进行超分处理得到第一超分图像，包括：
11.通过生成网络对所述第一图像进行特征提取，以获得特征矩阵；
12.根据所述第一图像的分割结果对所述特征矩阵包括的所述第一图像的前景特征进行特征增强处理，以获得增强后的特征矩阵；
13.基于所述前景增强后的特征矩阵对所述第一图像进行上采样处理，使得所述生成网络输出所述第一图像对应的第一超分图像。
14.基于上述方案，通过在生成网络中设置特征增强模块，可以基于分割结果对第一图像的前景区域进行显示特征增强，使得超分后的图像中人比较关注的区域可以得到一个较为满意的超分效果，并且不影响背景区域的预定效果。
15.一种可能的实现方式中，所述根据所述第一超分图像和所述第二图像之间的比对结果以及所述概率构造第一损失函数，包括：
16.根据所述第一超分图像块与所述第二图像之间的比对结果确定均方损失函数；
17.根据所述第一超分图像对应的第一特征矩阵，以及所述第二图像对应的第二特征矩阵构造感知损失函数，所述第一特征矩阵通过卷积神经网络针对第一超分图像进行特征提取得到，所述第二特征矩阵通过所述卷积神经网络针对所述第二图像进行特征提取得到；
18.通过拉普拉斯算子对所述第一超分图像与所述第二图像进行处理得到处理后的第一超分图像和处理后的第二图像，并根据处理后的第一超分图像和处理后的第二图像构造高频损失函数；
19.根据所述概率构造对抗损失函数，将所述均方损失函数、所述感知损失函数、所述高频损失函数和所述对抗损失函数进行加权获得所述第一损失函数。
20.通过上述方案，本技术通过mse损失以及vgg损失对全图进行约束外，还对特定区域进行通过高频提取模块进行了约束，此外，本技术中，构建了全图的对抗损失，进而对图像中的每一个像素点都进行了约束，以提高生成网络的生成效果。
21.一种可能的实现方式中，所述方法还包括：所述均方损失函数满足如下公式所示的条件：
22.loss
l1
＝‖f
θ
(lr)-hr‖1；
23.其中，loss
l1
表示所述第均方损失函数，f
θ
(lr)表示所述生成网络输出的第一超分图像，hr表示所述第二图像，‖
·
‖1表示1-范数；
24.所述对抗损失函数满足如下公式所示的条件：
25.loss
adv
＝-log(1-d(hr，f
θ
(lr)))-log d(f
θ
(lr)，hr)；
26.其中，loss
adv
表示所述对抗损失函数，d(hr，f
θ
(lr)表示所述判别网络输出的第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的概率，所述d(f
θ
(lr)，hr)表示所述判别网络输出的所述第二图像包括的多个像素点分别被判定为所述第一超分图像对应位置的像素点的概率；
27.所述感知损失函数满足如下公式所示的条件：
28.loss
per
＝‖ψ(hr)-ψ(f
θ
(lr))‖；
29.其中，loss
per
表示所述感知损失函数，ψ(hr)表示所述第二特征矩阵，ψ(f
θ
(lr))表示所述第一特征矩阵，‖
·
‖表示范数；
30.所述高频损失函数足如下公式所示的条件：
31.loss
highfre
＝‖laplacian(f
θ
(lr))-laplacian(hr)‖1；
32.其中，loss
highfre
表示所述高频损失函数，laplacian表示拉普拉斯算子；
33.所述第一损失函数满足如下公式所示的条件：
34.loss
all
＝λ
l1
loss
l1
+λ
adv
loss
adv
+λ
per
loss
per
+λ
highfre
loss
highfre
；
35.其中，loss
all
表示所述第一损失函数，λ
l1
表示所述均方损失函数的权重系数，λ
adv
表示所述对抗损失函数的权重系数，λ
per
表示所述感知损失函数的权重系数，λ
highfre
表示所述高频损失函数的权重系数。
36.一种可能的实现方式中，所述方法还包括：所述第二损失函数满足如下公式所示的条件：
37.lossd＝-log(1-d(f
θ
(lr)，hr))-log d(hr，f
θ
(lr))；
38.其中，所述lossd表示所述第二损失函数，所述d(f
θ
(lr)，hr)表示所述判别网络输出的所述第二图像包括的多个像素点分别被判定为所述第一超分图像对应位置的像素点的概率，所述d(hr，f
θ
(lr)表示所述判别网络输出的第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的概率。
39.第二方面，本技术实施例提供了一种超分图像重建方法，包括：
40.获取待处理图像；根据分割模型对所述待处理图像进行图像分割，以获得所述待处理图像的分割结果；所述分割结果用于分割所述待处理图像的前景和背景；基于所述分割结果对所述待处理图像进行特征增强处理得到前景增强后的所述待处理图像，并对所述前景增强后的所述待处理图像进行超分处理，以获得目标分辨率的超分图像。
41.一种可能的实现方式中，所述基于所述分割结果对所述待处理图像的前景进行特征增强处理得到前景增强后的所述待处理图像，并对所述前景增强后的所述待处理图像进行超分处理，以获得目标分辨率的超分图像，包括：将所述待处理图像和所述待处理图像的分割结果输入生成对抗网络模型；通过所述生成对抗网络模型中的生成网络对所述待处理图像进行特征提取，以获得特征矩阵；根据所述待处理图像的分割结果对所述特征矩阵中所述待处理图像的前景进行特征增强处理，以获得前景增强后的所述待处理图像；对所述前景增强后的所述待处理图像进行上采样处理，使得所述生成网络输出所述待处理图像对应的目标分辨率的超分图像；其中，所述生成对抗网络模型是通过第一方面以及第一方面不同实现方式所述的生成对抗网络模型的训练方法训练得到的。
42.第三方面，本技术实施例提供了一种电子设备，包括存储器和处理器；所述处理器和所述存储器耦合；其中，所述存储器包括有程序指令，所述程序指令被所述处理器运行时，使得所述电子设备执行如第一方面、第二方面以及第一方面、第二方面不同实现方式所述的方法。
43.第四方面，本技术实施例提供了一种显示设备，包括：
44.控制器，被配置为执行第二方面以及第二方面不同实现方式所述的方法；
45.显示器，用于显示超分图像。
46.第五方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行第一方面、第二方面以及第一方面、第二方面不同实现方式所述的方法。
47.另外，第二方面至第五方面中任一种实现方式所带来的技术效果可参见第一方面
以及第一方面不同实现方式所带来的技术效果，此处不再赘述。
附图说明
48.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
49.图1为本技术实施例提供的一种显示设备的使用场景的示意图；
50.图2为本技术实施例提供的一种控制装置100的配置框图；
51.图3为本技术实施例提供的一种显示设备200的硬件配置框图；
52.图4为本技术实施例提供的一种终端设备的软件架构示意图；
53.图5a为本技术实施例提供的系统架构示意图；
54.图5b为本技术实施例提供的另一种系统架构示意图；
55.图6为本技术实施例提供的服务器电子设备结构示意图；
56.图7为本技术实施例提供的一种生成对抗网络模型的训练方法流程示意图；
57.图8为本技术实施例提供的第二图像的示意图；
58.图9为本技术实施例提供的第一图像的示意图；
59.图10为本技术实施例提供的第一图像的分割结果的示意图；
60.图11为本技术实施例提供的图像的裁剪示意图；
61.图12为本技术实施例提供的特征提取模块的示意图；
62.图13为本技术实施例提供的判别网络输出的判别结果的示意图；
63.图14为本技术实施例提供的一种超分图像重建方法的流程示意图；
64.图15为本技术实施例提供的一种生成对抗网络模型的训练装置示意图；
65.图16为本技术实施例提供的一种超分图像重建装置的示意图。
具体实施方式
66.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
67.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
68.需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
69.传统的人工智能超分辨率重建方法对图像中所有的区域都是执行的相同的操作。对人眼比较敏感的前景区域不做区分，造成这些区域超分后比较模糊。这种方法应用于实际情况时，背景区域可以的达到一个较为理想的结果，而人眼关注较多的目标区域超分后则不理想。生成式对抗网络可以一定程度提升超分后的表现，但是传统生成对抗网络中判别器输出为单一值，造成超分图像中存在一定伪像，从而降低超分的效果。
70.基于上述问题，本技术实施例提出了一种生成对抗网络模型的训练方法以及超分图像重建方法。本技术提供的超分图像的重建方法可以显式指出前景区域(目标区域)，并且可以通过生成对抗网络模型中的生成网络中的特征增强模块对这些目标区域进行特征调制，从而对目标区域特征进行显式增强。在超分后的图像中人比较关注的区域可以得到一个较为满意的超分效果，并且不影响背景区域的预定效果。另外，本技术中生成对抗模型中的判别网络的输出是一个和超分图像分辨率大小相同的特征图，可以增强对生成网络的约束，且并不会带来超分推理的算力增加。此外，在对生成网络进行参数调整时，引入了高频分量约束，可以对超分图像中高频区域进行惩罚，进而使图像纹理更加清晰。
71.下面对本技术实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本技术实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本技术实施例提供的技术方案。
72.本技术实施例提供超分图像重建方法可以由执行设备实现。一些实施例中，执行设备可以是终端设备。终端设备可以是具有显示功能的显示设备。显示设备可以包括：智能电视、手机、平板电脑等。另一些实施例中，执行设备可以是电子设备，电子设备可以由一个或者多个服务器来实现，服务器可以是本地的服务器或者云服务器。一些场景中，电子设备还可以执行本技术实施例中的生成对抗网络模型的训练方法。
73.如下以执行设备为显示设备为例来描述执行设备的结构以及应用场景。图1为实施例中显示设备的使用场景的示意图。如图1所示，显示设备200还可以与服务器400进行数据通信，用户可通过智能设备300或控制装置100操作显示设备200。一种可能的示例中，可由服务器400来执行生成对抗网络模型的训练方法，并提供给显示设备200，显示设备200来执行超分图像重建方法。另一种可能的示例中，可由服务器400以外的其它的服务器来执行生成对抗网络模型的训练方法，并提供给显示设备200。超分图像重建方法可以由服务器400执行，也可以由显示设备200执行。
74.在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式中的至少一种，通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令，来控制显示设备200。
75.在一些实施例中，智能设备300可以包括移动终端、平板电脑、计算机、笔记本电脑，ar/vr设备等中的任意一种。
76.在一些实施例中，也可以使用智能设备300以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。
77.在一些实施例中，也可以使用智能设备300和显示设备200进行数据的通信。
78.在一些实施例中，显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制，例如，可以通过显示设备200设备内部配置的获取语音指令的模块直接接
收用户的语音指令控制，也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
79.在一些实施例中，显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(lan)、无线局域网(wlan)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集，也可以是多个集，可以包括一类或多类服务器。
80.在一些实施例中，一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的，服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行，反之亦然。
81.图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示，控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用户与显示设备200之间交互中介作用。
82.在一些实施例中，通信接口130用于和外部通信，包含wifi芯片，蓝牙模块，nfc或可替代模块中的至少一种。
83.在一些实施例中，用户输入/输出接口140包含麦克风，触摸板，传感器，按键或可替代模块中的至少一种。
84.下面以显示设备200为例对实施例进行具体说明。应该理解的是，图3所示显示设备200仅是一个范例，并且显示设备200可以具有比图3中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
85.图3示出了根据示例性实施例中显示设备200的硬件配置框图。
86.在一些实施例中，显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
87.在一些实施例中控制器包括中央处理器，视频处理器，音频处理器，图形处理器，ram，rom，用于输入/输出的第一接口至第n接口。
88.在一些实施例中，显示器260包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自控制器输出的图像信号，进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控ui界面等。
89.在一些实施例中，显示器260可为液晶显示器、oled显示器、以及投影显示器中的至少一种，还可以为一种投影装置和投影屏幕。
90.在一些实施例中，调谐解调器210通过有线或无线接收方式接收广播电视信号，以及从多个无线或有线广播电视信号中解调出音视频信号，如以及epg数据信号。
91.在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如：通信器可以包括wifi模块，蓝牙模块，有线以太网模块等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
92.在一些实施例中，检测器230用于采集外部环境或与外部交互的信号。例如，检测器230包括光接收器(图中未示出)，用于采集环境光线强度的传感器；或者，检测器230包括图像采集器，如摄像头，可以用于采集外部环境场景、用户的属性或用户交互手势，再或者，检测器230包括声音采集器，如麦克风等，用于接收外部声音。
93.在一些实施例中，外部装置接口240可以包括但不限于如下：高清多媒体接口(hdmi)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(cvbs)、usb输入接口(usb)、rgb端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
94.在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。
95.在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器260上显示ui对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
96.在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。
97.在一些实施例中控制器包括中央处理器(central processing unit，cpu)，视频处理器，音频处理器，图形处理器(graphics processing unit，gpu)，ram random access memory，ram)，rom(read-only memory，rom)，用于输入/输出的第一接口至第n接口，通信总线(bus)等中的至少一种。
98.cpu处理器是显示设备200的控制中心，包括系统级芯片soc，如图3所示，用于执行存储在存储器中操作系统和应用程序指令，以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。cpu处理器，可以包括多个处理器。如，包括一个主处理器以及一个或多个子处理器。
99.在一些实施例中，图形处理器，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象；还包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
100.在一些实施例中，视频处理器，用于将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种，可得到直接可在显示设备200上显示或播放的信号。
101.在一些实施例中，视频处理器，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中，解复用模块，用于对输入音视频数据流进行解复用处理。视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的gui信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。帧率转换模块，用于对转换输入视频帧率。显示格式化模块，用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出rgb数据信号。
102.在一些实施例中，音频处理器，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理中的至少一种，得到可以在扬声器中播放的声音信号。
103.在一些实施例中，用户可在显示器260上显示的图形用户界面(gui)输入用户命令，则用户输入接口通过图形用户界面(gui)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
104.在一些实施例中，“用户界面”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic user interface，gui)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素中的至少一种。
105.在一些实施例中，用户接口280，为可用于接收控制输入的接口(如：显示设备本体上的实体按键，或其他等)。
106.在一些实施例中，显示设备的系统可以包括内核(kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构，它们让用户可以管理文件、运行程序并使用系统。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(ipc)。内核启动后，再加载shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
107.参见图4，在一些实施例中，将系统分为四层，从上至下分别为应用程序(applications)层(简称“应用层”)，应用程序框架(application framework)层(简称“框架层”)，安卓运行时(android runtime)和系统库层(简称“系统运行库层”)，以及内核层。
108.在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作系统自带的窗口(window)程序、系统设置程序或时钟程序等；也可以是第三方开发者所开发的应用程序。在具体实施时，应用程序层中的应用程序包不限于以上举例。
109.框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过api接口，可在执行中访问系统中的资源和取得系统的服务。
110.如图4所示，本技术实施例中应用程序框架层包括管理器(managers)，内容提供者(content provider)等，其中管理器包括以下模块中的至少一个：活动管理器(activity manager)用与和系统中正在运行的所有活动进行交互；位置管理器(location manager)用于给系统服务或应用提供了系统位置服务的访问；文件包管理器(package manager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(notification manager)用于控制通知消息的显示和清除；窗口管理器(window manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
111.在一些实施例中，活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序，
比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
112.在一些实施例中，系统运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作系统会运行系统运行库层中包含的c/c++库以实现框架层要实现的功能。
113.在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、wifi驱动、usb驱动、hdmi驱动、传感器驱动(如指纹传感器，温度传感器，压力传感器等)、以及电源驱动等。
114.本技术实施例中的显示设备200并不限定于智能电视，也可以为手机、平板电脑等电子设备。
115.如下以执行设备为电子设备为例来描述执行设备的结构以及应用场景。电子设备可以由一个或者多个服务器来实现。参见图5a所示，服务器500可以通过实体服务器实现，也可以通过虚拟服务器实现。服务器可以通过单个服务器实现，可以通过多个服务器组成的服务器集实现，可以通过单个服务器或者服务器集来实现本技术提供的生成对抗网络模型的训练方法或者超分图像重建方法。图5a中以服务器500与终端设备600以及显示设备200相连为例。服务器500可以执行生成对抗网络模型的训练方法。一些场景中，服务器500还可以接收终端设备600发送的超分图像重建任务，或者将超分图像发送至终端设备600。另一些场景中，服务器500还可以接收显示设备200发送的超分图像重建任务并执行超分辨率重建，或者将超分图像通过显示设备200显示出来。如图5b所示，以服务器500与显示设备200相连为例。服务器500可以执行生成对抗网络模型的训练方法。一些场景中，服务器500可以接收显示设备发送的超分图像重建任务，并根据超分图像重建任务进行图像重建。一种示例中，服务器500可以将超分图像发送至显示设备200，以使显示设备200显示接收到的图像。
116.电子设备也可以是个人计算机、手持式或膝上型设备、移动设备(比如移动电话、平板电脑、个人数字助理等等。
117.作为一种举例，参见图6所示，电子设备可以包括处理器510、通信接口520。电子设备还可以包括存储器530。当然电子设备中还可以包括其它的组件，图6中未示出。
118.通信接口520用于与显示设备进行通信，用于接收显示设备发送的超分图像重建任务，或者向电子设备发送超分图像。
119.在本技术实施例中，处理器510可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
120.处理器510是电子设备的控制中心，利用各种接口和路线连接电子设备的各个部分，通过运行或执行存储在存储器530内的软件程序/或模块，以及调用存储在存储器530内的数据，执行电子设备的各种功能和处理数据。可选地，处理器510可以包括一个或多个处理单元。处理器510，例如可以是处理器、微处理器、控制器等控制组件，例如可以是通用中央处理器(central processing unit，cpu)，通用处理器，数字信号处理(digital signal processing，dsp)，专用集成电路(application specific integrated circuits，asic)，
现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。
121.存储器530可用于存储软件程序以及模块，处理器510通过运行存储在存储器530的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器530可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。存储器530作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器530可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器530是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器530还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
122.需要说明的是，上述图1-6所示的结构仅是一种示例，本发明实施例对此不做限定。
123.本技术实施例提供了一种生成对抗网络模型的训练方法，图7示例性地示出了生成对抗网络模型的训练方法的流程，该流程可由执行设备执行，该执行设备可以是图6所示的电子设备，具体可以通过电子设备中的处理器510执行生成对抗网络模型的训练。具体流程如下：
124.701，获取训练样本集。
125.训练样本集包括多个第一图像、多个第一图像分别对应的分割结果和多个第一图像分别对应的第二图像，一个第二图像对应的第一图像是对一个第二图像降采样得到的，分割结果用于分割第一图像的前景和背景。其中，可以将div2k与flicker2k中的高分辨率图像作为第二图像，进而将第二图像进行降采样处理，以得到第一图像。
126.一些实施例中，降采样处理可以通过双三次插值算法(bicubic resize)实现。作为一种举例，可以将第二图像经过双三次插值算法将图像的分辨率进行缩放得到缩放后的低分辨率图像，即第一图像。例如，第二图像的分辨率为1920
×
1080，如图8所示。经过降采样处理后，可以获得下采样后的第一图像，第一图像的分辨率为480
×
270，如图9所示。进一步地，可以对第一图像进行分割，进而获得第一图像对应的分割结果，其中分割结果用于分割第一图像的前景和背景。前景和背景区域可以根据实际需求进行调整。作为一种举例，前景区域可以为第一图像中的人像、树、物品、动物等等，可以根据分割模型对第一图像进行图像分割以获得第一图像对应的分割结果。对第二图像进行降采样处理后得到的第一图像后，进一步地，可以根据分割模型deeplabv3对第一图像进行分割，以获得第一图像的分割结果，如图10所示。其中，黑部分表示第一图像中的前景区域，灰部分表示第一图像中的背景区域。可以理解的是，可以将div2k与flicker2k包括的多个高分辨率图像作为第二图像并进行上述处理，以得到多个第一图像以及多个第一图像分别对应的分割结果，进而将多个第一图像、多个第一图像分别的对应的分割结果以及多个第二图像作为训练样本
集。
127.一些实施例中，为了提高训练样本集中样本的多样性，还可以方通过如下方式获得训练样本集：将div2k与flicker2k中所有的高分辨率图像使用双三次插值算法将每个高分辨率图像的分辨率进行降采样处理。作为一种举例，可以将高分辨率图像的分辨率降采样至原来的1/4得到低分辨率图像，并通过deeplabv3对低分辨率图像进行图像分割以获得低分辨率图像的分割结果。进一步地，可以将每张高分辨率图像裁剪为相同大小图像块，将裁剪后的每个高分辨率图像块作为一个第二图像，并将每张低分辨率图像裁剪为相同大小的图像块，将裁剪后的每个低分辨率图像块作为一个第一图像。其中，在对高分辨率图像以及由高分辨率图像降采样获得的低分辨率图像进行裁剪时，高分辨率图像裁剪后获得的图像块与低分辨率图像裁剪后获得的图像块的个数相同。例如，可以将某一个高分辨率图像裁剪为p个图像块，则该高分辨率图像对应的低分辨率图像也裁剪为p个图像块，如图11所示。
128.例如，高分辨率图像的分辨率为2048
×
2048，可以将高分辨率裁剪为8个分辨率大小为256*256的图像块作为第二图像。将高分辨率图像的分辨率降采样至原来的1/4得到低分辨率图像，则低分辨率图像的分辨率为512
×
512。将低分辨率图像裁剪为8个分辨率大小为64
×
64的低分辨率图像块作为第一图像。
129.进一步地，可以将低分辨率的分割结果也裁剪为相同大小的分割图像块以获得第一图像对应的分割结果，接着上述举例，则第一图像对应的分割结果的分辨率为64*64。进而将通过上述方式获得的多个第一图像、多个第一图像分别对应的分割结果以及多个第二图像组成训练样本集。
130.一些场景中，在获得多个第一图像和多个第一图像分别对应的分割结果以及多个第二图像后，可以将第一图像、多个第一图像分别对应的分割结果以及多个第二图像进行随机反转折叠，以获得更多的图像。其中，一个样本集包括一个第一图像、该第一图像对应的分割结果以及第一图像对应的第二图像。在对图像进行随机反转折叠时，每个样本集需要进行相同的操作。例如，在对第一样本中的第一图像进行左右反转时，第一样本中的第一图像对应的分割结果以及第二图像也需要进行左右反转，以获得第二样本。
131.702，将训练样本集中的第一图像、第一图像的分割结果输入生成网络，通过生成网络对第一图像中的前景进行特征增强处理得到前景增强后的第一图像，并对前景增强后的第一图像进行超分处理得到第一超分图像。
132.一些实施例中，在将第一图像以及第一图像的分割结果输入生成网络后，可以通过生成网络对第一图像进行特征提取，以获得特征矩阵。根据第一图像的分割结果对特征矩阵中所述第一图像的前景进行特征增强处理，以获得前景增强后的第一图像。进一步地，可以对前景增强后的所述第一图像进行上采样处理，使得生成网络输出第一图像对应的第一超分图像。作为一种举例，生成网络可以由三部分组成：图像预处理模块、特征目标增强的特征提取模块以及上采样模块。具体地，图像预处理模块可以通过一个卷积层组成。特定目标增强的特征提取模块可以由多个特征增强模块组成，如图12所示。上采样模块，可以由resize和若干个卷积组成的。一些场景中，可以将所有卷积的卷积核大小设置为3，步长为1，激活层可以通过leakrelu函数实现。
133.例如，可以将第一图像以及第一图像的分割结果输入生成网络后，通过图像预处
fourier transform，fft)或者拉普拉斯(laplacian)算法)提取第二图像与生成网络输出的第一超分图像的高频区域，进而对高频区域进行针对性的约束。高频损失函数足如下公式所示的条件：
145.loss
highfre
＝‖laplacian(f
θ
(lr))-laplacian(hr)‖1；
146.其中，loss
highfre
表示高频损失函数，laplacian表示拉普拉斯算子。
147.一些实施例中，对抗损失函数满足如下公式所示的条件：
148.loss
adv
＝-log(1-d(hr，f
θ
(lr)))-log d(f
θ
(lr)，hr)；
149.其中，loss
adv
表示对抗损失函数，d(hr，f
θ
(lr)表示判别网络输出的第一超分图像包括的多个像素点分别被判定为第二图像对应位置的像素点的概率，d(f
θ
(lr)，hr)表示判别网络输出的第二图像包括的多个像素点分别被判定为第一超分图像对应位置的像素点的概率；
150.一些实施例中，第一损失函数满足如下公式所示的条件：
151.loss
all
＝λ
l1
loss
l1
+λ
adv
loss
adv
+λ
per
loss
per
+λ
highfre
loss
highfre
；
152.其中，loss
all
表示第一损失函数，λ
l1
表示均方损失函数的权重系数，λ
adv
表示对抗损失函数的权重系数，λ
per
表示感知损失函数的权重系数，λ
highfre
表示高频损失函数的权重系数。
153.一些实施例中，第二损失函数满足如下公式所示的条件：
154.lossd＝-log(1-d(f
θ
(lr)，hr))-log d(hr，f
θ
(lr))；
155.其中，lossd表示第二损失函数，d(f
θ
(lr)，hr)表示判别网络输出的第二图像包括的多个像素点分别被判定为第一超分图像对应位置的像素点的概率，d(hr，f
θ
(lr)表示判别网络输出的第一超分图像包括的多个像素点分别被判定为第二图像对应位置的像素点的概率。
156.一些场景中，可以根据第一损失函数确定生成网络的损失值，并根据第二损失函数确定判别网络的损失值。进而通过生成网络的损失值和判别网络的损失值分别对生成网络和判别网络的网络参数进行调整，进而获得生成对抗网络模型。具体地，可以将生成网络的损失值输入到adam优化器中，根据生成网络的损失值计算生成网络每个卷积层的每个卷积核的梯度，迭代更新生成网络每个卷积层的每个卷积核的权重400000代，得到训练好的生成网络。同理，可以将判别网络的损失值输入到adam优化器中，根据对抗网络的损失值计算对抗网络每个卷积层的每个卷积核的梯度，迭代更新对抗网络每个卷积层的每个卷积核的权重400000代，得到训练好的对抗网络。一些场景中，在更新生成网络与对抗网络的网络参数时，可以采用交替更新的方式。
157.基于上述方案，通过将低分辨率图像的分割结果以及低分辨率图像输入生成对抗网络中，可以通过生成网络中的特征增强模块根据分割结果对低分辨率图像中的前景区域进行特征增强，进而使超分后的图像中前景区域的超分效果较好，并且不影响背景区域的超分效果。
158.本技术实施例提供了一种超分图像重建方法，图14示例性地示出了超分图像重建方法的流程，该流程可由执行设备执行，该执行设备可以是图3所示的显示设备200，具体可以通过显示设备200中的控制器250执行超分图像的重建。或者，该执行设备可以是图6所示的电子设备，具体可以通过电子设备中的处理器510执行超分图像的重建。具体流程如下：
159.1401，获取待处理图像。
160.1402，根据分割模型对待处理图像进行图像分割，以获得待处理图像的分割结果。
161.一些实施例中，可以通过分割模型获得待处理图像的分割结果。分割结果用于分割待处理图像的前景和背景。一些场景中，可以通过不同需求对待处理图像进行不同的分割，以得到不同的分割结果。
162.1403，基于分割结果对待处理图像进行特征增强处理得到前景增强后的待处理图像，并对前景增强后的待处理图像进行超分处理，以获得目标分辨率的超分图像。
163.一些实施例中，可以将待处理图像和待处理图像的分割结果输入生成对抗网络模型。通过生成对抗网络模型中的生成网络对待处理图像进行特征提取，以获得特征矩阵。进一步地，可以根据待处理图像的分割结果对特征矩阵中待处理图像的前景进行特征增强处理，以获得前景增强后的待处理图像。进而可以对前景增强后的待处理图像进行上采样处理，使得生成网络输出待处理图像对应的目标分辨率的超分图像。其中，生成对抗网络模型为通过步骤701-704训练获得的生成对抗网络模型。
164.一些实施例中，上采样处理可以包括但不限于：像素重组、反卷积、resize+卷积等等，本技术对于上采样处理方法不作具体限定。
165.基于相同的技术构思，本技术实施例提供了一种生成对抗网络模型的训练装置1500，参见图15所示。该装置1500可以执行上述生成对抗网络模型的训练方法中的任一步骤，为了避免重复，此处不再赘述。该装置1500包括获取模块1501和处理模块1502。
166.所述获取模块1501，用于获取训练样本集，所述训练样本集包括多个第一图像、所述多个第一图像分别对应的分割结果和所述多个第一图像分别对应的第二图像，一个第二图像对应的第一图像是对所述一个第二图像降采样得到的，所述分割结果用于分割所述第一图像的前景和背景；
167.所述处理模块1502，用于将所述训练样本集中的所述第一图像、所述第一图像的分割结果输入生成网络，通过所述生成网络对所述第一图像中的前景进行特征增强处理得到前景增强后的所述第一图像，并对前景增强后的所述第一图像进行超分处理得到第一超分图像；
168.将所述第一超分图像和第二图像输入所述判别网络，通过所述判别网络输出判别结果，所述判别结果用于表征所述第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的概率；
169.根据所述第一超分图像和所述第二图像之间的比对结果以及所述概率构造第一损失函数，根据所述第一损失函数调整所述生成网络的网络参数；并根据所述概率构造第二损失函数，根据所述第二损失函数调整所述判别网络的网络参数，以获得所述生成对抗网络模型。
170.一种可能的实现方式中，所述处理模块1502，在通过所述生成网络对所述第一图像中的前景进行特征增强处理得到前景增强后所述第一图像，并对前景增强后所述第一图像进行超分处理得到第一超分图像时，具体用于：
171.通过生成网络对所述第一图像进行特征提取，以获得特征矩阵；
172.根据所述第一图像的分割结果对所述特征矩阵中所述第一图像的前景进行特征增强处理，以获得前景增强后的所述第一图像；
173.对所述前景增强后的所述第一图像进行上采样处理，使得所述生成网络输出所述第一图像对应的第一超分图像。
174.一种可能的实现方式中，所述处理模块1502，在根据所述第一超分图像和所述第二图像之间的比对结果以及所述概率构造第一损失函数时，具体用于：
175.根据所述第一超分图像块与所述第二图像之间的比对结果确定均方损失函数；
176.根据所述第一超分图像对应的第一特征矩阵，以及所述第二图像对应的第二特征矩阵构造感知损失函数，所述第一特征矩阵通过卷积神经网络针对第一超分图像进行特征提取得到，所述第二特征矩阵通过所述卷积神经网络针对所述第二图像进行特征提取得到；
177.通过拉普拉斯算子对所述第一超分图像与所述第二图像进行处理得到处理后的第一超分图像和处理后的第二图像，并根据处理后的第一超分图像和处理后的第二图像构造高频损失函数；
178.根据所述概率构造对抗损失函数，将所述均方损失函数、所述感知损失函数、所述高频损失函数和所述对抗损失函数进行加权获得所述第一损失函数。
179.一种可能的实现方式中，所述均方损失函数满足如下公式所示的条件：
180.loss
l1
＝‖f
θ
(lr)-hr‖1；
181.其中，loss
l1
表示所述第均方损失函数，f
θ
(lr)表示所述生成网络输出的第一超分图像，hr表示所述第二图像，‖
·
‖1表示1-范数。
182.一些实施例中，所述对抗损失函数满足如下公式所示的条件：
183.loss
adv
＝-log(1-d(hr，f
θ
(lr)))-log d(f
θ
(lr)，hr)；
184.其中，loss
adv
表示所述对抗损失函数，d(hr，f
θ
(lr)表示所述判别网络输出的第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的概率，所述d(f
θ
(lr)，hr)表示所述判别网络输出的所述第二图像包括的多个像素点分别被判定为所述第一超分图像对应位置的像素点的概率。
185.一些实施例中，所述感知损失函数满足如下公式所示的条件：
186.loss
per
＝‖ψ(hr)-ψ(f
θ
(lr))‖；
187.其中，loss
per
表示所述感知损失函数，ψ(hr)表示所述第二特征矩阵，ψ(f
θ
(lr))表示所述第一特征矩阵，‖
·
‖表示范数；
188.一些实施例中，所述高频损失函数足如下公式所示的条件：
189.loss
highfre
＝‖laplacian(f
θ
(lr))-laplacian(hr)‖1；
190.其中，loss
highfre
表示所述高频损失函数，laplacian表示拉普拉斯算子；
191.所述第一损失函数满足如下公式所示的条件：
192.loss
all
＝λ
l1
loss
l1
+λ
adv
loss
adv
+λ
per
loss
per
+λ
highfre
loss
highfre
；
193.其中，loss
all
表示所述第一损失函数，λ
l1
表示所述均方损失函数的权重系数，λ
adv
表示所述对抗损失函数的权重系数，λ
per
表示所述感知损失函数的权重系数，λ
highfre
表示所述高频损失函数的权重系数。
194.一种可能的实现方式中，所述第二损失函数满足如下公式所示的条件：
195.lossd＝-log(1-d(f
θ
(lr)，hr))-log d(hr，f
θ
(lr))；
196.其中，所述lossd表示所述第二损失函数，所述d(f
θ
(lr)，hr)表示所述判别网络输
出的所述第二图像包括的多个像素点分别被判定为所述第一超分图像对应位置的像素点的概率，所述d(hr，f
θ
(lr)表示所述判别网络输出的第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的概率。
197.基于相同的技术构思，本技术实施例提供了一种超分图像重建装置1600，参见图16所示。该装置1600可以执行上述超分图像重建方法中的任一步骤，为了避免重复，此处不再赘述。该装置1600包括获取模块1601和处理模块1602。
198.获取模块1601，用于获取待处理图像；
199.处理模块1602，用于根据分割模型对所述待处理图像进行图像分割，以获得所述待处理图像的分割结果；所述分割结果用于分割所述待处理图像的前景和背景；
200.基于所述分割结果对所述待处理图像进行特征增强处理得到前景增强后的所述待处理图像，并对所述前景增强后的所述待处理图像进行超分处理，以获得目标分辨率的超分图像。
201.一种可能的实现方式中，所述处理模块1602，在基于所述分割结果对所述待处理图像的前景进行特征增强处理得到前景增强后的所述待处理图像，并对所述前景增强后的所述待处理图像进行超分处理，以获得目标分辨率的超分图像时，具体用于：
202.将所述待处理图像和所述待处理图像的分割结果输入生成对抗网络模型；
203.通过所述生成对抗网络模型中的生成网络对所述待处理图像进行特征提取，以获得特征矩阵；
204.根据所述待处理图像的分割结果对所述特征矩阵中所述待处理图像的前景进行特征增强处理，以获得前景增强后的所述待处理图像；
205.对所述前景增强后的所述待处理图像进行上采样处理，使得所述生成网络输出所述待处理图像对应的目标分辨率的超分图像；
206.其中，所述生成对抗网络模型是通过上述生成对抗网络模型的训练方法训练得到的。
207.一些实施例中，所述装置还包括显示模块1603，所述显示模块1603，用于显示超分图像。
208.基于相同的技术构思，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行上述生成对抗网络模型的训练方法以及超分图像重建方法中的任一步骤。
209.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
210.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流
程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
211.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
212.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
213.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：

1.一种生成对抗网络模型的训练方法，其特征在于，所述生成对抗网络模型包括生成网络和判别网络，所述方法包括：获取训练样本集，所述训练样本集包括多个第一图像、所述多个第一图像分别对应的分割结果和所述多个第一图像分别对应的第二图像，一个第二图像对应的第一图像是对所述一个第二图像降采样得到的，所述分割结果用于分割所述第一图像的前景和背景；将所述训练样本集中的所述第一图像、所述第一图像的分割结果输入生成网络，通过所述生成网络对所述第一图像中的前景进行特征增强处理得到前景增强后的所述第一图像，并对前景增强后的所述第一图像进行超分处理得到第一超分图像；将所述第一超分图像和第二图像输入所述判别网络，通过所述判别网络输出判别结果，所述判别结果用于表征所述第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的概率；根据所述第一超分图像和所述第二图像之间的比对结果以及所述概率构造第一损失函数，根据所述第一损失函数调整所述生成网络的网络参数；并根据所述概率构造第二损失函数，根据所述第二损失函数调整所述判别网络的网络参数，以获得所述生成对抗网络模型。2.如权利要求1所述的方法，其特征在于，所述通过所述生成网络对所述第一图像中的前景进行特征增强处理得到前景增强后所述第一图像，并对前景增强后所述第一图像进行超分处理得到第一超分图像，包括：通过生成网络对所述第一图像进行特征提取，以获得特征矩阵；根据所述第一图像的分割结果对所述特征矩阵包括的所述第一图像的前景特征进行特征增强处理，以获得增强后的特征矩阵；基于所述前景增强后的特征矩阵对所述第一图像进行上采样处理，使得所述生成网络输出所述第一图像对应的第一超分图像。3.如权利要求1所述的方法，其特征在于，所述根据所述第一超分图像和所述第二图像之间的比对结果以及所述概率构造第一损失函数，包括：根据所述第一超分图像块与所述第二图像之间的比对结果确定均方损失函数；根据所述第一超分图像对应的第一特征矩阵，以及所述第二图像对应的第二特征矩阵构造感知损失函数，所述第一特征矩阵通过卷积神经网络针对第一超分图像进行特征提取得到，所述第二特征矩阵通过所述卷积神经网络针对所述第二图像进行特征提取得到；通过拉普拉斯算子对所述第一超分图像与所述第二图像进行处理得到处理后的第一超分图像和处理后的第二图像，并根据处理后的第一超分图像和处理后的第二图像构造高频损失函数；根据所述概率构造对抗损失函数，将所述均方损失函数、所述感知损失函数、所述高频损失函数和所述对抗损失函数进行加权获得所述第一损失函数。4.如权利要求3所述的方法，其特征在于，所述均方损失函数满足如下公式所示的条件：loss
l1
＝||f
θ
(lr)-hr||1；其中，loss
l1
表示所述均方损失函数，f
θ
(lr)表示所述生成网络输出的第一超分图像，hr表示所述第二图像，||
·
||1表示1-范数；
所述对抗损失函数满足如下公式所示的条件：loss
adv
＝-log(1-d(hr，f
θ
(lr)))-log d(f
θ
(lr)，hr)；其中，loss
adv
表示所述对抗损失函数，d(hr，f
θ
(lr)表示所述判别网络输出的第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的概率，所述d(f
θ
(lr)，hr)表示所述判别网络输出的所述第二图像包括的多个像素点分别被判定为所述第一超分图像对应位置的像素点的概率；所述感知损失函数满足如下公式所示的条件：loss
per
＝||ψ(hr)-ψ(f
θ
(lr))||；其中，loss
per
表示所述感知损失函数，ψ(hr)表示所述第二特征矩阵，ψ(f
θ
(lr))表示所述第一特征矩阵，||
·
||表示范数；所述高频损失函数足如下公式所示的条件：loss
highfre
＝||laplacian(f
θ
(lr))-laplacian(hr)||1；其中，loss
highfre
表示所述高频损失函数，laplacian表示拉普拉斯算子；所述第一损失函数满足如下公式所示的条件：loss
all
＝λ
l1
loss
l1
+λ
adv
loss
adv
+λ
per
loss
per
+λ
highfre
loss
highfre
；其中，loss
all
表示所述第一损失函数，λ
l1
表示所述均方损失函数的权重系数，λ
adv
表示所述对抗损失函数的权重系数，λ
per
表示所述感知损失函数的权重系数，λ
highfre
表示所述高频损失函数的权重系数。5.如权利要求1所述的方法，其特征在于，所述方法还包括：所述第二损失函数满足如下公式所示的条件：loss
d
＝-log(1-d(f
θ
(lr)，hr))-log d(hr，f
θ
(lr))；其中，所述loss
d
表示所述第二损失函数，所述d(f
θ
(lr)，hr)表示所述判别网络输出的所述第二图像包括的多个像素点分别被判定为所述第一超分图像对应位置的像素点的概率，所述d(hr，f
θ
(lr)表示所述判别网络输出的第一超分图像包括的多个像素点分别被判定为所述第二图像对应位置的像素点的概率。6.一种超分图像重建方法，其特征在于，包括：获取待处理图像；根据分割模型对所述待处理图像进行图像分割，以获得所述待处理图像的分割结果；所述分割结果用于分割所述待处理图像的前景和背景；基于所述分割结果对所述待处理图像进行特征增强处理得到前景增强后的所述待处理图像，并对所述前景增强后的所述待处理图像进行超分处理，以获得目标分辨率的超分图像。7.如权利要求6所述的方法，其特征在于，所述基于所述分割结果对所述待处理图像的前景进行特征增强处理得到前景增强后的所述待处理图像，并对所述前景增强后的所述待处理图像进行超分处理，以获得目标分辨率的超分图像，包括：将所述待处理图像和所述待处理图像的分割结果输入生成对抗网络模型；通过所述生成对抗网络模型中的生成网络对所述待处理图像进行特征提取，以获得特征矩阵；根据所述待处理图像的分割结果对所述特征矩阵中所述待处理图像的前景进行特征
增强处理，以获得前景增强后的所述待处理图像；对所述前景增强后的所述待处理图像进行上采样处理，使得所述生成网络输出所述待处理图像对应的目标分辨率的超分图像；其中，所述生成对抗网络模型是通过权利要求1-5任一项所述的生成对抗网络模型的训练方法训练得到的。8.一种电子设备，其特征在于，包括存储器和处理器；所述处理器和所述存储器耦合；其中，所述存储器包括有程序指令，所述程序指令被所述处理器运行时，使得所述电子设备执行如权利要求1-7任一项所述的方法。9.一种显示设备，其特征在于，包括：控制器，被配置为执行权利要求6或7所述的方法；显示器，用于显示超分图像。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1-7任一项所述的方法。

技术总结

本申请公开了一种生成对抗网络模型的训练方法、超分图像重建方法及设备，用以解决传统超分图像重建方法中重建效果不理想的问题。该方法包括：获取训练样本集，将训练样本集中的第一图像、第一图像的分割结果输入生成网络，通过生成网络对第一图像中的前景进行特征增强处理得到前景增强后的第一图像，并对前景增强后的第一图像进行超分处理得到第一超分图像；将第一超分图像和第二图像输入判别网络，通过判别网络输出判别结果，根据第一超分图像和第二图像之间的比对结果以及判别结果构造第一损失函数，根据第一损失函数调整生成网络的参数；并根据判别结果构造第二损失函数，根据第二损失函数调整判别网络的参数，以获得生成对抗网络模型。获得生成对抗网络模型。获得生成对抗网络模型。