王富平1,2+，李文楼2，刘
颖1,2,3，卢
津1,2，公衍超1,2
1.西安邮电大学电子信息现场勘验应用技术公安部重点实验室，西安710121
2.西安邮电大学图像与信息处理研究所，西安710121 引道结构图
3.陕西省无线通信与信息处理技术国际合作研究中心，西安710121+通信作者E-mail:***************摘
要：针对任意形状遮挡下人脸修复，现有方法容易产生边缘模糊和恢复结果失真等问题。提出了一种结
合边缘信息和门卷积的人脸修复算法。首先，通过先验人脸知识产生遮挡区域的边缘图，以约束人脸修复过程。其次，利用门卷积在部分像素缺失下的精确局部特征描述能力，设计面向图像修复的门卷积深度生成对抗网络（GAN ）。该模型由边缘连接生成对抗网络和图像修复生成对抗网络两部分组成。边缘连接网络利用二值遮挡图和待修复图像及其边缘图的多源信息进行训练，实现对缺失边缘图像的自动补 全和连接。图像修复网络以补全的边缘图为引导信息，联合遮挡图像进行缺失区域修复。实验结果表明：相比其他算法，该算法修复效果更好，其评价指标比当前基于深度学习的图像修复算法更优。关键词：人脸修复；Canny 边缘；门卷积；深度学习；生成对抗网络（GAN ）文献标志码：A
中图分类号：TP391
Face Inpainting Algorithm Combining Edge Information with Gated Convolution
WANG Fuping 1,2+,LI Wenlou 2,LIU Ying 1,2,3,LU Jin 1,2,GONG Yanchao 1,2
1.Key Laboratory of Electronic Information Application Technology for Crime Scene Investigation,Ministry of Public Security,Xi an University of Posts and Telecommunications,Xi an 710121,China
2.Center for Image and Information Processing,Xi an University of Posts and Telecommunications,Xi an 710121,China
3.International Joint Research Center for Wireless Communication and Information Processing Technology,Shaanxi Province,Xi an 710121,China
Abstract:For the face inpainting under arbitrary shape occlusion,the existing methods are easy to produce edge blur and distortion of the inpainting results.In this paper,an algorithm for face inpainting combining edge information with gated convolution is proposed.Firstly,the edge image of occluded area is generated by prior face knowledge to constrain the process of face inpainting.Secondly,the gated convolution holds the ability to extract accurate local feature in the absence of some pixels,and a gated convolution-based generative adversarial network (GAN)for image inpainting is designed.The model consists of two parts:edge connection GAN and image inpainting GAN.The edge connection network uses the binary occlusion image,the image to be repaired and its edge image for training,and realizes the automatic completion and connection of the missing edge image.The image inpainting
计算机科学与探索
1673-9418/2021/15(01)-0150-13doi:10.3778/j.issn.1673-9418.2001035
开放科学(OSID)
基金项目：国家自然科学基金青年科学基金项目（61802305，61801381）；陕西省教育厅专项科研计划项目（18JK0721，19JK0810）。This work was supported by the Youth Program of National N
atural Science Foundation of China (61802305,61801381)and the Scien-tific Research Program of Education Department of Shaanxi Province (18JK0721,19JK0810).收稿日期：2020-01-13
修回日期：2020-04-03
Journal of Frontiers of Computer Science and
Technology
王富平等：结合边缘信息和门卷积的人脸修复算法
人脸比对检索是公安刑侦案件分析的重要手段，但由于监控视频采集时人物非接触不配合特性和嫌疑人的反侦察意识很强等因素，导致监控视频中抓拍的人脸往往存在遮挡现象，比如戴眼镜，帽子或者口罩等。由于面部信息的不完整，给公安干警的工作带来很大困难。此外，在身份认证、人脸识别、应用软件、门禁系统等方面都需要完整且合理的人脸信息。而人脸图像修复通过利用图像中有用信息对遮挡区域进行填充，使修复后人脸图像在视觉内容上接近完整人脸。人脸修复技术通过对遮挡区域
填充颜和纹理等信息，缓解实际中由于人脸遮挡而导致的比对和识别正确率低的不足，对人脸表情识别[1]、人脸表情数据增强[2]等具有重要的意义。
人脸图像修复是图像修复方法的具体应用。早期的图像修复算法利用扩散方程沿遮挡边界将低层特征从已知区域迭代传播到未知区域，但仅适用于恢复尺寸较小且较均匀的区域遮挡[3]。Barnes等[4]提出一种高效的块匹配算法，显著提高了恢复图像的完整性。当源图像中有相似块时该方法恢复效果较好，但当源图像中不包含未知区域内相似块时，会出现纹理和结构修复错乱的情况。为了更充分利用已知区域信息进行图像修复，He等[5]提出的统计块概率修复方法，通过计算块的概率填充空白区域实现较大面积的图像修复。Bertalmío等[6]通过引入纹理合成来进一步改善修复效果。
随着深度学习和生成对抗网络[7]的兴起，众多基于深度学习技术的图像修复方法被提出。Iizuka等[8]提出了一种具有全局和局部一致性的全卷积图像修复网络。该网络能够修复图像中的大面积区域遮挡，但是由于遮挡面积过大，难以有效提取有效特征，使得修复的图像纹理结构不自然。为了得到更符合图像语义的修复图像，Li等[9]提出了一种基于深度生成网络的图像补全模型。算法使用生成网络合成残缺部分以实现遮挡部分的整体修复。然而，由于没有利用相对更远位置的像素信息，导致其修复区域存在模糊和语义不正确的现象。Yu等[10]提出了一种端到端的图像修复模型，其采用叠加生成网络以确保生成区域与周围环境颜和纹理一致。此外，为了合理运用大尺度空间内的像素信息，上下文注意模块被应用到网络中，实现对更大局部区域图像特征信息的有效提取。虽然这些方法针对矩
形区域遮挡具有良好的修复效果，但仍无法实现对任意形状遮挡区域的修复。
普通卷积被用于遮挡图像修复时存在局限性。为了实现对任意形状遮挡的准确修复，Liu等[11]提出部分卷积技术，其利用二值掩码来控制卷积计算，以提取有效像素特征。同时通过掩码更新机制产生高质量掩码，从而提高图像修复质量。但由于每层中所有通道共享相同的遮挡，使得特征提取不够灵活。Yu等[12]提出了基于门卷积的图像修复深度网络。该网络通过自学习以区分有效像素和无效像素，提高了修复区域和非遮挡区域的颜一致性，使修复图像更加符合真实结构。众所周知，图像中边缘细节特征包含丰富的图像内容信息，且边缘两边的图像强度值明显不同。该方法由于没有充分考虑到边缘特征，导致所修复边缘与临近像素颜融合，从而产生边缘模糊现象。Nazeri等[13]提出了边缘连接模型，通过边缘生成器获取图像边缘信息，从而解决了边缘模糊的问题。
为了满足图像修复工作多样化和个性化的需求，Jo等[14]提出了一种图像编辑系统，该系统由一个端到端可训练的卷积网络组成，通过用户输入自由形式遮挡、草图和颜信息，并将它们用作生成图像的准则，从而指导图像完全按照用户需求完成图像的修复工作。Xiong等[15]提出了一种前景感知的图像修复系统，该模型先学习预测前景轮廓，然后以预测的轮廓为指导修补缺失区域。该方法通过轮廓完成网络预测出物体的整体轮廓，利用轮廓信息的引导，进一步提高了图像修复的性能。Zheng等[16]提出了一种多元图像完成的方法，该方法采用基于概率原
GAN takes the completed edge image as the guidance information,and combines the occlusion image to repair the missing area.The experimental results show that the inpainting effect of this algorithm is better than that of other algorithms,and its evaluation indicators are better than those of the current image inpainting algorithms based on deep learning.
Key words:face inpainting;Canny edge;gated convolution;deep learning;generative adversarial network(GAN)
151
Journal of Frontiers of Computer Science and Technology计算机科学与探索2021,15(1)
理的两个并行路径框架——重建路径和生成路径，
同时还有一个短距加长距的注意层，在实现图像修
复生成多个和多样的修复结果的同时提高了外观的
一致性。Yang等[17]提出了关键点指导的生产性图像
修补器，该网络由人脸关键点预测子网和图像修补子
网组成，通过采用人脸关键点作为结构监督信息，从
而保持眼睛、鼻子、嘴巴间的拓扑结果，以及姿态、性
别、种族和表情等属性的一致性。
为了解决图像修复中边缘模糊和特征提取精度
不足的问题，本文提出了结合边缘信息和门卷积的
人脸修复算法。算法结合了边缘信息和门卷积操
作，使修复图像在边缘、图像结构和彩一致性方面
的表现更佳。其中边缘生成网络提供精确边缘信
息，而图像修复网络则利用边缘信息和门卷积填充
缺失区域的精细细节，从而产生边缘清晰、结构合理
的高质量修复效果。
1算法描述
1.1面向图像修复的门卷积模块拉丝模激光打孔机
Liu等[11]和Yu等[12]证明了普通卷积在修复任意
形状遮挡图像时存在局限性。普通卷积以滑动窗口
的方式提取局部特征，其认为窗口内所有像素都是
有效的。然而，对于图像修复而言，当窗口位于遮挡
边界时，卷积窗口像素由非遮挡区域的有效像素和
遮罩区域内的无效像素组成。因此，传统卷积会导
致训练过程中的信息模糊和视觉伪影。
Liu等[11]提出了基于部分卷积操作，其利用二值
掩码控制有效卷积区域，使卷积仅依赖于有效像
锅巴生产设备素。部分卷积操作如式（1）所示：
x′=ì
í
î
ï
ï
W T(X☉M)
sum(1)
sum(M)+b,sum(M)>0
0,sum(M)≤0（1）
其中，W是卷积滤波器的权重，b是偏差。X是当前卷积（滑动）窗口的特征值（像素值），M为对应的二值掩码图，1表示该位置像素有效，0表示像素无效，
sum代表求和操作，☉表示对应位置元素相乘。每次部分卷积操作之后，通过式（2）更新掩码图M：m′={1,sum(M)>0
0,sum(M)≤0（2）其中，m′是更新后的掩码值，更新掩码规则为：如果原掩码区中存在至少一个有效值，则将所有位置标记为有效。
虽然部分卷积可以缓解边缘模糊的不足，但仍然存在一些问题。首先，部分卷积操作中将所有空间位置直接分类为有效或无效硬遮挡，该方法难以适用于边缘像素的恢复，会导致遮挡区域边缘产生模糊现象。其次，每层中所有通道共享相同的遮挡，无法对每个通道的遮挡灵活处理。
Yu等[12]提出利用门卷积模块自动从数据中学习软遮挡，动态地识别图像中有效像素位置，且能很好地处理遮挡和非遮挡区域的过渡。门卷积操作可表示为式（3）：
ì
í
î
ïï
ïï
Gating
y,x=
∑∑W g∙I
Feature
y,x=
∑∑W f∙I
O
y,x=ϕ(Feature y,x)☉σ(Gating y,x)
（3）
其中，σ表示sigmoid激活函数，ϕ可以是任意激活
函数（ReLU或LeakyReLU），W
g
和W
f
表示不同的线性卷积滤波器。Gating卷积和sigmoid激活函数实现动态特征选择；Feature卷积和LeakyReLU激活函数实现特征提取，通过两部分的点乘更有效地选择和提取图像中的有用信息。门卷积特有的像素选择性，使得其能适应更大尺度下和部分像素缺失下的精确局部特征描述。普通卷积和门卷积如图1所示。
1.2生成对抗网络
生成对抗网络（generative adversarial network，GAN）的核心思想是“零和博弈”[18-19]，其目标函数如式（4）：min G max D V(D,G)=E x~P data(x)[lg D(x)]+
E
z~P
z(z)
[lg(1-D(G(z)))]（4）GAN模型主要由两部分组成：第一部分是图像生成网络G（Generator），其通过输入一组无序随机的噪声z来尽可能产生逼真样本；第二部分是鉴别图像真伪的鉴别网络D（Discriminator），其通过对生成网络产生的图像x进行鉴别并更新鉴别网络参数，以加强对网络鉴别能力。生成网络的目标函数是最小化生成图像与真实图像的差距，以提高生成样本的质量，而鉴别网络则最大化生成图像与真实图像的差距，以提升鉴别网络的判断准确度。GAN模型如图2所示。
1.3边缘连接网络
边缘连接GAN由生成器网络G1和鉴别器网络D1组成，如图3所示。网络G1的输入由遮挡区域二值图、遮挡图像及其边缘图按通道维度进行级联组
152
王富平等：结合边缘信息和门卷积的人脸修复算法
成。通过多层卷积和标准化处理，对不同源信息进行学习和融合，以提取深层次的边缘纹理结构信息，最终生成遮挡区域的修复边缘图。为了提取深层次的边缘纹理特征，在多层卷积和多层反卷积之间增加了残差网络[20]，避免了由于网络深度过深而导致的梯度弥散问题。
网络D1是鉴别边缘准确性的鉴别网络，通过学习不断优化模型参数以提升对网络G1所生成的边缘图像的鉴别能力。网络D1利用Canny边缘检测器提取图像的边缘特征，将其作为鉴别器学习的正样本。然后，通过对网络G1生成的负样本和Canny边缘特征进行融合，以提升鉴别器D1的鉴别能力，同时可以监督网络G1生成更符合原图边缘信息的边缘图像。
在边缘连接网络模型的训练中，通过反向传播更新G1和D1的参数。在两者相互对抗中，G1生成边缘的能力伴随着D1鉴别能力的提升不断加强。网络D1通过对网络G1生成的边缘和Canny边缘进行多尺度特征匹配[21]以产生最优相似度度量函数，确保网络G1产生的修复人脸边缘图尽可能逼近于理想Canny边缘图。
生成器G1由3个卷积层、8个残差块、3个反卷积层级联而成。其中卷积层的卷积核大小依次是7×7，4×4，4×4，而反卷积层则镜像设置，且都进行频谱归一化处理和激活函数ReLU。鉴别器D1中包含5个卷积层，卷积核大小均为4×4，都进行频谱归一化处理和激活函数为LeakyReLU。
1.4图像修复网络
图像修复GAN由生成器G2和鉴别器D2组成，如图4所示。其中生成器网络G2的输入由遮挡图像和边缘连接网络产生的边缘图级联组成。该网络利用门卷积来提取输入图像特征，通过参数动态学习实现对有效区域和遮挡区域的动态区分，
从而减少
Fig.3Edge connect GAN
图3模锻锤
边缘连接生成对抗网络
Fig.1Structure of traditional convolution and gated convolution
图1
普通卷积与门卷积的框架结构
Fig.2Classic GAN model
图2经典的GAN模型
153
Journal of Frontiers of Computer Science and Technology 计算机科学与探索2021,15(1)
了遮挡区域对图像修复的不利影响，使修复图像的颜和结构更合理。网络G 2由多层门卷积、门卷积构成的残差网络和多层门反卷积构成，其利用深层神经网络学习遮挡人脸特征的精确表达。而且，人脸边缘图包含人脸精细结构，用以引导网络G 2在边缘两侧不同区域修复出不同结构和颜信息。网络G 2可将正确的人脸结构特征填充在合理的位置，避免了边缘模糊的现象。
网络D 2是图像修复网络中的鉴别器，其通过不断比对并更新鉴别器参数来提升对网络G 2所生成的修复图像的鉴别能力。网络D 2模型中利用预训练的VGG 模型[22]进行分类鉴别，
并为网络G 2提供用于参数更新的梯度矩阵。该网络模型训练中以真实图像为标签，使产生的修复图像与真实图像的内容和结构更加近似。
Attention 方法[10]的损失函数为空间衰减的ℓ1重
建损失和WGAN-GP （Wasserstein generative adversarial networks-gradient penalty ）损失，使鉴别器在训练过程中稳定快速地收敛；GatedConv 方法[12]为了训练自由形式的修复网络，用ℓ1重建损失和SN-PatchGAN 损失作为其损失函数，实现深度网络的快速训练。与这两种方法不同，本文图像修复网络的优化函数由ℓ1重建损失、对抗损失、感知损失[23-24]和风格损失[25]组成。
感知损失利用预训练的网络激活图来定义距离度量，进而惩罚在感知上与标签不相似的结果。感知损失将生成问题看作是变换问题，使生成图像更加依赖输入条件，从而更好地利用输入边缘信息对生成图像进行约束。风格损失利用gram 矩阵计算生成图像与标准图像特征之间的协方差矩阵，通过比较特征之间的相关性，提升生成图像的整体效果。图像修复网络属于有条件的生成对抗网络，
G 2利用条件信息生成修复图像，D 2对G 2修复图像进行鉴别，两者的特有能力在对抗中不断提升。为了更好地利用输入的条件信息，门卷积利用可学习参数区分非遮挡区域和遮挡区域，进而基于门卷积对每个通道和每个空间位置的动态特征选择机制实现对局部特征的精确描述。门卷积中包含两个卷积操作，分别实现特征提取和动态特征选择。动态特征选择利用Sigmoid 函数两端平滑的特性对特征进行权重衡量，针对有用信息权重较大，从而降低遮挡区域对特征提取的干扰。门卷积通过精确地学习局部特征对遮挡区域进行填充，从而提升修复质量。
生成器G 2由3个门卷积层、
8个残差块和3个门反卷积层级联而成。其中门卷积层的卷积核大小依次是7×7，4×4，4×4，而门反卷积层则镜像设置，激活函数为ReLU 。鉴别器D 2中包含5个卷积层，卷积核大小均为4×4，都进行频谱归一化处理和激活函数为LeakyReLU 。
沙画工具1.5结合边缘信息和门卷积的人脸修复模型
本文提出的人脸图像修复模型由边缘连接生成
对抗网络和图像修复生成对抗网络组合产生，如图5所示。本文利用CelebA 人脸图像和随机产生的遮挡二值图作为该模型的训练数据。遮挡人脸修复模型的训练共分为三个步骤：首先，以未遮挡人脸图像的Canny 边缘为标签，通过训练边缘连接GAN 模型，使G 1生成完整的修复边缘图；其次，利用未遮挡人脸图
像的Canny 边缘和被遮挡的人脸图作为输入，对图像修复GAN 模型进行训练，使G 2产生遮挡区域修复后的精确人脸图像；最后，将边缘连接GAN 的生成器G 1和图像修复GAN 的生成器G 2进行级联，
以遮挡
Fig.4Image inpainting GAN 图4
图像修复生成对抗网络
154丙酮回收
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议