一种人脸活体判别方法、系统、装置和存储介质

1.本发明涉及图像处理领域，尤其涉及一种人脸活体判别方法、系统、装置和存储介质。

背景技术：

2.目前人脸识别技术因其便利性，被广泛应用于智慧安防，智能家居，金融支付等领域。然而，由于人脸信息易获取，不法分子可以通过纸张打印，电子屏幕翻拍，甚至三维打印等物理的方式重现授权人脸图像，从而轻易绕过人脸识别系统，这种相对低成本的欺骗手段给人脸识别系统带来严重安全隐患。为辨别人脸图像真伪、确保系统安全，人脸活体判别技术成为业界关注的焦点。
3.人脸识别系统应用大多面向社区门禁，智能门锁等边端嵌入式硬件平台，计算芯片性能、功耗和存储空间有限，对算法模型的参数量以及计算复杂度均有严格限制，设备端难以部署复杂的活体判别算法模型。其次，在图像采集设备端，虽然引入基于结构光或激光散斑的深度相机可以有效帮助抵御打印和电子显示等平面攻击方式，但考虑到深度相机较高的器件成本，目前基于单目红外摄像的图像采集方案依然被广泛采用，如何在有限的计算资源，基于单帧图像充分挖掘人脸局部信息、背景区域信息以及人脸和上下文背景的相对关系信息，对于替身单目活体判别任务有着重要意义。

技术实现要素：

4.为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种人脸活体判别方法、系统、装置和存储介质。
5.本发明所采用的技术方案是：一种人脸活体判别方法，包括以下步骤：获取待判别的目标图像，获取所述目标图像的人脸检测框；根据所述人脸检测框从所述目标图像中获取第一人脸图像和第二人脸图像；其中，第一人脸图像为不包含背景的人脸图像，第二人脸图像为包含背景的人脸图像；将所述第一人脸图像输入第一人脸活体判别模型，获得第一特征和第一输出结果；将所述第二人脸图像输入第二人脸活体判别模型，获得第二特征和第二输出结果；将所述第一特征和所述第二特征拼接后输入融合权重预测子模型，获得两个人脸活体判别模型的融合权重；根据所述融合权重、第一输出结果和第二输出结果获取人脸活体判别的最终输出结果。
6.进一步地，所述根据所述人脸检测框从所述目标图像中获取第一人脸图像和第二人脸图像，包括：
根据所述人脸检测框从所述目标图像中裁剪出第一人脸图像；对所述人脸检测框进行放大处理，获得第二检测框；根据第二检测框从所述目标图像中裁剪出第二人脸图像。
7.进一步地，所述第一人脸活体判别模型和所述第二人脸活体判别模型的基础框架相同，且均为轻量级网络模型；人脸活体判别模型通过堆叠多个moblienetv2的invert residual block构成。
8.进一步地，所述第一人脸活体判别模型和所述第二人脸活体判别模型通过以下方式进行训练：在第一人脸活体判别模型和所述第二人脸活体判别模型的中间层的输出端插入点卷积层、批量归一化层、线性整流层、以构建像素级分类器；根据训练集获取人脸图像和包含背景的人脸图像，根据建像素级分类器分别生成人脸图像和包含背景的人脸图像的像素级分类标签；在所述第一人脸活体判别模型和第二人脸活体判别模型中插入像素级分类损失，并与focal loss共同构成目标损失函数；根据二分类标签和所述像素级分类标签优化所述目标损失函数，根据目标损失函数训练所述第一人脸活体判别模型和所述第二人脸活体判别模型。
9.进一步地，所述像素级分类标签的生成过程，包括：对于人脸图像的像素级分类标签：构建与所述像素级分类器输出同尺寸的标签图，当所述人脸图像为欺骗人脸类别，分类标签图的值全设为0；当所述人脸图像为真实人脸时，分类标签图的值全设为1；对于包含背景的人脸图像的像素级分类标签：构建与所述像素级分类器输出同尺寸的标签图，当输入图像为欺骗人脸时，标签图内欺骗人脸区域内对应的值为2，背景部分的值为0；在输入图像为真实人脸时，标签图内人脸区域的值为1，背景部分的值为0。
10.进一步地，所述根据目标损失函数训练所述第一人脸活体判别模型和所述第二人脸活体判别模型，包括：将所述第一人脸活体判别模型和所述第二人脸活体判别模型分开进行训练；训练时，逐点计算所述像素级分类器输出和标签图中对应位置标签的交叉熵分类损失，该损失记为，同时计算模型末端输出和二分类标签的focal loss损失，记为；目标损失函数定义为：式中，为指定像素级分类损失函数的权重。
11.进一步地，所述融合权重预测子模型通过堆叠卷积层、批归一化层，线性整流层构成主干结构，同时引入通道注意力机制，以构建所述融合权重预测子模型的基础结构；所述融合权重预测子模型通过以下方式进行训练：获取所述第一人脸活体判别模型输出的第一特征图和所述第二人脸活体判别模型输出的第二特征图；将第一特征图和第二特征图进行拼接后，输入融合权重预测子模型，输出所述第一人脸活体判别模型末端输出和第二人脸活体判别模型末端输出的加权融合权重；
利用所述加权融合权重对第一人脸活体判别模型的末端输出和第二人脸活体判别模型的末端输出加权求和，得到最终输出；计算所述最终输出与二分类标签的focal loss，利用随机梯度下降法优化该损失以训练融合权重预测子模型；其中，训练时冻结所述第一人脸活体判别模型和所述第二人脸活体判别模型的权重参数。
12.本发明所采用的另一技术方案是：一种人脸活体判别系统，包括：目标图像获取和人脸检测模块，用于获取待判别的目标图像，获取所述目标图像的人脸检测框；人脸图像裁剪模块，用于根据所述人脸检测框从所述目标图像中获取第一人脸图像和第二人脸图像；其中，第一人脸图像为不包含背景的人脸图像，第二人脸图像为包含背景的人脸图像；活体判别预测模块，用于将所述第一人脸图像输入第一人脸活体判别模型，获得第一特征和第一输出；将所述第二人脸图像输入第二人脸活体判别模型，获得第二特征和第二输出；预测融合模块，用于将所述第一特征和所述第二特征拼接后输入融合权重预测子模型，获得两个人脸活体判别模型的融合权重；判断模块，用于根据所述融合权重、第一输出和第二输出获取人脸活体判别的最终输出。
13.本发明所采用的另一技术方案是：一种人脸活体判别装置，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
14.本发明所采用的另一技术方案是：一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
15.本发明的有益效果是：本发明构建了轻量级的活体判别模型，能应用于边端设备；基于该基础模型构建第一活体判别模型和第二活体判别模型，并分别设计输入图像和像素级分类信息，使二者关注差异化的活体判别线索，提升二者融合性能；通过融合权重子模块，以动态方式决定第一活体判别模型和第二活体判别模型预测的融合权重，能够充分利用了人脸区域和图像背景区域的上下文信息，进而在计算资源和存储空间受限条件下，有效提升活体判别性能。
附图说明
16.为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅
仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
17.图1是本发明实施例中一种人脸活体判别方法的步骤流程图；图2是本发明实施例中人脸活体判别模型基础框架示意图；图3是本发明实施例中多模型预测融合的人脸活体判别方法示意图；图4是本发明实施例中融合权重预测子模型示意图；图5是本发明实施例中一种人脸活体判别系统的结构示意图；图6是本发明实施例中一种人脸活体判别装置的结构示意图。
具体实施方式
18.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
19.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
20.在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
21.本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
22.术语解释：moblienetv2：由google团队设计的第二代轻量级卷积神经网络基础架构。
23.invert residual block：invert residual block 指一种构成卷积神经网络的组件，该组件通常由多个顺序堆叠的点卷积层，深度可分离卷积，点卷积层，以及shortcut结构组成；输入特征的通道维度会由点卷积层进行扩展然后进行压缩。
24.focal loss：一种二分类损失函数，其具体表达式如下：其中为模型的输出，该损失函数能动态调节容易样本和难样本对于总体损失的影响。
25.二分类标签：2分类标签用于训练所述第一活体判别模型和第二活体判别模型，当输入图像为真实人脸时值为1，欺骗人脸时值为0。
26.如图1所示，本实施例提供一种基于多模型预测融合的人脸活体判别预测方法，以实现算力、存储空间受限情况下单目活体判别的性能。该方法具体包括以下步骤：s1、获取待判别的目标图像，获取所述目标图像的人脸检测框。
27.作为可选的实施方式，目标图像可利用图像采集设备实时采集，也可直接读取存储设备中图像文件数据。目标图像的人脸检测框可通过将所述待识别目标图像输入至任意现有的人脸检测算法模型来获取，比如基于深度网络模型。其中，人脸检测框可以为矩形框，也可以为圆形框或者其他形状的检测框。
28.s2、根据所述人脸检测框从所述目标图像中获取第一人脸图像和第二人脸图像；其中，第一人脸图像为不包含背景的人脸图像，第二人脸图像为包含背景的人脸图像。
29.作为一种可选的实施方式，人脸图像是指基于原始人脸检测框从所述目标图像中裁剪出的图像，包含背景的人脸图像是指将人脸检测框尺寸进行适当放大，再从所述目标图像中裁剪的图像。
30.具体地，给定人脸坐标，坐标中表示人脸所在区域的左上角坐标，坐标中表示人脸所在区域的右下角坐标，由左上角和右下角即可确定一个人脸框，抠取目标图像矩形区域内的图像作为人脸图像；以为中心，抠取目标图像为左上角、矩形区域内的图像内容包含作为包含背景的人脸图像。
31.s3、将所述第一人脸图像输入第一人脸活体判别模型，获得第一特征和第一输出结果；将所述第二人脸图像输入第二人脸活体判别模型，获得第二特征和第二输出结果。
32.s4、将所述第一特征和所述第二特征拼接后输入融合权重预测子模型，获得两个人脸活体判别模型的融合权重。
33.s5、根据所述融合权重、第一输出结果和第二输出结果获取人脸活体判别的最终输出结果。
34.本实施例提出的多尺度模型预测融合活体判别方法，充分利用了人脸区域和图像背景区域的上下文信息，能在计算资源和存储空间受限条件下，有效提升活体判别性能。
35.参见图2，作为一种可选的实施方式，所述第一人脸活体判别模型和所述第二人脸活体判别模型的基础框架相同，且均为轻量级网络模型；具体地脸活体判别模型通过堆叠多个moblienetv2的invert residual block构成。
36.在本实施例中，一个人脸活体判别模型包含4个invert residual block，两个整体模型参数量小于760kb，能够有效地在面向低算力，低功耗和低内存的边端设备进行部署和应用。
37.以下结合图2对人脸活体判别模型的构建方式以及训练方式进行详细解释说明。
38.步骤一、通过堆叠数个moblienetv2的invert residual block分别构建第一人脸活体判别模型和第二人脸活体判别模型基础框架步骤二、在第一人脸活体判别模型和第二人脸活体判别模型的中间层输出端插入点卷积层、批量归一化层、线性整流层、以构建像素级分类器。
39.为便于描述，结合上述步骤一和步骤二统一进行说明，如图2所示，本发明通过堆叠四个moblienetv2 invert residual block构建人脸活体判别模型基础框架（第一人脸活体判别模型和第二人脸活体判别模型的基础框架一致，以下统一进行描述），进一步地，
在活体判别框架的第三个invert residual block输出端额外插入像素级分类分支结构，其中conv1为3x3卷积层，bn为批归一化层，relu为线性整流层，conv2为1x1卷积层。
40.步骤三、将原始训练图像处理为人脸图像和包含背景的人脸图像。
41.具体地，可采用与上述步骤s2中相同的方式获取人脸图像和包含背景的人脸图像，在此不再赘述。
42.步骤四、针对人脸图像和包含背景的人脸图像分别生成像素级分类标签（也称为分类标签图）。
43.作为一种可选的实施方式，像素级标签图的具体构造方法如下：首先，生成与输入图像尺寸一致的标签图像，该标签图的值根据输入图像的类别决定，对于人脸图像：当该图像为攻击人脸时，标签图值全设为0；当输入图像为真实人脸时，标签图内的值为全设为1；对于包含背景的人脸图像：标签图内背景区域的值设为0，真实人脸区域的值设为1，欺骗人脸区域对应的值设为2；最后，将标签图缩放至像素级分类器输出的尺寸。
44.步骤五、在所述第一人脸活体判别模型和第二人脸活体判别模型中分别插入像素级分类损失，与focal loss构成目标损失函数。
45.步骤六、使用人脸图像和二分类标签训练第一人脸活体判别模型，使用包含背景的人脸图像和二分类标签训练第二人脸活体判别模型。
46.具体地，将第一人脸活体判别模型和第二人脸活体判别模型分开进行训练。训练时，逐点计算所述像素级分类器输出和标签图中对应位置标签的交叉熵分类损失，该损失记为，同时计算模型末端输出和二分类标签的focal loss损失，记为，同时为了调节像素级分类损失对模型的影响，给与像素级分类损失权重，于是最终的目标损失函数可定义为，为指定像素级分类损失函数的权重。通过梯度下降法优化最终目标损失函数训练活体判别模型。
47.为便于本领域技术人员理解本发明实施例所提供的技术方案，结合图3，下面以获得融合权重预测子模型为例，对本发明实施例所提供的技术方案进行详细说明。
48.步骤一、如图3所示，构建融合权重预测子模型的基础结构。具体来说，通过连续堆叠卷积层、批归一化层，线性整流层构成主干结构，同时引入通道注意力机制，给予特征通道赋予重要性权重，最后插入全局池化层和全连接结构，全连接层末端输出2维的向量，表示第一人脸活体判别模型和第二人脸活体判别模型末端输出的加权融合权重。
49.步骤二、首先将人脸图像数据和包含背景的人脸图像输入所述第一人脸活体判别模型和所述第二人脸活体判别模型，提取所述第一人脸活体判别模型和所述第二人脸活体判别模型第四个invert residual block输出的特征图；然后，按通道维度对上述特征图进行拼接，输入到融合权重预测子模型获得所述第一人脸活体判别模型末端输出和所述第二人脸活体判别模型末端输出的加权融合权重。
50.步骤三、基于所述加权融合权重对第一人脸活体判别模型和第二人脸活体判别模型的末端输出进行加权求和得到最终活体判别输出。
51.步骤四、利用梯度下降法优化所述最终活体判别输出和二分类标签间的focal loss以训练融合权重预测子模型的权重参数。需要注意的是，该步骤须在第一人脸活体判别模型和第二人脸活体判别模型的训练完成之后进行，更进一步地，在子模型训练过程中
需冻结第一人脸活体判别模型和第二人脸活体判别模型的权重，仅更新融合权重预测子模型的参数。
52.将上述算法应用部署在近红外人脸智能人脸识别模块上，性能对比如表1和表2所示：表1在近红外数据上的融合后与融合模型的性能对比
模型tpr@fpr=0.1%（
↑
）tpr@fpr=0.01%（
↑
）tpr@fpr=0.001%（
↑
）模型大小（m）第一活体判别模型84.8265.5746.710.34第二活体判别模型88.6869.3747.760.34多活体判别模型融合97.8894.8984.340.7
表2 在近红外数据上的与同级别参数量模型的综合性能对比
模型tpr@fpr=0.1%tpr@fpr=0.01%tpr@fpr=0.001%params(m)resnet1888.1073.54\11.6cdcnpp83.4336.5512.822.26cdcn95.7490.4280.752.24第一活体判别模型95.9686.7553.700.34第二活体判别模型94.7186.7773.410.34多活体判别模型融合（加权平均融合）97.7394.4380.270.68多活体判别模型融合（融合预测模块融合）97.8894.8984.340.7
结合上表1和表2，可得到通过计算所得到的性能，证实了本发明实施例所提供的技术方案具备实用性（可行性）。
53.综上所述，本实施例相对于现有技术，具有如下优点及有益效果：（1）本发明实施例基于2个超轻量级近红外活体判别模型实现，整体模型参数量《760kb，可以在面向低算力，低功耗和低内存的边端设备进行部署和应用。
54.（2）本发明实施例在模型训练阶段，针对第一和第二人脸活体判别模型分别使用了不同尺度人脸输入和监督标签，使第一活体判别模型关注人脸细节内容，第二活体判别模型关注人脸与背景的上下文联系，增加第一活体判别和第二活体判别模型的差异性，有效的提升两者融合的性能。
55.（3）本发明实例在模型预测融合阶段，设计了融合权重子模块以动态决定第一活体判别模型和第二活体判别模型预测的融合权重，更进一步地，在融合权重子模块中引入通道注意力机制，使模型能显式考虑不同尺度的人脸图像信息对于活体判别任务的贡献，进一步提升多模型预测融合的性能。
56.如图5所示，本实施例还提供了一种人脸活体判别系统，包括：目标图像获取和人脸检测模块101，用于获取待判别的目标图像，获取所述目标图像的人脸检测框；人脸图像裁剪模块102，用于根据所述人脸检测框从所述目标图像中获取第一人脸图像和第二人脸图像；其中，第一人脸图像为不包含背景的人脸图像，第二人脸图像为包含背景的人脸图像；活体判别预测模块103，用于将所述第一人脸图像输入第一人脸活体判别模型，获得第一特征和第一输出；将所述第二人脸图像输入第二人脸活体判别模型，获得第二特征和第二输出；预测融合模块104，用于将所述第一特征和所述第二特征拼接后输入融合权重预
测子模型，获得两个人脸活体判别模型的融合权重；判断模块105，用于根据所述融合权重、第一输出和第二输出获取人脸活体判别的最终输出。
57.本实施例的一种人脸活体判别系统，可执行本发明方法实施例所提供的一种人脸活体判别方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
58.参见图6，本实施例还提供一种人脸活体判别装置，包括：近红外图像采集器201，用于采集近红外图像；至少一个存储器202，用于存储计算机程序和近红外图像数据；至少一个处理器203，用于执行所述计算机程序时实现如图1所示的基于多模型预测融合的活体判别方法的步骤。
59.本实施例的一种人脸活体判别装置，可执行本发明方法实施例所提供的一种人脸活体判别方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
60.本技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
61.本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种人脸活体判别方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
62.在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
63.此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
64.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计
算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
65.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
66.计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
67.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
68.在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
69.尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
70.以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：

1.一种人脸活体判别方法，其特征在于，包括以下步骤：获取待判别的目标图像，获取所述目标图像的人脸检测框；根据所述人脸检测框从所述目标图像中获取第一人脸图像和第二人脸图像；其中，第一人脸图像为不包含背景的人脸图像，第二人脸图像为包含背景的人脸图像；将所述第一人脸图像输入第一人脸活体判别模型，获得第一特征和第一输出结果；将所述第二人脸图像输入第二人脸活体判别模型，获得第二特征和第二输出结果；将所述第一特征和所述第二特征拼接后输入融合权重预测子模型，获得两个人脸活体判别模型的融合权重；根据所述融合权重、第一输出结果和第二输出结果获取人脸活体判别的最终输出结果。2.根据权利要求1所述的一种人脸活体判别方法，其特征在于，所述根据所述人脸检测框从所述目标图像中获取第一人脸图像和第二人脸图像，包括：根据所述人脸检测框从所述目标图像中裁剪出第一人脸图像；对所述人脸检测框进行放大处理，获得第二检测框；根据第二检测框从所述目标图像中裁剪出第二人脸图像。3.根据权利要求1所述的一种人脸活体判别方法，其特征在于，所述第一人脸活体判别模型和所述第二人脸活体判别模型的基础框架相同，且均为轻量级网络模型；脸活体判别模型通过堆叠多个moblienetv2的invert residual block构成。4.根据权利要求3所述的一种人脸活体判别方法，其特征在于，所述第一人脸活体判别模型和所述第二人脸活体判别模型通过以下方式进行训练：在第一人脸活体判别模型和所述第二人脸活体判别模型的中间层的输出端插入点卷积层、批量归一化层、线性整流层、以构建像素级分类器；根据训练集获取人脸图像和包含背景的人脸图像，根据建像素级分类器分别生成人脸图像和包含背景的人脸图像的像素级分类标签；在所述第一人脸活体判别模型和第二人脸活体判别模型中插入像素级分类损失，并与focal loss共同构成目标损失函数；根据二分类标签和所述像素级分类标签优化所述目标损失函数，根据目标损失函数训练所述第一人脸活体判别模型和所述第二人脸活体判别模型。5.根据权利要求4所述的一种人脸活体判别方法，其特征在于，所述像素级分类标签的生成过程，包括：对于人脸图像的像素级分类标签：构建与所述像素级分类器输出同尺寸的标签图，当所述人脸图像为欺骗人脸类别，分类标签图的值全设为0；当所述人脸图像为真实人脸时，分类标签图的值全设为1；对于包含背景的人脸图像的像素级分类标签：构建与所述像素级分类器输出同尺寸的标签图，当输入图像为欺骗人脸时，标签图内欺骗人脸区域内对应的值为2，背景部分的值为0；在输入图像为真实人脸时，标签图内人脸区域的值为1，背景部分的值为0。6.根据权利要求5所述的一种人脸活体判别方法，其特征在于，所述根据目标损失函数训练所述第一人脸活体判别模型和所述第二人脸活体判别模型，包括：将所述第一人脸活体判别模型和所述第二人脸活体判别模型分开进行训练；
训练时，逐点计算所述像素级分类器输出和标签图中对应位置标签的交叉熵分类损失，该损失记为，同时计算模型末端输出和二分类标签的focal loss损失，记为；目标损失函数定义为：式中，为指定像素级分类损失函数的权重。7.根据权利要求1所述的一种人脸活体判别方法，其特征在于，所述融合权重预测子模型通过堆叠卷积层、批归一化层，线性整流层构成主干结构，同时引入通道注意力机制，以构建所述融合权重预测子模型的基础结构；所述融合权重预测子模型通过以下方式进行训练：获取所述第一人脸活体判别模型输出的第一特征图和所述第二人脸活体判别模型输出的第二特征图；将第一特征图和第二特征图进行拼接后，输入融合权重预测子模型，输出所述第一人脸活体判别模型末端输出和第二人脸活体判别模型末端输出的加权融合权重；利用所述加权融合权重对第一人脸活体判别模型的末端输出和第二人脸活体判别模型的末端输出加权求和，得到最终输出；计算所述最终输出与二分类标签的focal loss，利用随机梯度下降法优化该损失以训练融合权重预测子模型；其中，训练时冻结所述第一人脸活体判别模型和所述第二人脸活体判别模型的权重参数。8.一种人脸活体判别系统，其特征在于，包括：目标图像获取和人脸检测模块，用于获取待判别的目标图像，获取所述目标图像的人脸检测框；人脸图像裁剪模块，用于根据所述人脸检测框从所述目标图像中获取第一人脸图像和第二人脸图像；其中，第一人脸图像为不包含背景的人脸图像，第二人脸图像为包含背景的人脸图像；活体判别预测模块，用于将所述第一人脸图像输入第一人脸活体判别模型，获得第一特征和第一输出；将所述第二人脸图像输入第二人脸活体判别模型，获得第二特征和第二输出；预测融合模块，用于将所述第一特征和所述第二特征拼接后输入融合权重预测子模型，获得两个人脸活体判别模型的融合权重；判断模块，用于根据所述融合权重、第一输出和第二输出获取人脸活体判别的最终输出。9.一种人脸活体判别装置，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处
理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。

技术总结

本发明公开了一种人脸活体判别方法、系统、装置和存储介质，其中方法包括：获取待判别的目标图像，获取所述目标图像的人脸检测框；根据所述人脸检测框从所述目标图像中获取第一人脸图像和第二人脸图像；将所述第一人脸图像输入第一人脸活体判别模型，获得第一特征和第一输出结果；将所述第二人脸图像输入第二人脸活体判别模型，获得第二特征和第二输出结果；将所述第一特征和所述第二特征拼接后输入融合权重预测子模型，获得两个人脸活体判别模型的融合权重；根据所述融合权重、第一输出结果和第二输出结果获取人脸活体判别的最终输出结果。本发明能够在计算资源和存储空间受限条件下，有效提升活体判别性能，可广泛应用于图像处理领域。图像处理领域。图像处理领域。