一种三维人脸模型自动贴图生成系统及方法与流程

1.本发明涉及三维人脸模型技术领域，具体为一种三维人脸模型自动贴图生成系统及方法。

背景技术：

2.换脸技术是近几年兴起的一种应用，主要用在2d图像上进行换脸。比如一些网络流行的短视频中的换脸技术。将某个人脸换到视频中其他人物的脸部，可以应用在影视领域中，例如某个演员由于某些原因无法完成后期拍摄，可以用其他演员的人脸进行替换，但是在三维领域的换脸还比较少见。随着最近数字人元宇宙领域的兴起，三维领域的换脸需求渐渐显现。现有多数是三维模型上的换脸，没有同步人脸贴图换脸。
3.例如中国专利申请号为cn202110882708.4提供基于三维人脸分解的换脸与重演方法及装置，具有同一套流程可同时实现任意人换脸和表情重演的特点。例如中国专利申请号为cn201910996426.x公开了一种基于图形处理器的三维人脸融合方法及系统，通过控制各尺度下用户人脸和特定形象的概貌分量和轮廓细节的混合比例，从而获得效果自然且样式丰富的融合结果人像。
4.现有换脸专利技术较少，方法复杂。有些需要需要通过训练模型来实现，准备训练数据耗时费力。

技术实现要素：

5.本发明的目的在于提供一种三维人脸模型自动贴图生成系统及方法，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：一种三维人脸模型自动贴图生成方法，该三维人脸模型自动贴图生成方法的具体步骤为：
7.获得第一人脸图像、第二人脸图像和第二人脸法向量图像；
8.获取第一人脸图像和第二人脸图像中的关键点；
9.将符合条件的几个关键点分为一组作为一个子区域，依次划分所有关键点；
10.获取第一人脸图像目标区域，作为第二人脸图像中需要替换的区域；
11.将第一人脸图像目标区域中关键点划分子区域变换到对应的第二人脸图像关键点划分子区域，得到第三人脸图像；
12.将所述第二人脸图像与所述第三人脸图像的目标部位融合，得到第四人脸图像；
13.获取第一人脸图像细节特征法向量图像；
14.将所述第一人脸图像细节特征法向量图像中在所述目标区域范围内的关键点子区域变换到第二人脸法向量图像中，得到第四人脸图像对应的细节法向量图像。
15.进一步地，所述的获取第一人脸图像和第二人脸图像中的关键点，包括通过人脸识别检测的关键点。
16.进一步地，所述的获取第一人脸图像和第二人脸图像中的关键点，包括通过三维
模型顶点和第一人脸图像、第二人脸图像坐标对应获得关键点，第一人脸图像关键点和第二人脸图像关键点之间的映射关系。
17.进一步地，所述关键点划分，利用人脸识别检测到的关键点进行三角剖分得到。
18.进一步地，所述关键点划分，利用三维模型面片信息得到，组成一个面片的三维顶点对应第二人脸图像上的一组图像坐标。
19.进一步地，所述目标区域提取过程，包括：
20.去除第一人脸图像中头发遮挡；
21.去除第一人脸图像中非正向可以见遮挡。
22.进一步地，所述关键点划分子区域变换过程包括：
23.获取目标区域内第一人脸图像和第二人脸图像的关键点子区域；
24.计算第一人脸图像关键点子区域到第二人脸图像关键点子区域的变换；
25.将第一人脸图像关键点子区域按照所述变换变换到对应的第二人脸图像关键点子区域，得到第三人脸图像。
26.进一步地，所述目标区域融合，包括对第二人脸图像目标区域和第四人脸图像目标区域进行图像处理。
27.进一步地，所述细节特征法向量图像关键点子区域变换过程，包括：
28.获取目标区域内第一人脸细节法向量图像和第二人脸法向量图像的关键点子区域；
29.计算第一人脸细节法向量图像关键点子区域到第二人脸法向量图像关键点子区域的变换；
30.将第一人脸细节法向量图像关键点子区域按照所述变换变换到对应的第二人脸法向量图像关键点子区域，得到第四人脸细节法向量脸图像。
31.一种三维人脸模型自动贴图生成系统，所述系统包括：
32.图像获取模块，用于获取第一人脸图像、第二人脸图像以及第二人脸法向量图像；
33.关键点获取模块，用于获取第一人脸图像和第二人脸图像中的关键点；
34.关键点划分模块，用于将符合条件的几个关键点分为一组作为一个子区域；
35.目标区域获取模块，用计算第一人脸图像中的目标区域；
36.关键点子区域变换模块，用于将第一人脸图像目标区域中关键点子区域变换到第二人脸图像中的关键点子区域；
37.图像处理模块，用于将第二人脸图像与所述第三人脸图像的目标部位融合，得到第四人脸图像；
38.细节特征提取模块，用于获得第一人脸图像中的细节特征法向量图像；
39.法向量图像变换模块，用于将第一人脸细节特征法向量图像中目标区域的关键点子区域变换到第二人脸法向量图像中，得到第四人脸法向量图像；
40.处理器以及存储有计算机程序指令的存储器；
41.所述处理器执行所述计算机程序指令时实现如权利要求1-14任意一项所述的三维人脸模型自动贴图生成方法；
42.一种计算机存储介质，存储有计算机及程序指令，所述计算机程序指令被处理所述的三维人脸模型自动贴图生成方法。
43.与现有技术相比，本发明的有益效果是：
44.本发明提出三维人脸模型自动贴图生成，可以实现三维人脸贴图的换脸，适用于任意拓扑结构模型。可以对任意三维模型进行人脸贴图生成；效率高，执行速度快；硬件性能要求低。
附图说明
45.图1为本发明三维人脸模型自动贴图生成系统框架图。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.实施例：
48.请参阅图1，本发明提供一种技术方案：具体包括：
49.图像获取模块11，获取第一人脸图像12、第二人脸图像16和第二法向量图像25。
50.关键点获取模块15，提取第一人脸图像和第二人脸图像关键点17，关键点可以是人脸图像中的关键点，指的是能够表征人脸特征的部分的特征点；也可以是通过三维模型顶点和第一人脸图像12之间的映射关系获得的所有人脸顶点在第一人脸图像12上对应的图像坐标。第一人脸图像和第二人脸图像关键点之间的对应关系29可以通过两个三维模型顶点之间的关系获得，也可以通过人脸特征点之间特有的顺序获得。
51.关键点划分模块19，对第一人脸图像和第二人脸图像关键点17进行区域划分，得到第一人脸图像关键点子区域21和第二人脸图像关键点子区域22，作为关键点子区域变换模块13的输入。关键点是人脸图像中的关键点，通过三角剖分将关键点进行划分，每三个为一组。关键点是三维模型顶点在图像上对应的图像坐标，根据三维模型面片信息进行划分，面片包含的顶点对应到图像上的图像坐标作为一组。三维模型顶点和人脸图像的映射关系可以直接从模型文件读取。
52.目标区域获取模块18，人脸图像生成中需要剔除遮挡区域，保留需要替换的目标区域。具体的，最终生成的人脸图像是不包括头发部分，头发有单独的模型以及头发贴图。最终生成的贴图为了更真实，需要将头发遮挡部分去除；同时第一人脸图像可能不是正面照片存在一点角度，因此还需要去除部分第一人脸图像12不可见点去除，不可见点可以结合第一人脸图像对应的三维模型获取。
53.关键点子区域变换模块13，将第一人脸图像12目标区域中的图像变换到第二人脸图像16中，把第二人脸图像中脸部变为第一人脸图像。计算第一人脸图像关键点区域到第二人脸图像关键点区域之间的变换关系，根据变换关系将第一人脸图像关键点子区域21变换到对应的第二人脸图像关键点子区域22，得到第四人脸图像23。
54.图像处理模块24，对第四人脸图像23和第二人脸图像16的目标区域20部分进行融合处理。具体的，融合处理需要增加一些其他图像预处理操作，包括不限于图像均衡化、加权。如果不进行图像预处理操作，直接泊松融合会导致融合后的图像人脸区域可能过亮发
白、过暗发黑或融合边界的情况，i＝αi1+(1-α)i
2 0≤α≤1，其i表示加权后的图像，i1和i2表示两个人脸图像，g1和g2表示两个人脸图像对应的梯度图像。预处理后的图像可以使用泊松融合进行图像融合，为了保证融合效果对特定区域再次执行融合，特定区域包括不限于五官i＝p(i1,i2,r)，其中i1和i2表示人脸图像，r表示特定区域。
55.细节特征提取模块26，对第一人脸图像中的人脸细节进行提取d＝f(i)，其中f表示深度学习训练所得模型，i表示人脸图像，d表示从人脸图像中获取的细节特征，得到第一人脸细节特征法向量图像27。
56.法向量图像变换模块28，将第一人脸细节特征法向量图像27按照关键点子区域之间的变换关系变换到第二人脸法向量图像30目标区域，得到第四人脸细节特征法向量图像。
57.以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明；因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
58.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：

1.一种三维人脸模型自动贴图生成方法，其特征在于，包括以下步骤：获得第一人脸图像、第二人脸图像和第二人脸法向量图像；获取第一人脸图像和第二人脸图像中的关键点；将符合条件的几个关键点分为一组作为一个子区域，依次划分所有关键点；获取第一人脸图像目标区域，作为第二人脸图像中需要替换的区域；将第一人脸图像目标区域中关键点划分子区域变换到对应的第二人脸图像关键点划分子区域，得到第三人脸图像；将所述第二人脸图像与所述第三人脸图像的目标部位融合，得到第四人脸图像；获取第一人脸图像细节特征法向量图像；将所述第一人脸图像细节特征法向量图像中在所述目标区域范围内的关键点子区域变换到第二人脸法向量图像中，得到第四人脸图像对应的细节法向量图像。2.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述的获取第一人脸图像和第二人脸图像中的关键点，包括通过人脸识别检测的关键点。3.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述的获取第一人脸图像和第二人脸图像中的关键点，包括通过三维模型顶点和第一人脸图像、第二人脸图像坐标对应获得关键点，第一人脸图像关键点和第二人脸图像关键点之间的映射关系。4.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述关键点划分，利用人脸识别检测到的关键点进行三角剖分得到。5.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述关键点划分，利用三维模型面片信息得到，组成一个面片的三维顶点对应第二人脸图像上的一组图像坐标。6.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述目标区域提取过程，包括：去除第一人脸图像中头发遮挡；去除第一人脸图像中非正向可以见遮挡。7.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述关键点划分子区域变换过程包括：获取目标区域内第一人脸图像和第二人脸图像的关键点子区域；计算第一人脸图像关键点子区域到第二人脸图像关键点子区域的变换；将第一人脸图像关键点子区域按照所述变换到对应的第二人脸图像关键点子区域，得到第三人脸图像。8.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述目标区域融合，包括对第二人脸图像目标区域和第四人脸图像目标区域进行图像处理。9.根据权利要求1所述的一种三维人脸模型自动贴图生成方法，其特征在于，所述细节特征法向量图像关键点子区域变换过程，包括：获取目标区域内第一人脸细节法向量图像和第二人脸法向量图像的关键点子区域；计算第一人脸细节法向量图像关键点子区域到第二人脸法向量图像关键点子区域的变换；
将第一人脸细节法向量图像关键点子区域按照所述变换变换到对应的第二人脸法向量图像关键点子区域，得到第四人脸细节法向量脸图像。10.一种三维人脸模型自动贴图生成系统，其特征在于，所述系统包括：图像获取模块，用于获取第一人脸图像、第二人脸图像以及第二人脸法向量图像；关键点获取模块，用于获取第一人脸图像和第二人脸图像中的关键点；关键点划分模块，用于将符合条件的几个关键点分为一组作为一个子区域；目标区域获取模块，用计算第一人脸图像中的目标区域；关键点子区域变换模块，用于将第一人脸图像目标区域中关键点子区域变换到第二人脸图像中的关键点子区域；图像处理模块，用于将第二人脸图像与所述第三人脸图像的目标部位融合，得到第四人脸图像；细节特征提取模块，用于获得第一人脸图像中的细节特征法向量图像；法向量图像变换模块，用于将第一人脸细节特征法向量图像中目标区域的关键点子区域变换到第二人脸法向量图像中，得到第四人脸法向量图像；处理器以及存储有计算机程序指令的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1-14任意一项所述的三维人脸模型自动贴图生成方法；一种计算机存储介质，存储有计算机及程序指令，所述计算机程序指令被处理权利要求1-9任意一项所述的三维人脸模型自动贴图生成方法。

技术总结

本发明属于三维人脸模型技术领域，具体为一种三维人脸模型自动贴图生成系统及方法，该三维人脸模型自动贴图生成方法的具体步骤为：获得第一人脸图像、第二人脸图像和第二人脸法向量图像；获取第一人脸图像和第二人脸图像中的关键点；将符合条件的几个关键点分为一组作为一个子区域，依次划分所有关键点；获取第一人脸图像目标区域，作为第二人脸图像中需要替换的区域；将第一人脸图像目标区域中关键点划分子区域变换到对应的第二人脸图像关键点划分子区域，得到第三人脸图像；将所述第二人脸图像与所述第三人脸图像的目标部位融合，得到第四人脸图像。本发明可以对任意三维模型进行人脸贴图生成；效率高，执行速度快；硬件性能要求低。求低。求低。