人脸三维结果的生成方法、装置、电子设备，及存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种人脸三维结果的生成方法、装置、电子设备，及存储介质。


背景技术：

2.相关技术下，在基于二维(two dimensional，二维)人脸图像重建生成三维(three dimensional，3d)的人脸重建结果时，借助于获得的基础人脸集合，以及针对基础人脸集合配置的建模系数组，生成人脸建模结果，如，采用三维变换模型(3d morphable models，3dmm)人脸集合，以及优化确定的3dmm系数，生成对应目标对象的人脸图像组构建的人脸三维结果。
3.然而，在进行迭代优化的过程中，由于人脸图像组中，不同的人脸图像通常对应不同的拍摄条件、拍摄环境、拍摄时间，及拍摄角度，因此，在不同人脸图像中，目标对象的器官形状存在差异，使得在分别根据各个人脸图像与映射图像的特征差异实现优化时，引入了由于同一器官对应不同器官形状所带来的冲突关系。
4.这样，基于优化得到的建模系数组和基础人脸集合进行人脸重建时，无法针对目标人脸进行有效的人脸重建。


技术实现要素：

5.本技术实施例提供一种人脸三维结果的生成方法、装置、电子设备，及存储介质，以解决现有技术下无法针对目标人脸进行有效的人脸重建的问题。
6.第一方面，提出一种人脸三维结果的生成方法，包括：
7.获取目标对象关联的人脸图像组，其中，所述人脸图像组中包括主人脸图像及至少一个辅人脸图像；
8.基于所述人脸图像组和基础人脸集合，对初始的建模系数组进行多轮迭代调整，并基于完成调整的目标建模系数组和所述基础人脸集合，确定目标人脸三维结果；其中，每一轮迭代调整过程中执行以下操作：
9.基于根据当前的建模系数组和所述基础人脸集合，确定的人脸三维结果，获得所述主人脸图像与关联的主渲染图像之间的第一比对结果，以及分别获得所述至少一个辅人脸图像，各自与关联的辅渲染图像之间的第二比对结果；
10.基于获得的至少一个第二比对结果，各自与所述第一比对结果之间的偏移程度，配置相应的辅人脸图像的参考评估结果；
11.基于根据所述第一比对结果确定的第一损失值，及分别根据所述至少一个第二比对结果和相应的参考评估结果确定的第二损失值，调整建模系数组。
12.第二方面，提出一种人脸三维结果的生成装置，包括：
13.获取单元，用于获取目标对象关联的人脸图像组，其中，所述人脸图像组中包括主人脸图像及至少一个辅人脸图像；
14.调整单元，用于基于所述人脸图像组和基础人脸集合，对初始的建模系数组进行多轮迭代调整，并基于完成调整的目标建模系数组和所述基础人脸集合，确定目标人脸三维结果；其中，每一轮迭代调整过程中执行以下操作：
15.基于根据当前的建模系数组和所述基础人脸集合，确定的人脸三维结果，获得所述主人脸图像与关联的主渲染图像之间的第一比对结果，以及分别获得所述至少一个辅人脸图像，各自与关联的辅渲染图像之间的第二比对结果；
16.基于获得的至少一个第二比对结果，各自与所述第一比对结果之间的偏移程度，配置相应的辅人脸图像的参考评估结果；
17.基于根据所述第一比对结果确定的第一损失值，及分别根据所述至少一个第二比对结果和相应的参考评估结果确定的第二损失值，调整建模系数组。可选的，所述基础人脸集合为3dmm人脸集合时，所述建模系数组为3dmm系数。
18.可选的，所述获取针对目标对象采集的人脸图像组之后，所述基于所述人脸图像组和基础人脸集合，对初始的建模系数组进行多轮迭代调整之前，所述获取单元还用于：
19.采用人脸关键点检测技术和人脸分割技术，分别针对人脸图像组包括的各个人脸图像，确定人脸关键点集合和人脸分割结果；
20.针对在所述各个人脸图像中确定的，一个主人脸图像和相应的至少一个辅人脸图像，分别根据相应的人脸分割结果，配置人脸关键点集合对应的关键点重要性权重集合，以及配置对应的像素点重要性权重图。
21.可选的，所述分别根据相应的人脸分割结果，配置人脸关键点集合对应的关键点重要性权重集合，以及配置对应的像素点重要性权重图时，所述获取单元用于：
22.根据各个相应的人脸分割结果，分别执行以下操作：
23.分别确定对应的各个分割区域内的人脸关键点，并基于针对所述各个分割区域内的人脸关键点，分别配置的关键点重要性权重，生成关键点重要性权重集合；
24.配置所述各个分割区域内的像素点重要性权重，并基于所述各个分割区域内的像素点重要性权重，生成像素点重要性权重图。
25.可选的，所述基于根据当前的建模系数组和所述基础人脸集合，确定的人脸三维结果，获得所述主人脸图像与关联的主渲染图像之间的第一比对结果，以及分别获得所述至少一个辅人脸图像，各自与关联的辅渲染图像之间的第二比对结果时，所述调整单元用于：
26.根据当前的建模系数组和所述基础人脸集合，确定人脸三维结果，并基于所述人脸三维结果和当前获取的渲染系数组，分别生成所述主人脸图像关联的主渲染图像，以及分别生成所述至少一个辅人脸图像关联的辅渲染图像，其中，所述渲染系数组包括各组光照系数和各组姿态系数；
27.分别确定所述主人脸图像、所述主渲染图像、所述至少一个辅人脸图像，以及所述至少一个辅渲染图像，各自对应的人脸关键点集合和人脸分割结果；
28.根据所述主渲染图像与所述主人脸图像之间的像素值差异和关键点位置差异，确定对应的第一比对结果，以及分别根据所述至少一个辅渲染图像与对应的辅人脸图像之间的，像素值差异和关键点位置差异，确定对应的第二比对结果。
29.可选的，所述根据所述主渲染图像与所述主人脸图像之间的像素值差异和关键点
位置差异，确定对应的第一比对结果时，所述调整单元用于：
30.确定所述主人脸图像和所述主渲染图像中，相对位置相同的各个像素点之间的像素值差异，并确定各个相同标号的人脸关键点之间的关键点位置差异；
31.根据各个像素值差异和各个关键点位置差异，确定对应的第一比对结果。
32.可选的，所述基于获得的至少一个第二比对结果，各自与所述第一比对结果之间的偏移程度，配置相应的辅人脸图像的参考评估结果时，所述调整单元用于：
33.针对至少一个第二比对结果，分别执行以下操作：
34.根据所述第一比对结果对应的第一人脸分割结果，以及一个第二比对结果对应的第二人脸分割结果，确定匹配的各组分割区域，并分别针对所述各组分割区域，根据对应的像素值差异均值之间的第一偏移程度，配置对应的分割区域内，各个像素点的像素值参考评估结果；
35.根据所述一个第二比对结果与所述第一比对结果各自对应的人脸关键点集合，分别确定在所述各组分割区域内匹配的各组人脸关键点子集合，并分别针对各组人脸关键点子集合，根据对应的关键点位置差异均值之间的第二偏移程度，配置对应的分割区域内，人脸关键点的关键点参考评估结果。
36.可选的，根据所述第一比对结果确定第一损失值时，所述调整单元用于：
37.确定针对所述主人脸图像中各个分割区域内的像素点，分别配置的像素点重要性权重，其中，分割区域是由对应的人脸分割结果确定的；
38.基于所述第一比对结果中包括的各个像素值差异，以及对应各个像素点配置的像素点重要性权重，计算第一像素值损失；
39.基于所述第一比对结果中包括的各个关键点位置差异，以及对应各个关键点配置的关键点重要性权重，计算第一关键点损失；
40.根据所述第一像素值损失和所述第一关键点损失确定对应的第一损失值。
41.可选的，分别根据所述至少一个第二比对结果和相应的参考评估结果确定第二损失值时，所述调整单元用于：
42.获取针对所述至少一个辅人脸图像中各个分割区域内的像素点，分别配置的像素点重要性权重，其中，分割区域是由对应的人脸分割结果确定的；
43.分别基于所述至少一个第二比对结果中包括的各个像素值差异，以及对应各个像素点配置的像素点重要性权重和像素值参考评估结果，计算第二像素值损失；
44.分别基于所述至少一个第二比对结果中包括的各个关键点位置差异，以及对应各个人脸关键点配置的关键点重要性权重和关键点参考评估结果，计算第二关键点损失；
45.基于各个第二像素值损失和各个第二关键点损失确定对应的第二损失值。
46.第三方面，提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面中任一项所述的人脸三维结果的生成方法。
47.第四方面，提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的人脸三维结果的生成方法。
48.第五方面，提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的人脸三维结果的生成方法。
49.本技术有益效果如下：
50.本技术实施例中，提出了一种人脸三维结果的生成方法、装置、电子设备及存储介质，由于构建的人脸图像组中包括主人脸图像及至少一个辅人脸图像，相当于在各个人脸图像中，分别确定了占主要影响和辅助影响的人脸图像，为迭代调整建模系数组和渲染系数组的过程中，差异性地学习不同人脸图像中的特征提供了处理依据，另外，在计算损失值时，能够以主人脸图像作为参考依据，根据对应的比对结果之间的偏移情况，实现对辅人脸图像的参考评估，而且，通过配置参考评估结果，能够降低与主人脸图像之间存在冲突影响的辅人脸图像的影响程度，为最终生成有效的人脸三维结果提供了保障。
附图说明
51.图1为本技术实施例中可能的一种应用场景示意图；
52.图2为本技术实施例中一种可能的应用场景下相关对象在终端设备上选择人脸图像的界面示意图；
53.图3为本技术实施例中执行人脸重建的流程示意图；
54.图4为本技术实施例中配置像素点重要性权重图和关键点重要性权重集合的流程示意图；
55.图5为本技术实施例中进行人脸分割的结果示意图；
56.图6为本技术实施例中进行人脸关键点检测的结果示意图；
57.图7为本技术实施例中执行一轮迭代调整的流程示意图；
58.图8为本技术实施例中确定比对结果的流程示意图；
59.图9为本技术实施例中对应相同标号的两个人脸关键点示意图；
60.图10为本技术实施例中确定辅人脸图像的参考评估结果的过程示意图；
61.图11为本技术实施例中各组分割区域示意图；
62.图12为本技术实施例中基于3dmm实现人脸重建的应用示意图；
63.图13为本技术实施例中人脸重建装置的逻辑结构示意图；
64.图14为本技术实施例的一种电子设备的一个硬件组成结构示意图；
65.图15为本技术实施例中的一个计算装置的结构示意图。
具体实施方式
66.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术技术方案的一部分实施例，而不是全部的实施例。基于本技术文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术技术方案保护的范围。
67.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够在除了这里图示或描述的那些以外的顺序实施。
68.以下对本技术实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
69.三维变换模型(3d morphable models，3dmm)：也称三维可变形人脸模型，是一个通用的三维人脸参数化模型，用固定的点数来表示人脸。它的核心思想就是人脸可以在三维空间中进行一一匹配，并且可以由其他许多幅人脸正交基加权线性相加而来。本技术实施例中，可以基于3dmm人脸集合和最终调整确定的3dmm系数，得到目标对象对应的人脸三维结果，其中，得到的人脸三维结果具体是建模的3d人脸，3dmm系数具体包括人脸形状系数和人脸纹理系数。
70.最优化算法：是指在迭代调整建模系数组和渲染系数组的过程中，所依据的处理算法，如，应用在梯度下降的处理过程中。最优化算法可以理解为，给定一个目标函数f，自变量的取值范围为a，且函数值的取值范围为实数r，最优化算法目的在于确定在自变量的取值范围a中的一个目标自变量，使得该目标自变量下的函数值大于自变量取值范围a内，各个其他自变量的函数值，或者，使得该目标自变量下的函数值小于自变量取值范围a内，各个其他自变量的函数值，那么此时，该目标自变量可称为最优解。
71.人脸关键点检测，也称二维人脸关键点检测算法，用于在二维图像中定位一组预定义的人脸基准点，具体的，可以预先根据实际的处理需要在人脸图像中定义一组人脸基准点，进而在对图像进行人脸关键点检测时，能够定位图像中包括的各个人脸基准点，进而确定图像中包括的各个人脸关键点，其中，预先定义的一组人脸基准点中包括的基准点数目根据实际的处理需要设置，本技术不做具体限制。
72.基础人脸集合：是指由各个基础人脸组成的集合，基础人脸是构建人脸三维结果的基础，本技术实施例中，基础人脸集合具体可以是3dmm人脸集合，本技术中可以直接获取开源的3dmm人脸集合，其中，3dmm人脸集合中包括各个预先扫描建立的人脸三维模型，一个人脸三维模型对应一幅人脸正交基。
73.建模系数组：是指与人脸重建模型的生成所密切相关的系数，用于对基础人脸集合中的各个基础人脸进行加权，使得能够得到对应目标对象的人脸图像生成的人脸三维结果，本技术实施例中，建模系数组包括人脸形状系数和人脸纹理系数，具体的，基于3dmm的处理思想可知，人脸三维模型可以分为形状和纹理两方面的表示，假设人脸三维模型由n个顶点组成，那么形状向量(shape vector)可以表征为：s＝(x1,y1,z1,x2,y2,z2,...,yn,zn)；纹理向量(texture vector)可以表征为：t＝(r1,g1,b1,r2,g2,b2,...,rn,bn)。那么，生成的人脸三维结果具体可以是形状向量和纹理向量的线性叠加，具体公式为：其中，为形状均值，为纹理均值，si表示3dmm人脸集合中的第i张人脸三维模型的形状向量，ti表示3dmm人脸集合中第i张人脸三维模型的纹理向量，ai表示与第i张人脸三维模型对应的人脸形状系数，bi表示与第i张人脸三维模型对应的人脸纹理系数。
74.渲染系数组，是指根据人脸图像进行人脸的三维重建，得到人脸三维结果后，基于人脸三维结果重建得到二维图像时，所使用的系数，本技术实施例中，在基础人脸集合为3dmm人脸集合的情况下，渲染系数组具体可以是各组光照系数和各组姿态系数，其中，光照系数和姿态系数的组数相同，且组数的取值与人脸图像组中包括的人脸图像总数一致。
75.下面对本技术实施例的设计思想进行简要介绍：
76.相关技术下，在基于目标对象的二维图像进行三维重建生成人脸重建结果时，可以借助于3dmm人脸集合和目标对象的人脸图像集合，并基于人脸图像集合和调整得到的
3dmm系数，得到目标对象的人脸三维结果。
77.在相关的3dmm模型的一轮系数调整过程中，结合一组3dmm参数，多组姿态(pose)系数和光照系数，以及3dmm人脸集合，确定对应的人脸三维结果，其中，一张输入图像对应一组pose系数和一组光照系数。进而基于获得的人脸三维结果，以及确定的姿态(pose)系数和光照系数，渲染得到与目标对象的各个人脸图像各自对应的渲染图像，进而根据每一张渲染图像和对应的人脸图像之间的差异，独立的计算损失值，并调整3dmm系数、各组姿势系数，以及各组姿态系数，相当于利用多张人脸图片和对应的渲染图像之间的信息差异，同时约束3dmm系数、各组姿势系数，以及各组光照系数。
78.然而，相关技术下，在对3dmm系数、各组姿势系数，以及各组光照系数进行调整时，对于调整优化过程中所使用的，目标对象的多个人脸图像来说，不同的人脸图像之间通常具有不同的拍摄条件，其中，不同的拍摄条件具体体现在拍摄时刻、拍摄环境，以及拍摄角度的不同。这使得多个人脸图像能够提供的五官信息相似但不相同，换言之，在不同人脸图片中表现出的目标对象的器官形状存在差异，由各个人脸图像提供的器官形状信息之间存在冲突影响。
79.这样，在基于存在冲突影响的多个人脸图像，对相关系数进行调整时，引入了相互矛盾的约束关系，这将会极大地影响建模效果，无法针对目标人脸进行有效的人脸重建。
80.有鉴于此，本技术提出了一种人脸重建方法、装置、电子设备及存储介质，首先获取针对目标对象采集的人脸图像组，其中，人脸图像组中包括主人脸图像及至少一个辅人脸图像，使得将目标对象的各个人脸图像进行了差异性的划分，为差异值地考量各个人脸图像在系数调整时的影响提供了处理依据。进而基于人脸图像组和基础人脸集合，对初始的建模系数组和渲染系数组进行多轮迭代调整，并基于完成调整的目标建模系数组和基础人脸集合，确定目标人脸三维结果，因而能够从对建模系数组和渲染系数组进行调整优化的角度出发，根据最终调整后得到的建模系数组，完成目标对象的人脸重建。另外，在每一轮迭代调整过程中，基于根据当前的建模系数组和基础人脸集合，确定的人脸三维结果，获得主人脸图像与关联的主渲染图像之间的第一比对结果，以及分别获得至少一个辅人脸图像，各自与关联的辅渲染图像之间的第二比对结果，再基于获得的至少一个第二比对结果，各自与第一比对结果之间的偏移程度，配置相应的辅人脸图像的参考评估结果，然后基于根据第一比对结果确定的第一损失值，以及分别根据至少一个第二比对结果和相应的参考评估结果确定的第二损失值，调整建模系数组。
81.这样，由于构建的人脸图像组中包括主人脸图像及至少一个辅人脸图像，相当于在各个人脸图像中，分别确定了占主要影响和辅助影响的人脸图像，为迭代调整建模系数组和渲染系数组的过程中，差异性地学习不同人脸图像中的特征提供了处理依据，另外，在计算损失值时，能够以主人脸图像作为参考依据，根据对应的比对结果之间的偏移情况，实现对辅人脸图像的参考评估，而且，通过配置参考评估结果，能够降低与主人脸图像之间存在冲突影响的辅人脸图像的影响程度，为最终生成有效的人脸三维结果提供了保障。
82.以下结合说明书附图对本技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本技术，并不用于限定本技术，并且在不冲突的情况下，本技术实施例及实施例中的特征可以相互组合。
83.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控
制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
84.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
85.本技术实施例中，借助于人工智能技术，完成对建模系数组的迭代调整后，基于最终的建模系数组和基础人脸集合，确定根据目标对象重建生成的目标人脸三维结果。
86.参阅图1所示，其为本技术实施中可能的一种应用场景示意图，在图1所示的应用场景中，包括终端设备110(包括对象1的终端设备1101、对象2的终端设备1102
…
对象n的终端设备110n)，以及处理设备120。
87.本技术实施例中，终端设备110，包括但不限于是桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备、智能电视、车载设备、个人数字助理(personal digital assistant，pda)等电子设备，或者，可以是各类图像采集设备，诸如相机等。
88.处理设备120，可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
89.本技术实施例中，终端设备110与处理设备120之间，采用有线连接或者无线连接的连接方式，通过通信网络建立通信连接。
90.本技术可能的应用场景中，处理设备120作为执行人脸重建的设备时，对象1在终端设备110上选择或者上传用于生成人脸三维结果的，主人脸图像和至少一个辅人脸图像后，触发将主人脸图像和相应的至少一个辅人脸图像上传至处理设备120，处理设备120则基于获得的主人脸图像和相应的至少一个辅人脸图像、基础人脸集合，以及初始配置的建模系数组和渲染系数组，生成人脸三维结果，进而基于由人脸三维结果重建得到的渲染图像与对应的人脸图像之间的差异，对建模系数组和渲染系数组进行多轮迭代调整，直至确定满足预设的收敛条件，基于确定的建模系数组和基础人脸集合，生成对应的目标人脸三维结果。
91.具体的，参阅图2所示，其为本技术实施例中一种可能的应用场景下相关对象在终端设备上选择人脸图像的界面示意图，终端设备上呈献有如图2所示意的操作界面，使得相关对象能够在操作界面中选择目标对象的多个人脸图像，并通过触发完成按钮，向处理设备发送多个人脸图像。
92.另外，本技术可能的实施例中，处理设备120获得的各个人脸图像，可以是从图像采集设备处直接获得的，即，连接图像采集设备，并导出拍摄的各个人脸图像，进而处理设备120自行确定各个人脸图像中的主人脸图像和辅人脸图像。
93.本技术提出的技术方案，在终端设备的处理能力满足处理需要的情况下，可以由终端设备自行实现人脸重建，本技术不做具体限制，以下的说明中仅以处理设备作为执行
人脸重建的执行主体为例，对人脸重建过程进行说明。
94.本技术实施例中，处理设备可以基于各样应用场景下的处理需要，在获取针对目标对象采集的人脸图像组后，借助于通过迭代调整建模系数组和渲染系数组所确定的目标建模系数组，以及基础人脸集合，生成对应的目标人脸三维结果，可能的应用场景如下。
95.场景一、应用于生成3d打印的实体模型。
96.具体的，处理设备在获得目标对象的人脸图像组后，在确定人脸图像组中的主人脸图像和辅人脸图像后，采用最终优化确定的目标建模系数组和基础人脸集合，获得对应的人脸三维结果，进而将该人脸三维结果可以应用于3d打印技术中，获取基于3d打印技术得到的实体模型。
97.场景二、应用于进行人脸识别。
98.具体的，可以应用于采用面部识别的方式进行身份识别的场景下，如，面部识别解锁，刷脸支付等。
99.处理设备针对目标对象构建人脸三维模型后，可以在后续进行人脸验证时，基于人脸三维模型在二维图像中的映射结果，实现身份验证。
100.场景三、应用于生成特效图像。
101.具体的，基于目标对象的主人脸图像和至少一个辅人脸图像，生成对应的人脸三维结果后，可以根据实际处理需要，对人脸三维结果进行特效编辑，生成添加有特效信息的三维结果，其中，特效信息包括贴图、添加表情等等。
102.场景四、应用于生成虚拟空间中的游戏人物。
103.具体的，为了丰富目标对象的游戏体验，可以基于目标对象的人脸三维结果，在虚拟的游戏空间中，生成携带有目标对象的人脸三维结果的游戏人物。
104.参阅图3所示，其为本技术实施例中执行人脸重建的流程示意图，下面结合附图3，对人脸重建模型的训练过程进行说明：
105.步骤301：处理设备获取目标对象关联的人脸图像组。
106.本技术一些可能实施例中，在构建人脸图像组时，可以针对目标对象，分别采集对应的主人脸图像及至少一个辅人脸图像，进而根据采集的主人脸图像及至少一个辅人脸图像，建立相应的人脸图像组，其中，人脸图像组中的人脸图像具体可以是红绿蓝(red green blue，rgb)图像，主人脸图像和辅人脸图像的数目根据实际的处理需要设置，如，设置主人脸图像的数目为1个。
107.需要说明的是，当构建的人脸图像组仅包括目标对象的人脸图像的情况下，在后续的迭代调整过程中，当需要获得人脸图像对应的更多信息时，可以根据实际处理需要，生成相应的内容。
108.本技术另一些可能的实施例中，在构建人脸图像组时，在确定人脸图像组中包括的主人脸图像和至少一个辅人脸图像后，分别配置主人脸图像和至少一个辅人脸图像各自对应的，由各个像素点各自对应的像素点重要性权重组成的像素点重要性权重图，以及由包括的各个人脸关键点各自对应的关键点重要性权重组成的关键点重要性权重集合，其中，人脸图像为rgb图像，主人脸图像和辅人脸图像的数目根据实际需要设置。
109.参阅图4所示，其为本技术实施例中配置像素点重要性权重图和关键点重要性权重集合的流程示意图，下面结合附图4，对本技术实施例中，处理设备在各个人脸图像中确
定主人脸图像和至少一个辅人脸图像，以及分别配置各个人脸图像各自对应的像素点重要性权重图和关键点重要性权重集合的过程进行说明：
110.步骤3011：处理设备采用人脸关键点检测技术和人脸分割技术，分别针对人脸图像组包括的各个人脸图像，确定人脸关键点集合和人脸分割结果。
111.本技术实施例中，处理设备可以预先根据实际的处理需要，预设需要检测的一组人脸基准点，其中，预设的一组人脸基准点中包括的基准点总数，根据实际的处理需要设置，本技术不做具体限制。
112.处理设备获取对应目标对象采集的人脸图像组后，可以采用人脸关键点检测算法，分别针对在各个人脸图像中检测出的各个人脸关键点，生成对应的人脸关键点集合，以及采用人脸分割算法，分别确定各个人脸图像各自对应的人脸分割结果，其中，人脸关键点检测算法和人脸分割算法为本领域的成熟技术，本技术在此不对人脸关键点检测算法和人脸分割算法进行具体说明。
113.例如，参阅图5所示，其为本技术实施例中进行人脸分割的结果示意图，根据图5所示意的内容，处理设备采用人脸分割技术对一个人脸图像进行处理后，能够得到对应的各个人脸分割区域，如5所示，对人脸图像进行人脸分割处理后，能够得到与人脸图像对齐的人脸分割结果。基于获得的人脸分割结果，能够确定出人脸图像中的器官区域，脸颊区域、头发区域，以及背景区域，图5中为了便于区分，以右斜线示意的区域作为头发区域，以左斜线示意的区域为器官区域和脸颊区域，以白色部分示意的区域为背景区域。
114.又例如，参阅图6所示，其为本技术实施例中进行人脸关键点检测的结果示意图，根据图6所示，处理设备将预定义的一组人脸基准点，包括有86个人脸基准点，用作关键点检测的识别依据。在对一个人脸图像进行关键点检测时，基于在该人脸图像中检测到的各个人脸关键点，生成人脸关键点集合，其中，在生成人脸关键点集合时，由于不同的人脸关键点对应的标号不变，因此，可以基于识别出的关键点标号，建立对应的人脸关键点集合。
115.步骤3012：处理设备针对在各个人脸图像中确定的，一个主人脸图像和相应的至少一个辅人脸图像，分别根据相应的人脸分割结果，配置人脸关键点集合对应的关键点重要性权重集合，以及配置对应的像素点重要性权重图。
116.本技术实施例中，处理设备可以根据实际的处理需要，在各个人脸图像中，选择一个主人脸图像和相应的至少一个辅人脸图像，其中，处理设备可以接收针对主人脸图像的选择指示，确定在各个人脸图像中选择的一个主人脸图像，进而将各个人脸图像中，除该主人脸图像外的各个其他人脸图像，作为相应的辅人脸图像。
117.需要说明的是，考虑到后续进行各轮迭代调整建模系数组和渲染系数组的过程中，同时参考的人脸图像总数根据实际处理需要设置，故确定的辅人脸图像对应的图像数目为至少一个，本技术实施例中，确定的主人脸图像，用于在迭代调整建模系数组时，起到主要的监督作用，确定的辅人脸图像，则起到辅助的监督作用。
118.处理设备分别确定主人脸图像和至少一个辅人脸图像，对应的关键点重要性权重集合和像素点重要性权重图时，根据各个相应的人脸分割结果，分别执行以下操作：先分别确定对应的各个分割区域内的人脸关键点，并基于针对各个分割区域内的人脸关键点，分别配置的关键点重要性权重，生成关键点重要性权重集合，再配置各个分割区域内的像素点重要性权重，并基于各个分割区域内的像素点重要性权重，生成像素点重要性权重图。
119.需要说明的是，本技术实施例中，为了能够不同程度地参考主人脸图像和辅人脸图像提供的五官信息，本技术创造性的提出了，针对主人脸图像和辅人脸图像中的像素点和人脸关键点，差异性地配置对应的重要性权重，使得差异性地参考主人脸图像和辅人脸图像提供的像素值方面的信息，以及关键点方面的信息。
120.另外，本技术实施例中，还可以以数组的形式记录关键点重要性权重，根据检测出的各个人脸关键点的标号，生成对应的标号数组，并对应人脸关键点的标号数组中各个位置的人脸关键点，配置关键点重要性权重，进而得到对应的关键点重要性权重数组。
121.本技术实施例中，在配置人脸图像对应的关键点重要性权重集合和像素点重要性权重图时，相较于对辅人脸图像的配置而言，可以差异性地将主人脸图像中不同分割区域内的像素点，配置较大的像素点重要性权重，并同理，为不同分割区域内的人脸关键点，配置较大的关键点重要性权重。
122.例如，对于主人脸图像来说，可以针对人脸分割结果的背景区域，设置背景区域内各个像素点的像素点重要性权重为0，针对包括脸颊区域和器官区域在内的人脸区域，可以设置人脸区域内各个像素点的像素点重要性权重为1，进而，将基于针对各个区域的像素点设置的像素点重要性权重，能够合成关键点重要性权重图，其中，合成的关键点重要性权重图具体为，像素点对应的像素值为0或1的单通道图像。
123.又例如，以对一个辅人脸图像进行处理为例，处理设备可以针对人脸分割结果中的背景区域，设置背景区域内各个像素点的像素点重要性权重为0，针对脸颊区域，可以设置脸颊区域内各个像素点的像素点重要性权重为1，针对各个器官区域：左右侧眉毛区域、左右侧眼睛区域、鼻子区域，以及上下嘴唇区域，可以设置各个器官区域内各个像素点的像素点重要性权重为一个小于1的值，如，假设辅人脸图像的总数为x，且x大于1，那么针对各个器官区域内的像素点设置的像素点重要性权重为1/x。进而根据各个分割区域内包括的像素点对应的像素点重要性权重，合成关键点重要性权重图。
124.又例如，在针对主人脸图像进行关键点重要性权重的配置时，采用人脸关键点检测技术，假设确定主人脸图像中包括k个2d的人脸关键点，进而针对确定的k个人脸关键点，分别设置对应的关键点重要性权重，之后，能够得到由对应的k个关键点重要性权重，组成的关键点重要性权重数组，其中，设置的关键点重要性权重根据实际的处理需要设置，如，设置为1。
125.又例如，以对一个辅人脸图像进行处理为例，在针对辅人脸图像进行关键点重要性权重的配置时，采用人脸关键点检测技术，假设确定辅人脸图像中包括m个2d的人脸关键点，进而针对确定的m个人脸关键点，分别配置对应的关键点重要性权重，在具体设置时，可以针对不同区域的人脸关键点进行差异性的设置，如，可以将轮廓部分的人脸关键点，对应设置为，关键点重要性权重为1。将人脸中各个器官部分的人脸关键点，对应设置为一个权重小于1的数，如，假设辅人脸图像的总数为y，且y大于1，那么针对各个器官区域内的像素点设置的像素点重要性权重为1/y，进而建立对应的人脸关键点权重数组。
126.需要说明的是，本技术实施例中，针对主人脸图像和辅人脸图像分别配置的像素点重要性权重和关键点重要性权重的取值，可以根据实际的处理需要自行配置，但是配置相应的取值所遵循的原则为：相比于主人脸图像而言，针对辅人脸图像配置的像素点重要性权重和关键点重要性权重，不高于在主人脸图像中的同类分割区域内，配置的像素点重
要性权重和关键点重要性权重。
127.例如，辅人脸图像和主人脸图像的鼻子区域，可以作为一个对应的同类分割区域，那么针对辅人脸图像中鼻子区域内各个像素点的像素点重要性权重的配置，取值小于主人脸图像中鼻子区域内的各个像素点，而且辅人脸图像中鼻子区域内各个人脸像素点的像素点重要性权重，取值低于主人脸鼻子区域内的各个人脸像素点。
128.另外，为了一定程度上降低由于辅人脸图像提供与主人脸图像相冲突的五官信息(器官信息)，所带来的干扰，可以针对辅人脸图像中，对应各个器官的分割区域，配置相比于辅人脸图像中的其他分割区域，取值较小的像素点重要性权重取值和关键点重要性权重取值。
129.这样，基于针对主人脸图像和辅人脸图像，进行的像素点重要性权重配置和关键点重要性权重配置，能够以权重取值的形式，具化的区分主人脸图像和辅人脸图像的不同重要程度，而且采用在进行多轮迭代调整之前，生成关键点重要性权重集合和像素点重要性权重图的方式，能够避免在不同轮次的迭代过程中，重复生成相同的信息内容，一定程度上降低了计算量。
130.与此同时，在进行像素点重要性权重配置和关键点重要性权重配置时，借助于人脸分割技术分割得到的各个分割区域，能够更好的区分主人脸图像和辅人脸图像中的脸部不同区域，为对不同分割区域进行针对性的配置提供了处理依据。
131.步骤302：处理设备基于人脸图像组和基础人脸集合，对初始的建模系数组进行多轮迭代调整，并基于完成调整的目标建模系数组和基础人脸集合，确定目标人脸三维结果。
132.在执行步骤302，处理设备基于人脸图像组和基础人脸集合，对初始的建模系数组进行多轮迭代调整，其中，基础人脸集合是基础人脸集合为3dmm人脸集合时，建模系数组为人脸形状系数和人脸纹理系数。
133.需要说明的是，本技术实施例中，也可以根据实际处理需要，选择其他能够联合作用生成人脸三维结果的基础人脸集合，并迭代调整用于对基础人脸集合中的各个基础人脸进行加权融合的建模系数组。
134.另外，本技术实施例中，在迭代调整建模系数组的同时，对渲染系数组进行了同步调整，其中，渲染系数组用于将人脸三维结果进行渲染重建，得到二维图像，本技术对此不做具体限制。对于渲染系数组而言，渲染系数组是采用损失值进行反向优化调整的，因此，渲染系数组中对应计算损失值时所采用的主人脸图像和至少一个辅人脸图像，分别确定有对应的一组渲染系数，使得能够在计算损失值时，得到人脸三维结果对应主人脸图像渲染得到的主渲染图，并得到对应至少一个辅人脸图像，分别渲染得到的辅渲染图。
135.本技术实施例中，考虑到单个图像能够提供的图像信息过于单一，故在构建人脸三维结果的过程中，需要依据多个人脸图像的信息，通过综合降低人脸图像，与对应人脸图像渲染得到的渲染图像之间的损失，实现对建模系数组的综合调节，因此，在对建模系数组进行迭代优化调整的过程，需要依据对应目标对象采集的，包括多个人脸图像的人脸图像组。故本技术提出的技术方案，应用于采用多个人脸图像的信息，在迭代调节过程中进行损失值的计算的场景下。
136.参阅附图7所示，其为本技术实施例中执行一轮迭代调整的流程示意图，下面结合附图7，对执行一轮迭代调整的过程进行详细说明：
137.步骤3021：处理设备基于根据当前的建模系数组和基础人脸集合，确定的人脸三维结果，获得主人脸图像与关联的主渲染图像之间的第一比对结果，以及分别获得至少一个辅人脸图像，各自与关联的辅渲染图像之间的第二比对结果。
138.具体的，在执行步骤3021时，参阅图8所示，其为本技术实施例中确定比对结果的流程示意图，下面结合附图8，对确定主人脸图像与关联的主渲染图像之间的第一比对结果，以及分别确定至少一个辅人脸图像，各自与关联的辅渲染图像之间的第二比对结果的过程进行说明：
139.步骤3021-a：处理设备根据当前的建模系数组和基础人脸集合，确定人脸重建结果，并基于人脸重建结果和当前获取的渲染系数组，分别生成主人脸图像关联的主渲染图像，以及分别生成所述至少一个辅人脸图像关联的辅渲染图像。
140.需要说明的是，在初次进行迭代调整的过程中，当前的建模系数组和渲染系数组，具体是指初始化的建模系数组和初始化的渲染系数组。而在后续的迭代过程中，将前一轮迭代调整得到的建模系数组和渲染系数组，作为当前的建模系数组和渲染系数组。
141.具体的，处理设备根据当前的建模系数组，对基础人脸集合中各个基础人脸进行加权叠加后，能够得到人脸三维结果，进而获取当前的渲染系数组，并基于人脸三维结果和当前的渲染系数组，能够将人脸三维结果重建生成与主人脸图像关联的主渲染图像，以及生成与辅人脸图像关联的辅渲染图像，其中，渲染系数组包括各组光照系数和各组姿态系数。
142.例如，借助于3dmm人脸集合，以及当前的人脸形状系数和人脸纹理系数，能够确定对应的人脸三维结果，进而借助于各组光照系数和各组姿态系数，分别确定由人脸三维结果渲染得到的各个渲染图像，其中，各个渲染图像中包括主渲染图像和辅渲染图像。
143.步骤3021-b：处理设备分别确定主人脸图像、主渲染图像、至少一个辅人脸图像，以及至少一个辅渲染图像，各自对应的人脸关键点集合和人脸分割结果。
144.本技术一些可能的实施例中，当进行多轮迭代之前，未针对主人脸图像及至少一个辅人脸图像，分别进行人脸识别处理和人脸分割处理时，则在执行步骤3021-b时，处理设备可以采用人脸关键点检测技术和人脸分割技术，分别对主人脸图像和至少一个辅人脸图像进行处理，分别确定主人脸图像和至少一个辅人脸图像中包括的人脸关键点集合和人脸分割结果。
145.这样，无需额外存储主人脸图像和至少一个辅人脸图像，各自对应的人脸关键点集合和人脸分割结果，降低了对于存储空间的占用，不会因为存储异常而造成无法获得人脸关键点集合和人脸分割结果的异常情况。
146.本技术另一些可能的实施例中，当进行多轮迭代之前，针对主人脸图像及至少一个辅人脸图像，分别进行了人脸识别处理和人脸分割处理时，则在执行步骤3021-b时，处理设备可以直接获取主人脸图像对应的人脸关键点集合和人脸分割结果，以及可以直接获取至少一个辅人脸图像各自对应的人脸关键点集合和人脸分割结果。
147.这样，考虑到每轮迭代调整过程中都需要使用主人脸图像和辅人脸图像中的人脸关键点集合和人脸分割结果，则可以预先存储相关的内容，避免重复计算。
148.处理设备确定主人脸图像和至少一个辅人脸图像各自对应的，人脸关键点集合和人脸分割结果后，可以在建立的人脸三维结果中，确定对应的各个人脸三维结果和人脸分
割结果，使得在得到渲染图像的过程中，能够直接映射确定渲染图像中对应的人脸关键点和人脸分割结果，其中，本技术中的渲染图像是主渲染图像和至少一个辅渲染图像的总称，用于在描述主渲染图像和至少一个辅渲染图像中的共性内容时使用。
149.具体的，本技术一些可能的实现方式中，以对主人脸图像的处理过程为例：处理设备在确定主人脸图像中各个人脸关键点，在主人脸图像坐标下的二维坐标后，可以采用二维到三维的形状稠密对应算法，分别确定主人脸图像中的各个人脸关键点，在人脸三维图像中对应的三维坐标，并在基于人脸三维结果渲染得到主渲染图像时，确定各个人脸关键点的三维坐标投影至主渲染图像时的二维坐标，进而确定主渲染图像中包括的各个人脸关键点和对应的二维坐标。
150.与确定主渲染图像中的各个人脸关键点的过程同理，处理设备可以分别确定主人脸图像中，进行人脸分割后各个分割区域的边缘像素点，并将依据边缘像素点的二维坐标，确定在人脸三维结果上对应的三维坐标，进而在基于人脸三维结果渲染得到主渲染图像时，同步映射确定主渲染图像中的各个分割区域。
151.需要说明的是，由于确定辅渲染图像中的各个人脸关键点和人脸分割结果的处理方式，与上述过程同理，故在此不再进行展开说明。
152.本技术另一些可能的实施例中，在确定渲染图像中包括的人脸关键点和人脸分割结果时，也可以选择性的直接使用人脸关键点检测技术，确定分别确定渲染图像中的各个人脸关键点，以及采用人脸分割技术，分别确定各个渲染图像的人脸分割结果。
153.这样，能够分别确定人脸图像和关联的渲染图像中，各自包括的各个人脸关键点和人脸分割结果，为后续损失值的计算提供了处理依据。
154.步骤3021-c：处理设备根据主渲染图像与主人脸图像之间的像素值差异和关键点位置差异，确定对应的第一比对结果，以及分别根据至少一个辅渲染图像与对应的辅人脸图像之间的，像素值差异和关键点位置差异，确定对应的第二比对结果。
155.处理设备在确定第一比对结果时，从像素点的像素值的层面，以及关键点位置的层面，分别确定主人脸图像和主渲染图像之间的差异，进而根据各个像素点之间的像素值差异和各个标号相同的人脸关键点之间的关键点位置差异，确定渲染图像与对应的人脸图像之间的比对结果。
156.需要说明的是，在人脸图像为rgb图像的情况下，每个人脸图像均包括三通道的像素值，分别为r通道中各个像素点的像素值、g通道中各个像素点的像素值，以及b通道中各个像素点的像素值，因而确定的像素值差异中，需要针对三个通道，分别确定对应的通道中相对位置相同的像素点之间的像素值差异。
157.本技术实施例中，处理设备根据各个像素点之间的像素值差异和各个标号相同的人脸关键点之间的关键点位置差异，确定渲染图像与对应的人脸图像之间的比对结果。
158.具体的，处理设备根据主渲染图像与主人脸图像之间的像素值差异和关键点位置差异，确定对应的第一比对结果时，处理设备确定主人脸图像和主渲染图像中，相对位置相同的各个像素点之间的像素值差异，并确定各个相同标号的人脸关键点之间的关键点位置差异，进而根据各个像素值差异和各个关键点位置差异，确定对应的第一比对结果。
159.处理设备在确定像素值差异时，可以将主渲染图像和主人脸图像的相同通道中，相对位置相同的各个像素点之间的l1误差，作为对应位置的像素点所对应的像素值差异，
进而同理可以确定主渲染图像和主人脸图像之间，r通道、g通道，以及b通道中，各个像素点对应的像素值差异。
160.处理设备在确定关键点位置差异时，可以将主渲染图像与主人脸图像中，相同标号的人脸关键点之间的坐标差异，确定为对应的关键点位置差异，其中，由于在进行人脸关键点检测时，存在基准人脸关键点作为参考，因此，故本技术所提及的人脸关键点的相同标号，具体是指与相同的基准人脸关键点所对应的，主渲染图像和主人脸图像中的两个人脸关键点。
161.需要说明的是，在计算人脸关键点之间的关键点位置差异时，可以通过计算像素点在构建的相同坐标系下的l1误差，或者，通过计算相同坐标系下，两个人脸关键点之间的距离来确定。
162.例如，参阅图9所示，其为本技术实施例中对应相同标号的两个人脸关键点示意图，对于主人脸图像和主渲染图像而言，由于两个图像的大小完全相同，故在建立如图所示意的坐标系时，可以确定主渲染图像中标号81的人脸关键点的坐标位置为(x1，y1)，主人脸图像中标号为81的人脸关键点的坐标位置为(x2，y2)，那么确定标号为81的两个人脸关键点之间的关键点位置差异时，可以直接计算两个坐标之间的l1误差，或者，可以通过计算来确定两个人脸关键点之间的距离，来表征关键点位置差异。
163.进一步的，在确定主渲染图像与主人脸图像之间，各个像素点的像素值差异，以及确定主渲染图像与主人脸图像之间，各个人脸关键点之间的关键点位置差异后，将确定的像素值差异和关键点位置差异，作为对应的第一比对结果。
164.同理，处理设备可以采用与确定第一比对结果相同的处理方式，分别确定至少一个辅渲染图像与对应的辅人脸图像之间的第二比对结果，本技术在此不做具体说明。
165.另外，本技术实施例中人脸图像、渲染图像，以及针对人脸图像和渲染图像配置的像素点重要性权重图像中，包括的像素点的数目完全相同。
166.这样，通过计算像素值层面的差异情况，以及人脸关键点之间的坐标差异情况，能够表达出人脸图像与渲染图像之间的差异。
167.步骤3022：处理设备基于获得的至少一个第二比对结果，各自与第一比对结果之间的偏移程度，配置相应的辅人脸图像的参考评估结果。
168.参阅图10所示，其为本技术实施例中确定辅人脸图像的参考评估结果的过程示意图，下面结合附图10，对执行步骤3022时，分别基于获得的至少一个第二比对结果，确定参考评估结果的过程进行说明：
169.步骤3022-a：处理设备根据第一比对结果对应的第一人脸分割结果，以及一个第二比对结果对应的第二人脸分割结果，确定匹配的各组分割区域，并分别针对各组分割区域，根据对应的像素值差异均值之间的第一偏移程度，配置对应的分割区域内，各个像素点的像素值参考评估结果。
170.具体的，处理设备将主人脸图像对应的人脸分割结果，作为第一人脸分割结果，而且由于第一比对结果是根据主人脸图像与主渲染图像中，对应的各个像素点之间的像素值差异，以及对应的各个人脸关键点的关键点坐标差异确定的，因此，第一比对结果对应的人脸分析结果，即为主人脸图像的人脸分割结果。
171.同理，处理设备将至少一个辅人脸图像对应的人脸分割结果，分别命名为第二人脸分割结果，对于至少一个第二比对结果来说，由于一个第二比对结果是根据，一个辅渲染图像与对应的一个辅人脸图像中，对应的各个像素点之间的像素值差异，以及对应的各个人脸关键点的关键点坐标差异确定的，因此，一个第二比对结果与一个辅人脸图像的人脸分割结果相对应。
172.基于上述描述，可以确定主人脸图像的各个分割区域内，第一比对结果的分布情况，以及能够确定辅人脸图像的各个分割区域内，第二比对结果的分布情况。
173.进一步的，处理设备在第一人脸分割结果和第二人脸分割结果中，确定匹配的各组分割区域，其中，在确定匹配的各组分割区域时，可以将对应相同器官区域的分割区域，作为一组匹配的分割区域。进而基于在各组匹配的分割区域内，像素值差异均值之间的第一偏移程度，配置第二比对结果中对应的分割区域内，各个像素点的像素值参考评估结果。
174.例如，参阅图11所示，其为本技术实施例中各组分割区域示意图，对于第一人脸分割结果和第二人脸分割结果，可以将对应嘴巴区域的两个分割区域，作为一组分割区域，同理，将鼻子区域对应的两个分割区域，分别作为一个组分割区域，将眼眉区域对应的两个分割区域，作为一组分割区域，以及将眼睛区域对应的两个分割区域，作为一组分割区域。
175.本技术实施例中，在第二比对结果中的各个分割区域内，确定各个像素点的像素值参考评估结果时，处理设备可以针对各组分割区域内的第一偏移程度，进行针对性配置，当第一偏移程度用于表征第二比对结果相对于第一比对结果的偏移情况时，若第一偏移程度大于0，则在确定一组分割区域内各个像素点的像素值参考评估结果时，采用以下公式：
[0176][0177]
其中，err为进行归一化处理后的第二比对结果中，在对应的一组分割区域内的像素值差异均值(即，l1误差均值)，ref_err为进行归一化处理后的第一比对结果中，在对应一组分割区域内的像素值差异均值(即，l1误差均值)，归一化处理是通过将像素值的差值除以255实现的。
[0178]
反之，若确定一组分割区域内，第二比对结果相比对于第一比对结果的第一偏移程度小于0，则表征对应的一个辅人脸图像与辅渲染图像之间的对应区域的像素值差异，比于主人脸图像与主渲染图像之间的像素值差异更小，说明辅人脸图像与辅渲染图像之间的像素值差异更小，故可以将对应的分割区域内各个像素点的像素值参考评估结果设置为1。
[0179]
此外，对于对人脸三维模型的生成影响不大的区域，诸如脸颊区域，以及背景区域来说，可以将脸颊区域对应的参考评估结果设置为1，以及将背景区域的参考评估结果设置为0。
[0180]
需要说明的是，由于主人脸图像在迭代调整的过程中，起到主要参考的作用，故本技术未对主人脸图像中各个像素点的参考评估结果进行说明，可以根据实际处理需要，将主人脸图像中人脸区域各个像素点的参考评估结果默认设置为1，以及将无效的背景区域内像素点的参考评估结果设置为0。
[0181]
需要说明的是，由于本技术实施例中，人脸图像和渲染图像均为三通道的图像，故第一比对结果和第二比对结果本质上也是三通道，在根据比对结果中像素值差异，确定偏移情况时，可以同时考量三个通道的像素值差异，取三个通道中相同分割区域内的像素点
差异均值进行考量，进而最终针对辅人脸图像构建单通道的像素值参考评估图。
[0182]
这样，由于针对各个像素分别配置了对应的参考评估结果，故可以根据各个像素点各自对应的参考评估结果，作为对应的像素点的像素值，生成单通道的参考评估结果图。
[0183]
步骤3022-b：处理设备根据一个第二比对结果与第一比对结果各自对应的人脸关键点集合，分别确定在各组分割区域内匹配的各组人脸关键点子集合，并分别针对各组人脸关键点子集合，根据对应的关键点位置差异均值之间的第二偏移程度，配置对应的分割区域内，人脸关键点的关键点参考评估结果。
[0184]
具体的，处理设备在确定各组分割区间后，可以根据一个第二比对结果与第一比对结果各自对应的人脸关键点集合，分别确定在各组分割区域内匹配的各组人脸关键点子集合，并分别针对各组人脸关键点子集合，确定对应的关键点位置差异均值之间的第二偏移程度，其中，一组关键点子集合中包括处于同类分割区域内的各个人脸关键点。
[0185]
例如，继续参阅图11所示，在划分出各组目标区域后，以确定眼眉区域对应的一组人脸关键点子集合为例，可以基于主人脸图像中位于眼眉区域的各个人脸关键点，生成一个人脸关键点子集合，以及可以基于辅人脸图像中位于眼眉区域的各个人脸关键点，生成一个人脸关键点子集合，进而基于确定的两个人脸关键点子集合，生成一组人脸关键点子集合。
[0186]
进一步的，处理设备根据第二比对结果，分别确定辅人脸图像中各个人脸关键点各自对应的关键点位置差异，以及根据第一比对结果，分别确定主人脸图像中各个人脸关键点各自对应的关键点位置差异，进而分别确定各组人脸关键点子集合中，包括的两个人脸关键点子集合各自对应的关键点位置差异均值，进而根据确定的两个关键点位置差异均值之间的第二偏移程度，配置对应的分割区域中各个人脸关键点的关键点参考评估结果。
[0187]
例如，以计算嘴巴区域内各个人脸关键点的关键点参考评估结果为例，处理设备分别针对主人脸图像和辅人脸图像中，嘴巴区域内的各个人脸关键点，计算关键点位置差异均值后，假设针对主人脸图像计算得到的关键点位置差异均值记为ref_err1，针对辅人脸图像计算得到的关键点位置差异均值记为err1，那么假设err1与ref_err1之间的差值大于0，则将对辅人脸图像中，嘴巴区域内的各个人脸关键点的关键点参考评估结果设置为e
(-(err1-ref_err1))
，否则，若确定err1与ref_err1之间的差值小于0，则将嘴巴区域内的各个人脸关键点的关键点参考评估结果设置为1。
[0188]
又例如，考虑到人脸轮廓部分的关键点在生成人脸三维模型时的差异性不强，故可以将辅人脸图像中，位于人脸轮廓部分的人脸关键点的关键点参考评估结果设置为1。
[0189]
需要说明的是，由于主人脸图像在迭代调整的过程中，起到主要参考的作用，故本技术未对主人脸图像中各个人脸关键点的关键点参考评估结果进行具体说明，可以均设置为1。
[0190]
这样，通过计算各个人脸关键点各自对应的参考评估结果，能够确定对于辅人脸图像中对应的人脸关键点的参考情况。
[0191]
步骤3023：处理设备基于根据第一比对结果确定的第一损失值，以及分别根据至少一个第二比对结果和相应的参考评估结果确定的第二损失值，调整建模系数组。
[0192]
本技术实施例中，处理设备在计算根据第一比对结果确定的第一损失值时，处理设备确定针对主人脸图像中各个分割区域内的像素点，分别配置的像素点重要性权重，其
中，分割区域是由对应的人脸分割结果确定的，再基于第一比对结果中包括的各个像素值差异，以及对应各个像素点配置的像素点重要性权重，计算第一像素值损失。
[0193]
需要说明的是，在进行多轮迭代之前，配置有主人脸图像对应的像素点重要性权重图时，则处理设备可以直接获取主人脸图像对应的像素点重要性权重图，以确定主人脸图像中各个像素点各自对应的像素点重要性权重；反之，若在进行多轮迭代之前，未配置有主人脸图像对应的像素点重要性权重图时，则处理设备针对主人脸图像中各个分割区域内的像素点分别配置像素点重要性权重，其中，相关的配置过程与步骤3012的配置过程相同，在此不再赘述。
[0194]
具体的，在计算第一像素值损失时，考虑到主人脸图像是rgb图像，那么，针对主人脸图像的三个通道，可以分别采用以下公式计算对应的第一像素值子损失：
[0195][0196]
其中，l1_photo表示计算得到的第一像素子损失，|mask|表征针对主人脸图像中的各个像素点分别配置的像素点重要性权重的和，∑()表征针对主人脸图像的一个通道中，人脸区域内的像素点进行处理求和，ci表征该人脸区域内的任意一个像素点i的像素值参考评估结果，取值为1，maski表征像素点i对应的像素点重要性权重，i'i表征主渲染图像中像素点i的像素值，ii表示主人脸图像中像素点i的像素值。
[0197]
同理，根据上述公式能够得到在不同通道中的第一像素子损失，进而将r、g、b三个通道的第一像素子损失的和，确定为第一像素损失。
[0198]
与此同时，处理设备基于第一比对结果中包括的各个关键点位置差异，以及对应各个关键点配置的关键点重要性权重，计算第一关键点损失。
[0199]
需要说明的是，在进行多轮迭代之前，配置有主人脸图像对应的关键点重要性权重集合时，则处理设备可以直接获取对应的关键点重要性权重集合；反之，若在进行多轮迭代之前，未配置有主人脸图像对应的关键点重要性权重集合时，则处理设备针对主人脸图像中各个人脸关键点配置关键点重要性权重，其中，相关的配置过程与步骤3012的配置过程相同，在此不再赘述。
[0200][0201]
其中，|m|表征针对主人脸图像中的各个人脸关键点分别配置的关键点重要性权重的和，∑()表征针对主人脸图像中各个人脸关键点进行处理求和，cli表征任意一个人脸关键点i的关键点参考评估结果，取值为1，wi表征关键点i对应的关键点重要性权重，k'
i-ki表征主渲染图像中人脸关键点i与主人脸图像中对应人脸关键点i之间的，像素坐标l1误差。
[0202]
进一步的，处理设备根据第一像素值损失和第一关键点损失确定对应的第一损失值，具体的，将第一像素值损失和第一关键点损失的和，作为对应的第一损失值。
[0203]
在基于第一比对结果确定第一损失的同时，处理设备还可以采用上述计算公式，分别针对至少一个第二比对结果，确定对应的第二损失值。
[0204]
具体的，处理设备分别获取针对至少一个人脸图像中各个分割区域内的像素点，
分别配置的像素点重要性权重，其中，分割区域是由对应的人脸分割结果确定的。
[0205]
其中，辅人脸图像中各个像素点各自对应的像素点重要性权重的确定方式，与上述确定主人脸图像中各个像素点各自对应的像素点重要性权重相同，本技术不做具体限制。
[0206]
进一步的，处理设备分别基于至少一个第二比对结果中包括的各个像素值差异，以及对应各个像素点配置的像素点重要性权重和像素值参考评估结果，计算第二像素值损失。
[0207]
具体的，考虑到辅人脸图像和对应的辅渲染图像均为rgb图像，那么，对应的第二比对结果中同样是三通道的，因而，与第一像素值损失的计算结果类似，处理设备可以计算各个通道的第二像素子损失，并将各个通道的第二像素子损失加和得到第二像素损失，在计算一个第二像素子损失时使用的公式如下：
[0208][0209]
其中，l2_photo表示计算得到的第二像素子损失，|mask|表征针对辅人脸图像中的各个像素点分别配置的像素点重要性权重的和，∑()表征针对辅人脸图像的一个通道中，人脸区域内像素点进行处理求和，cj表征该人脸区域内的任意一个像素点j的像素值参考评估结果，maskj表征像素点j对应的像素点重要性权重，i'j表征辅渲染图像中像素点j的像素值，ij表示辅人脸图像中像素点j的像素值。
[0210]
同理根据上述公式能够得到在不同通道中的第二像素子损失，进而将r、g、b三个通道的第一像素子损失的和，确定为第二像素损失。
[0211]
与此同时，处理设备可以分别基于至少一个第二比对结果中包括的各个关键点位置差异，以及对应各个人脸关键点配置的关键点重要性权重和关键点参考评估结果，计算第二关键点损失。
[0212]
与上述计算第一关键点损失的过程同理，处理设备可以针对至少一个第二比对结果，分别采用如下公式，计算第二关键点损失：
[0213][0214]
其中，|w|表征针对辅人脸图像中的各个人脸关键点分别配置的关键点重要性权重的和，∑()表征针对辅人脸图像中各个人脸关键点进行处理求和，clj表征任意一个人脸关键点j的关键点参考评估结果，wj表征关键点j对应的关键点重要性权重，k'
j-kj表征辅渲染图像中人脸关键点j与主人脸图像中对应人脸关键点j之间的，像素坐标l1误差。
[0215]
进一步的，处理设备基于各个第二像素值损失和各个第二关键点损失确定对应的第二损失值，具体的，将各个第二像素值损失和各个第二关键点损失的和作为对应的第二损失值。
[0216]
在获得第一损失值和第二损失值之后，处理设备基于第一损失值和各个第二损失值的和，反向优化调整建模系数组和渲染系数组，其中，处理设备可以选用优化器，实现优化调节，选用的优化器具体可以是adam优化器。
[0217]
这样，在每一次迭代步骤中，考虑主人脸图像和副人脸图像的五官区域内的，像素值差异和关键点位置差异，实现了一种自适应的损失函数方案，使得在迭代优化计算损失值的过程中，以一张主人脸图像的图像信息为主，辅人脸图像的图像信息中，较比主人脸图像差异性小的辅人脸图像，即，与主人脸图像相似的部分则被较多的利用，作为优化调节的监督信息，不相似的部分则被较少的利用。
[0218]
进一步的，处理设备循环执行迭代优化过程，直至满足预设的收敛条件，获得最终调整得到目标建模系数组，并基于目标建模系数组以及基础人脸集合，生成目标对象对应的目标人脸三维结果。
[0219]
预设的收敛条件可以是：迭代调整的次数达到第一设定阈值，或者，第一损失值和第二损失值的和，连续低于第一门限值的次数达到第二设定阈值，其中，第一设定阈值、第一门限值，以及第二设定阈值的取值根据实际处理需要设置，本技术不做具体限制。
[0220]
参阅图12所示，其为本技术实施例中基于3dmm实现人脸重建的应用示意图，下面结合附图12进行详细说明。
[0221]
根据图12所示意的内容，在对目标对象进行人脸重建时，假设对目标对象z进行人脸重建时，获得目标对象：对象z的x+1张人脸图像，并在获得的x+1张人脸图像中指定了主人脸图像和x张辅人脸图像，其中，为了便于示意，图12中仅示意了对辅人脸图像1和辅人脸图像x。
[0222]
在初次人脸重建过程中，处理设备基于初始的3dmm系数、pose系数，以及光照系数，将3dmm人脸集合中的各个3dmm人脸，加权融合得到一个人脸三维结果，进而借助于各组pose系数和各组光照系数，基于一个人脸三维结果，进行映射和渲染，得到渲染图像组，进而根据渲染图像与对应的人脸图像之间的比对结果，与主渲染图像与对应的主人脸图像之间的偏移情况，确定辅人脸图像对应的参考评估结果，进而基于参考评估结果和第二对比结果计算对应的第二损失值。
[0223]
进而基于计算得到的损失值，采用优化器调整3dmm系数、各组pose系数，以及各组光照系数。并循环执行上述操作，直至确定收敛，获得目标3dmm系数，并基于目标3dmm系数与3dmm人脸集合，确定人脸三维结果。
[0224]
基于同一发明构思，参阅图13所示，其为本技术实施例中人脸三维结果的生成装置的逻辑结构示意图，人脸三维结果的生成装置1300中包括获取单元1301、调整单元1302，其中，
[0225]
获取单元1301，用于获取针对目标对象采集的人脸图像组，其中，人脸图像组中包括主人脸图像及至少一个辅人脸图像；
[0226]
调整单元1302，用于基于人脸图像组和基础人脸集合，对初始的建模系数组进行多轮迭代调整，并基于完成调整的目标建模系数组和基础人脸集合，确定目标人脸三维结果；其中，每一轮迭代调整过程中执行以下操作：
[0227]
基于根据当前的建模系数组和基础人脸集合，确定的人脸三维结果，获得主人脸图像与关联的主渲染图像之间的第一比对结果，以及分别获得至少一个辅人脸图像，各自与关联的辅渲染图像之间的第二比对结果；
[0228]
基于获得的至少一个第二比对结果，各自与第一比对结果之间的偏移程度，配置相应的辅人脸图像的参考评估结果；
[0229]
基于根据第一比对结果确定的第一损失值，及分别根据至少一个第二比对结果和相应的参考评估结果确定的第二损失值，调整建模系数组。
[0230]
可选的，基础人脸集合为3dmm人脸集合时，建模系数组为3dmm系数。
[0231]
可选的，获取针对目标对象采集的人脸图像组之后，基于人脸图像组和基础人脸集合，对初始的建模系数组进行多轮迭代调整之前，获取单元1301还用于：
[0232]
采用人脸关键点检测技术和人脸分割技术，分别针对人脸图像组包括的各个人脸图像，确定人脸关键点集合和人脸分割结果；
[0233]
针对在各个人脸图像中确定的，一个主人脸图像和相应的至少一个辅人脸图像，分别根据相应的人脸分割结果，配置人脸关键点集合对应的关键点重要性权重集合，以及配置对应的像素点重要性权重图。
[0234]
可选的，分别根据相应的人脸分割结果，配置人脸关键点集合对应的关键点重要性权重集合，以及配置对应的像素点重要性权重图时，获取单元1301用于：
[0235]
根据各个相应的人脸分割结果，分别执行以下操作：
[0236]
分别确定对应的各个分割区域内的人脸关键点，并基于针对各个分割区域内的人脸关键点，分别配置的关键点重要性权重，生成关键点重要性权重集合；
[0237]
配置各个分割区域内的像素点重要性权重，并基于各个分割区域内的像素点重要性权重，生成像素点重要性权重图。
[0238]
可选的，基于根据当前的建模系数组和基础人脸集合，确定的人脸三维结果，获得主人脸图像与关联的主渲染图像之间的第一比对结果，以及分别获得至少一个辅人脸图像，各自与关联的辅渲染图像之间的第二比对结果时，调整单元1302用于：
[0239]
根据当前的建模系数组和所述基础人脸集合，确定人脸三维结果，并基于所述人脸三维结果和当前获取的渲染系数组，分别生成所述主人脸图像关联的主渲染图像，以及分别生成所述至少一个辅人脸图像关联的辅渲染图像，其中，所述渲染系数组包括各组光照系数和各组姿态系数；
[0240]
分别确定所述主人脸图像、所述主渲染图像、所述至少一个辅人脸图像，以及所述至少一个辅渲染图像，各自对应的人脸关键点集合和人脸分割结果；
[0241]
根据所述主渲染图像与所述主人脸图像之间的像素值差异和关键点位置差异，确定对应的第一比对结果，以及分别根据所述至少一个辅渲染图像与对应的辅人脸图像之间的，像素值差异和关键点位置差异，确定对应的第二比对结果。
[0242]
可选的，根据主渲染图像与主人脸图像之间的像素值差异和关键点位置差异，确定对应的第一比对结果时，调整单元1302用于：
[0243]
确定主人脸图像和主渲染图像中，相对位置相同的各个像素点之间的像素值差异，并确定各个相同标号的人脸关键点之间的关键点位置差异；
[0244]
根据各个像素值差异和各个关键点位置差异，确定对应的第一比对结果。
[0245]
可选的，基于获得的至少一个第二比对结果，各自与第一比对结果之间的偏移程度，配置相应的辅人脸图像的参考评估结果时，调整单元1302用于：
[0246]
针对至少一个第二比对结果，分别执行以下操作：
[0247]
根据第一比对结果对应的第一人脸分割结果，以及一个第二比对结果对应的第二人脸分割结果，确定匹配的各组分割区域，并分别针对各组分割区域，根据对应的像素值差
异均值之间的第一偏移程度，配置对应的分割区域内，各个像素点的像素值参考评估结果；
[0248]
根据一个第二比对结果与第一比对结果各自对应的人脸关键点集合，分别确定在各组分割区域内匹配的各组人脸关键点子集合，并分别针对各组人脸关键点子集合，根据对应的关键点位置差异均值之间的第二偏移程度，配置对应的分割区域内，人脸关键点的关键点参考评估结果。
[0249]
可选的，根据第一比对结果确定第一损失值时，调整单元1302用于：
[0250]
确定针对主人脸图像中各个分割区域内的像素点，分别配置的像素点重要性权重，其中，分割区域是由对应的人脸分割结果确定的；
[0251]
基于第一比对结果中包括的各个像素值差异，以及对应各个像素点配置的像素点重要性权重，计算第一像素值损失；
[0252]
基于第一比对结果中包括的各个关键点位置差异，以及对应各个关键点配置的关键点重要性权重，计算第一关键点损失；
[0253]
根据第一像素值损失和第一关键点损失确定对应的第一损失值。
[0254]
可选的，分别根据至少一个第二比对结果和相应的参考评估结果确定第二损失值时，调整单元1302用于：
[0255]
获取针对所述至少一个辅人脸图像中各个分割区域内的像素点，分别配置的像素点重要性权重，其中，分割区域是由对应的人脸分割结果确定的；
[0256]
分别基于所述至少一个第二比对结果中包括的各个像素值差异，以及对应各个像素点配置的像素点重要性权重和像素值参考评估结果，计算第二像素值损失；
[0257]
分别基于所述至少一个第二比对结果中包括的各个关键点位置差异，以及对应各个人脸关键点配置的关键点重要性权重和关键点参考评估结果，计算第二关键点损失；
[0258]
基于各个第二像素值损失和各个第二关键点损失确定对应的第二损失值。
[0259]
在介绍了本技术示例性实施方式的人脸三维结果的生成方法和装置之后，接下来，介绍根据本技术的另一示例性实施方式的电子设备。
[0260]
所属技术领域的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0261]
与上述方法实施例基于同一发明构思，本技术实施例中还提供了一种电子设备，参阅图14所示，其为应用本技术实施例的一种电子设备的一个硬件组成结构示意图，电子设备1400可以至少包括处理器1401、以及存储器1402。其中，存储器1402存储有程序代码，当程序代码被处理器1401执行时，使得处理器1401执行上述任意一种人脸三维结果的生成步骤。
[0262]
在一些可能的实施方式中，根据本技术的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，存储器存储有程序代码，当程序代码被处理器执行时，使得处理器执行本说明书上述描述的根据本技术各种示例性实施方式的人脸三维结果的生成步骤。例如，处理器可以执行如图3、图4中所示的步骤。
[0263]
下面参照图15来描述根据本技术的这种实施方式的计算装置1500。如图15所示，计算装置1500以通用计算装置的形式表现。计算装置1500的组件可以包括但不限于：上述
至少一个处理单元1501、上述至少一个存储单元1502、连接不同系统组件(包括存储单元1502和处理单元1501)的总线1503。
[0264]
总线1503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
[0265]
存储单元1502可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)15021和/或高速缓存存储单元15022，还可以进一步包括只读存储器(rom)15023。
[0266]
存储单元1502还可以包括具有一组(至少一个)程序模块15024的程序/实用工具15025，这样的程序模块15024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0267]
计算装置1500也可以与一个或多个外部设备1504(例如键盘、指向设备等)通信，还可与一个或者多个使得对象能与计算装置1500交互的设备通信，和/或与使得该计算装置1500能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1505进行。并且，计算装置1500还可以通过网络适配器1506与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1506通过总线1503与用于计算装置1500的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置1500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0268]
与上述方法实施例基于同一发明构思，本技术提供的人脸三维结果的生成方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述描述的根据本技术各种示例性实施方式的人脸三维结果的生成方法中的步骤，例如，电子设备可以执行如图3、图4中所示的步骤。
[0269]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0270]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0271]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种人脸三维结果的生成方法，其特征在于，包括：获取目标对象关联的人脸图像组，其中，所述人脸图像组中包括主人脸图像及至少一个辅人脸图像；基于所述人脸图像组和基础人脸集合，对初始的建模系数组进行多轮迭代调整，并基于完成调整的目标建模系数组和所述基础人脸集合，确定目标人脸三维结果；其中，每一轮迭代调整过程中执行以下操作：基于根据当前的建模系数组和所述基础人脸集合，确定的人脸三维结果，获得所述主人脸图像与关联的主渲染图像之间的第一比对结果，以及分别获得所述至少一个辅人脸图像，各自与关联的辅渲染图像之间的第二比对结果；基于获得的至少一个第二比对结果，各自与所述第一比对结果之间的偏移程度，配置相应的辅人脸图像的参考评估结果；基于根据所述第一比对结果确定的第一损失值，及分别根据所述至少一个第二比对结果和相应的参考评估结果确定的第二损失值，调整建模系数组。2.如权利要求1所述的方法，其特征在于，所述基础人脸集合为3dmm人脸集合时，所述建模系数组包括人脸形状系数和人脸纹理系数。3.如权利要求1所述的方法，其特征在于，所述获取针对目标对象采集的人脸图像组之后，所述基于所述人脸图像组和基础人脸集合，对初始的建模系数组进行多轮迭代调整之前，还包括：采用人脸关键点检测技术和人脸分割技术，分别针对人脸图像组包括的各个人脸图像，确定人脸关键点集合和人脸分割结果；针对在所述各个人脸图像中确定的，一个主人脸图像和相应的至少一个辅人脸图像，分别根据相应的人脸分割结果，配置人脸关键点集合对应的关键点重要性权重集合，以及配置对应的像素点重要性权重图。4.如权利要求3所述的方法，其特征在于，所述分别根据相应的人脸分割结果，配置人脸关键点集合对应的关键点重要性权重集合，以及配置对应的像素点重要性权重图，包括：根据各个相应的人脸分割结果，分别执行以下操作：分别确定对应的各个分割区域内的人脸关键点，并基于针对所述各个分割区域内的人脸关键点，分别配置的关键点重要性权重，生成关键点重要性权重集合；配置所述各个分割区域内的像素点重要性权重，并基于所述各个分割区域内的像素点重要性权重，生成像素点重要性权重图。5.如权利要求1-4任一项所述的方法，其特征在于，所述基于根据当前的建模系数组和所述基础人脸集合，确定的人脸三维结果，获得所述主人脸图像与关联的主渲染图像之间的第一比对结果，以及分别获得所述至少一个辅人脸图像，各自与关联的辅渲染图像之间的第二比对结果，包括：根据当前的建模系数组和所述基础人脸集合，确定人脸三维结果，并基于所述人脸三维结果和当前获取的渲染系数组，分别生成所述主人脸图像关联的主渲染图像，以及分别生成所述至少一个辅人脸图像关联的辅渲染图像，其中，所述渲染系数组包括各组光照系数和各组姿态系数；分别确定所述主人脸图像、所述主渲染图像、所述至少一个辅人脸图像，以及所述至少
一个辅渲染图像，各自对应的人脸关键点集合和人脸分割结果；根据所述主渲染图像与所述主人脸图像之间的像素值差异和关键点位置差异，确定对应的第一比对结果，以及分别根据所述至少一个辅渲染图像与对应的辅人脸图像之间的，像素值差异和关键点位置差异，确定对应的第二比对结果。6.如权利要求5所述的方法，其特征在于，所述根据所述主渲染图像与所述主人脸图像之间的像素值差异和关键点位置差异，确定对应的第一比对结果，包括：确定所述主人脸图像和所述主渲染图像中，相对位置相同的各个像素点之间的像素值差异，并确定各个相同标号的人脸关键点之间的关键点位置差异；根据各个像素值差异和各个关键点位置差异，确定对应的第一比对结果。7.如权利要求5所述的方法，其特征在于，所述基于获得的至少一个第二比对结果，各自与所述第一比对结果之间的偏移程度，配置相应的辅人脸图像的参考评估结果，包括：针对至少一个第二比对结果，分别执行以下操作：根据所述第一比对结果对应的第一人脸分割结果，以及一个第二比对结果对应的第二人脸分割结果，确定匹配的各组分割区域，并分别针对所述各组分割区域，根据对应的像素值差异均值之间的第一偏移程度，配置对应的分割区域内，各个像素点的像素值参考评估结果；根据所述一个第二比对结果与所述第一比对结果各自对应的人脸关键点集合，分别确定在所述各组分割区域内匹配的各组人脸关键点子集合，并分别针对各组人脸关键点子集合，根据对应的关键点位置差异均值之间的第二偏移程度，配置对应的分割区域内，人脸关键点的关键点参考评估结果。8.如权利要求7所述的方法，其特征在于，根据所述第一比对结果确定第一损失值时，包括：确定针对所述主人脸图像中各个分割区域内的像素点，分别配置的像素点重要性权重，其中，分割区域是由对应的人脸分割结果确定的；基于所述第一比对结果中包括的各个像素值差异，以及对应各个像素点配置的像素点重要性权重，计算第一像素值损失；基于所述第一比对结果中包括的各个关键点位置差异，以及对应各个关键点配置的关键点重要性权重，计算第一关键点损失；根据所述第一像素值损失和所述第一关键点损失确定对应的第一损失值。9.如权利要求7所述的方法，其特征在于，分别根据所述至少一个第二比对结果和相应的参考评估结果确定第二损失值时，包括：获取针对所述至少一个辅人脸图像中各个分割区域内的像素点，分别配置的像素点重要性权重，其中，分割区域是由对应的人脸分割结果确定的；分别基于所述至少一个第二比对结果中包括的各个像素值差异，以及对应各个像素点配置的像素点重要性权重和像素值参考评估结果，计算第二像素值损失；分别基于所述至少一个第二比对结果中包括的各个关键点位置差异，以及对应各个人脸关键点配置的关键点重要性权重和关键点参考评估结果，计算第二关键点损失；基于各个第二像素值损失和各个第二关键点损失确定对应的第二损失值。10.一种人脸三维结果的生成装置，其特征在于，包括：
获取单元，用于获取目标对象关联的人脸图像组，其中，所述人脸图像组中包括主人脸图像及至少一个辅人脸图像；调整单元，用于基于所述人脸图像组和基础人脸集合，对初始的建模系数组进行多轮迭代调整，并基于完成调整的目标建模系数组和所述基础人脸集合，确定目标人脸三维结果；其中，每一轮迭代调整过程中执行以下操作：基于根据当前的建模系数组和所述基础人脸集合，确定的人脸三维结果，获得所述主人脸图像与关联的主渲染图像之间的第一比对结果，以及分别获得所述至少一个辅人脸图像，各自与关联的辅渲染图像之间的第二比对结果；基于获得的至少一个第二比对结果，各自与所述第一比对结果之间的偏移程度，配置相应的辅人脸图像的参考评估结果；基于根据所述第一比对结果确定的第一损失值，及分别根据所述至少一个第二比对结果和相应的参考评估结果确定的第二损失值，调整建模系数组。11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9任一项所述的人脸三维结果的生成方法。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的人脸三维结果的生成方法。13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述的人脸三维结果的生成方法。

技术总结
本申请涉及人工智能技术领域，尤其涉及一种人脸三维结果的生成方法、装置、电子设备，及存储介质，该方法为：获取针对目标对象采集的人脸图像组，其中，人脸图像组中包括主人脸图像和至少一个辅人脸图像，迭代调整建模系数组和渲染系数，在迭代调整的过程中，根据主人脸图像对应间的第一比对结果，与辅人脸图像与辅渲染图像之间的第二比对结果之间的偏移情况，配置辅人脸图像的参考评估结果，进而基于第一比对结果、第二比对结果，以及参考评估结果，计算损失值，并基于损失值调整建模系数组和渲染系数组。这样，通过配置参考评估结果，能够降低与主人脸图像之间存在冲突影响的辅人脸图像的影响程度，为最终生成有效的人脸三维结果提供了保障。供了保障。供了保障。


技术研发人员：张浩贤
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2022.01.29
技术公布日：2023/8/9