人脸认证方法、装置、计算机设备和存储介质与流程

1.本技术涉及生物识别技术领域，特别是涉及一种人脸认证方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.随着金融技术的发展，出现了人脸识别支付技术，基于人脸认证技术的人脸支付系统利用人脸采集功能，通过人脸识别获取持卡人支付账户信息，进而完成支付流程。
3.传统技术可基于几何特征或三维模型进行人脸认证。
4.然而，传统方法在进行人脸认证时，认证识别结果受采集对象的状态等因素影响较大，身份验证准确率不高，不利于提高人脸认证的准确率。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提高人脸认证准确率的人脸认证方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
6.第一方面，本技术提供了一种人脸认证方法，所述方法包括：
7.获取针对目标对象的人脸采集图像；
8.将所述人脸采集图像中的人脸表情调整为目标表情，得到具有所述目标表情的待认证图像；所述目标表情为预先录入的人脸注册图像中的人脸表情；
9.根据所述待认证图像和所述人脸注册图像，对所述目标对象进行人脸认证。
10.在其中一个实施例中，所述将所述人脸采集图像中的人脸表情调整为目标表情，得到具有所述目标表情的待认证图像，包括：
11.获取所述目标表情的面部动作特征；
12.将所述人脸采集图像和所述目标表情的面部动作特征输入至预训练的生成器；所述预训练的生成器用于输出第一注意力掩码和第一颜色掩码，根据所述第一注意力掩码和所述颜色掩码，对所述人脸采集图像中的人脸表情进行调整，得到具有所述目标表情的待认证图像；所述第一注意力掩码表征所述人脸采集图像对应的面部动作特征与所述目标表情的面部动作特征之间的映射关系；所述第一颜色掩码表征所述人脸采集图像对应的颜色特征。
13.在其中一个实施例中，所述方法还包括：
14.将样本人脸图像和所述目标表情对应的面部动作特征输入至生成器，生成具有所述目标表情的样本待认证图像；
15.将所述样本待认证图像和所述样本人脸表情对应的面部动作特征输入至生成器；所述生成器用于输出第二注意力掩码和第二颜色掩码，根据所述第二注意力掩码和所述第二颜色掩码，对所述样本待认证图像中的目标表情进行调整，得到具有所述样本人脸表情的人脸重建图像；所述第二注意力掩码表征所述样本待认证图像对应的面部动作特征与所述样本人脸表情的面部动作特征之间的映射关系；所述第二颜色掩码表征所述样本待认证
图像对应的颜色特征；
16.根据所述人脸重建图像和所述鉴别器，确定所述人脸重建图像与所述样本人脸图像之间的鉴别结果；所述鉴别结果表征所述人脸重建图像与所述样本人脸图像之间的差异程度；
17.基于所述鉴别结果，对所述生成器和所述鉴别器进行对抗训练，得到所述预训练的生成器。
18.在其中一个实施例中，所述基于所述鉴别结果，对所述生成器和所述鉴别器进行对抗训练，得到所述预训练的生成器，包括：
19.根据所述样本人脸图像和所述样本待认证图像，确定所述生成器对应的损失函数值；
20.根据所述人脸重建图像和所述鉴别结果，确定所述鉴别器对应的损失函数值；
21.根据所述生成器对应的损失函数值和所述鉴别器对应的损失函数值，确定所述生成器与所述鉴别器之间的整体损失函数值；
22.根据所述整体损失函数值，对所述生成器进行训练，直至得到训练好的生成器，作为所述预训练的生成器。
23.在其中一个实施例中，所述根据所述样本人脸图像和所述样本待认证图像，确定所述生成器对应的损失函数值，包括：
24.根据所述样本人脸图像和所述样本待认证图像之间的第二注意力掩码，确定所述生成器对应的注意力损失函数值；
25.根据所述注意力损失函数值，确定所述生成器对应的损失函数值。
26.在其中一个实施例中，所述根据所述注意力损失函数值，确定所述生成器对应的损失函数值，包括：
27.根据所述样本人脸图像中的样本人脸表情对应的面部动作特征和所述目标表情对应的面部动作特征，确定所述生成器对应的表情损失函数值；
28.根据所述表情损失函数值和所述注意力损失函数值，确定所述生成器对应的损失函数值。
29.在其中一个实施例中，所述根据所述表情损失函数值和所述注意力损失函数值，确定所述生成器对应的损失函数值，包括：
30.根据所述人脸重建图像和所述样本人脸图像，确定所述生成器对应的身份损失函数值；
31.根据所述注意力损失函数值、所述表情损失函数值和所述身份损失函数值，确定所述生成器对应的损失函数值。
32.在其中一个实施例中，所述方法还包括：
33.获取原始人脸图像对应的人脸偏转角度；
34.在所述原始人脸图像对应的人脸偏转角度大于预设偏转角度阈值的情况下，将所述原始人脸图像输入至预训练的偏转角度调整模型，得到所述原始人脸图像对应的正脸图像；
35.将所述正脸图像确定为所述人脸采集图像。
36.第二方面，本技术还提供了一种人脸认证装置，所述装置包括：
37.获取模块，用于获取针对目标对象的人脸采集图像；
38.调整模块，用于将所述人脸采集图像中的人脸表情调整为目标表情，得到具有所述目标表情的待认证图像；所述目标表情为预先录入的人脸注册图像中的人脸表情；
39.认证模块，用于根据所述待认证图像和所述人脸注册图像，对所述目标对象进行人脸认证。
40.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
41.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
42.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
43.上述人脸认证方法、装置、计算机设备、存储介质和计算机程序产品，通过获取针对目标对象的人脸采集图像，从而及时采集目标对象的人脸图像，保证人脸图像的实时性与准确性；将人脸采集图像中的人脸表情调整为目标表情，得到具有目标表情的待认证图像，从而将人脸采集图像中的人脸表情替换为预先录入的人脸注册图像中的目标表情；根据待认证图像和人脸注册图像，对目标对象进行人脸认证，从而减少待认证图像和人脸注册图像之间的差异，保证人脸的准确认证，实现通过对目标对象的人脸采集图像进行表情调整，将人脸采集图像中的人脸表情调整为预先录入的目标对象对应的人脸注册图像中的目标表情，得到待认证图像，从而减少待认证图像和人脸注册图像之间的表情差异，进而基于待认证图像和人脸注册图像进行人脸认证，提高人脸认证的准确率，同时还可以避免人脸认证时对人脸采集图像中的人脸表情的限制约束过多，提高人脸采集和人脸认证的灵活性。
附图说明
44.图1为一个实施例中一种人脸认证方法的应用环境图；
45.图2为一个实施例中一种人脸认证方法的流程示意图；
46.图3为一个实施例中一种人脸校正的流程示意图；
47.图4为另一个实施例中一种人脸认证方法的流程示意图；
48.图5为一个实施例中一种调整人脸表情的架构示意图；
49.图6为一个实施例中一种人脸认证装置的结构框图；
50.图7为一个实施例中计算机设备的内部结构图。
具体实施方式
51.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
52.本技术实施例提供的人脸认证方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数
据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102获取针对目标对象的人脸采集图像；终端102将人脸采集图像中的人脸表情调整为目标表情，得到具有目标表情的待认证图像；目标表情为预先录入的人脸注册图像中的人脸表情；终端102根据待认证图像和人脸注册图像，对目标对象进行人脸认证。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
53.在一些实施例中，如图2所示，提供了一种人脸认证方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
54.步骤s202，获取针对目标对象的人脸采集图像。
55.其中，目标对象可以是指人脸认证操作所针对的对象，实际应用中，目标对象可以包括人脸识别支付场景下的支付方和人脸识别门禁系统中的开锁请求发出方。
56.其中，人脸采集图像可以是指由摄像头采集设备采集到的目标对象的人脸图像，实际应用中，目标对象位于摄像头采集设备前，摄像头采集设备可响应于图像采集请求，采集目标对象的人脸图像，得到针对目标对象的人脸采集图像。
57.作为一种示例，终端响应于人脸图像采集请求，终端控制摄像头采集设备对位于摄像头采集设备前的目标对象的进行图像采集，得到针对目标对象的人脸采集图像。
58.步骤s204，将人脸采集图像中的人脸表情调整为目标表情，得到具有目标表情的待认证图像。
59.其中，目标表情可以是指预先录入的人脸注册图像中的人脸表情。
60.其中，人脸注册图像可以是指预先录入的目标对象注册系统账户时，摄像头采集设备采集到的目标对象的人脸图像，实际应用中，系统账户可以包括支付账户、门禁账户和考勤账户等。
61.其中，待认证图像可以是指用于与人脸注册图像进行人脸识别的，且具有目标表情的图像。
62.作为一种示例，终端响应于人脸调整请求，将人脸采集图像和目标表情输入至预训练的表情编辑模型，表情编辑模型将人脸采集图像中的人脸表情调整为目标表情，得到具有目标表情的待认证图像。
63.步骤s206，根据待认证图像和人脸注册图像，对所述目标对象进行人脸认证。
64.作为一种示例，在进行人脸图像采集操作前，终端获取目标对象的身份信息(如手机号码或支付密码等)，在后台服务器中的留存数据中查找目标对象对应的人脸注册图像；终端得到待认证图像后，终端对待认证图像和人脸注册图像进行人脸认证(如终端对待认证图像和人脸注册图像进行1：1比对)，得到人脸认证结果，在人脸认证结果表征人脸认证通过时，终端可基于目标对象发出的后续请求执行对应操作(如人脸识别支付、人脸识别开锁、人脸识别考勤等)。
65.上述人脸认证方法中，通过获取针对目标对象的人脸采集图像，从而及时采集目标对象的人脸图像，保证人脸图像的实时性与准确性；将人脸采集图像中的人脸表情调整为目标表情，得到具有目标表情的待认证图像，从而将人脸采集图像中的人脸表情替换为
预先录入的人脸注册图像中的目标表情；根据待认证图像和人脸注册图像，对目标对象进行人脸认证，从而减少待认证图像和人脸注册图像之间的差异，保证人脸的准确认证，实现通过对目标对象的人脸采集图像进行表情调整，将人脸采集图像中的人脸表情调整为预先录入的目标对象对应的人脸注册图像中的目标表情，得到待认证图像，从而减少待认证图像和人脸注册图像之间的表情差异，进而基于待认证图像和人脸注册图像进行人脸认证，提高人脸认证的准确率，同时还可以避免人脸认证时对人脸采集图像中的人脸表情的限制约束过多，提高人脸采集和人脸认证的灵活性。
66.在一些实施例中，将人脸采集图像中的人脸表情调整为目标表情，得到具有目标表情的待认证图像，包括：获取目标表情的面部动作特征；将人脸采集图像和目标表情的面部动作特征输入至预训练的生成器，得到具有目标表情的待认证图像。
67.其中，预训练的生成器可以用于输出第一注意力掩码和第一颜色掩码，实际应用中，预训练的生成器根据第一注意力掩码和颜色掩码，对人脸采集图像中的人脸表情进行调整，得到具有目标表情的待认证图像。
68.其中，第一注意力掩码可以表征人脸采集图像对应的面部动作特征与目标表情的面部动作特征之间的映射关系。
69.其中，面部动作特征可以是指面部动作单元，其中，面部动作单元可以是指融合面部肌肉解剖学，把人脸肌肉分为不同的区域，人脸做出各种表情时，不同区域会有不同程度的变化，并通过数值表征，这些区域以及对应的属性数据称为动作单元，实际应用中，人脸采集图像对应的面部动作特征可以是指人脸采集图像中的人脸表情对应的面部动作单元，目标表情的面部动作特征可以是指目标表情的面部动作单元，例如，每个表情属性都被编码为一组面部动作单元，类型为n
×
1的连续向量yr＝(y1,
…
,yn)
t
，其中每个yn表示在0和1之间的标准化值，表示第n个面部动作单元的大小。
70.其中，第一颜色掩码可以表征人脸采集图像对应的颜色特征。
71.作为一种示例，终端获取预先录入的人脸注册图像中的目标表情，终端对目标表情进行解析，得到目标表情对应的面部动作单元，终端将目标表情对应的面部动作单元作为目标表情的面部动作特征，终端将人脸采集图像和目标表情的面部动作特征输入至预训练的生成器，预训练的生成器对人脸采集图像中的人脸表情进行解析，得到人脸采集图像中的人脸图像对应的面部动作特征，预训练的生成器将人脸采集图像中的人脸图像对应的面部动作特征作为人脸采集图像对应的面部动作特征，预训练的生成器根据人脸采集图像和目标表情的面部动作特征，确定表征人脸采集图像对应的面部动作特征与目标表情的面部动作特征之间的映射关系的第一注意力掩码和表征人脸采集图像对应的颜色特征的第一颜色掩码，预训练的生成器根据第一注意力掩码和第一颜色掩码，对人脸采集图像中的人脸表情进行调整(将人脸采集图像中的人脸表情替换为目标表情)，得到具有目标表情的待认证图像，例如，人脸采集图像可表示为iyo，生成器输出的第一注意力掩码可以表示为a，生成器输出的第一颜色掩码可以表示为c，则待认证图像iyf可以表示为
72.本实施例中，通过获取目标表情的面部动作特征；将人脸采集图像和目标表情的面部动作特征输入至预训练的生成器，得到具有目标表情的待认证图像，能够基于人脸采集图像和目标表情的面部动作特征，利用预训练的生成器对人脸采集图像进行表情调整，
得到待认证图像，提高人脸识别的灵活性。
73.在一些实施例中，上述方法还包括：将样本人脸图像和目标表情对应的面部动作特征输入至生成器，生成具有目标表情的样本待认证图像；将样本待认证图像和样本人脸表情对应的面部动作特征输入至生成器；根据人脸重建图像和鉴别器，确定人脸重建图像与样本人脸图像之间的鉴别结果；基于鉴别结果，对生成器和鉴别器进行对抗训练，得到预训练的生成器。
74.其中，生成器可以用于输出第二注意力掩码和第二颜色掩码，实际应用中，生成器可以根据第二注意力掩码和第二颜色掩码，对样本待认证图像中的目标表情进行调整，得到具有样本人脸表情的人脸重建图像。
75.其中，第二注意力掩码可以表征样本待认证图像对应的面部动作特征与样本人脸表情的面部动作特征之间的映射关系。
76.其中，第二颜色掩码可以表征样本待认证图像对应的颜色特征。
77.其中，鉴别结果可以表征人脸重建图像与样本人脸图像之间的差异程度。
78.其中，人脸重建图像可以是指基于样本待认证图像，将样本待认证图像中的目标表情调整为样本人脸图像中的人脸表情后得到的图像，实际应用中，人脸重建图像可以包括利用生成器对样本待认证图像进行表情还原得到的图像。
79.作为一种示例，为了保证生成器所生成的人脸图像的准确性，需要对生成器进行训练，终端将样本人脸图像和目标表情对应的面部动作特征输入至生成器，生成器根据样本人脸图像和目标表情对应的面部动作特征，对样本人脸图像中的样本人脸表情进行调整(将样本人脸采集图像中的样本人脸表情替换为目标表情)，得到具有目标表情的样本待认证图像，终端将样本待认证图像和样本人脸图像中的样本人脸表情对应的面部动作特征输入至生成器，生成器确定表征样本待认证图像对应的面部动作特征与样本人脸表情的面部动作特征之间的映射关系的第二注意力掩码和表征样本待认证图像对应的颜色特征的第二颜色掩码，生成器根据第二注意力掩码和第二颜色掩码，对样本待认证图像中的目标表情进行调整(将样本待认证图像中的目标表情替换为样本人脸表情)，得到具有样本人脸表情的人脸重建图像，终端将人脸重建图像第二注意力掩码输入至鉴别器，得到表征人脸重建图像与样本人脸图像之间差异程度的鉴别结果，终端基于鉴别结果，对生成器和鉴别器进行对抗训练，得到预训练的生成器。
80.本实施例中，通过将样本人脸图像和目标表情对应的面部动作特征输入至生成器，生成具有目标表情的样本待认证图像；将样本待认证图像和样本人脸表情对应的面部动作特征输入至生成器；根据人脸重建图像和鉴别器，确定人脸重建图像与样本人脸图像之间的鉴别结果；基于鉴别结果，对生成器和鉴别器进行对抗训练，得到预训练的生成器，能够利用生成器进行表情调整和表情还原，利用鉴别器对样本人脸图像和人脸重建图像进行鉴别，得到鉴别结果，利用鉴别结果对生成器和鉴别器进行对抗训练，从而提高表情调整前后图像在对象特征身份信息层面的一致性，避免表情调整对身份识别的影响，进而保证人脸识别的准确性。
81.在一些实施例中，基于鉴别结果，对生成器和鉴别器进行对抗训练，得到预训练的生成器，包括：根据样本人脸图像和样本待认证图像，确定生成器对应的损失函数值；根据人脸重建图像和鉴别结果，确定鉴别器对应的损失函数值；根据生成器对应的损失函数值
和鉴别器对应的损失函数值，确定生成器与鉴别器之间的整体损失函数值；根据整体损失函数值，对生成器进行训练，直至得到训练好的生成器，作为预训练的生成器。
82.其中，生成器对应的损失函数值可以是指表征样本人脸图像的面部动作特征与样本待认证图像的面部动作特征之间差异程度的信息。
83.其中，鉴别器对应的损失函数值可以是指表征鉴别器输出的鉴别结果准确度的信息，实际应用中，鉴别器对应的损失函数值越小，人脸重建图像和样本人脸图像之间的差异程度越小。
84.其中，整体损失函数值可以是指表征待认证图像与具有目标表情的真实人脸图像之间差异程度的信息，实际应用中，整体损失函数值越小，预测人脸图像与真实人脸图像之间的差异程度越小。
85.作为一种示例，终端根据样本人脸图像的面部动作特征和样本待认证图像的面部动作特征，确定生成器g对应的损失函数值；终端根据人脸重建图像和鉴别结果，确定鉴别器d对应的损失函数值，例如，标准生成对抗算法基于散度损失函数，旨在最大限度地提高生成器试图干扰鉴别器时正确分类真实图像和渲染图像的概率，但这种损失对于生成器的参数可能不是连续的，并且可能会局部饱和，导致鉴别器中的梯度消失，通过用向量相似度度量经验模态分解(emd)距离代替js解决这个问题，为了维持利普希茨(lipschitz)约束，在运用生成对抗模型(如wgan-gp模型)时，用梯度惩罚代替权值裁剪，针对鉴别网络增加梯度惩罚，其中，梯度惩罚为鉴别器的输入的梯度范数，鉴别器的损失函数值可以包括图像对抗损失值，图像对抗损失值可表示为
[0086][0087]
其中，i
yo
为输入图像，yo为初始条件，yf为所需最终条件，po为输入图像的数据分布，为随机插值分布，λ
gp
是一个惩罚系数，e指emd距离，g指生成器，di指图像鉴别器，
▽
d指梯度，i指图像；终端根据生成器对应的损失函数值和鉴别器对应的损失函数值，确定生成器与鉴别器之间的整体损失函数值；终端根据整体损失函数值，对生成器进行训练，直至得到训练好的生成器，作为预训练的生成器。
[0088]
本实施例中，通过根据样本人脸图像和样本待认证图像，确定生成器对应的损失函数值；根据人脸重建图像和鉴别结果，确定鉴别器对应的损失函数值；根据生成器对应的损失函数值和鉴别器对应的损失函数值，确定生成器与鉴别器之间的整体损失函数值；根据整体损失函数值，对生成器进行训练，直至得到训练好的生成器，作为预训练的生成器，能够基于生成器和鉴别器的输出结果，确定整体损失函数，并利用整体损失函数对生成器进行训练，得到预训练的生成器，进而保证表情调整前后图像在对象特征身份信息层面的一致性。
[0089]
在一些实施例中，根据样本人脸图像和样本待认证图像，确定生成器对应的损失函数值，包括：根据样本人脸图像和样本待认证图像之间的第二注意力掩码，确定生成器对应的注意力损失函数值，根据注意力损失函数值，确定生成器对应的损失函数值。
[0090]
其中，注意力损失函数值可以是指表征图像平滑程度的信息。
[0091]
作为一种示例，终端根据样本人脸图像和样本待认证图像之间的第二注意力掩码，确定生成器对应的注意力损失函数值，生成器输出的注意力掩码可以表示为a，为了防止注意力掩码饱和到1，而使得i
yo
＝g(i
yo
|yf)没有效果，使用权重惩罚(如在损失函数中添加一项权重矩阵的正则项作为惩罚项，用来惩罚损失值过小时神经网络权重过大的情况)来规范掩码。此外，将表情编辑后得到的图像和需要利用颜色掩码进行上色渲染的区域组合起来的过程中实施平滑的空间颜色变换，在注意力掩码a上执行全变分正则化，并通过全差分损失进行图像平滑。注意力损失值可定义为：la(g,i
yo
,yf)＝λ
tv
l
tv
(a)+e
iyo～po
[||a||]；其中，其中，a＝ga(i
yo
|yf)和a
i,
表示a的[i,j]项，λ
tv
是掩码平滑的惩罚系数(欧氏距离)。
[0092]
本实施例中，通过根据样本人脸图像和样本待认证图像之间的第二注意力掩码，确定生成器对应的注意力损失函数值，根据注意力损失函数值，确定生成器对应的损失函数值，能够基于注意力掩码确定注意力损失函数值，并根据注意力损失函数值确定生成器对应的损失函数值，提高生成器输出结果的准确性。
[0093]
在一些实施例中，根据注意力损失函数值，确定生成器对应的损失函数值，包括：根据样本人脸图像中的样本人脸表情对应的面部动作特征和目标表情对应的面部动作特征，确定生成器对应的表情损失函数值；根据表情损失函数值和注意力损失函数值，确定生成器对应的损失函数值。
[0094]
其中，表情损失函数值可以是指表征样本人脸表情和目标表情之间在面部动作特征层面的差异程度的信息。
[0095]
作为一种示例，终端根据样本人脸图像中的样本人脸表情对应的面部动作特征和目标表情对应的面部动作特征，确定生成器对应的表情损失函数值，表情损失函数值可由两部分组成：用于优化生成器g的伪图像的动作单元回归损失，以及用于学习鉴别器d顶部回归头的真实图像的动作单元回归损失，表情损失函数值可表示为：回归头的真实图像的动作单元回归损失，表情损失函数值可表示为：
[0096]
本实施例中，通过根据样本人脸图像中的样本人脸表情对应的面部动作特征和目标表情对应的面部动作特征，确定生成器对应的表情损失函数值；根据表情损失函数值和注意力损失函数值，确定生成器对应的损失函数值，能够引入表情损失函数值，进一步确定精确的生成器对应的损失函数值，提高生成器输出结果的准确性。
[0097]
在一些实施例中，根据表情损失函数值和注意力损失函数值，确定生成器对应的损失函数值，包括：根据人脸重建图像和样本人脸图像，确定生成器对应的身份损失函数值；根据注意力损失函数值、表情损失函数值和身份损失函数值，确定所述生成器对应的损失函数值。
[0098]
其中，身份损失函数值可以是指表征人脸重建图像对应的身份信息和样本人脸图像对应的身份信息之间一致性的信息。
[0099]
作为一种示例，终端根据人脸重建图像和样本人脸图像，确定生成器对应的身份损失函数值，生成器强制生成照片逼真的人脸变换，同时需要真值(ground-truth)监督，来约束保证输入和输出图像中的人脸对应于同一个人。利用循环一致性损失，通过惩罚原始图像与重构图像之间的差异，迫使生成器保持每个个体的身份。身份损失函数值可定义为
进一步地，为了生成目标图像i
yg
，通过线性组合所有先前的部分损失来构建损失函数l：
[0100][0101]
本实施例中，通过根据人脸重建图像和样本人脸图像，确定生成器对应的身份损失函数值；根据注意力损失函数值、表情损失函数值和身份损失函数值，确定所述生成器对应的损失函数值，能够引入身份损失函数值，进一步确定精确的生成器对应的损失函数值，提高生成器输出结果的准确性
[0102]
在一些实施例中，上述方法还包括：获取原始人脸图像对应的人脸偏转角度；在原始人脸图像对应的人脸偏转角度大于预设偏转角度阈值的情况下，将原始人脸图像输入至预训练的偏转角度调整模型，得到原始人脸图像对应的正脸图像；将正脸图像确定为人脸采集图像。
[0103]
其中，原始人脸图像可以是指摄像头采集设备采集到的未改变人脸偏转角度的人脸图像。
[0104]
其中，人脸偏转角度可以是指原始人脸图像中人脸部分与预设标准角度位置处的角度差值。
[0105]
其中，偏转角度阈值可以是指用于判断人脸偏转角度是否符合预设要求的数据。
[0106]
其中，偏转角度调整模型可以是指对原始人脸图像中的人脸部分进行人脸偏转角度调整的模型。
[0107]
其中，正脸图像可以是指人脸偏转角度小于预设偏转角度阈值的图像。
[0108]
作为一种示例，如图3所示，提供了一种人脸校正的流程示意图，终端对原始人脸图像进行解析和姿态估计，提取出原始人脸图像中人脸部分的人脸偏转角度，在原始人脸图像对应的人脸偏转角度大于预设偏转角度阈值的情况下，终端将原始人脸图像输入至预训练的偏转角度调整模型，偏转角度调整模型可对原始人脸图像进行3d重建和正脸恢复，得到原始人脸图像对应的正脸图像(即校正图像)，终端将正脸图像确定为人脸采集图像。
[0109]
本实施例中，通过获取原始人脸图像对应的人脸偏转角度；在原始人脸图像对应的人脸偏转角度大于预设偏转角度阈值的情况下，将原始人脸图像输入至预训练的偏转角度调整模型，得到原始人脸图像对应的正脸图像；将正脸图像确定为人脸采集图像，能够对人脸图像中的人脸偏转角度进行调整，避免人脸偏转角度对人脸识别结果的影响，提高人脸识别的灵活性。
[0110]
为了便于本领域技术人员理解，如图4所示，示例性地提供了一种人脸认证方法的流程示意图，终端将摄像头采集设备采集的原始人脸图像使用计算机视觉和机器学习平台(opencv)判断原始采集图像是否模糊，模糊的话提示重拍，然后通过人脸识别检测(face recognition)检测是否有人脸，有人脸则进行定位裁剪处理，得到规格为128
×
128
×
3的彩色图像，作为原始人脸图像，使用人脸识别平台(openface)提取原始人脸图像的动作单元和角度信息，在数据预处理阶段加入人脸校正模块：参考基于单视角图像的自监督真实感
人脸旋转(rotate-and-render)模型结构，可以基于原始人脸图像生成各个角度的人脸图像。使用openface提取动作单元和角度信息，在数据预处理阶段加入人脸校正模块，当输入图像中的人脸偏转的角度大于30
°
时，先通过偏转角度调整模型将人脸姿态旋转到正面姿态，得到正脸图像，对正脸图像(即人脸采集图像)进行表情编辑，偏转角度调整模型借助3d重建方法(3ddfa)获取人脸的结构信息和纹理信息，通过两次rotate-and-render完成校正和逆校正操作，得到旋转任意角度并恢复到原始角度的人脸重建图像，形成自监督并训练模型使渲染图像更趋近真实图像分布，终端将人脸采集图像和目标表情作为输入，通过生成对抗算法(aua-gan)对人脸采集图像的动作单元进行修改，实现对关键部位的变形，得到具有目标表情的待认证图像，使用face_recognition将得到的待认证图像与目标对象在注册账户时预先录入的人脸注册图像进行识别比对，反馈并输出比对结果，人脸比对成功则进行人脸支付交易。
[0111]
本实施例中，通过加入正脸恢复模块代替简单的人脸对齐，避免识别图像由于输入人脸的角度偏转过大导致伪影，影响图像质量，同时还加入表情编辑模块，避免人脸识别受采集人脸表情差异造成的准确率下降问题，融合解剖学原理，提高人脸表情变化的图像质量。
[0112]
在一些实施例中，如图5所示，提供了一种调整人脸表情的架构示意图，选取易于身份验证的平淡表情作为目标表情，将正脸图像和目标表情作为输入，定义输入的rgb图像(人脸采集图像)为i
yo
∈rh×w×3，表示任意表情的被裁剪的人脸图像。每个表情属性都被编码为一组动作单位，类型为n
×
1的连续向量yr＝(y1,
…
,yn)
t
，其中每个yn表示在0和1之间的标准化值，表示第n个动作单元的大小。目标是学习映射m将i
yr
生成基于动作单元的目标表情输出图像i
yg
，即寻求估计映射m:(i
yg
,yg)
→iyg
。为此，用无监督的方式训练m，使用m训练使三个数值满足其中目标向量是随机生成的。一方面，训练一个生成器g(i
yr
|yg)将图像i
yr
中的面部表情逼真地转换为所需的yg，第一次应用生成器g是映射输入图像i
yr
→iyg
，生成器输出注意力掩码a和颜色掩码c，注意力掩码用于定义每个动作单元及其强度数值，颜色掩码用于保留人脸特征以及背景，通过动作单元的编辑，实现对关键部位的变形及修改，再使用原图的颜色掩码对修改后的表情进行上色渲染，得到带有预期表情的目标图像。然后第二次应用生成器g将其输出渲染回在这个过程中生成器g应用了两次，第一次是输入图像iyr获取变化后的生成图像iyg；第二次是逆过程，作用是看生成器能否恢复出原始图像，实现逆生成过程，输出重建图像，交替迭代对抗损失并训练模型，使生成图像更趋近真实图像。最终的生成图像可以表示为：另一方面，将目标图像和注意力掩码输入基于wgan-gp的图像鉴别器得到0或1的输出对应判别生成图像和真实图像，例如：判别器输出0判别为生成图像，输出1判别为真实图像。判别器根据生成图像输出图像属于正负样本的概率(打分)，把经验反馈给生成器以生成更接近真实图像的生成图像，不断学习的过程输出会趋向于1，用来评估生成图像的质；将目标图像输入表情鉴别器输出生成图像的动作单元，用来惩罚期望的表情和生成的表情之间的差异，改善神经网络性能的恶劣程度，从而优化生成图像的动作单元特性。
[0113]
本实施例中，通过内置注意力机制，使表情变化区域得到充分关注，忽略不相干的背景信息，保持了人物的身份信息。
[0114]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0115]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的人脸认证方法的人脸认证装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个人脸认证装置实施例中的具体限定可以参见上文中对于人脸认证方法的限定，在此不再赘述。
[0116]
在一个实施例中，如图6所示，提供了一种人脸认证装置，包括：获取模块602、调整模块604和认证模块606，其中：
[0117]
获取模块602，用于获取针对目标对象的人脸采集图像；
[0118]
调整模块604，用于将所述人脸采集图像中的人脸表情调整为目标表情，得到具有所述目标表情的待认证图像；所述目标表情为预先录入的人脸注册图像中的人脸表情；
[0119]
认证模块606，用于根据所述待认证图像和所述人脸注册图像，对所述目标对象进行人脸认证。
[0120]
在一个示例性实施例中，上述调整模块604具体还用于获取所述目标表情的面部动作特征；将所述人脸采集图像和所述目标表情的面部动作特征输入至预训练的生成器；所述预训练的生成器用于输出第一注意力掩码和第一颜色掩码，根据所述第一注意力掩码和所述颜色掩码，对所述人脸采集图像中的人脸表情进行调整，得到具有所述目标表情的待认证图像；所述第一注意力掩码表征所述人脸采集图像对应的面部动作特征与所述目标表情的面部动作特征之间的映射关系；所述第一颜色掩码表征所述人脸采集图像对应的颜色特征。
[0121]
在一个示例性实施例中，上述调整模块604具体还用于将样本人脸图像和所述目标表情对应的面部动作特征输入至生成器，生成具有所述目标表情的样本待认证图像；将所述样本待认证图像和所述样本人脸表情对应的面部动作特征输入至生成器；所述生成器用于输出第二注意力掩码和第二颜色掩码，根据所述第二注意力掩码和所述第二颜色掩码，对所述样本待认证图像中的目标表情进行调整，得到具有所述样本人脸表情的人脸重建图像；所述第二注意力掩码表征所述样本待认证图像对应的面部动作特征与所述样本人脸表情的面部动作特征之间的映射关系；所述第二颜色掩码表征所述样本待认证图像对应的颜色特征；根据所述人脸重建图像和鉴别器，确定所述人脸重建图像与所述样本人脸图像之间的鉴别结果；所述鉴别结果表征所述人脸重建图像与所述样本人脸图像之间的差异程度；基于所述鉴别结果，对所述生成器和鉴别器进行对抗训练，得到所述预训练的生成器。
[0122]
在一个示例性实施例中，上述调整模块604具体还用于根据所述样本人脸图像和
所述样本待认证图像，确定所述生成器对应的损失函数值；根据所述人脸重建图像和所述鉴别结果，确定所述鉴别器对应的损失函数值；根据所述生成器对应的损失函数值和所述鉴别器对应的损失函数值，确定所述生成器与所述鉴别器之间的整体损失函数值；根据所述整体损失函数值，对所述生成器进行训练，直至得到训练好的生成器，作为所述预训练的生成器。
[0123]
在一个示例性实施例中，上述调整模块604具体还用于根据所述样本人脸图像和所述样本待认证图像之间的第二注意力掩码，确定所述生成器对应的注意力损失函数值；根据所述注意力损失函数值，确定所述生成器对应的损失函数值。
[0124]
在一个示例性实施例中，上述调整模块604具体还用于根据所述样本人脸图像中的样本人脸表情对应的面部动作特征和所述目标表情对应的面部动作特征，确定所述生成器对应的表情损失函数值；根据所述表情损失函数值和所述注意力损失函数值，确定所述生成器对应的损失函数值。
[0125]
在一个示例性实施例中，上述调整模块604具体还用于根据所述人脸重建图像和所述样本人脸图像，确定所述生成器对应的身份损失函数值；根据所述注意力损失函数值、所述表情损失函数值和所述身份损失函数值，确定所述生成器对应的损失函数值。
[0126]
在一个示例性实施例中，上述装置还包括校正模块，该校正模块具体用于获取原始人脸图像对应的人脸偏转角度；在所述原始人脸图像对应的人脸偏转角度大于预设偏转角度阈值的情况下，将所述原始人脸图像输入至预训练的偏转角度调整模型，得到所述原始人脸图像对应的正脸图像；将所述正脸图像确定为所述人脸采集图像。
[0127]
上述人脸认证装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0128]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种人脸认证方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0129]
本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0130]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储
有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0131]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0132]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0133]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0134]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0135]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0136]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种人脸认证方法，其特征在于，所述方法包括：获取针对目标对象的人脸采集图像；将所述人脸采集图像中的人脸表情调整为目标表情，得到具有所述目标表情的待认证图像；所述目标表情为预先录入的人脸注册图像中的人脸表情；根据所述待认证图像和所述人脸注册图像，对所述目标对象进行人脸认证。2.根据权利要求1所述的方法，其特征在于，所述将所述人脸采集图像中的人脸表情调整为目标表情，得到具有所述目标表情的待认证图像，包括：获取所述目标表情的面部动作特征；将所述人脸采集图像和所述目标表情的面部动作特征输入至预训练的生成器；所述预训练的生成器用于输出第一注意力掩码和第一颜色掩码，根据所述第一注意力掩码和所述颜色掩码，对所述人脸采集图像中的人脸表情进行调整，得到具有所述目标表情的待认证图像；所述第一注意力掩码表征所述人脸采集图像对应的面部动作特征与所述目标表情的面部动作特征之间的映射关系；所述第一颜色掩码表征所述人脸采集图像对应的颜色特征。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：将样本人脸图像和所述目标表情对应的面部动作特征输入至生成器，生成具有所述目标表情的样本待认证图像；将所述样本待认证图像和所述样本人脸图像中的样本人脸表情对应的面部动作特征输入至生成器；所述生成器用于输出第二注意力掩码和第二颜色掩码，根据所述第二注意力掩码和所述第二颜色掩码，对所述样本待认证图像中的目标表情进行调整，得到具有所述样本人脸表情的人脸重建图像；所述第二注意力掩码表征所述样本待认证图像对应的面部动作特征与所述样本人脸表情的面部动作特征之间的映射关系；所述第二颜色掩码表征所述样本待认证图像对应的颜色特征；根据所述人脸重建图像和鉴别器，确定所述人脸重建图像与所述样本人脸图像之间的鉴别结果；所述鉴别结果表征所述人脸重建图像与所述样本人脸图像之间的差异程度；基于所述鉴别结果，对所述生成器和所述鉴别器进行对抗训练，得到所述预训练的生成器。4.根据权利要求3所述的方法，其特征在于，所述基于所述鉴别结果，对所述生成器和所述鉴别器进行对抗训练，得到所述预训练的生成器，包括：根据所述样本人脸图像和所述样本待认证图像，确定所述生成器对应的损失函数值；根据所述人脸重建图像和所述鉴别结果，确定所述鉴别器对应的损失函数值；根据所述生成器对应的损失函数值和所述鉴别器对应的损失函数值，确定所述生成器与所述鉴别器之间的整体损失函数值；根据所述整体损失函数值，对所述生成器进行训练，直至得到训练好的生成器，作为所述预训练的生成器。5.根据权利要求4所述的方法，其特征在于，所述根据所述样本人脸图像和所述样本待认证图像，确定所述生成器对应的损失函数值，包括：根据所述样本人脸图像和所述样本待认证图像之间的第二注意力掩码，确定所述生成器对应的注意力损失函数值；
根据所述注意力损失函数值，确定所述生成器对应的损失函数值。6.根据权利要求5所述的方法，其特征在于，所述根据所述注意力损失函数值，确定所述生成器对应的损失函数值，包括：根据所述样本人脸图像中的样本人脸表情对应的面部动作特征和所述目标表情对应的面部动作特征，确定所述生成器对应的表情损失函数值；根据所述表情损失函数值和所述注意力损失函数值，确定所述生成器对应的损失函数值。7.根据权利要求6所述的方法，其特征在于，所述根据所述表情损失函数值和所述注意力损失函数值，确定所述生成器对应的损失函数值，包括：根据所述人脸重建图像和所述样本人脸图像，确定所述生成器对应的身份损失函数值；根据所述注意力损失函数值、所述表情损失函数值和所述身份损失函数值，确定所述生成器对应的损失函数值。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取原始人脸图像对应的人脸偏转角度；在所述原始人脸图像对应的人脸偏转角度大于预设偏转角度阈值的情况下，将所述原始人脸图像输入至预训练的偏转角度调整模型，得到所述原始人脸图像对应的正脸图像；将所述正脸图像确定为所述人脸采集图像。9.一种人脸认证装置，其特征在于，所述装置包括：获取模块，用于获取针对目标对象的人脸采集图像；调整模块，用于将所述人脸采集图像中的人脸表情调整为目标表情，得到具有所述目标表情的待认证图像；所述目标表情为预先录入的人脸注册图像中的人脸表情；认证模块，用于根据所述待认证图像和所述人脸注册图像，对所述目标对象进行人脸认证。10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

技术总结
本申请涉及一种人脸认证方法、装置、计算机设备和存储介质，涉及生物识别技术领域。所述方法包括：获取针对目标对象的人脸采集图像；将人脸采集图像中的人脸表情调整为目标表情，得到具有目标表情的待认证图像；根据待认证图像和人脸注册图像，对目标对象进行人脸认证。采用本方法能够通过对目标对象的人脸采集图像进行表情调整，将人脸采集图像中的人脸表情调整为预先录入的人脸注册图像中的目标表情，得到待认证图像，从而避免人脸认证时对人脸采集图像中的人脸表情的限制约束过多，提高人脸采集和人脸认证的灵活性，减少待认证图像和人脸注册图像之间的表情差异，进而基于待认证图像和人脸注册图像进行人脸认证，提高人脸认证的准确率。认证的准确率。认证的准确率。


技术研发人员：黄文俊 张彬 郑显凌 李志兴
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2023.05.17
技术公布日：2023/8/23