人脸识别方法、装置、电子设备及存储介质

1.本技术涉及人脸识别技术领域，具体而言，本技术涉及一种人脸识别方法、装置、电子设备及存储介质。


背景技术：

2.随着深度学习的快速发展，基于卷积神经网络的人脸识别方法取得了显著的成就，尤其是视觉transformer模型通过将人脸图像转换为若干令牌(token)，从而捕捉人脸区域之间的长距离关系，用以提高人脸识别的准确率。
3.然而，现有的令牌生成方式是比较固定的，往往导致令牌之间的关系变得不可靠，从而无法学习更高阶的人脸语义特征，致使人脸识别的准确率提高有限。
4.由上可知，如何提升人脸识别的准确率仍有待解决。


技术实现要素：

5.本技术各实施例提供了一种人脸识别方法、装置、电子设备及存储介质，可以解决相关技术中存在的人脸识别的准确率不高的问题。所述技术方案如下：
6.根据本技术实施例的一个方面，一种人脸识别方法，所述方法包括：获取人脸图像，并分别捕捉人脸图像在细粒度的核心表示和粗粒度的上下文表示，得到相应的原子令牌和整体令牌；根据得到的原子令牌和整体令牌，学习所述人脸图像中不同人脸区域之间的关系，得到所述人脸图像的关系特征图；通过残差连接，由所述人脸图像的关系特征图与输入特征图，得到所述人脸图像的输出特征图；根据所述输出特征图对所述人脸图像进行人脸识别，得到人脸识别结果。
7.根据本技术实施例的一个方面，一种人脸识别装置，所述装置包括：令牌获取模块，用于获取人脸图像，并分别捕捉人脸图像在细粒度的核心表示和粗粒度的上下文表示，得到相应的原子令牌和整体令牌；关系学习模块，用于根据所述得到的原子令牌和整体令牌，学习所述人脸图像中不同人脸区域之间的关系，得到所述人脸图像的关系特征图；特征输出模块，用于通过残差连接，由所述人脸图像的关系特征图与输入特征图，得到所述人脸图像的输出特征图；人脸识别模块，用于根据所述输出特征图对所述人脸图像进行人脸识别，得到人脸识别结果。
8.在一示例性实施例中，所述令牌获取模块包括：原子令牌获取单元，用于对获取到的人脸图像进行特征提取得到输入特征图，将所述输入特征图分割为若干特征块，对各所述特征块进行平均池化处理得到若干原子令牌；整体令牌获取单元，用于对所述输入特征图进行卷积处理得到关于所述人脸图像中人脸区域的分割掩码，并根据所述分割掩码将所述输入特征图转换为整体令牌。
9.在一示例性实施例中，所述关系学习模块包括：混合令牌获取单元，用于将原子令牌和整体令牌分别进行全连接后拼接，得到混合令牌；特征关系学习单元，用于利用编码器学习所述混合令牌之间的特征关系；关系转换单元，用于将所述特征关系转换至所述输入
特征图所在的特征空间，得到所述人脸图像的关系特征图。
10.在一示例性实施例中，所关系转换单元包括：特征令牌获取子单元，用于对所述特征关系进行全连接并按照所述人脸图像中人脸区域的个数压缩，得到特征令牌；特征图得到子单元，用于将所述特征令牌与关于所述人脸图像中人脸区域的分割掩码相乘，得到所述人脸图像的关系特征图。
11.在一示例性实施例中，所述特征输出模块包括：特征输出单元，用于将所述人脸图像的关系特征图与所述输入特征图相加，得到所述人脸图像的输出特征图。
12.在一示例性实施例中，所述人脸识别结果是调用人脸识别模型得到的，所述人脸识别模型是经过训练、具有对所述人脸图像的人脸进行识别的能力的机器学习模型；其中，利用原子令牌和整体令牌学习所述人脸图像中不同人脸区域之间的关系，是通过插入所述人脸识别模型中的混合令牌模块实现的。
13.在一示例性实施例中，按照所述人脸识别模型的类型和/或所述人脸识别模型中的不同阶段设置设定尺寸，使得所述人脸图像的输入特征图能够分割为所述若干特征块。
14.根据本技术实施例的一个方面，一种电子设备，包括：至少一个处理器、至少一个存储器、以及至少一条通信总线，其中，存储器上存储有计算机程序，处理器通过通信总线读取存储器中的计算机程序；计算机程序被处理器执行时实现如上所述的人脸识别方法。
15.根据本技术实施例的一个方面，一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的人脸识别方法。
16.根据本技术实施例的一个方面，一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序存储在存储介质中，计算机设备的处理器从存储介质中读取计算机程序，处理器执行计算机程序，使得计算机设备执行时实现如上所述的人脸识别方法。
17.本技术提供的技术方法带来的有益效果是：
18.在上述技术方案中，通过将人脸图像的输入特征图转换成原子令牌和整体令牌，以此来捕捉人脸图像在细粒度的核心表示和粗粒度的上下文表示，并根据原子令牌和整体令牌学习人脸图像中不同人脸区域之间的关系得到人脸图像的关系特征图，进而基于残差连接由人脸图像的关系特征图与输入提特征图得到输出特征图，最终根据输出特征图对人脸图像进行的人脸识别得到人脸结果，也就是说，首先通过使用原子令牌和整体令牌，生成人脸图像中人脸的更全面表达，不仅包括细粒度较小范围的局部特征，还包括粗粒度更大范围的全局特征，然后在人脸识别过程中便能够获取到不同令牌所代表的人脸区域以及人脸区域之间的关系，以便于更好地进行人脸识别，从而能够有效地解决相关技术中存在的人脸识别的准确率不高的问题。
附图说明
19.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍。
20.图1是示出的不同网格令牌对应人脸图像中不同特定人脸区域的示意图；
21.图2是根据一示例性实施例示出的本技术所涉及的实施环境的示意图；
22.图3是根据一示例性实施例示出的一种人脸识别方法的流程图；
23.图3a是根据一示例性实施例示出的原子令牌和整体令牌对应人脸图像中不同特
定人脸区域的示意图；
24.图4是根据一示例性实施例示出的步骤310的流程图；
25.图5是根据一示例性实施例示出的一种人脸识别模型的模型结构的示意图；
26.图6是根据一示例性实施例示出的步骤330的流程图；
27.图7是一应用场景中一种人脸识别方法的具体实现示意图；
28.图8是根据一示例性实施例示出的一种人脸识别装置的结构框图；
29.图9是根据一示例性实施例示出的一种电子设备的硬件结构图；
30.图10是根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
31.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为本技术的限制。
32.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、证书、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解的是，当我们成元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或者无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元的全部组合。
33.如前所述，虽然卷积神经网络在人脸识别上取得较大的成功，但其只能处理相近人脸区域之间的关系，如果想要获取人脸区域之间的长距离关系，传统的卷积神经网络只能通过堆叠卷积层来增大感受野，从而捕捉人脸区域之间的长距离关系。
34.transformer模型通常将人脸图像切分为小的网格令牌，具体是将人脸图像中特定人脸区域划分为更细小的网格令牌，如图1所示，人脸图像中的鼻子区域和右眼区域被划分为多个网格令牌，而网格令牌101属于对应于人脸图像中鼻子区域的主要关注令牌，网格令牌102属于对应于人脸图像中右眼区域的主要关注令牌。然而，虽然这些主要关注令牌包含了人脸图像中特定人脸区域的细节信息，但是却不足以使模型学习到整体的人脸语义信息，因为transformer模型对于人脸图像中特定人脸区域进行网格令牌划分时，会将如鼻子区域等特定人脸区域划分为更加细小的区域块，因此造成模型缺乏对鼻子周边区域的关注，导致令牌间的关系变得不可靠，最终影响了人脸识别的准确率。
35.此外，为了提高人脸识别的准确率，也提出了使用性能更好的损失函数来提升人脸识别模型的性能，进而提高人脸识别的准确率，但是，对于如侧脸这类困难样本来说，由于存在侧脸遮挡，导致人脸识别过程中尚缺乏完整的人脸语义信息，对于人脸识别的准确率的改善很有限。
36.可见，相关技术中仍存在人脸识别的准确率不高的问题。
37.为此，本技术提供的人脸识别方法，能够有效地提升人脸识别的准确率，相应地，该人脸识别方法适用于人脸识别装置，该人脸识别装置可部署于智能设备，例如，该智能设备可以是智能摄像头、智能门锁等等，还可以部署于无人机等等计算资源受限的电子设备，
或者部署于架构冯诺依曼体系结构的计算机设备，例如，该计算机设备可以是台式电脑、笔记本电脑、服务器等等。
38.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
39.图2为一种人脸识别方法所涉及的实施环境的示意图。该实施环境包括采集端110、服务器端130。
40.具体地，采集端110进行人脸图像的采集，该采集端110可以是智能手机、平板电脑、笔记本电脑、台式电脑、其他具有图像采集功能的设备(比如智能摄像头)等电子设备，在此不进行限定。
41.采集端110与服务器端130之间可以通过有线或者无线等方式建立的通信连接，以实现二者之间的数据传输。例如，传输的数据可以是人脸图像等。
42.其中，服务器端130，也可以认为是云端、云平台、平台端、服务端等等，此服务器端130可以是一台服务器，也可以是由多台服务器构成的一个服务器集群，或者是由多台服务器构成的云计算中心，以便于更好地向海量采集端110提供后台服务。例如，后台服务包括人脸识别服务。
43.随着采集端110与服务器端130的交互，在一个应用场景中，采集端110进行人脸图像的采集，并将采集到的人脸图像传输至服务器端130，服务器端130在接收到采集端110传输来的人脸图像后，便可针对该人脸图像进行人脸识别。
44.当然，在另一个应用场景中，采集端110也可同时实现人脸图像的采集和人脸识别，在此不进行限定。
45.请参阅图3，本技术实施例提供了一种人脸识别方法，该方法适用于电子设备，该电子设备可以是图2所示出实施环境中的采集端110，也可以是图2所示出实施环境中的服务器端130。
46.在下述方法实施例中，为了便于描述，以该方法各步骤的执行主体为电子设备为例进行说明，但是并非对此构成具体限定。
47.如图3所示，该方法可以包括以下步骤：
48.步骤310，获取人脸图像，并分别捕捉人脸图像在细粒度的核心表示和粗粒度的上下文表示，得到相应的原子令牌和整体令牌。
49.本技术实施例可以应用于电子设备，该电子设备可以是智能门锁、摄像机、监控摄像头、无人机或者其他具有图像采集功能的电子设备，使用电子设备对设定区域内的人脸进行拍摄，便能够得到人脸图像。例如，电子设备为智能门锁，智能门锁对门前区域内的人脸进行拍摄，即可得到人脸图像。
50.人脸图像可以是电子设备独立采集的一张照片，也可以是电子设备连续采集的一段视频中多个视频帧的某一个视频帧。也就是说，本技术实施例获取到的人脸图像可以来源于一张照片，也可以来源于一段视频，此处并未加以限定。
51.在此说明的是，原子令牌是人脸图像在细粒度的核心表示，用于描述人脸图像中设定尺寸的区域块，例如，设定尺寸的区域块可以直接是具有较小范围的特定人脸区域，如图3a所示，比如该设定尺寸的区域块是鼻子区域101、右眼区域102，或者，设定尺寸的区域块也可以是指具有较大范围的特定人脸区域中更细小的区域块，如图3a所示，比如该设定
尺寸的区域块是额头区域中更细小的区域块105，也可以理解为，原子令牌唯一地表示了人脸图像中更细小的区域块的局部特征。整体令牌是人脸图像在粗粒度的上下文表示，用于描述人脸图像中具有较大范围的特定人脸区域，例如，如图3a所示，该特定人脸区域可以是额头区域、左脸区域103、右脸区域，还可以是鼻子区域+额头区域104等，也可以理解为，整体令牌唯一地表示了人脸图像中具有较大范围的特定人脸区域的全局特征。由此，通过原子令牌和整体令牌，便能够有效地获取不同令牌所描述的人脸图像中的各个人脸区域以及各个人脸区域之间的关系，进而有利于后续更加准确地进行人脸识别。
52.在一种可能的实现方式，如图4所示，上述步骤可以包括以下步骤：
53.步骤311，对获取到的人脸图像进行特征提取得到输入特征图。
54.其中，输入特征图唯一地表示了人脸图像的图像特征。可以理解，人脸图像不同，输入特征图也会有所差异，也就是说，输入特征图以数字信息的方式对人脸图像进行了准确且唯一地描述。
55.电子设备在获取到人脸识别图像之后，便可以对人脸图像进行特征提取，以得到输入特征图。
56.可选地，利用3
×
3的卷积核对获取到的人脸图像进行特征提取，从而得到人脸图像的输入特征图。
57.步骤313，将输入特征图分割为若干特征块，对各特征块分别进行平均池化处理，得到若干原子令牌。
58.其中，每个特征块分别对应一个原子令牌。在此说明的是，该特征块是指人脸图像中更细小的区域块的图像特征，相应地，原子令牌唯一地表示了人脸图像中更细小的区域块的局部特征。
59.可选地，如图5所示，原子令牌生成模块包括平均池化单元和全连接层2。将输入特征图分割为固定大小p
×
p的特征块，利用平均池化单元对若干个特征块进行平均池化处理，得到若干个特征块对应的原子令牌；结合全连接层2，将若干个原子令牌进行连接，从而得到人脸图像在细粒度的核心表示。
60.发明人意识到，由于原子令牌由其所代表的固定大小p
×
p的特征块生成，p太大的特征块不能够准确地表达人脸图像在细粒度的核心表示，p太小的特征块又过于零散，也难以准确地表达人脸图像在细粒度的核心表示，且不利于人脸图像中不同人脸区域之间关系的提取；此外，令牌数量越多，计算量也会越大。因此，本技术实施例可以针对不同的人脸识别模型和/或人脸识别模型中的不同阶段确定不同的原子令牌所代表特征块的大小，即p。
61.例如，以mobilefacenets作为人脸识别模型为例，该人脸识别模型包括若干个阶段，本技术在第一个阶段可以使用4x4的特征块进行输入特征图的分割，而在最后一个阶段则使用4x4的特征块进行输入特征图的分割，对分割得到的若干特征块进行平均池化处理，从而得到若干原子令牌，实现了人脸图像中细粒度特征信息(也认为是局部特征)的提取。
62.步骤315，对输入特征图进行卷积处理得到关于人脸图像中人脸区域的分割掩码，并根据分割掩码将输入特征图转换为整体令牌。
63.可选地，如图5所示，整体令牌生成模块包括卷积单元、和全连接层1。其中，对于提取出的人脸图像的输入特征图，利用卷积单元对输入特征图进行卷积处理后可以得到人脸图像中若干个人脸区域对应的若干个分割掩码，一个人脸区域对应一个分割掩码。在此说
明的是，人脸区域的个数是一个超参，根据人脸识别模型的不同而有所差别。
64.在得到人脸区域对应的分割掩码后，便能够利用矩阵乘法，将得到的人脸区域对应的分割掩码将输入特征图进行转换得到若干整体令牌，如图5所示，结合全连接层1，将若干个整体令牌进行连接，从而得到人脸图像中粗粒度特征信息(也认为是全局特征)的提取。
65.在一种可能的实现方式，整体令牌的个数小于原子令牌的个数，以此充分地保证人脸识别过程中具有较低的计算量。
66.在一种可能的实现方式，整体令牌的个数为8个，以此兼顾人脸识别效果和计算量。
67.步骤330，根据得到的原子令牌和整体令牌，学习人脸图像中不同人脸区域之间的关系，得到人脸图像的关系特征图。
68.在一种可能的实现方式，如图6所示，上述步骤可以包括以下步骤：
69.步骤331，将原子令牌和整体令牌分别进行全连接后拼接，得到混合令牌。
70.可选地，如图5所示，对全连接后的原子令牌和整体令牌进行拼接得到混合令牌。
71.步骤333，利用编码器学习混合令牌之间的特征关系。
72.可选地，如图5所示，对于步骤331中得到的混合令牌，利用编码器学习混合令牌之间的特征关系。其中，编码器包括但不限于gcn、self-attention、transformer等等。
73.以transformer模型为例，该模型具有独特的自注意力机制，能够通过注意力矩阵有效地获取用于描述不同人脸区域局部/全局特征的混合令牌之间的特征映射，相比于卷积神经网络具有先天的优势。具体地，将拼接得到的混合令牌输入transformer模型中，便能够输出用于描述不同人脸区域局部/全局特征的混合令牌之间的特征关系，从而使得transformer模型不仅能够基于原始令牌学习到低阶的人脸语义特征，而且能够基于混合令牌之间的特征关系学习到更高阶的人脸语义特征，以此来确保人脸识别的准确率。
74.步骤335，将特征关系转换至输入特征图所在的特征空间，得到人脸图像的关系特征图。
75.发明人意识到，由于生成令牌的时候使用了平均池化的操作，因此根据混合令牌学习到的特征关系与输入特征图并不在同一特征空间。
76.可选地，如图5所示，利用全连接层3对步骤333中得到的特征关系进行全连接，并按照人脸图像中人脸区域的个数压缩，得到特征令牌，进而将特征令牌与关于人脸图像中人脸区域的分割掩码相乘，从而得到人脸图像的关系特征图。
77.通过上述过程，将混合令牌之间的特征关系转化回原特征空间，即输入特征图所在的特征空间，从而得到人脸图像的关系特征图。
78.步骤350，通过残差连接，由人脸图像的关系特征图与输入特征图，得到人脸图像的输出特征图。
79.可选地，如图5所示，将人脸图像的关键特征图与输入特征图相加，得到人脸图像的输出特征图。
80.也就是说，通过残差连接将人脸图像的关系特征图传播至输入特征图，使得人脸图像中不同人脸区域之间的关系能够作为人脸图像中不同人脸区域的信息增强，进而有利于提升人脸识别的准确率。
81.步骤370，根据输出特征图对人脸图像进行人脸识别，得到人脸识别结果。
82.可选地，人脸识别结果是调用人脸识别模型得到的，该人脸识别模型是经过训练、具有对人脸图像中的人脸进行识别的能力的机器学习模型。
83.利用原子令牌和整体令牌学习人脸图像中不同人脸区域之间的关系，是通过插入人脸识别模型中的混合令牌模块实现的。此种方式下，混合令牌模块作为一个即插即用模块，不仅可以应用于不同类型的人脸识别模块，而且可以方便地更换各种类型的人脸识别模型中的卷积操作，对于现有的人脸识别模型，既不需要额外的训练集，也不需要预训练操作就能正常使用，能够有效地提升模型的训练效率。
84.在一示例性实施例中，将输出特征图与人脸数据库中保存的图像进行比对，得到人脸识别结果。具体地，基于人脸图像的输出特征图与人脸数据库中人脸图像对应的特征图进行相似度计算，得到识别结果。
85.应当理解的是，本技术会根据实际应用情况设置相似度阈值，根据余弦相似度计算输出特征图与人脸数据库中每一张人脸图像特征图的相似度，将相似度与相似度阈值进行比较，当相似度大于相似度阈值时，人脸识别结果表明人脸图像是人脸数据库中的人脸图像；当相似度小于相似度阈值时，人脸识别结果表明人脸图像不是人脸数据库中的人脸图像。
86.利用余弦相似度对人脸识别结果进行判断，避免了诸如侧脸等情况带来的人脸特征不足，导致识别准确率不高的问题。应当理解的是，余弦相似度仅仅是本技术所示出的一种优选实施例，此处并非构成具体限定。
87.通过上述过程，对人脸图像的输入特征图采用混合令牌的方式生成其对应的输出特征图进行人脸识别，大大提高了人脸识别的准确率。
88.请参阅图7，示出了一应用场景中一种人脸识别模型的模型结构的示意图。
89.在该应用场景中，如图7所示，通过卷积模块430对获取到的人脸图像进行特征提取，得到人脸图像的输入特征图，并将该输入特征图输入整体令牌生成模块410和原子令牌生成模块420。
90.其中，整体令牌生成模块410用于生成整体令牌，具体地，对输入特征图进行卷积处理得到关于人脸图像中人脸区域的分割掩码，并根据分割掩码将输入特征图转换为整体令牌；原子令牌生成模块420用于生成原子令牌，具体地，将输入特征图分割为若干特征块，对各特征块进行平均池化处理得到若干原子令牌。
91.在生成整体令牌和原子令牌后，将生成的整体令牌和原子令牌进行拼接后得到混合令牌，并将混合令牌输入至关系学习模块440学习混合令牌之间的特征关系，将学习到的特征关系与卷积模块430输出的输入特征图输入残差连接模块450进行残差连接，最终得到人脸图像的输出特征图。
92.值得一提的是，本技术实施例所涉及的混合令牌模块(包括整体令牌生成模块410+原子令牌生成模块420+关系学习模块440)是一种即插即用模块，可以作为现有的人脸识别模型中的一部分，比如现有的人脸识别模型包括但不限于mobilefacenets、ir-resnet等等，通过在现有人脸识别模型中的卷积模块430的基础上插入本技术实施例所涉及的混合令牌模块，如图7所示，再结合诸如ms1m-v3这类人脸识别常用训练集，就能完成完成模型训练过程，得到具有对人脸图像进行人脸识别能力的人脸识别模型，进而完成基于该人脸识
别模型的人脸识别过程。
93.表1展示了不同人脸识别模型结合人脸识别常用数据集进行人脸识别所对应的人脸识别准确率。
94.表1结合不同人脸识别模型与数据集的人脸识别准确率
[0095][0096][0097]
从表1可以看出，相较于现有的人脸识别模型，本技术提供的插入混合令牌模块的人脸识别模型，不仅在侧脸测试集cfp-fp和cplfw具有更好的人脸识别效果，而且在测试集ijb-b和ijb-c上人脸识别的准确率也有明显地提升。
[0098]
此外，本技术提供的插入混合令牌模块的人脸识别模型，在保持较高人脸识别准确率的前提下，还具有较低的计算量，使得该人脸识别模型能够应用于智能门锁，不需要智能门锁自带的摄像头正对用户便能够对采集到的人脸图像进行准确且快速地人脸识别，有效地提升了人脸识别的速度和效率；还能够应用于计算资源受限的无人机、智能摄像头进行人脸识别，直接得到人脸识别结果，有效地提升智能巡防的即时性和准确性。
[0099]
下述为本技术装置实施例，可以用于执行本技术所涉及的人脸识别方法。对于本技术装置实施例中未披露的细节，请参照本技术所涉及的人脸识别方法的方法实施例。
[0100]
请参阅图8，本技术实施例中提供了一种人脸识别装置500，包括但不限于：令牌获取模块510、关系学习520、特征输出模块530、人脸识别模块540。
[0101]
其中，令牌获取模块510，用于获取人脸图像，并分别捕捉人脸图像在细粒度的核心表示和粗粒度的上下文表示，得到相应的原子令牌和整体令牌。
[0102]
关系学习模块520，用于根据得到的原子令牌和整体令牌，学习人脸图像中不同人脸区域之间的关系，得到人脸图像的关系特征图。
[0103]
特征输出模块530，用于通过残差连接，由人脸图像的关系特征图与输入特征图，得到人脸图像的输出特征图。
[0104]
人脸识别模块540，用于根据输出特征图对人脸图像进行人脸识别，得到人脸识别
结果。
[0105]
在一示例性实施例中，令牌获取模块510还包括：原子令牌获取单元，用于对获取到的人脸图像进行特征提取得到输入特征图，将输入特征图分割为若干特征块，对各特征块进行平均池化处理得到若干原子令牌；整体令牌获取单元，用于对输入特征图进行卷积处理得到关于人脸图像中人脸区域的分割掩码，并根据分割掩码将输入特征图转换为整体令牌。
[0106]
在一示例性实施例中，关系学习模块包括：混合令牌获取单元，用于将原子令牌和整体令牌分别进行全连接后拼接，得到混合令牌；特征关系学习单元，用于利用编码器学习混合令牌之间的特征关系；关系转换单元，用于将特征关系转换至输入特征图所在的特征空间，得到人脸图像的关系特征图。
[0107]
在一示例性实施例中，所关系转换单元包括：特征令牌获取子单元，用于对特征关系进行全连接并按照人脸图像中人脸区域的个数压缩，得到特征令牌；特征图得到子单元，用于将特征令牌与关于人脸图像中人脸区域的分割掩码相乘，得到人脸图像的关系特征图。
[0108]
在一示例性实施例中，特征输出模块包括：特征输出单元，用于将人脸图像的关系特征图与输入特征图相加，得到人脸图像的输出特征图。
[0109]
在一示例性实施例中，人脸识别结果是调用人脸识别模型得到的，人脸识别模型是经过训练、具有对人脸图像的人脸进行识别的能力的机器学习模型；其中，利用原子令牌和整体令牌学习人脸图像中不同人脸区域之间的关系，是通过插入人脸识别模型中的混合令牌模块实现的。
[0110]
在一示例性实施例中，按照人脸识别模型的类型和/或人脸识别模型中的不同阶段设置设定尺寸，使得人脸图像的输入特征图能够分割为若干特征块。
[0111]
需要说明的是，上述实施例所提供的人脸识别装置在进行人脸识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即人脸识别装置的内部结构将划分为不同的功能模块，以完成以上描述的全部或者部分功能。
[0112]
另外，上述实施例所提供的人脸识别装置与人脸识别方法的实施例属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不做赘述。
[0113]
图9根据一示例性实施例示出的一种电子设备的结构示意图。该电子设备适用于图1所示出实施环境中的采集110，也适用于图1所示出实施环境中的服务器端130。
[0114]
需要说明的是，该电子设备只是一个适配于本技术的示例，不能认为是提供了对本技术的使用范围的任何限制。该电子设备也不能解释为需要依赖于或者必须具有图9示出的示例性的电子设备2000中的一个或多个组件。
[0115]
电子设备2000的硬件结果可因配置或者性能的不同而产生较大的差异，如图9所示，电子设备2000包括：电源210、接口230、至少一存储器250，以及至少一中央处理器(cpu，central processing units)270。
[0116]
具体地，电源210用于为电子设备2000上的各硬件设备提供工作电压。
[0117]
接口230包括至少一有线或无线网络接口231，用于与外部设备交互。
[0118]
当然，在其余本技术适配的示例中，接口230还可以进一步包括至少一串并转换接口233、至少一输入输出接口235以及至少一usb接口237等，如图9所示，在此并非对此构成具体限定。
[0119]
存储器250作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统251、应用程序253及数据255等，存储方式可以是短暂存储或者永久存储。
[0120]
其中，操作系统251用于管理与控制电子设备2000上的各硬件设备以及应用程序253，以实现中央处理器270对存储器250中海量数据255的运算与处理，其可以是windows servertm、mac os xtm、unixtm、linuxtm、freebsd tm等。
[0121]
应用程序253是基于操作系统251之上完成至少一项特定工作的计算机程序，其可以包括至少一模块(图9未示出)，每个模块都可以分别包含有对电子设备2000的计算机程序。例如，人脸识别装置可视为部署于电子设备2000的应用程序253。
[0122]
数据255可以是存储于磁盘中的照片、图片等，还可以是人脸图像，存储于存储器250中。
[0123]
中央处理器270可以包括一个或多个以上的处理器，并设置为通过至少一通信总线与存储器250通信，以读取存储器250中存储的计算机程序，进而实现对存储器250中海量数据255的运算与处理。例如，通过中央处理器270读取存储器250中存储的一系列计算机程序的形式来完成人脸识别方法。
[0124]
此外，通过硬件电路或者硬件电路结合软件也能同样实现本技术，因此，实现本技术并不限于任何特定硬件电路、软件以及两者的组合。
[0125]
请参阅图10，本技术实施例中提供了一种电子设备4000，该电子设备4000可以包括：智能门锁、无人机、智能摄像头、台式电脑、笔记本电脑、平板电脑、服务器等等。
[0126]
在图10中，该电子设备4000包括至少一个处理器4001,、至少一条通信总线4002以及至少一个存储器4003。
[0127]
其中，处理器4001和存储器4003相连，如通过通信总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本技术实施例的限定。
[0128]
处理器4001可以是cpu(central processing units，中央处理器)，通用处理器，dsp(digital signal processor，数据信号处理器)，asic(application specific integrated circuit，专用集成电路)，fpga(field programmable gate array，现场可编程门阵列)或者其他编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
[0129]
通信总线4002可包括一通路，在上述组件之间传达信息。通信总线4002可以是pci(peripheral component interconnect，外设部件互联标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。通信总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一
根总线或一种类型的总线。
[0130]
存储器4003可以是rom(read only memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，ram(random access memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom(electrically erasable programmable read only memory，电可擦可编程只读存储器)、cd-rom(compact disc read only memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备，或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
[0131]
存储器4003上存储有计算机程序，处理器4001通过通信总线4002读取存储器4003中存储的计算机程序。
[0132]
该计算机程序被处理器4001执行时实现上述各实施例中的人脸识别方法。
[0133]
此外，本技术实施例提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例中的人脸识别方法。
[0134]
本技术实施例中提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在存储介质中。计算机设备的处理器从存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述各实施例中的人脸识别方法。
[0135]
与相关技术相比，一方面，本技术实施例提供的混合令牌模块作为一种即插即用模块，能够方便快捷地与现有人脸识别模型相结合完成人脸识别过程；另一方面，本技术在提供较小计算量的前提下同时取得了精度更高的人脸识别准确率，在计算量和准确率上都相较于现有人脸识别模型更加具有优势。
[0136]
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0137]
以上所述仅是本技术的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。

技术特征：
1.一种人脸识别方法，其特征在于，所述方法包括：获取人脸图像，并分别捕捉人脸图像在细粒度的核心表示和粗粒度的上下文表示，得到相应的原子令牌和整体令牌；根据得到的原子令牌和整体令牌，学习所述人脸图像中不同人脸区域之间的关系，得到所述人脸图像的关系特征图；通过残差连接，由所述人脸图像的关系特征图与输入特征图，得到所述人脸图像的输出特征图；根据所述输出特征图对所述人脸图像进行人脸识别，得到人脸识别结果。2.如权利要求1所述的方法，其特征在于，所述分别捕捉人脸图像在细粒度的核心表示和粗粒度的上下文表示，得到相应的原子令牌和整体令牌，包括：对获取到的人脸图像进行特征提取得到输入特征图；将所述输入特征图分割为若干特征块，对各所述特征块分别进行平均池化处理，得到若干原子令牌；每个所述特征块对应一个原子令牌；对所述输入特征图进行卷积处理得到关于所述人脸图像中人脸区域的分割掩码，并根据所述分割掩码将所述输入特征图转换为整体令牌。3.如权利要求1所述的方法，其特征在于，所述根据得到的原子令牌和整体令牌，学习所述人脸图像中不同人脸区域之间的关系，得到所述人脸图像的关系特征图，包括：将所述原子令牌和整体令牌分别进行全连接后拼接，得到混合令牌；利用编码器学习所述混合令牌之间的特征关系；将所述特征关系转换至所述输入特征图所在的特征空间，得到所述人脸图像的关系特征图。4.如权利要求3所述的方法，其特征在于，所述将特征关系转换至所述输入特征图所在的特征空间，得到所述人脸图像的关系特征图，包括：对所述特征关系进行全连接并按照所述人脸图像中人脸区域的个数压缩，得到特征令牌；将所述特征令牌与关于所述人脸图像中人脸区域的分割掩码相乘，得到所述人脸图像的关系特征图。5.如权利要求1所述的方法，其特征在于，所述通过残差连接，由所述人脸图像的关系特征图与输入特征图，得到所述人脸图像的输出特征图，包括：将所述人脸图像的关系特征图与所述输入特征图相加，得到所述人脸图像的输出特征图。6.如权利要求1至5任一项所述的方法，其特征在于，所述人脸识别结果是调用人脸识别模型得到的，所述人脸识别模型是经过训练、具有对所述人脸图像的人脸进行识别的能力的机器学习模型；其中，利用原子令牌和整体令牌学习所述人脸图像中不同人脸区域之间的关系，是通过插入所述人脸识别模型中的混合令牌模块实现的。7.如权利要求6所述的方法，其特征在于，按照所述人脸识别模型的类型和/或所述人脸识别模型中的不同阶段设置设定尺寸，使得所述人脸图像的输入特征图能够分割为若干特征块。
8.一种人脸识别装置，其特征在于，所述装置包括：令牌获取模块，用于获取人脸图像，并分别捕捉人脸图像在细粒度的核心表示和粗粒度的上下文表示，得到相应的原子令牌和整体令牌；关系学习模块，用于根据所述得到的原子令牌和整体令牌，学习所述人脸图像中不同人脸区域之间的关系，得到所述人脸图像的关系特征图；特征输出模块，用于通过残差连接，由所述人脸图像的关系特征图与输入特征图，得到所述人脸图像的输出特征图；人脸识别模块，用于根据所述输出特征图对所述人脸图像进行人脸识别，得到人脸识别结果。9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器、以及至少一条通信总线，其中，所述存储器上存储有计算机程序，所述处理器通过所述通信总线读取所述存储器中的所述计算机程序；所述计算机程序被所述处理器执行时实现权利要求1至7中任一项所述的人脸识别方法。10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的人脸识别方法。

技术总结
本申请实施例提供了一种人脸识别方法、装置、电子设备及存储介质，涉及人脸识别技术领域。其中，该方法包括：获取人脸图像，并分别捕捉人脸图像在细粒度的核心表示和粗粒度的上下文表示，得到相应的原子令牌和整体令牌；根据得到的原子令牌和整体令牌，学习所述人脸图像中不同人脸区域之间的关系，得到所述人脸图像的关系特征图；通过残差连接，由所述人脸图像的关系特征图与输入特征图，得到所述人脸图像的输出特征图；根据所述输出特征图对所述人脸图像进行人脸识别，得到人脸识别结果。本申请实施例解决了相关技术中人脸识别的准确率不高的问题。不高的问题。不高的问题。


技术研发人员：苏伟聪 王亚立 乔宇
受保护的技术使用者：中国科学院深圳先进技术研究院
技术研发日：2023.03.07
技术公布日：2023/7/18