基于深度学习的人脸防遮挡检测及识别方法和装置以及计算机可读介质和电子设备与流程

1.本技术涉及图像处理技术领域，尤其涉及一种基于深度学习的人脸防遮挡检测及识别方法和装置以及计算机可读介质和电子设备。


背景技术：

2.随着科技的发展，基于用户授权前提的人脸识别技术在人们的生活和工作中得到了越来越多的应用，特别是基于证件信息的人脸识别方案能够仅通过拍摄用户的脸部图像就对用户的身份进行认证，从而省去了用户携带各种证件的麻烦，并且对于需要证件对用户身份认证的服务方来说，也大大提高了服务的效率。传统上人脸认证技术是将对于待认证用户的脸部获取图像并将获取到的人脸图像与数据库中的证件照片进行一一比对，以根据其相似度来确定用户的身份。但是在现有的数据库中的证件照片通常都是在用户没有佩戴任何遮挡物，例如帽子的情况下拍摄的，也就是说通常作为比对的标准的证件照片中人脸都不存在任何遮挡的区域，而人们在实际生活中通常都会佩戴例如帽子或墨镜或围巾等物品来用于提高穿着美观性或者提供遮风挡雨等功能性，因此，现有的人脸识别方案在执行人脸识别时就会由于所获取到的人脸图像中存在遮挡区域而导致匹配错误甚至是匹配失败。因此，需要一种能够对于人脸有有饰物遮挡情况下也能够确保较高的人脸识别率的人脸识别方案。


技术实现要素：

3.本技术实施例提供一种基于深度学习的人脸防遮挡检测及识别方法和装置以及计算机可读介质和电子设备，以解决现有技术中在由于头部或脸部佩戴饰物而导致脸部被遮挡的情况下人脸识别率低的缺陷。
4.为达到上述目的，本技术实施例提供一种基于深度学习的人脸防遮挡检测及识别方法，包括：
5.获取目标人脸图像；
6.对所述目标人脸图像进行脸部区域识别，以确定遮挡区域；
7.对所述遮挡区域进行遮挡特征提取，以确定遮挡物信息；
8.根据所述遮挡物信息获取至少一个候选图像库，其中，所述候选图像库中包含有多个与所述遮挡物信息对应的候选图像；
9.将所述候选图像库中的候选图像的图像特征与预设的人脸图像库中的各个人脸图像进行特征叠加，以生成多个叠加图像；
10.对所述目标人脸图像进行图像特征提取，以生成目标人脸特征；
11.对所述多个叠加图像进行图像特征提取，以生成候选人脸特征；
12.计算所述目标人脸特征与所述候选人脸特征的匹配度；
13.将所述匹配度大于阈值的候选人脸特征对应的叠加图像对应的人脸图像作为人
脸识别结果。
14.本技术实施例还提供了一种基于深度学习的人脸防遮挡检测及识别装置，包括：
15.获取模块，用于获取目标人脸图像；
16.区域识别模块，用于对所述目标人脸图像进行脸部区域识别，以确定遮挡区域；
17.特征提取模块，用于对所述遮挡区域进行遮挡特征提取，以确定遮挡物信息；
18.图像库获取模块，用于根据所述遮挡物信息获取至少一个候选图像库，其中，所述候选图像库中包含有多个与所述遮挡物信息对应的候选图像；
19.特征叠加模块，用于将所述候选图像库中的候选图像的图像特征与预设的人脸图像库中的各个人脸图像进行特征叠加，以生成多个叠加图像；
20.其中，所述特征提取模块进一步用于：对所述目标人脸图像进行图像特征提取，以生成目标人脸特征，以及对所述多个叠加图像进行图像特征提取，以生成候选人脸特征；
21.其中，所述装置进一步包括：
22.计算模块，用于计算所述目标人脸特征与所述候选人脸特征的匹配度；
23.输出模块，用于将所述匹配度大于阈值的候选人脸特征对应的叠加图像对应的人脸图像作为人脸识别结果。
24.本技术实施例还提供了一种电子设备，包括：
25.存储器，用于存储程序；
26.处理器，用于运行所述存储器中存储的所述程序，所述程序运行时执行本技术实施例提供的基于深度学习的人脸防遮挡检测及识别方法。
27.本技术实施例还提供了一种计算机可读存储介质，其上存储有可被处理器执行的计算机程序，其中，该程序被处理器执行时实现如本技术实施例提供的基于深度学习的人脸防遮挡检测及识别方法。
28.本技术实施例提供的基于深度学习的人脸防遮挡检测及识别方法和装置以及计算机可读介质和电子设备，通过对获取的目标人脸图像进行区域识别来确定遮挡区域，对遮挡区域进行遮挡特征提取，以确定遮挡物信息，根据所确定的遮挡物信息获取对应的候选图像库，将候选图像库中的候选图像的图像特征与预设的人脸图像库中的人脸图像进行特征叠加，以生成多个叠加图像，并对目标人脸图像和多个叠加图像的人脸特征进行比对以将匹配度大于预设阈值的叠加图像对应的人脸图像库中的人脸图像识别结果进行输出。因此，本技术实施例可以在获取到目标人脸图像时，先不直接进行人脸识别，而是先识别人脸图像中被遮挡的区域进而识别遮挡物，从而可以根据遮挡物信息来获取对应的遮挡物的图像库，并使用遮挡物的图像库中的遮挡物图像的特征来与预设的人脸图像库中的人脸图像进行叠加来生成新的带有遮挡物特征的图像库，在此基础上再通过提取目标人脸图像和新的叠加图像的人脸特征来进行比对，使得作为比对标准的人脸特征实际上已经混有了遮挡物的特征，确保了带有遮挡物的目标人脸图像在比对时的匹配度，不会由于目标人脸图像由于存在遮挡物而导致与标准的人脸图像库中的人脸图像计算出错误的匹配度，使得识别错误或识别失败，使得用户可以在日常着装佩戴头饰的情况下就能够获得更准确的人脸识别结果。
29.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够
更明显易懂，以下特举本技术的具体实施方式。
附图说明
30.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
31.图1为本技术提供的基于深度学习的人脸防遮挡检测及识别方法一个实施例的流程图；
32.图2为本技术提供的基于深度学习的人脸防遮挡检测及识别装置的一个实施例的结构示意图；
33.图3为本技术提供的电子设备实施例的结构示意图。
具体实施方式
34.下面将参照附图更详细地描述本技术的示例性实施例。虽然附图中显示了本技术的示例性实施例，然而应当理解，可以以各种形式实现本技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本技术，并且能够将本技术的范围完整的传达给本领域的技术人员。
35.实施例一
36.随着科技的发展，基于用户授权前提的人脸识别技术在人们的生活和工作中得到了越来越多的应用，特别是基于证件信息的人脸识别方案能够仅通过拍摄用户的脸部图像就对用户的身份进行认证，从而省去了用户携带各种证件的麻烦，并且对于需要证件对用户身份认证的服务方来说，也大大提高了服务的效率。传统上人脸认证技术是将对于待认证用户的脸部获取图像并将获取到的人脸图像与数据库中的证件照片进行一一比对，以根据其相似度来确定用户的身份。但是在现有的数据库中的证件照片通常都是在用户没有佩戴任何遮挡物，例如帽子的情况下拍摄的，也就是说通常作为比对的标准的证件照片中人脸都不存在任何遮挡的区域，而人们在实际生活中通常都会佩戴例如帽子或墨镜或围巾等物品来用于提高穿着美观性或者提供遮风挡雨等功能性，因此，现有的人脸识别方案在执行人脸识别时就会由于所获取到的人脸图像中存在遮挡区域而导致匹配错误甚至是匹配失败。
37.例如，在现有的人脸识别场景中，用户在使用需要进行身份识别的服务时，服务方可以通过例如摄像头等图像采集设备来采集用户的面部图像，从而作为目标人脸图像来与预设的数据库中的人脸图像进行对比。通常情况下，这样的预设的数据库中的人脸图像可以是例如用户在执行机关登记的证件照，例如身份证或护照上面的头像照片。在这样的证件照图像的拍摄时，通常都会要求用户去除掉可能遮挡面部的头饰或其他物品，因此，这样的证件照图像中用户的面部通常都是无遮挡的，这也使得作为比对标准的证件照图像能够保留尽可能多的面部特征。
38.因此，在服务方采集到用户的目标人脸图像之后，可以对该目标人脸图像进行人脸特征提取，并将提取的人脸特征与上述预设的数据库中的人脸图像的人脸特征进行比对，例如，可以计算目标人脸图像的人脸特征与预设的数据库中的人脸图像的人脸特征之
间的相似度，并且将与目标人脸图像的人脸特征的相似度大于阈值的数据库中的人脸图像确定为识别结果，即将与目标人脸图像的人脸特征的相似度大于阈值的人脸图像对应的身份确定为用户的身份。
39.但是如上所述，由于例如证件照图像库中的人脸图像都是不包含任何脸部遮挡物的人脸图像，因此，在计算特征相似度时，如果目标人脸图像存在遮挡区域，那么就会导致从目标人脸图像提取的人脸特征也会较少或者从目标人脸图像提取的人脸特征会包含有遮挡物的特征，那么在计算这样提取的目标人脸图像的人脸特征与预设的人脸图像库中的例如证件照图像的人脸特征之间的相似度时，即使是将真实与该用户对应的证件照与这样的遮挡的目标人脸图像进行相似度计算时，目标人脸图像所提取的人脸特征中能够与比对的证件照的人脸特征匹配的特征会低于无遮挡时的匹配的特征的数量，从而会导致计算出的相似度较低，甚至低于阈值，因此，在基于这样计算出的相似度来识别用户身份时，就会将该证件照识别为不匹配的图像，虽然该证件照实际上就是该用户在政府机关所拍摄的证件照。
40.因此，在现有技术应用的人脸识别的场景中，通常都会要求用户在采集人脸图像时，必须去除例如帽子、围巾或墨镜等遮挡人脸部分区域的物品，以避免上述由于匹配特征少而导致无法识别出用户身份的问题。但是这对于用户来说造成了很大的不便，尤其是在例如火车站或机场等人流密集场所，用户取下遮挡物品才能够进行人脸识别需要花费较多时间，从而严重影响了通行效率。
41.为此，在本技术实施例中，提出了一种基于深度学习的人脸防遮挡检测及识别方法，其能够提高对于脸部有遮挡的人脸图像的识别准确率。具体地，在获取用户的人脸图像作为目标人脸图像之后，根据本技术实施例的基于深度学习的人脸防遮挡检测及识别方法并不立即对该目标人脸图像进行人脸特征识别，而是先进行人脸区域识别，以确定人脸的各个区域。具体地，可以使用预设的人脸区域图像库来进行人脸区域识别，从而可以将相似度低于阈值的区域确定为存在遮挡的人脸区域。例如，在用户佩戴帽子的情况下，额头会被遮挡，并且在有些情况下，眉毛也可能会被遮挡，因此，对于这样的佩戴帽子的用户进行人脸识别时，根据本技术实施例可以通过上述人脸区域识别处理来确定处人脸的额头和眼部为遮挡区域。
42.此外，在本技术实施例中，在确定遮挡区域时，可以首先使用预设的目标识别算法确定目标人脸图像中人脸所在区域，例如，通常用户在采集目标人脸图像时所在的环境时公共环境，例如银行、营业厅等公共场所，因此，这样采集到的人脸图像实际上还包含了其他的目标，因此，在本技术实施例中，可以通过目标识别算法来确定该采集到的图像中用户的人脸所在的区域。之后，可以根据预设的人脸区域划分算法对人脸所在区域进行区域特征提取，以获得各子区域的子区域特征。例如，可以使用人脸五官识别算法，来分别确定人脸所在区域中人脸的各个区域，例如，眼部，嘴部，额头等等。之后，可以计算人脸所在区域的各子区域特征分别与预设的各人脸子区域图像的相似度。在分别确定了例如五官区域之后，可以调用相应的五官特征库，来分别与对应的子区域提取的特征进行比对，以计算该子区域与对应的五官中的例如嘴部的区域的匹配度，并且例如，在区域识别时虽然识别出是额头，但是在与标准的额头区域的特征进行比对时，相似度明显低于阈值，则可以确定该额头区域是被遮挡物遮挡了，因此是遮挡区域。
43.之后，可以对该遮挡区域进行特征提取，并且将提取的遮挡物特征与预设的遮挡物图像数据库进行比对，以确定遮挡物信息，例如，可以仅与类型特征进行比对，以确定遮挡物的类型，例如，确定遮挡物是帽子，或者在本技术实施例中，也可以将提取的遮挡物特征与遮挡物图像库中的各个图像的具体特征进行比对，例如，可以比较颜色或形状等，以进一步确定遮挡物的主要细节，例如，在本技术实施例中，可以进一步确定遮挡物是黑色的帽子，或者确定遮挡物是其上具有某个品牌的标识图像或者具有某个特定图像的帽子等等。
44.在获取到了遮挡物信息之后，本技术实施例的基于深度学习的人脸防遮挡检测及识别方法可以根据该遮挡物信息来调用相应的遮挡物图像库。例如，在上述确定遮挡物是帽子的情况下，可以根据该帽子的类型信息来调用帽子的图像库，该图像库中可以包含有各种帽子的图像。因此，可以从该帽子图像库中的各个帽子图像来进行遮挡特征提取，例如，可以提取各个帽子图像的图像特征来作为遮挡特征，或者在识别出遮挡物是帽子的下半部分或帽子的帽沿的特定位置的情况下，也可以根据该位置信息来从调用的帽子图像库中的各个帽子图像中仅提取帽沿或下半部分的图像特征来作为遮挡特征。
45.在获取了遮挡特征之后，可以使用这样提取的遮挡特征来与预设的人脸图像库，例如证件照图像库中的人脸图像进行叠加。例如，在本技术实施例中，可以将这样提取的遮挡特征与证件照图像库中的每个人脸图像提取的人脸特征进行特征融合处理，以生成新的融合图像特征，并且因此这样可以获得基于各个融合图像特征的多个叠加图像，即，在本技术实施例中，可以使用从遮挡图像库中的遮挡图像提取的遮挡特征来对预设的人脸图像库进行叠加处理，以生成新的人脸图像库，该新的人脸图像库中的每个人脸图像都融合有从遮挡物图像库，例如帽子图像库中提取的遮挡特征。
46.此外，在本技术实施例中，在进行融合时，还可以基于所提取到的遮挡特征来对该遮挡特征进行各种修改和变形以获得新的遮挡特征。例如，可以从提取到的遮挡特征中去除某一个特征并替换为另一个相近特征来构造新的遮挡特征，或者也可以使用其他特征扩展算法来获得新的遮挡特征，从而可以使用这样扩展的一组遮挡特征来作为与预设的人脸图像库进行特征叠加的遮挡特征，而无需调用遮挡物图像库。
47.此外，在本技术实施例中，在从遮挡物图像库的各个图像进行特征提取时，可以分别从每个遮挡图像提取遮挡特征，并且将每个遮挡图像提取的遮挡特征都分别与人脸图像库中的人脸图像提取的人脸特征进行特征叠加，或者也可以在从每个遮挡图像提取了特征之后，先对这些特征进行融合，以生成一个融合特征，并将该融合特征作为遮挡特征来与预设的人脸图像库中的人脸图像提取的人脸特征进行特征叠加，以获得新的叠加人脸图像库。
48.在获得了新的叠加人脸图像库之后，根据本技术实施例的基于深度学习的人脸防遮挡检测及识别方法可以进一步从该新的叠加人脸图像数据库中的新生成的各个叠加人脸图像中提取人脸特征，并从目标人脸图像中提取人脸特征，以计算目标人脸图像的人脸特征与新构建的叠加人脸图像库中的各个叠加人脸图像的人脸特征之间的匹配度。例如，在本技术实施例中，可以使用faster-rcnn算法对于目标人脸图像和叠加人脸图像整体进行特征提取，以生成人脸特征。
49.之后，可以根据如上计算出的匹配度来将匹配度超过预设阈值的叠加图像作为匹配结果，并且可以根据该叠加图像来进一步回溯确定生成该叠加图像所基于的预设人脸图
像库中的人脸图像，并且可以将该人脸图像作为与目标人脸图像对应的识别人脸图像输出。此外，在此基础上还可以进一步将与该人脸图像对应的身份信息输出作为识别结果或识别结果的一部分。在本技术实施例中，可以在生成叠加图像时就记录预设图像库中的人脸图像与所生成的叠加图像的对应关系，并且在识别出匹配的叠加人脸图像时，调用该记录来回溯确定对应的人脸图像。
50.注意的是，在本技术实施例中，由于新构建的叠加人脸图像库中的各个叠加人脸图像是基于原有的人脸图像的特征和前述基于从目标人脸图像的遮挡区域中识别处的遮挡物所生成的遮挡特征融合而生成的图像，因此，从该图像中提取的人脸特征就会带有遮挡物的遮挡特征，因此，在计算与这样新构建的叠加人脸图像的人脸特征相似度时，由于目标人脸图像的人脸特征也带有遮挡物的遮挡特征，因此能够大大降低遮挡物对于计算出的整个相似度值的影响，使得即使在目标人脸图像中包含的人脸特征不完整的情况下，也能够与通过融入遮挡特征而同样被施加有遮挡物影响的预设人脸图像进行较高准确度的匹配。换言之，现有技术中，由于目标人脸图像中存在遮挡物的影响，因此与完全没有遮挡物影响的预设人脸图像库中的人脸图像比对时，计算出的相似度并不能够真正反映目标人脸图像与标准人脸图像之间的相似程度，这是因为遮挡区域由于遮挡物的存在导致原本的人脸特征受到了影响，甚至缺失，而在本技术实施例中，由于作为比对基准的人脸图像库是将预设的无遮挡的标准人脸图像库与遮挡物相关的遮挡图像库所提取的遮挡特征进行融合而获得的特征叠加后的人脸图像库，因此，能够使得目标人脸图像与同样受到与目标人脸图像类似的遮挡物影响的特征叠加后的人脸图像库进行比对，从而能够使得这样比对计算出的相似度能够更真实地反映目标人脸图像与标准人脸图像之间的相似度，从而能够大大提高人脸识别的准确度。
51.例如，如图1中所示，图1是示出根据本技术实施例的基于深度学习的人脸防遮挡检测及识别方法的流程的示意图。图1中所示的基于深度学习的人脸防遮挡检测及识别方法可以包括：
52.s101，获取目标人脸图像。
53.在步骤s101中，可以使用例如摄像头等图像采集设备来对用户进行人脸图像采集，以获取目标人脸图像。在本技术实施例中，还可以对采集后的人脸图像进行去噪等预处理，并且可以将预处理之后的人脸图像作为目标人脸图像。
54.s102，对目标人脸图像进行脸部区域识别，以确定遮挡区域。
55.在步骤s102中，可以对于步骤s101中获取到的目标人脸图像进行人脸区域识别，以确定遮挡区域。具体地，可以使用预设的人脸区域图像库来先对于步骤s101中获取到的目标人脸图像进行人脸区域识别，从而可以将相似度低于阈值的区域确定为存在遮挡的人脸区域。例如，在用户佩戴帽子的情况下，额头会被遮挡，并且在有些情况下，眉毛也可能会被遮挡，因此，对于这样的佩戴帽子的用户进行人脸识别时，在步骤s102中，可以通过人脸区域识别处理来确定人脸的额头和眼部为遮挡区域。
56.例如，在步骤s102中，在确定遮挡区域时，可以首先使用预设的目标识别算法确定目标人脸图像中人脸所在区域，例如，通常用户在采集目标人脸图像时所在的环境时公共环境，例如银行、营业厅等公共场所，因此，这样采集到的人脸图像实际上还包含了其他的目标，因此，在步骤s102中，可以通过目标识别算法来确定该采集到的图像中用户的人脸所
在的区域。之后，可以根据预设的人脸区域划分算法对人脸所在区域进行区域特征提取，以获得各子区域的子区域特征。例如，可以使用人脸五官识别算法，来分别确定人脸所在区域中人脸的各个区域，例如，眼部，嘴部，额头等等。之后，可以计算人脸所在区域的各子区域特征分别与预设的各人脸子区域图像的相似度。在分别确定了例如五官区域之后，可以调用相应的五官特征库，来分别与对应的子区域提取的特征进行比对，以计算该子区域与对应的五官中的例如嘴部的区域的匹配度，并且例如，在区域识别时虽然识别出是额头，但是在与标准的额头区域的特征进行比对时，相似度明显低于阈值，则可以确定该额头区域是被遮挡物遮挡了，因此是遮挡区域。
57.s103，对遮挡区域进行遮挡特征提取，以确定遮挡物信息。
58.s104，根据遮挡物信息获取至少一个候选图像库。
59.在步骤s103中可以对步骤s102中确定的遮挡区域进行特征提取，并且将提取的遮挡物特征与预设的遮挡物图像数据库进行比对，以确定遮挡物信息。
60.例如，在步骤s103中，可以将遮挡区域中提取的遮挡特征仅与物品类型特征进行比对，以确定遮挡物的类型。例如，可以通过对比确定遮挡物的类型是帽子。在本技术实施例中，也可以将提取的遮挡物特征与遮挡物图像库中的各个图像的具体特征进行比对，例如，可以比较颜色或形状等，以进一步确定遮挡物的主要细节，例如，在步骤s103中，可以进一步确定遮挡物是黑色的帽子，或者确定遮挡物是其上具有某个品牌的标识图像或者具有某个特定图像的帽子等等。
61.在步骤s103中获取到了遮挡物信息之后，在步骤s104中，可以根据步骤s103中获取到的遮挡物信息来调用相应的遮挡物图像库。例如，在步骤s103确定遮挡物是帽子的情况下，在步骤s104可以根据该帽子的类型信息来调用帽子的图像库，该图像库中可以包含有各种帽子的图像。
62.s105，将所候选图像库中的候选图像的图像特征与预设的人脸图像库中的各个人脸图像进行特征叠加，以生成多个叠加图像。
63.在步骤s105中，可以从步骤s104中确定的候选图像库中进行遮挡特征提取，以将提取的特征与预设的人脸图像库中的各个人脸图像进行特征融合或叠加，以生成叠加图像。例如，当步骤s103中确定遮挡物的类型为帽子，则步骤s104中可以获取到帽子图像库，并且在步骤s105中可以对该帽子图像库中的各个帽子图像来进行遮挡特征提取，例如，可以提取各个帽子图像的图像特征来作为遮挡特征，或者在识别出遮挡物是帽子的下半部分或帽子的帽沿的特定位置的情况下，也可以根据该位置信息来从调用的帽子图像库中的各个帽子图像中仅提取帽沿或下半部分的图像特征来作为遮挡特征。
64.此外，在本技术实施例中，在步骤s103获取了遮挡物信息之后，也可以根据遮挡物信息和从目标人脸图像的遮挡区域提取的遮挡特征，使用各种特征扩散算法来获得遮挡特征。例如，可以基于所提取到的遮挡特征来对该遮挡特征进行各种修改和变形以获得新的遮挡特征。例如，可以从提取到的遮挡特征中去除某一个特征并替换为另一个相近特征来构造新的遮挡特征，或者也可以使用其他特征扩展算法来获得新的遮挡特征，从而可以使用这样扩展的一组遮挡特征来作为与预设的人脸图像库进行特征叠加的遮挡特征，而无需调用遮挡物图像库。
65.因此，在步骤s105中获取了遮挡特征之后，可以使用这样提取的遮挡特征来与预
设的人脸图像库，例如证件照图像库中的人脸图像进行叠加。例如，在本技术实施例中，可以将这样提取的遮挡特征与证件照图像库中的每个人脸图像提取的人脸特征进行特征融合处理，以生成新的融合图像特征，并且因此这样可以获得基于各个融合图像特征的多个叠加图像，即，在本技术实施例中，可以使用从遮挡图像库中的遮挡图像提取的遮挡特征来对预设的人脸图像库进行叠加处理，以生成新的人脸图像库，该新的人脸图像库中的每个人脸图像都融合有从遮挡物图像库，例如帽子图像库中提取的遮挡特征。
66.此外，在本技术实施例中，在从遮挡物图像库的各个图像进行特征提取时，可以分别从每个遮挡图像提取遮挡特征，并且将每个遮挡图像提取的遮挡特征都分别与人脸图像库中的人脸图像提取的人脸特征进行特征叠加，或者也可以在从每个遮挡图像提取了特征之后，先对这些特征进行融合，以生成一个融合特征，并将该融合特征作为遮挡特征来与预设的人脸图像库中的人脸图像提取的人脸特征进行特征叠加，以获得新的叠加人脸图像库。
67.s106，对目标人脸图像进行图像特征提取，以生成目标人脸特征。
68.s107，对多个叠加图像进行图像特征提取，以生成候选人脸特征。
69.在步骤s105获得了新的叠加人脸图像库之后，在步骤s107可以从该新的叠加人脸图像数据库中的新生成的各个叠加人脸图像中提取人脸特征，并在步骤s106中从目标人脸图像中提取人脸特征，以计算目标人脸图像的人脸特征与新构建的叠加人脸图像库中的各个叠加人脸图像的人脸特征之间的匹配度。例如，在本技术实施例中，可以使用faster-rcnn算法对于目标人脸图像和叠加人脸图像整体进行特征提取，以生成人脸特征。
70.s108，计算目标人脸特征与所述候选人脸特征的匹配度。
71.s109，将匹配度大于阈值的候选人脸特征对应的叠加图像对应的人脸图像作为人脸识别结果。
72.在步骤s108中，可以对步骤s106和步骤s107中提取的目标人脸特征和候选人脸特征进行匹配度计算，并且在步骤s109中，将步骤s108中计算出的匹配度超过预设阈值的叠加图像作为匹配结果，并且可以根据该叠加图像来进一步回溯确定生成该叠加图像所基于的预设人脸图像库中的人脸图像，并且可以将该人脸图像作为与目标人脸图像对应的识别人脸图像输出。此外，在此基础上还可以进一步将与该人脸图像对应的身份信息输出作为识别结果或识别结果的一部分。在本技术实施例中，可以在生成叠加图像时就记录预设图像库中的人脸图像与所生成的叠加图像的对应关系，并且在识别出匹配的叠加人脸图像时，调用该记录来回溯确定对应的人脸图像。
73.本技术实施例提供的基于深度学习的人脸防遮挡检测及识别方法，通过对获取的目标人脸图像进行区域识别来确定遮挡区域，对遮挡区域进行遮挡特征提取，以确定遮挡物信息，根据所确定的遮挡物信息获取对应的候选图像库，将候选图像库中的候选图像的图像特征与预设的人脸图像库中的人脸图像进行特征叠加，以生成多个叠加图像，并对目标人脸图像和多个叠加图像的人脸特征进行比对以将匹配度大于预设阈值的叠加图像对应的人脸图像库中的人脸图像识别结果进行输出。因此，本技术实施例可以在获取到目标人脸图像时，先不直接进行人脸识别，而是先识别人脸图像中被遮挡的区域进而识别遮挡物，从而可以根据遮挡物信息来获取对应的遮挡物的图像库，并使用遮挡物的图像库中的遮挡物图像的特征来与预设的人脸图像库中的人脸图像进行叠加来生成新的带有遮挡物
特征的图像库，在此基础上再通过提取目标人脸图像和新的叠加图像的人脸特征来进行比对，使得作为比对标准的人脸特征实际上已经混有了遮挡物的特征，确保了带有遮挡物的目标人脸图像在比对时的匹配度，不会由于目标人脸图像由于存在遮挡物而导致与标准的人脸图像库中的人脸图像计算出错误的匹配度，使得识别错误或识别失败，使得用户可以在日常着装佩戴头饰的情况下就能够获得更准确的人脸识别结果。
74.实施例二
75.图2为本技术提供的基于深度学习的人脸防遮挡检测及识别装置的一个实施例的结构示意图。如图2所示，本技术实施例提供的基于深度学习的人脸防遮挡检测及识别装置包括：获取模块21、区域识别模块22、特征提取模块23、图像库获取模块24、特征叠加模块25、计算模块26和输出模块27。
76.获取模块21可以用于获取目标人脸图像,。
77.获取模块21可以使用例如摄像头等图像采集设备来对用户进行人脸图像采集，以获取目标人脸图像。在本技术实施例中，还可以对采集后的人脸图像进行去噪等预处理，并且可以将预处理之后的人脸图像作为目标人脸图像。
78.区域识别模块22可以用于对目标人脸图像进行脸部区域识别，以确定遮挡区域。
79.区域识别模块22，可以对于获取模块21获取到的目标人脸图像进行人脸区域识别，以确定遮挡区域。具体地，可以使用预设的人脸区域图像库来先对于获取模块21获取到的目标人脸图像进行人脸区域识别，从而可以将相似度低于阈值的区域确定为存在遮挡的人脸区域。例如，在用户佩戴帽子的情况下，额头会被遮挡，并且在有些情况下，眉毛也可能会被遮挡，因此，对于这样的佩戴帽子的用户进行人脸识别时，获取模块21可以通过人脸区域识别处理来确定人脸的额头和眼部为遮挡区域。
80.例如，区域识别模块22，在确定遮挡区域时，可以首先使用预设的目标识别算法确定目标人脸图像中人脸所在区域，例如，通常用户在采集目标人脸图像时所在的环境时公共环境，例如银行、营业厅等公共场所，因此，这样采集到的人脸图像实际上还包含了其他的目标，因此，区域识别模块22，可以通过目标识别算法来确定该采集到的图像中用户的人脸所在的区域。之后，可以根据预设的人脸区域划分算法对人脸所在区域进行区域特征提取，以获得各子区域的子区域特征。例如，可以使用人脸五官识别算法，来分别确定人脸所在区域中人脸的各个区域，例如，眼部，嘴部，额头等等。之后，可以计算人脸所在区域的各子区域特征分别与预设的各人脸子区域图像的相似度。在分别确定了例如五官区域之后，可以调用相应的五官特征库，来分别与对应的子区域提取的特征进行比对，以计算该子区域与对应的五官中的例如嘴部的区域的匹配度，并且例如，在区域识别时虽然识别出是额头，但是在与标准的额头区域的特征进行比对时，相似度明显低于阈值，则可以确定该额头区域是被遮挡物遮挡了，因此是遮挡区域。
81.特征提取模块23可以用于对遮挡区域进行遮挡特征提取，以确定遮挡物信息。
82.图像库获取模块24可以用于根据遮挡物信息获取至少一个候选图像库。
83.特征提取模块23可以对区域识别模块22确定的遮挡区域进行特征提取，并且将提取的遮挡物特征与预设的遮挡物图像数据库进行比对，以确定遮挡物信息。
84.例如，特征提取模块23，可以将遮挡区域中提取的遮挡特征仅与物品类型特征进行比对，以确定遮挡物的类型。例如，可以通过对比确定遮挡物的类型是帽子。在本技术实
施例中，也可以将提取的遮挡物特征与遮挡物图像库中的各个图像的具体特征进行比对，例如，可以比较颜色或形状等，以进一步确定遮挡物的主要细节，例如，特征提取模块23，可以进一步确定遮挡物是黑色的帽子，或者确定遮挡物是其上具有某个品牌的标识图像或者具有某个特定图像的帽子等等。
85.特征提取模块23获取到了遮挡物信息之后，图像库获取模块24，可以根据特征提取模块23提取到的遮挡物信息来调用相应的遮挡物图像库。例如，特征提取模块23确定遮挡物是帽子的情况下，图像库获取模块24可以根据该帽子的类型信息来调用帽子的图像库，该图像库中可以包含有各种帽子的图像。
86.特征叠加模块25可以用于将所候选图像库中的候选图像的图像特征与预设的人脸图像库中的各个人脸图像进行特征叠加，以生成多个叠加图像。
87.特征叠加模块25可以从图像库获取模块24确定的候选图像库中进行遮挡特征提取，以将提取的特征与预设的人脸图像库中的各个人脸图像进行特征融合或叠加，以生成叠加图像。例如，当特征提取模块23确定遮挡物的类型为帽子，则图像库获取模块24可以获取到帽子图像库，并且特征叠加模块25可以对该帽子图像库中的各个帽子图像来进行遮挡特征提取，例如，可以提取各个帽子图像的图像特征来作为遮挡特征，或者在识别出遮挡物是帽子的下半部分或帽子的帽沿的特定位置的情况下，也可以根据该位置信息来从调用的帽子图像库中的各个帽子图像中仅提取帽沿或下半部分的图像特征来作为遮挡特征。
88.此外，在本技术实施例中，特征提取模块23获取了遮挡物信息之后，也可以根据遮挡物信息和从目标人脸图像的遮挡区域提取的遮挡特征，使用各种特征扩散算法来获得遮挡特征。例如，可以基于所提取到的遮挡特征来对该遮挡特征进行各种修改和变形以获得新的遮挡特征。例如，可以从提取到的遮挡特征中去除某一个特征并替换为另一个相近特征来构造新的遮挡特征，或者也可以使用其他特征扩展算法来获得新的遮挡特征，从而可以使用这样扩展的一组遮挡特征来作为与预设的人脸图像库进行特征叠加的遮挡特征，而无需调用遮挡物图像库。
89.因此，特征叠加模块25获取了遮挡特征之后，可以使用这样提取的遮挡特征来与预设的人脸图像库，例如证件照图像库中的人脸图像进行叠加。例如，在本技术实施例中，可以将这样提取的遮挡特征与证件照图像库中的每个人脸图像提取的人脸特征进行特征融合处理，以生成新的融合图像特征，并且因此这样可以获得基于各个融合图像特征的多个叠加图像，即，在本技术实施例中，可以使用从遮挡图像库中的遮挡图像提取的遮挡特征来对预设的人脸图像库进行叠加处理，以生成新的人脸图像库，该新的人脸图像库中的每个人脸图像都融合有从遮挡物图像库，例如帽子图像库中提取的遮挡特征。
90.此外，在本技术实施例中，在从遮挡物图像库的各个图像进行特征提取时，可以分别从每个遮挡图像提取遮挡特征，并且将每个遮挡图像提取的遮挡特征都分别与人脸图像库中的人脸图像提取的人脸特征进行特征叠加，或者也可以在从每个遮挡图像提取了特征之后，先对这些特征进行融合，以生成一个融合特征，并将该融合特征作为遮挡特征来与预设的人脸图像库中的人脸图像提取的人脸特征进行特征叠加，以获得新的叠加人脸图像库。
91.特征叠加模块25获得了新的叠加人脸图像库之后，特征提取模块23还可以从该新的叠加人脸图像数据库中的新生成的各个叠加人脸图像中提取人脸特征，并从目标人脸图
像中提取人脸特征，以计算目标人脸图像的人脸特征与新构建的叠加人脸图像库中的各个叠加人脸图像的人脸特征之间的匹配度。例如，在本技术实施例中，特征提取模块23可以使用faster-rcnn算法对于目标人脸图像和叠加人脸图像整体进行特征提取，以生成人脸特征。
92.计算模块26可以用于计算目标人脸特征与所述候选人脸特征的匹配度。
93.输出模块27可以用于将匹配度大于阈值的候选人脸特征对应的叠加图像对应的人脸图像作为人脸识别结果。
94.计算模块26可以对特征提取模块23提取的目标人脸特征和候选人脸特征进行匹配度计算，并且输出模块27可以将计算模块26计算出的匹配度超过预设阈值的叠加图像作为匹配结果，并且可以根据该叠加图像来进一步回溯确定生成该叠加图像所基于的预设人脸图像库中的人脸图像，并且可以将该人脸图像作为与目标人脸图像对应的识别人脸图像输出。此外，在此基础上还可以进一步将与该人脸图像对应的身份信息输出作为识别结果或识别结果的一部分。在本技术实施例中，可以在生成叠加图像时就记录预设图像库中的人脸图像与所生成的叠加图像的对应关系，并且在识别出匹配的叠加人脸图像时，调用该记录来回溯确定对应的人脸图像。
95.本技术实施例提供的基于深度学习的人脸防遮挡检测及识别装置，通过对获取的目标人脸图像进行区域识别来确定遮挡区域，对遮挡区域进行遮挡特征提取，以确定遮挡物信息，根据所确定的遮挡物信息获取对应的候选图像库，将候选图像库中的候选图像的图像特征与预设的人脸图像库中的人脸图像进行特征叠加，以生成多个叠加图像，并对目标人脸图像和多个叠加图像的人脸特征进行比对以将匹配度大于预设阈值的叠加图像对应的人脸图像库中的人脸图像识别结果进行输出。因此，本技术实施例可以在获取到目标人脸图像时，先不直接进行人脸识别，而是先识别人脸图像中被遮挡的区域进而识别遮挡物，从而可以根据遮挡物信息来获取对应的遮挡物的图像库，并使用遮挡物的图像库中的遮挡物图像的特征来与预设的人脸图像库中的人脸图像进行叠加来生成新的带有遮挡物特征的图像库，在此基础上再通过提取目标人脸图像和新的叠加图像的人脸特征来进行比对，使得作为比对标准的人脸特征实际上已经混有了遮挡物的特征，确保了带有遮挡物的目标人脸图像在比对时的匹配度，不会由于目标人脸图像由于存在遮挡物而导致与标准的人脸图像库中的人脸图像计算出错误的匹配度，使得识别错误或识别失败，使得用户可以在日常着装佩戴头饰的情况下就能够获得更准确的人脸识别结果。
96.实施例三
97.以上描述了基于深度学习的人脸防遮挡检测及识别装置的内部功能和结构，该装置可实现为一种电子设备。图3为本技术提供的电子设备实施例的结构示意图。如图3所示，该电子设备包括存储器31和处理器32。
98.存储器31，用于存储程序。除上述程序之外，存储器31还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
99.存储器31可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或
光盘。
100.处理器32，不仅仅局限于中央处理器(cpu)，还可能为图形处理器(gpu)、现场可编辑门阵列(fpga)、嵌入式神经网络处理器(npu)或人工智能(ai)芯片等处理芯片。处理器32，与存储器31耦合，执行存储器31所存储的程序，该程序运行时执行上述实施例一的基于深度学习的人脸防遮挡检测及识别方法。
101.进一步，如图3所示，电子设备还可以包括：通信组件33、电源组件34、音频组件35、显示器36等其它组件。图3中仅示意性给出部分组件，并不意味着电子设备只包括图3所示组件。
102.通信组件33被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如wifi、3g、4g或5g，或它们的组合。在一个示例性实施例中，通信组件33经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件33还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
103.电源组件34，为电子设备的各种组件提供电力。电源组件34可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
104.音频组件35被配置为输出和/或输入音频信号。例如，音频组件35包括一个麦克风(mic)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器31或经由通信组件33发送。在一些实施例中，音频组件35还包括一个扬声器，用于输出音频信号。
105.显示器36包括屏幕，其屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅检测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
106.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
107.最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。

技术特征：
1.一种基于深度学习的人脸防遮挡检测及识别方法，其特征在于，包括：获取目标人脸图像；对所述目标人脸图像进行脸部区域识别，以确定遮挡区域；对所述遮挡区域进行遮挡特征提取，以确定遮挡物信息；根据所述遮挡物信息获取至少一个候选图像库，其中，所述候选图像库中包含有多个与所述遮挡物信息对应的候选图像；将所述候选图像库中的候选图像的图像特征与预设的人脸图像库中的各个人脸图像进行特征叠加，以生成多个叠加图像；对所述目标人脸图像进行图像特征提取，以生成目标人脸特征；对所述多个叠加图像进行图像特征提取，以生成候选人脸特征；计算所述目标人脸特征与所述候选人脸特征的匹配度；将所述匹配度大于阈值的候选人脸特征对应的叠加图像对应的人脸图像作为人脸识别结果。2.根据权利要求1所述的基于深度学习的人脸防遮挡检测及识别方法，其特征在于，所述对所述目标人脸图像进行脸部区域识别，以确定遮挡区域包括：使用预设的目标识别算法确定所述目标人脸图像中人脸所在区域；根据预设的人脸区域划分算法对所述人脸所在区域进行区域特征提取，以获得各子区域的子区域特征；计算所述人脸所在区域的各子区域特征分别与预设的各人脸子区域图像的相似度；将所述人脸所在区域中相似度低于预设子区域阈值的子区域确定为遮挡区域。3.根据权利要求1所述的基于深度学习的人脸防遮挡检测及识别方法，其特征在于，所述将所述候选图像库中的候选图像的图像特征与预设的人脸图像库中的各个人脸图像进行特征叠加，以生成多个叠加图像包括：对所述候选图像库中的每个候选图像进行特征提取；将每个候选图像所提取的特征中相似度大于预设候选阈值的特征作为所述候选图像库的候选图像特征；将所述候选图像特征与预设的人脸图像库中的各个人脸图像的特征分别进行特征叠加，以生成多个叠加图像。4.根据权利要求1所述的基于深度学习的人脸防遮挡检测及识别方法，其特征在于，还包括：所述将所述候选图像库中的候选图像的图像特征与预设的人脸图像库中的各个人脸图像进行特征叠加，以生成多个叠加图像包括：对所述候选图像库中的每个候选图像进行特征提取，以获得每个候选图像的综合图像特征；将每个候选图像的综合图像特征分别与所述预设的人脸图像库中的各个人脸图像的特征分别进行特征叠加，以生成多个叠加图像。5.根据权利要求1所述的基于深度学习的人脸防遮挡检测及识别方法，其特征在于，所述对所述目标人脸图像进行图像特征提取，以生成目标人脸特征包括：使用faster-rcnn算法对于所述目标人脸图像整体进行特征提取，以生成目标人脸特
征。6.一种基于深度学习的人脸防遮挡检测及识别装置，其特征在于，包括：获取模块，用于获取目标人脸图像；区域识别模块，用于对所述目标人脸图像进行脸部区域识别，以确定遮挡区域；特征提取模块，用于对所述遮挡区域进行遮挡特征提取，以确定遮挡物信息；图像库获取模块，用于根据所述遮挡物信息获取至少一个候选图像库，其中，所述候选图像库中包含有多个与所述遮挡物信息对应的候选图像；特征叠加模块，用于将所述候选图像库中的候选图像的图像特征与预设的人脸图像库中的各个人脸图像进行特征叠加，以生成多个叠加图像；其中，所述特征提取模块进一步用于：对所述目标人脸图像进行图像特征提取，以生成目标人脸特征，以及对所述多个叠加图像进行图像特征提取，以生成候选人脸特征；其中，所述装置进一步包括：计算模块，用于计算所述目标人脸特征与所述候选人脸特征的匹配度；输出模块，用于将所述匹配度大于阈值的候选人脸特征对应的叠加图像对应的人脸图像作为人脸识别结果。7.根据权利要求6所述的基于深度学习的人脸防遮挡检测及识别装置，其特征在于，所述区域识别模块进一步用于：使用预设的目标识别算法确定所述目标人脸图像中人脸所在区域；根据预设的人脸区域划分算法对所述人脸所在区域进行区域特征提取，以获得各子区域的子区域特征；计算所述人脸所在区域的各子区域特征分别与预设的各人脸子区域图像的相似度；将所述人脸所在区域中相似度低于预设子区域阈值的子区域确定为遮挡区域。8.根据权利要求6所述的基于深度学习的人脸防遮挡检测及识别装置，其特征在于，所述特征叠加模块进一步用于：对所述候选图像库中的每个候选图像进行特征提取；将每个候选图像所提取的特征中相似度大于预设候选阈值的特征作为所述候选图像库的候选图像特征；将所述候选图像特征与预设的人脸图像库中的各个人脸图像的特征分别进行特征叠加，以生成多个叠加图像。9.一种计算机可读存储介质，其上存储有可被处理器执行的计算机程序，其中，该程序被处理器执行时实现如权利要求1至5中任一所述的基于深度学习的人脸防遮挡检测及识别方法。10.一种电子设备，其特征在于，包括：存储器，用于存储程序；处理器，用于运行所述存储器中存储的所述程序，以执行如权利要求1至5中任一所述的基于深度学习的人脸防遮挡检测及识别方法。

技术总结
本申请公开了一种基于深度学习的人脸防遮挡检测及识别方法和装置以及计算机可读介质和电子设备，通过对目标人脸图像进行区域识别确定遮挡区域，对遮挡区域进行遮挡特征提取，确定遮挡物信息，根据遮挡物信息获取对应的候选图像库，将候选图像的图像特征与预设的人脸图像库中的人脸图像进行特征叠加，以生成多个叠加图像，并对目标人脸图像和多个叠加图像的人脸特征进行比对以将匹配度大于预设阈值的叠加图像对应的人脸图像库中的人脸图像识别结果进行输出。本申请不会由于目标人脸图像由于存在遮挡物而导致与标准的人脸图像库中的人脸图像计算出错误的匹配度，使得用户可以在日常着装佩戴头饰的情况下就能够获得更准确的人脸识别结果。准确的人脸识别结果。准确的人脸识别结果。


技术研发人员：李文通 邢振 王建 池鹏宇 郭贵东 王洪
受保护的技术使用者：北京爱知之星科技股份有限公司
技术研发日：2023.05.15
技术公布日：2023/9/14