人脸识别网络训练方法、人脸识别方法、装置和存储介质与流程

1.本发明实施例涉及但不限于图像处理技术领域，具体而言，涉及但不限于一种人脸识别网络训练方法、人脸识别方法、装置和存储介质。


背景技术：

2.当前的计算机视觉领域中，人脸识别已被广泛应用在信息安全等多个领域当中。在实际的应用场景中，影响人脸识别检测的因素有很多，例如光照、表情、姿态、遮挡以及设备原因等等，其中人脸大角度姿态的因素是影响人脸识别结果的主要因素。
3.近年来姿态人脸识别主要是通过卷积神经网络来提取人脸的鲁棒特征进行人脸识别，但是这些特征提取方法主要集中在两个方面，一是首先对人脸图像进行姿态归一化，然后再提取深度空间特征；另一方面是直接设计网络结构提取姿态鲁棒的深度空间特征。
4.但是针对第一类方法，在图像层面上进行姿态的归一化比较困难，因为人脸的偏转角度大时，由于姿态而损失的信息比较多的时候，进行归一化变得更加困难，导致识别速度和识别准确率显著下降。
5.针对第二类方法，如果对所有的输入图片不加区分的输入到网络当中并且在网络当中没有额外的信息的话，那么网络的训练会比较困难，所需要的网络层数比较深，而且所需要的训练样本图片都比较多。由于人脸的偏转角度大时也会导致可用信息减少，只能让网络层数的加深，训练的过程中网络容易陷入局部最小值当中，达不到一个全局最优的网络，同样会导致识别速度和识别准确率显著下降。


技术实现要素：

6.本发明实施例提供的一种人脸识别网络训练方法、人脸识别方法、装置和存储介质，主要解决的技术问题是目前在人脸识别方法在大角度，多场景的情况下识别速度和准确度明显下降的问题。
7.为解决上述技术问题，本发明实施例提供人脸识别网络训练方法，包括：
8.对训练集中的侧面人脸图像进行姿态角度信息的测定，所述训练集包括若干张不同姿态角度的侧面人脸图像和对应的准确正脸深度特征信息；
9.将所述训练集中的侧面人脸图像输入神经网络提取侧面深度空间特征；
10.将所述侧面深度空间特征和对应的姿态角度信息输入反馈组件得出训练正脸深度特征，对所述训练正脸深度特征与准确正脸深度特征进行比较得出准确率；
11.进行循环训练，直到所述人脸识别网络的识别准确率达到预设要求。
12.本发明实施例还提供一种人脸识别方法，包括：
13.获取待识别用户的人脸图像，并进行姿态角度信息的测定；
14.将所述待识别人脸图像和所述姿态角度信息输入上述人脸识别网络训练方法得到的人脸识别网络，得出识别正脸深度空间特征；
15.将所述识别正脸深度空间特征与数据库存储的人脸数据进行比对,确定所述待识
别用户的身份信息。
16.本发明实施例还提供一种人脸识别装置，包括：
17.角度测定单元，用于对训练集中的侧面人脸图像进行姿态角度信息的测定，所述训练集包括若干张不同姿态角度的侧面人脸图像和对应的准确正脸深度特征信息；
18.神经网络单元，用于输入所述训练集中的侧面人脸图像，提取人脸图像对应的侧脸深度空间特征；
19.反馈组件单元，用于向其中输入所述侧脸深度空间特征和对应的姿态角度信息时，得出训练正脸深度特征；
20.网络训练单元，用于将所述训练正脸深度特征与准确正脸深度特征进行比较得出准确率, 以及进行循环训练，直到所述人脸识别网络的识别准确率达到预设要求。
21.本发明实施例还提供一种人脸识别装置，所述人脸识别装置包括：
22.人脸图像获取单元，用于获取待识别用户的人脸图像，并进行姿态角度信息的测定；
23.人脸识别网络单元，用于将所述待识别人脸图像和所述姿态角度信息输入如权利要求1-5 任一项所述的人脸识别网络训练方法得到的人脸识别网络，得到识别正脸深度空间特征；
24.身份信息确定单元，用于将所述识别正脸深度空间特征与数据库存储的人脸数据进行比对,确定所述待识别用户的身份信息。
25.本发明实施例还提供一种计算机存储介质，所述计算机可读存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现上述的人脸识别网络训练方法的步骤，或实现上述的人脸识别方法的步骤。
26.根据本发明实施例提供的一种人脸识别网络训练方法、人脸识别方法、装置和存储介质，人脸识别网络训练方法包括：对训练集中的侧面人脸图像进行姿态角度信息的测定，训练集包括若干张不同姿态角度的侧面人脸图像和对应的准确正脸深度特征信息；将训练集中的侧面人脸图像输入神经网络提取侧面深度空间特征；将侧面深度空间特征和对应的姿态角度信息输入反馈组件得出训练正脸深度特征，对训练正脸深度特征与准确正脸深度特征进行比较得出准确率；进行循环训练，直到人脸识别网络的识别准确率达到预设要求。通过对侧面人脸图像进行角度测定，提取深度空间特征，在反馈组件中还原正脸深度特征，在某些实施过程中可实现包括但不限于，提高大角度人脸识别的准确性，同时提高人脸识别的速度。
27.本发明其他特征和相应的有益效果在说明书的后面部分进行阐述说明，且应当理解，至少部分有益效果从本发明说明书中的记载变的显而易见。
附图说明
28.图1为本发明一实施提供的一种人脸识别网络训练方法的流程步骤示意图；
29.图2为本发明另一实施例提供的一种人脸识别方法的流程步骤示意图；
30.图3为本发明另一实施例提供的一种常规的残差网络的模块的结构示意图；
31.图4为本发明另一实施例提供的一种18层残差网络的结构示意图；
32.图5为本发明另一实施例提供的一种人脸识别网络训练方法和人脸识别方法的流
程步骤示意图；
33.图6为本发明另一实施例提供的一种人脸识别装置的结构示意图；
34.图7为本发明另一实施例提供的另一种人脸识别装置的结构示意图；
35.图8为本发明另一实施例提供的一种第一反馈组件单元的结构示意图；
36.图9为本发明另一实施例提供的另一种人脸识别装置的结构示意图；
37.图10为本发明另一实施例提供的另一种人脸识别装置的结构示意图。
具体实施方式
38.为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
39.实施例一：
40.为了解决目前的人脸识别大角度，多场景的情况下识别速度和准确度明显下降的问题。本发明实施来提供了一种人脸识别网络训练方法，该方法包括：对训练集中的侧面人脸图像进行姿态角度信息的测定，所述训练集包括若干张不同姿态角度的侧面人脸图像和对应的准确正脸深度特征信息；将所述训练集中的侧面人脸图像输入神经网络提取侧脸深度空间特征；将所述侧脸深度空间特征和对应的姿态角度信息输入反馈组件得出训练正脸深度特征，对所述训练正脸深度特征与准确正脸深度特征进行比较得出准确率；进行循环训练，直到所述人脸识别网络的识别准确率达到预设要求。
41.请参见图1，图1为本实施例提供的一种人脸识别网络训练方法的流程步骤示意图，至少包括但不限于以下步骤：
42.s101、对训练集中的侧面人脸图像进行姿态角度信息的测定。
43.训练集中包括若干张不同姿态角度的侧面人脸图像和对应的准确正脸深度特征信息，训练集中包含了若干个不同人脸的不同角度的人脸图像，且每一个人脸都有其对应的标准正脸深度特征信息。
44.s102、将所述训练集中的侧面人脸图像输入神经网络提取侧脸深度空间特征。
45.s103、将所述侧脸深度空间特征和对应的姿态角度信息输入反馈组件得出训练正脸深度特征，对所述训练正脸深度特征与准确正脸深度特征进行比较得出准确率。
46.基于深度空间特征和对应的姿态角度信息得出的训练正脸深度特征是计算后的反推结果，因此需要将计算结果与准确正脸深度特征进行比较以确定计算的准确率，从而通过网络学习不断的优化算法，以提高计算出的正脸深度特征的准确率。
47.s104、进行循环训练，直到所述人脸识别网络的识别准确率达到预设要求。
48.完成一张图片的训练后继续输入训练集中其他的图片进行训练，并逐步优化和提高人脸识别网络的计算准确率，直到循环训练的结果达到预设要求为止。这里的预设要求根据实际需要进行设置，对安全等级越高预设要求越苛刻，例如对准确率的数值进行要求，安全等级较高时可以将预设值设置的较高，例如大于等于95％；当安全等级较低时可以将预设值设置的较低，例如大于等于80％；还可以对准确识别的次数进行要求，例如要求连续完成50次准确识别等。
49.在另一实施中，对训练集中的侧面人脸图像进行姿态角度信息的测定之前，还包
括：对所述训练集中的侧面人脸图像进行预处理。
50.不同的训练集中的人脸图像参数都存在一定的差异，因此在拿到训练集时可以对训练集中的图像进行预处理，例如将其中的人脸图像根据要求裁剪成特定尺寸的图像，根据要求调整为特定分辨率的图像。
51.在另一实施中，所述神经网络为基本卷积神经网络，用于完成图像空间到深度特征空间的转换；所述基本卷积神经网络包括：18层残差网络和34层残差网络。
52.残差网络模型中的层残差网络层数越多提取的特征量越多，得到的结果也就越准确，其中层残差网络的层数包括但不限于18层、34层、50层、101层以及152层；这里的基本卷积神经网络选择18层的残差网络模型和34层的残差网络模型，可以减少提取侧脸深度空间特征的时间，提高人脸识别网络在较少的特征量下的识别效率，提高识别速度。
53.在另一实施中，将所述侧脸深度空间特征和对应的姿态角度信息输入反馈组件得出训练正脸深度特征，包括：
54.将所述侧脸深度空间特征经过至少两个全连接层进行非线性的变换，提取残余特征 r(φ(x
p
))；
55.对对应的姿态角度信息进行姿态评估y(x)，所述y(x)∈[0,1]，其中，正脸情况下y(x)取值为0，90
°
侧脸情况下，y(x)取值为1，a表示人脸图像对应的姿态角度的弧度，σ表示为sigmoid函数；
[0056]
得出所述训练正脸深度特征f(xf)，f(xf)＝y(x)
·
r(φ(x
p
))。
[0057]
在另一实施中，所述反馈组件之后还级联至少一个反馈组件时，所述将所述侧脸深度空间特征和对应的姿态角度信息输入反馈组件得出训练正脸深度特征包括：
[0058]
将所述侧脸深度空间特征和对应的姿态角度信息输入第一级反馈组件得出第一级结果，将所述第一级结果和所述对应的姿态角度信息输入到第二级反馈组件得出第二级结果，以此类推直到最后一级反馈组件得出所述训练正脸深度特征。
[0059]
反馈组件的作用是根据侧脸深度空间特征和对应的姿态角度信息得出训练正脸深度特征，因此反馈组件级联的级数越多最终得出的训练正脸深度特征越准确。上述的第一级反馈组件指的是侧脸深度空间特征和对应的姿态角度信息输入的第一个反馈组件，第二级反馈组件指的是第一级反馈组件之后通过级联方式连接的第二个反馈组件，并以此类推。
[0060]
本发明实施例提供的人脸识别网络训练方法包括：对训练集中的侧面人脸图像进行姿态角度信息的测定，训练集包括若干张不同姿态角度的侧面人脸图像和对应的准确正脸深度特征信息；将训练集中的侧面人脸图像输入神经网络提取侧面深度空间特征；将侧面深度空间特征和对应的姿态角度信息输入反馈组件得出训练正脸深度特征，对训练正脸深度特征与准确正脸深度特征进行比较得出准确率；进行循环训练，直到人脸识别网络的识别准确率达到预设要求。通过对侧面人脸图像进行角度测定，提取深度空间特征，在反馈组件中还原正脸深度特征，提高大角度人脸识别的准确性，同时提高人脸识别的速度。
[0061]
实施例二：
[0062]
本发明实施来提供了一种人脸识别方法，人脸识别方法包括：对待识别人脸图像进行姿态角度信息的测定；将所述待识别人脸图像和所述姿态角度信息输入本发明实施例
提供的人脸识别网络训练方法得到的人脸识别网络，得出识别正脸深度空间特征；将所述识别正脸深度空间特征与数据库存储的人脸数据进行比对,确定所述待识别用户的身份信息。
[0063]
参见图2，图2为本实施例提供的一种人脸识别方法的流程步骤示意图，具体步骤包括：
[0064]
s201、获取待识别用户的人脸图像，并进行姿态角度信息的测定。
[0065]
获取待识别用户的人脸图像的方式包括但不限于通过摄像头获取待识别用户的人脸图像；对待识别用户的姿态角度信息进行测定的方式包括但不限于通过人脸图像进行测定，以及通过仪器进行测定。
[0066]
s201、将所述待识别人脸图像和所述姿态角度信息输入人脸识别网络训练方法得到的人脸识别网络，得出识别正脸深度空间特征。
[0067]
这里采用的人脸识别网络可选用上述实施例的人脸识别网络训练方法训练得到的人脸识别网络。
[0068]
s201、将所述识别正脸深度空间特征与数据库存储的人脸数据进行比对,确定所述待识别用户的身份信息。
[0069]
得到识别正脸深度空间特征以后将识别正脸深度空间特征与存储的人脸数据进行比对，当存储的人脸数据中存在与识别正脸深度空间特征的相似度大于预设值的人脸数据时，就可以确定该人脸数据对应的用户的身份信息与待识别用户匹配，可以通过人脸识别；当不存在与识别正脸深度空间特征的相似度大于预设值的人脸数据时，认定待识别用户的身份信息非法，无法通过人脸识别。
[0070]
在另一实施了中，将所述识别正脸深度空间特征与数据库存储的人脸数据进行比对，包括：
[0071]
将所述识别正脸深度空间特征与储存的正脸深度空间特征进行余弦相似度对比。
[0072]
本实施例提供了一种人脸识别方法，包括：获取待识别用户的人脸图像，并进行姿态角度信息的测定；将待识别人脸图像和姿态角度信息输入本发明提供的人脸识别网络训练方法得到的人脸识别网络，得出识别正脸深度空间特征；将识别正脸深度空间特征与数据库存储的人脸数据进行比对,确定所述待识别用户的身份信息。本实施例提供的人脸识别方法，通过测定待识别人脸图像的姿态角度信息，并将姿态角度信息和待识别人脸图像输入人脸识别网络得到正脸深度空间特征，在根据正脸深度空间特征来确定身份信息的方式，提高了大角度人脸识别的准确路，同时也提高了识别的速度。
[0073]
实施例三：
[0074]
现有的识别技术大部分都是在图像层面进行归一化操作，或者直接输入大量的人脸图片进行网络的训练，但是这两种方向都有不足。因为图像由于姿态因素的影响丢失掉的信息比较大，同时人脸图像还受到表情，光照以及相机成像因素等影响，所以直接对图片进行归一化的话，难度比较大，效果也不理想。如果直接输入图片进行网络训练，则各种姿态的人脸图像都需要进行输入，而且网络训练没针对性，需要的输入图像会是海量的。
[0075]
本发明实施例在图像的深度特征空间进行姿态的归一化效果会比在图像层面进行归一化操作好，而且如果将这种姿态的归一化模块级联起来，达到的效果会更好。
[0076]
本发明实施例是在基本cnn(convolutional neural networks，卷积)神经网络添
加一个轻量级的级联姿态信息反馈组件来提高姿态人脸的识别率。之所以该组件为轻量级，指的是该组网络件结构简单只有若干几层，并且该组件可以单独进行训练也可以与原有网络一起训练，训练之后可以在不改变原有网络结构和原有网络参数的情况下添加在原有网络之后以提高图像的识别效率。而且因为新添加的组件网络当中有姿态信息的注入，所以训练所需要的图片数量也比现有网络少很多，并且实验发现这种模块的级联加入可以使得网络在层数较小的情况下即可以实现原来网络层数深的时候达到的效果。
[0077]
本发明实施例需要使用一个基本的cnn神经网络来提取侧脸的深度空间特征，基本cnn 网络选择残差网络resnet-18(即18层的残差网络)和resnet-34(即34层的残差网络)模型，其中resnet-34网络主要进行人脸识别准确度的对比。
[0078]
常规的残差网络的模块如下图3所示。常规残差模块由两个3
×
3的卷积堆叠而成，每个卷积层之后都有relu非线性激活函数的加入。适用于网络深度不深的情况(一般指网络深度小于50)。
[0079]
基本的cnn神经网络可以设定为残差网络的不同层数，一般可以设置的有18层、34层、 50层、101层以及152层。其中18层残差网络的结构图如图4所示。该18层的残差网络(因为其网络深度不深)基本上由常规残差模块堆叠而成的。
[0080]
基于上述的cnn神经网络，本发明实施例提供的一种人脸识别网络训练方法和人脸识别方法的步骤如图5所示，具体包括：
[0081]
1)对训练集中的每个人不同姿态的侧面人脸图像完成姿态角度的测定。
[0082]
上述步骤中，侧面人脸姿态角度的测定不需要进行精确的角度测定，只要每个人脸图像的角度测定在误差范围内即可。
[0083]
2)通过基本卷积神经网络来提取人脸图像的深度空间特征φ(x
p
)。
[0084]
上述步骤中，用φ表示基本卷积神经网络的特征提取，输入的姿态人脸图片用x来表示，则从姿态人脸图片中提取到的深度空间特征为φ(x)，基本的卷积神经网络完成由图像空间到深度特征空间的转换。
[0085]
3)提取到图像的深度空间特征之后，即新设计网络的级联模块进行人脸图像在深度特征空间归一化来得到一个近似的正脸深度特征f(xf)，同时对该模块添加人脸姿态信息的反馈。这样做可以对原有神经网络提取的结果在深度特征空间而不是在图像空间直接进行图像的归一化。
[0086]
上述步骤中，假定正脸图片xf在深度空间提取到的特征φ(xf)与侧脸图片x
p
在深度空间提取到的特征φ(x
p
)也会存在某种对应关系m，即：
[0087]
φ(xf)＝m
·
φ(x
p
)
[0088]
通过映射关系m得到正脸深度特征的过程，映射关系m的实现可以采用图中的方式。全连接层加人脸姿态信息的注入来实现从侧脸深度空间特征到正脸深度空间特征的变换。在本实施例中，设置2-3个级联姿态信息反馈组件合起来的特征变换部分可以实现比较好的效果，同时兼顾了识别准确性和识别速度。
[0089]
步骤3)具体包括以下步骤：
[0090]
3.1)首先对侧脸特征φ(x
p
)进行非线性的变换，非线性变换通过两个全连接层完成，用来对侧脸深度空间特征进行非线性线性变换，提取侧脸深度特征空间中的残余特征，即 r(φ(x
p
))；
[0091]
3.2)对输入的侧脸图片进行姿态评估，即对人脸的旋转角度进行评估，表示为y(x)。y(x) 也可以看作是一个补偿系数，在正脸情况下，y(x)取值为0，90
°
侧脸情况下，y(x)取值为 1，其余取值会根据人脸旋转角度范围[0,90
°
]来非线性地对应到[0,1]范围内，即 y(x)∈[0,1]。y(x)的具体表达式为：
[0092][0093]
式中a表示人脸图像对应的姿态角度(弧度制)，σ表示为sigmoid函数；
[0094]
3.3)对步骤3.1)中提取到的侧脸残余特征和步骤3.2)中的权重补偿系数进行相乘，表示在侧脸深度空间特征基础上继续进行人脸特征的补偿。
[0095]
f(xf)＝y(x)
·
r(φ(x
p
))
[0096]
即在原始侧脸特征φ(x
p
)基础上，在每个全连接层的组件之后添加人脸姿态信息的注入，进一步对侧脸特征φ(x
p
)进行特征提取并且进行加权补偿求和，即可得到近似的正脸特征 f(xf)。这里设置2-3个级联姿态信息反馈组件合起来的特征变换部分可以实现比较好的效果，同时兼顾了识别准确性和识别速度。
[0097]
4)训练整个网络。
[0098]
5)对待识别的姿态人脸图片进行角度测定。
[0099]
6)将待识别的姿态人脸图片传入到根据步骤2)到步骤4)已经训练好的网络中，得到鲁棒的正脸深度空间特征。
[0100]
7)根据得到的待识别人脸图片的特征表示以及数据库中所有人脸的特征表示，采用余弦相似度来衡量特征之间的近似程度，以此来确定待识别人脸图像的身份信息。
[0101]
在另一实施例中，训练过程中数据集选用了ms-celeb-1m人脸数据库，该训练过程中用到了30个人的3000张图片。首先对这些训练图片进行预处理，对图像人脸部分进行裁剪。通过img＝img.resize((224,224))，将图片裁剪为224
×
224大小。采用pytorch深度学习框架来进行训练。该框架使用方便，可以非常简单地实现gpu加速。同时也可以方便的构建网络当中的各个组件，如卷积层、全连接层和激活函数等。对于图片的姿态角度判定可以使用采用其他厂商的ai开放平台来完成。
[0102]
在另一实施例中，计算人脸姿态y(x)，可调用norm_angle函数，norm_angle函数的定义如下：
[0103]
def sigmoid(x):
[0104]
return 1/(1+math.exp(-x))
[0105]
姿态补偿系数y(x)定义如下：
[0106]
def norm_angle(angle):
[0107]
norm_angle＝sigmoid(10*(abs(angle)/45.0-1))
[0108]
return norm_angle
[0109]
通过上述ms-celeb-1m人脸数据库将近3000张姿态人脸图片，并且测试了2000张姿态人脸图片，经过本发明的神经网络的训练之后，本发明(resnet-18+反馈组件)的人脸识别准确性相较于其他人脸识别方法(原始resnet-18方法，原始resnet-34方法)的结果如下
[0110]
表1：
取值为1，a表示人脸图像对应的姿态角度的弧度，σ表示为sigmoid函数；以及得出所述正脸深度特征f(xf)，f(xf)＝y(x)
·
r(φ(x
p
))。可参见图8，第一反馈组件单元63至少包括：第一全连接层631和第二全连接层632，以及激活函数单元633。
[0128]
在另一实施例中，人脸识别装置还包括：在所述反馈组件单元之后再级联至少一个反馈组件单元。可参见图9，其中人脸识别装置60中的第一反馈组件单元63之后还级联了一个反馈组件单元66，在一些情况下虽然图9中未示出，但还可以继续级联两个、三个甚至是更多的反馈组件单元，通常情况下级联的反馈组件单元越多得出的训练正脸深度空间特征的准确率越高。
[0129]
本发明实施例还提供了一种人脸识别装置，如图10所示，人脸识别装置70包括：
[0130]
人脸图像获取单元71，用于获取待识别用户的人脸图像，并进行姿态角度信息的测定；
[0131]
人脸识别网络单元72，包括本发明所提供的人脸识别网络训练方法得到的人脸识别网络，用于将所述待识别人脸图像和所述姿态角度信息，得出识别正脸深度空间特征；
[0132]
身份信息确定单元73，用于将所述识别正脸深度空间特征与数据库存储的人脸数据进行比对,确定所述待识别用户的身份信息。
[0133]
本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于ram (random access memory，随机存取存储器),rom(read-only memory，只读存储器),eeprom (electrically erasable programmable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、cd-rom(compact disc read-only memory，光盘只读存储器)，数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
[0134]
本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序，其存储的一个或者多个计算机程序可被处理器执行，以实现上述实施例一中的人脸识别网络训练方法的步骤，或者实施例二中的人脸识别方法的步骤。
[0135]
可见，本领域的技术人员应该明白，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。
[0136]
此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。所以，本发明不限制于任何特定的硬件和软件结合。
[0137]
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明
的保护范围。

技术特征：
1.一种人脸识别网络训练方法，其特征在于，包括：对训练集中的侧面人脸图像进行姿态角度信息的测定，所述训练集包括若干张不同姿态角度的侧面人脸图像和对应的准确正脸深度特征信息；将所述训练集中的侧面人脸图像输入神经网络提取侧脸深度空间特征；将所述侧脸深度空间特征和对应的姿态角度信息输入反馈组件得出训练正脸深度特征，对所述训练正脸深度特征与准确正脸深度特征进行比较得出准确率；进行循环训练，直到所述人脸识别网络的识别准确率达到预设要求。2.如权利要求1所述人脸识别网络训练方法，其特征在于，对训练集中的侧面人脸图像进行姿态角度信息的测定之前，还包括：对所述训练集中的侧面人脸图像进行预处理。3.如权利要求1所述人脸识别网络训练方法，其特征在于，所述神经网络为基本卷积神经网络，用于完成图像空间到深度特征空间的转换；所述基本卷积神经网络包括：18层残差网络和34层残差网络。4.如权利要求1所述人脸识别网络训练方法，其特征在于，所述将所述侧脸深度空间特征和对应的姿态角度信息输入反馈组件得出训练正脸深度特征，包括：将所述侧脸深度空间特征经过至少两个全连接层进行非线性变换，提取残余特征r(φ(x
p
))；对对应的姿态角度信息进行姿态评估y(x)，所述其中，正脸情况下y(x)取值为0，90
°
侧脸情况下，y(x)取值为1，a表示人脸图像对应的姿态角度的弧度，σ表示sigmoid函数；得出所述训练正脸深度特征f(x
f
)，f(x
f
)＝y(x)
·
r(φ(x
p
))。5.如权利要求1-4任一项所述人脸识别网络训练方法，其特征在于，所述反馈组件之后还级联至少一个反馈组件，所述将所述侧脸深度空间特征和对应的姿态角度信息输入反馈组件单元得出训练正脸深度特征包括：将所述侧脸深度空间特征和对应的姿态角度信息输入第一级反馈组件得出第一级结果，将所述第一级结果和所述对应的姿态角度信息输入第二级反馈组件得出第二级结果，以此类推直到最后一级反馈组件得出所述训练正脸深度特征。6.一种人脸识别方法，其特征在于，包括：获取待识别用户的人脸图像，并进行姿态角度信息的测定；将所述待识别人脸图像和所述姿态角度信息输入如权利要求1-5任一项所述的人脸识别网络训练方法得到的人脸识别网络，得出识别正脸深度空间特征；将所述识别正脸深度空间特征与数据库存储的人脸数据进行比对,确定所述待识别用户的身份信息。7.如权利要求6所述的人脸识别方法，其特征在于，将所述识别正脸深度空间特征与数据库存储的人脸数据进行比对，包括：将所述识别正脸深度空间特征与储存的正脸深度空间特征进行余弦相似度对比。8.一种人脸识别装置，其特征在于，包括：角度测定单元，用于对训练集中的侧面人脸图像进行姿态角度信息的测定，所述训练
集包括若干张不同姿态角度的侧面人脸图像和对应的准确正脸深度特征信息；神经网络单元，用于输入所述训练集中的侧面人脸图像，提取人脸图像对应的侧脸深度空间特征；反馈组件单元，用于当所述侧脸深度空间特征和对应的姿态角度信息输入所述反馈组件单元时，得出训练正脸深度特征；网络训练单元，用于将所述训练正脸深度特征与准确正脸深度特征进行比较得出准确率,以及进行循环训练，直到所述人脸识别网络的识别准确率达到预设要求。9.如权利要求8所述的人脸识别装置，其特征在于，所述神经网络单元为基本卷积神经网络单元，用于完成图像空间到深度特征空间的转换；所述基本卷积神经网络单元包括：18层残差网络和34层残差网络。10.如权利要求8所述的人脸识别装置，其特征在于，所述反馈组件单元至少包括：第一全连接层和第二全连接层，用于对所述深度空间特征进行两次非线性的变换，提取残余特征r(φ(x
p
))；激活函数单元，用于对对应的姿态角度信息进行姿态评估y(x)，所述y(x)∈[0,1]，其中，正脸情况下y(x)取值为0，90
°
侧脸情况下，y(x)取值为1，a表示人脸图像对应的姿态角度的弧度，σ表示为sigmoid函数；以及得出所述正脸深度特征f(x
f
)，f(x
f
)＝y(x)
·
r(φ(x
p
))。11.如权利要求8-11任一项所述的人脸识别装置，其特征在于，还包括：在所述反馈组件单元之后再级联至少一个反馈组件单元。12.一种人脸识别装置，其特征在于，所述人脸识别装置包括：人脸图像获取单元，用于获取待识别用户的人脸图像，并进行姿态角度信息的测定；人脸识别网络单元，用于将所述待识别人脸图像和所述姿态角度信息输入如权利要求1-5任一项所述的人脸识别网络训练方法得到的人脸识别网络，得到识别正脸深度空间特征；身份信息确定单元，用于将所述识别正脸深度空间特征与数据库存储的人脸数据进行比对,确定所述待识别用户的身份信息。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现如权利要求1至5中任一项所述的人脸识别网络训练方法的步骤，或实现如权利要求6至7中任一项所述的人脸识别方法的步骤。

技术总结
根据本发明实施例提供的一种人脸识别网络训练方法、人脸识别方法、装置和存储介质，人脸识别网络训练方法包括：对训练集中的侧面人脸图像进行姿态角度信息的测定，训练集包括若干张不同姿态角度的侧面人脸图像和对应的准确正脸深度特征信息；将训练集中的侧面人脸图像输入神经网络提取侧面深度空间特征；将侧面深度空间特征和对应的姿态角度信息输入反馈组件得出训练正脸深度特征，对训练正脸深度特征与准确正脸深度特征进行比较得出准确率；进行循环训练，直到人脸识别网络的识别准确率达到预设要求。通过对侧面人脸图像进行角度测定提取深度空间特征，在反馈组件中还原正脸深度特征，提高大角度人脸识别的准确性，同时提高人脸识别的速度。人脸识别的速度。人脸识别的速度。


技术研发人员：程超
受保护的技术使用者：中兴通讯股份有限公司
技术研发日：2022.01.28
技术公布日：2023/8/14