身份识别方法、装置、系统、电子设备和存储介质与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种身份识别方法、装置、系统、电子设备和存储介质。


背景技术：

2.猪只身份识别，在猪只养殖保险理赔过程中尤为重要。相关技术中，主要通过耳标信息或猪脸识别进行身份识别。由于猪只易啃咬和发生打架行为，猪只耳标容易脱落，同时也存在人为替换的情况。猪脸识别虽解决了耳标脱落或替换的情况，但容易出现误识别的情况，从而导致重复理赔和虚假理赔。
3.因此，亟需一种识别准确率更高的身份识别方法，帮助保险行业精准定位牲畜身份。


技术实现要素：

4.本发明提供一种身份识别方法、装置、系统、电子设备和存储介质，用以解决现有技术中猪脸识别容易出现误识别，从而导致重复理赔和虚假理赔的缺陷。
5.本发明提供一种身份识别方法，包括：
6.获取包括待识别对象的视频；
7.对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块；
8.基于各面部图块之间的时序关系，以及所述各面部图块中关键部位之间的位置关系，对所述视频进行面部真伪检测，得到检测结果；
9.在所述检测结果为真实面部的情况下，基于所述各面部图块识别所述待识别对象的身份。
10.根据本发明提供的身份识别方法，所述基于各面部图块之间的时序关系，以及所述各面部图块中关键部位之间的位置关系，对所述视频进行面部真伪检测，得到检测结果，包括：
11.对所述各面部图块中的各关键部位进行特征提取，得到各关键部位的部位特征；
12.基于所述各面部图块之间的时序关系，对所述各关键部位的部位特征进行时序特征提取，得到时序特征；
13.基于所述各关键部位的部位特征，从所述各面部图块中提取所述各关键部位之间的位置特征，所述位置特征表征所述位置关系；
14.基于所述时序特征和所述位置特征，对所述视频进行面部真伪检测，得到检测结果。
15.根据本发明提供的身份识别方法，所述基于所述各关键部位的部位特征，从所述各面部图块中提取所述各关键部位之间的位置特征，包括：
16.对所述各关键部位的部位特征进行特征融合，得到权重特征，所述权重特征表征所述各面部图块中各关键部位的重要程度；
17.基于所述权重特征，从所述各面部图块中提取各关键部位的部位图块特征；
18.基于所述各关键部位的部位图块特征，提取所述各关键部位之间的位置特征。
19.根据本发明提供的身份识别方法，所述基于所述权重特征，从所述各面部图块中提取各关键部位的部位图块特征，包括：
20.基于所述权重特征，从所述各面部图块中提取各关键部位的候选图块特征；
21.对所述各关键部位的候选图块特征进行特征评分，并基于评分结果从所述各关键部位的候选图块特征中选取所述各关键部位的部位图块特征。
22.根据本发明提供的身份识别方法，所述对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块，包括：
23.基于面部检测模型，对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块；
24.所述面部检测模型基于面部检测任务和面部关键点检测任务训练得到。
25.根据本发明提供的身份识别方法，所述基于所述各面部图块识别所述待识别对象的身份，包括：
26.在已知所述待识别对象的id的情况下，基于所述各面部图块与所述id对应的特征模板之间的相似度，识别所述待识别对象的身份；
27.在未知所述待识别对象的id的情况下，基于所述各面部图块与各个特征模板之间的相似度，将所述各面部图块与各个特征模板进行匹配，并基于匹配结果识别所述待识别对象的身份。
28.根据本发明提供的身份识别方法，所述特征模板的确定步骤包括：
29.对录入对象的视频进行面部检测，得到所述录入对象的录入面部图块；
30.基于各录入面部图块之间的时序关系，以及所述各录入面部图块中关键部位之间的位置关系，提取得到录入时序特征和录入位置特征，并将所述录入时序特征和所述录入位置特征进行特征融合，得到录入融合特征；
31.基于所述录入融合特征，对所述录入对象的视频进行面部真伪检测，得到录入检测结果，在所述录入检测结果为真实面部的情况下，将所述录入融合特征作为所述录入对象的特征模板。
32.本发明还提供一种身份识别装置，包括：
33.视频获取单元，用于获取包括待识别对象的视频；
34.面部检测单元，用于对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块；
35.真伪检测单元，用于基于各面部图块之间的时序关系，以及所述各面部图块中关键部位之间的位置关系，对所述视频进行面部真伪检测，得到检测结果；
36.身份识别单元，用于在所述检测结果为真实面部的情况下，基于所述各面部图块识别所述待识别对象的身份。
37.本发明还提供一种身份识别系统，包括：图像采集设备和身份识别设备；
38.所述图像采集设备用于采集包括待识别对象的视频，并将所述视频发送至所述身份识别设备；
39.所述身份识别设备用于对所述视频中的各帧图像进行面部检测，得到所述各帧图
像中的面部图块，基于各面部图块之间的时序关系，以及所述各面部图块中关键部位之间的位置关系，对所述视频进行面部真伪检测，得到检测结果，并在所述检测结果为真实面部的情况下，基于所述各面部图块识别所述待识别对象的身份。
40.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述身份识别方法。
41.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述身份识别方法。
42.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述身份识别方法。
43.本发明提供的身份识别方法、装置、系统、电子设备和存储介质，通过对视频中的各帧图像进行面部检测，得到各帧图像中的面部图块，基于各面部图块之间的时序关系，以及各面部图块中关键部位之间的位置关系，对视频进行面部真伪检测，并在检测结果为真实面部的情况下，基于各面部图块识别待识别对象的身份，能够有效识别视频中面部的真伪，可以避免使用伪造图像带来的误识别，以提高身份识别的准确率。
附图说明
44.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1是本发明提供的身份识别方法的流程示意图之一；
46.图2是本发明提供的身份识别方法中步骤130的流程示意图；
47.图3是本发明提供的身份识别方法的流程示意图之二；
48.图4是本发明提供的身份识别方法的流程示意图之三；
49.图5是本发明提供的身份识别方法的流程示意图之四；
50.图6是本发明提供的身份识别方法的流程示意图之五；
51.图7是本发明提供的身份识别方法的流程示意图之六；
52.图8是本发明提供的身份识别装置的结构示意图；
53.图9是本发明提供的身份识别系统的结构示意图；
54.图10是本发明提供的电子设备的结构示意图。
具体实施方式
55.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
56.相关技术中，猪只身份识别主要通过耳标信息或猪脸识别实现。由于猪只易啃咬和发生打架行为，猪只耳标容易脱落，同时也存在人为替换的情况。猪脸识别虽解决了耳标
脱落或替换的情况，但容易出现误识别的情况，从而导致重复理赔和虚假理赔。
57.基于上述考虑，本发明实施例提供一种身份识别方法，可应用于人工智能技术中的身份识别场景，例如人脸识别、牲畜保险理赔中对牲畜进行身份识别等，以提高复杂场景的识别准确率。
58.图1是本发明提供的身份识别方法的流程示意图之一，该方法中各步骤的执行主体可以是身份识别装置，该装置可通过软件和/或硬件实现，该装置可集成在电子设备中，电子设备可以是终端设备(如智能手机、个人电脑等)，也可以是服务器(如本地服务器或云端服务器，也可以为服务器集群等)，也可以是处理器，也可以是芯片等。
59.如图1所示，该方法可以包括如下步骤：
60.步骤110，获取包括待识别对象的视频。
61.具体地，待识别对象即需要进行身份识别的对象，待识别对象具体可以是人，也可以是猪牛羊等牲畜类动物体，例如可以是死猪、死牛、活体猪只等，本发明实施例对此不作具体限定。
62.可通过图像采集设备获取待识别对象的视频，图像采集设备可采用移动摄像头，也可以是固定摄像头。以猪只为例，可采用手机、智能平板等，在猪圈内对着猪只脸部进行视频拍摄，并进行猪脸片段的截取，从而获取猪只视频。
63.在一个可选的实施例中，固定摄像头可安装在猪只饮水和吃食位置，当猪只饮水或者吃食的时候，触发采集机关，摄像头开始记录拍摄猪脸，得到猪只视频。
64.此处，待识别对象的视频可包括待识别对象不同视角的连续图像帧。同时还可获取待识别对象的id，待识别对象的id能够唯一标识待识别对象的身份信息，比如猪只的耳标信息、人员的编号或姓名等。
65.步骤120，对视频中的各帧图像进行面部检测，得到各帧图像中的面部图块。
66.具体地，考虑到视频拍摄环境比较复杂，视频中会包含各种背景噪声，因此获取到包括待识别对象的视频的基础上，可针对视频中的各帧图像进行面部检测和图像分割，以得到各帧图像中的面部图块。
67.为了得到各帧图像中的面部图块，可通过面部检测算法或者预先训练好的面部检测模型，对视频中的各帧图像进行面部检测实现。基于面部检测的结果，即面部在各帧图像中的外接框的位置，对各帧图像进行图像分割，从而得到各帧图像中的面部图块。
68.在一个可选的实施例中，为了进一步提高面部检测的准确性，面部检测模型的训练任务可包括面部检测任务和关键点检测任务，此处的关键点即面部关键部位的关键点，比如鼻子、眼睛、嘴巴等关键点。在训练面部检测模型时，可约束检测出的关键点在面部外接框之内。
69.步骤130，基于各面部图块之间的时序关系，以及各面部图块中关键部位之间的位置关系，对视频进行面部真伪检测，得到检测结果；
70.步骤140，在检测结果为真实面部的情况下，基于各面部图块识别待识别对象的身份。
71.具体地，现有技术中通常是针对获取到的面部图像直接进行面部识别，并不能判断输入图像为真实面部还是伪造面部。以猪只保险理赔场景为例，使用伪造图像进行重复理赔、虚假理赔造成了极大的理赔浪费，大大增加了养殖险业务的运营成本。
72.在本发明实施例步骤130中，得到各面部图块之后，可进一步针对视频中包含的待识别对象的面部进行真伪检测，得到检测结果。此处的面部真伪检测即检测视频中的面部是否来源于真实的人体或动物体，而非假冒伪造的，比如假冒的照片或面具等。针对面部真伪检测，可通过各面部图块之间的时序关系，以及各面部图块中关键部位之间的位置关系实现。
73.各面部图块可以具有多个与时间维度相关的信息，即各面部图块之间的时序关系。时序关系具体可以为时间特征，例如，各面部图块在多帧图像组成的图像序列中的帧时间，或者视频中各帧图像对应的采集时间，或者各帧图像对应的采集时间与一个标注时间之间的时间差等，本发明实施例对此不做具体限制。
74.各面部图块中关键部位可以包括耳部、左右眼部、鼻子、嘴巴等面部上不同种类的关键部位。视频中各帧图像具有多个与空间维度相关的信息，关键部位之间的位置关系表征关键部位在各面部图块中的空间信息。
75.一些实施例中，可以结合卷积神经网络，确定各面部图块之间的时序关系，以及各面部图块中关键部位之间的位置关系。例如，可以将视频中的多帧图像分别输入卷积神经网络中的时序分支和位置分支，分别得到各分支输出的多张特征图，并将时序分支输出的多张特征图表征各面部图块之间的时序关系，将位置分支输出的多张特征图表征各面部图块中关键部位之间的位置关系。
76.在得到各面部图块之间的时序关系，以及各面部图块中关键部位之间的位置关系的基础上，可以是将表征各面部图块之间的时序关系的特征图，以及表征各面部图块中关键部位之间的位置关系的特征图输入至训练好的面部真伪检测模型中，以得到训练好的面部真伪检测模型输出的检测结果。
77.进一步地，面部真伪检测模型可以是二分类模型，模型在训练过程中不断学习真实面部样本视频对应的各面部图块的时序关系和位置关系，以及伪造面部样本视频对应的各面部图块的时序关系和位置关系，以使训练好的面部真伪检测模型能够准确的进行面部真伪分类。
78.在检测结果为真实面部的情况下，表明步骤110中获取到的视频是基于待识别对象的真实面部拍摄得到的，并非伪造或假冒的。随即基于各面部图块识别待识别对象的身份，例如可以将各面部图块与预先设置的数据库中存储的模板图像进行搜索匹配，根据匹配结果进行身份识别。搜索匹配的过程可分为两类：一类是确认，是一对一进行图像比较的过程；另一类是辨认，是一对多进行图像匹配对比的过程。
79.可理解的是，针对检测结果为伪造面部的情况下，可以进行预警，且无需进行进一步的身份识别，
80.本发明实施例提供的方法，通过对视频中的各帧图像进行面部检测，得到各帧图像中的面部图块，基于各面部图块之间的时序关系，以及各面部图块中关键部位之间的位置关系，对视频进行面部真伪检测，并在检测结果为真实面部的情况下，基于各面部图块识别待识别对象的身份，能够有效识别视频中面部的真伪，可以避免使用伪造图像带来的误识别，以提高身份识别的准确率。
81.基于上述实施例，图2是本发明提供的身份识别方法中步骤130的流程示意图，如图2所示，步骤130具体包括：
82.步骤131，对各面部图块中的各关键部位进行特征提取，得到各关键部位的部位特征；
83.步骤132，基于各面部图块之间的时序关系，对各关键部位的部位特征进行时序特征提取，得到时序特征；
84.步骤133，基于各关键部位的部位特征，从各面部图块中提取各关键部位之间的位置特征，位置特征表征位置关系；
85.步骤134，基于时序特征和位置特征，对视频进行面部真伪检测，得到检测结果。
86.具体地，用于描述待识别对象面部中各关键部位的特征，可以称为各关键部位的部位特征。部位特征的数量可以是预先设定的，比如可以是k个，k为大于1的正整数。部位特征可以是对各面部图块中的各关键部位进行解析处理，以确定各关键部位分别对应的图像表示向量，并将其作为各关键部位的部位特征。
87.得到各关键部位的部位特征之后，可进一步对各关键部位的部位特征进行时序特征提取。举例而言，可以采用循环神经网络，如lstm(long short-term memory，长短期记忆)模块实现，将各关键部位的部位特征输入lstm模块，由lstm模块学习各面部图块之间的时序关系，从而得到lstm模块输出的时序特征。
88.此外，还可以基于各关键部位的部位特征，从各面部图块中提取各关键部位之间的位置特征，此处的位置特征可以包括任一关键部位在各面部图块中的位置，还可以包括各关键部位在任一面部图块中的位置，即位置特征表征各面部图块中关键部位之间的位置关系。例如，可提取得到鼻子与嘴巴之间、或者鼻子与耳朵之间的相对位置，还可以提取得到鼻子在各帧图像中的位置变化。
89.得到表征时序关系的时序特征和表征位置关系的位置特征之后，即可基于时序特征和位置特征，对视频进行面部真伪检测，得到检测结果。可将时序特征和位置特征进行融合，例如将时序特征和位置特征进行特征拼接，将拼接后的特征输入训练好的面部真伪检测模型，由训练好的面部真伪检测模型进行面部真伪分类，得到检测结果。此处的检测结果可以包括真实面部或伪造面部。
90.本发明实施例提供的方法，针对各关键部位的部位特征，分别进行时序特征提取和位置特征提取，并基于提取得到的时序特征和位置特征，对视频进行面部真伪检测，能够进一步提高面部真伪检测的可靠性和准确性。
91.基于上述任一实施例，图3是本发明提供的身份识别方法的流程示意图之二，如图3所示，步骤133具体包括：
92.步骤133-1，对各关键部位的部位特征进行特征融合，得到权重特征，权重特征表征各面部图块中各关键部位的重要程度；
93.步骤133-2，基于权重特征，从各面部图块中提取各关键部位的部位图块特征；
94.步骤133-3，基于各关键部位的部位图块特征，提取各关键部位之间的位置特征。
95.具体地，为了得到各关键部位之间的位置特征，可基于各关键部位的部位图块特征，进行特征提取得到。此处各关键部位的部位图块特征为各面部图块中各关键部位的特征表示，各关键部位的部位图块特征的尺度大小可与各面部图块的尺度大小一致，部位图块特征的数量可以与各关键部位的部位数量相同。
96.从各面部图块中提取各关键部位的部位图块特征，可基于权重特征实现。权重特
征表征各面部图块中各关键部位的重要程度，权重特征可针对各关键部位的部位特征进行特征融合得到。例如，可将各关键部位的部位特征输入卷积神经网络的卷积层得到权重特征。
97.可理解的是，权重特征中的参数与任一面部图块的任一关键部位的重要程度是对应的，针对任一面部图块而言，权重特征中某一处关键部位的参数能够反映该处关键部位在该面部图块中的重要程度。
98.基于上述任一实施例，图4是本发明提供的身份识别方法的流程示意图之三，如图4所示，步骤133-2中从各面部图块中提取各关键部位的部位图块特征，包括：
99.步骤133-21，基于权重特征，从各面部图块中提取各关键部位的候选图块特征；
100.步骤133-22，对各关键部位的候选图块特征进行特征评分，并基于评分结果从各关键部位的候选图块特征中选取各关键部位的部位图块特征。
101.具体地，从各面部图块中提取各关键部位的部位图块特征，可首先基于权重特征，从各面部图块中提取各关键部位的候选图块特征。候选图块特征的数量可大于各关键部位的部位特征数量。
102.在此基础上，对各关键部位的候选图块特征进行特征评分，特征评分可从各关键部位的失真程度、模糊程度、颜色分类等各个维度进行评分，得到评分结果。可按照评分结果从高到低的顺序，对各候选图块特征进行排序，从排序后的各候选图块特征中选取排序靠前的预设数量个部位图块特征；还可预设评分阈值，将评分结果大于该评分阈值的各候选图块特征作为各关键部位的部位图块特征。
103.基于上述任一实施例，图5是本发明提供的身份识别方法的流程示意图之四，如图5所示，采用面部真伪检测模型进行面部真伪检测，面部真伪检测模型包括使用两支路方案，一条支路学习时序关系，一条支路学习位置关系。模型使用连续m帧面部图块作为输入，先经过cnn(全卷积神经网络)，再经过最大池化层maxpooling后，得到k个关键部位的部位特征(k为预设的anchor数量)。
104.将k个关键部位的部位特征输入lstm模块(long short-termmemory，长短期记忆)，得到时序特征。
105.同时使用上述得到的k个关键部位的部位特征经过cnn和一个1*1卷积后，得到包括m*k*2个参数的权重特征，用这些参数与输入的m个面部图块相乘，并使用双线性插值得到与面部图块大小一样的m*k个候选图块特征，进行maxpooling后得到5*5的score map，并基于评分结果从各关键部位的候选图块特征中取top k个部位图块特征。其中每一个部位图块特征都经过结构一样的cnn特征提取层，共享权重，得到位置特征。
106.最后再将时序特征和位置特征拼接起来，再经过softmax后，进行面部真伪分类，得到检测结果。
107.基于上述任一实施例，步骤120具体包括：
108.基于面部检测模型，对视频中的各帧图像进行面部检测，得到各帧图像中的面部图块；
109.面部检测模型基于面部检测任务和面部关键点检测任务训练得到。
110.具体地，针对视频中的各帧图像进行面部检测，可通过面部检测模型实现。将各帧图像输入预先训练好的面部检测模型，由面部检测模型进行面部检测，得到面部检测模型
输出的各帧图像中的面部图块检测框。
111.在此之前，可预先训练面部检测模型，为了使得面部检测模型的检测效果更加准确，面部检测模型基于面部检测任务和面部关键点检测任务训练得到。
112.面部检测模型可包括两个分支，一个分支为面部检测任务分支，另一个分支为面部关键点检测任务分支。其中，面部检测任务用于检测各帧图像中的面部检测框，面部关键点检测任务用于检测各帧图像中的面部关键点，面部关键点例如可包括眼睛、鼻子和嘴巴等关键点。
113.可理解的是，针对同一待识别对象的面部，任一面部关键点的坐标必然在面部检测框之内，面部检测模型的损失函数可通过约束面部关键点的坐标在面部检测框之内，提高面部检测模型的检测可靠性。由此训练得到的面部检测模型针对任一帧输入图像，可输出面部检测框和面部关键点位置。
114.在一些实施例中，以猪脸检测为例，对于猪只的样本图像，可使用关键点标注方法，标注出猪脸轮廓，猪只眼睛、猪只鼻子、猪嘴。
115.通过标注的猪脸轮廓生成猪只面部检测框(bounding box)，并将全部标注划分为训练集和测试集。
116.使用训练集数据对初始猪脸检测模型进行训练，初始猪脸检测模型的模型结构可使用类似人脸检测的retinaface模型，对该网络进行针对性改进，在网络经过金字塔特征输出后，除了正常的猪脸检测分支，增加猪脸关键点监督分支。猪脸检测模型的损失函数可包括关键点检测损失和面部检测损失。
117.关键点监督分支，用于对猪脸的5个关键点进行回归(2个猪眼关键点、1个猪鼻子关键点、一个猪嘴关键点)。将检测得到的关键点坐标转换为基于anchor的归一化参数，然后基于预测关键点和标注关键点之间的差异计算关键点检测损失。
118.本发明实施例提供的方法，基于面部检测任务和面部关键点检测任务训练得到面部检测模型，能进一步提高面部检测的准确性和可靠性。
119.基于上述任一实施例，图6是本发明提供的身份识别方法的流程示意图之五，如图6所示，步骤140中基于各面部图块识别待识别对象的身份，具体包括：
120.步骤141，在已知待识别对象的id的情况下，基于各面部图块与id对应的特征模板之间的相似度，识别待识别对象的身份；
121.步骤142，在未知待识别对象的id的情况下，基于各面部图块与各个特征模板之间的相似度，将各面部图块与各个特征模板进行匹配，并基于匹配结果识别待识别对象的身份。
122.具体地，基于各面部图块识别待识别对象的身份可分为两种情况，此时已经确定面部为真实面部，且得到了各帧图像中的面部图块。可将得到的面部图块与预先存储的数据库中的特征模板进行匹配，匹配的方法有以下两种：
123.第一种为一对一进行面部匹配，即在已知待识别对象的id的情况下，基于各面部图块与id对应的特征模板之间的相似度，识别待识别对象的身份。此处的相似度可使用常规的相似度计算方法实现，比如余弦距离、欧氏距离等。当该相似度在预设相似度阈值范围之内时，表示匹配成功，待识别对象为已经录入数据库的对象。此外，针对猪只理赔场景，可同时在数据库中记录本次匹配记录，可以避免重复比对和保险赔偿。
124.第二种为一对多进行面部匹配，即在未知待识别对象的id的情况下，基于各面部图块与各个特征模板之间的相似度，将各面部图块与数据库中的各个特征模板逐一进行匹配，选择与之相似度最大的特征模板作为待识别对象的原始数据。同时需确保该相似度在一定阈值范围内，来保证待识别对象为录入数据库的录入对象。
125.本发明实施例提供的方法，通过基于面部图块与预设的特征模板之间的相似度进行身份识别，能够进一步提高身份识别的准确性和可靠性。
126.基于上述任一实施例，图7是本发明提供的身份识别方法的流程示意图之六，如图7所示，特征模板的确定步骤包括：
127.步骤710，对录入对象的视频进行面部检测，得到录入对象的录入面部图块；
128.步骤720，基于各录入面部图块之间的时序关系，以及各录入面部图块中关键部位之间的位置关系，提取得到录入时序特征和录入位置特征，并将录入时序特征和录入位置特征进行特征融合，得到录入融合特征；
129.步骤730，基于录入融合特征，对录入对象的视频进行面部真伪检测，得到录入检测结果，在录入检测结果为真实面部的情况下，将录入融合特征作为录入对象的特征模板。
130.具体地，数据库中，每个录入对象具有唯一的特征模板和唯一id，此处的特征模板可通过如下步骤确定：
131.对录入对象的视频进行面部检测，得到录入对象的录入面部图块。然后基于各录入面部图块之间的时序关系，以及各录入面部图块中关键部位之间的位置关系，提取得到录入时序特征和录入位置特征。
132.此处，录入时序特征和录入位置特征的提取过程可参见前述实施例的描述，此处不再赘述。然后将录入时序特征和录入位置特征进行特征融合，具体可以是特征拼接，得到录入融合特征。
133.在此基础上，基于录入融合特征，对录入对象的视频进行面部真伪检测，得到录入检测结果，在录入检测结果为真实面部的情况下，将录入融合特征作为录入对象的特征模板。
134.基于上述任一实施例，以猪只为例，提供一种猪只身份识别方法，包括：
135.1)样本数据采集，可分为人工伪造的样本和真实样本。人工伪造的样本包括人工伪造的攻击样本和伪造的基础上做数据增广的样本。
136.真实数据的采集：移动端使用手机、智能平板等，在猪圈内对着猪只脸部进行视频拍摄，并进行猪脸片段的截取，同时，记录该只猪耳标等身份信息收入数据集。固定摄像头安装在猪只饮水和吃食位置，当猪只饮水或者吃食的时候，触发采集机关，摄像头开始记录拍摄猪脸，并上传耳标等信息，对片段进行截取，与猪只身份信息对应。
137.人工伪造数据的采集：使用不同的设备播放上述采集到的真实数据，并使用不同设备翻拍这些视频，设备包括不同型号的手机、平板、电脑、摄像机等。为避免伪造痕迹，翻拍过程中避免屏幕反光、摩尔纹和屏幕反光等。
138.对上述真实的数据进行数据增广，一部分数据进行模糊处理，使用大小随机的高斯核处理真实猪脸样本，并进行透视畸变处理，将真实猪只样本裁剪成屏幕大小，得到1倍样本。将该样本与随机图像加权得到加权后的图像，再与背景做权重融合，得到人工伪造数据。
139.2)使用上述样本数据，基于面部检测任务和面部关键点检测任务训练得到面部检测模型，面部检测模型用于对输入的视频中各帧图像进行面部检测；使用上述样本数据，训练得到面部真伪检测模型，面部真伪检测模型用于对输入的视频中各帧图像进行面部真伪检测。
140.3)对录入猪只的视频进行面部检测，得到录入猪只的录入面部图块；基于各录入面部图块之间的时序关系，以及各录入面部图块中关键部位之间的位置关系，提取得到录入时序特征和录入位置特征，并将录入时序特征和录入位置特征进行特征融合，得到录入融合特征；基于录入融合特征，对录入猪只的视频进行面部真伪检测，得到录入检测结果，在录入检测结果为真实面部的情况下，将录入融合特征作为录入猪只的特征模板。
141.4)获取包括待识别猪只的视频，对视频中的各帧图像进行面部检测，得到各帧图像中的面部图块，基于各面部图块之间的时序关系，以及各面部图块中关键部位之间的位置关系，对视频进行面部真伪检测，得到检测结果；
142.在检测结果为真实面部的情况下，基于各面部图块识别待识别猪只的身份。在已知待识别猪只的id的情况下，基于各面部图块与id对应的特征模板之间的相似度，识别待识别猪只的身份；在未知待识别猪只的id的情况下，基于各面部图块与各个特征模板之间的相似度，将各面部图块与各个特征模板进行匹配，并基于匹配结果识别待识别猪只的身份。
143.下面对本发明提供的身份识别装置进行描述，下文描述的身份识别装置与上文描述的身份识别方法可相互对应参照。
144.基于上述任一实施例，图8是本发明提供的身份识别装置的结构示意图，如图8所示，身份识别装置包括视频获取单元810、面部检测单元820、真伪检测单元830和身份识别单元840，其中，
145.视频获取单元810，用于获取包括待识别对象的视频；
146.面部检测单元820，用于对视频中的各帧图像进行面部检测，得到各帧图像中的面部图块；
147.真伪检测单元830，用于基于各面部图块之间的时序关系，以及各面部图块中关键部位之间的位置关系，对视频进行面部真伪检测，得到检测结果；
148.身份识别单元840，用于在检测结果为真实面部的情况下，基于各面部图块识别待识别对象的身份。
149.本发明实施例提供的身份识别装置，通过对视频中的各帧图像进行面部检测，得到各帧图像中的面部图块，基于各面部图块之间的时序关系，以及各面部图块中关键部位之间的位置关系，对视频进行面部真伪检测，并在检测结果为真实面部的情况下，基于各面部图块识别待识别对象的身份，能够有效识别视频中面部的真伪，可以避免使用伪造图像带来的误识别，以提高身份识别的准确率。
150.基于上述实施例，真伪检测单元具体用于：
151.对所述各面部图块中的各关键部位进行特征提取，得到各关键部位的部位特征；
152.基于所述各面部图块之间的时序关系，对所述各关键部位的部位特征进行时序特征提取，得到时序特征；
153.基于所述各关键部位的部位特征，从所述各面部图块中提取所述各关键部位之间
的位置特征，所述位置特征表征所述位置关系；
154.基于所述时序特征和所述位置特征，对所述视频进行面部真伪检测，得到检测结果。
155.基于上述实施例，真伪检测单元具体用于：
156.对所述各关键部位的部位特征进行特征融合，得到权重特征，所述权重特征表征所述各面部图块中各关键部位的重要程度；
157.基于所述权重特征，从所述各面部图块中提取各关键部位的部位图块特征；
158.基于所述各关键部位的部位图块特征，提取所述各关键部位之间的位置特征。
159.基于上述实施例，真伪检测单元具体用于：
160.基于所述权重特征，从所述各面部图块中提取各关键部位的候选图块特征；
161.对所述各关键部位的候选图块特征进行特征评分，并基于评分结果从所述各关键部位的候选图块特征中选取所述各关键部位的部位图块特征。
162.基于上述实施例，面部检测单元具体用于：
163.基于面部检测模型，对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块；
164.所述面部检测模型基于面部检测任务和面部关键点检测任务训练得到。
165.基于上述实施例，身份识别单元具体用于：
166.在已知所述待识别对象的id的情况下，基于所述各面部图块与所述id对应的特征模板之间的相似度，识别所述待识别对象的身份；
167.在未知所述待识别对象的id的情况下，基于所述各面部图块与各个特征模板之间的相似度，将所述各面部图块与各个特征模板进行匹配，并基于匹配结果识别所述待识别对象的身份。
168.基于上述实施例，身份识别装置还包括模板确定单元，用于：
169.对录入对象的视频进行面部检测，得到所述录入对象的录入面部图块；
170.基于各录入面部图块之间的时序关系，以及所述各录入面部图块中关键部位之间的位置关系，提取得到录入时序特征和录入位置特征，并将所述录入时序特征和所述录入位置特征进行特征融合，得到录入融合特征；
171.基于所述录入融合特征，对所述录入对象的视频进行面部真伪检测，得到录入检测结果，在所述录入检测结果为真实面部的情况下，将所述录入融合特征作为所述录入对象的特征模板。
172.基于上述任一实施例，图9是本发明提供的身份识别系统的结构示意图，如图9所示，身份识别系统包括：图像采集设备910和身份识别设备920，其中，
173.图像采集设备用于采集包括待识别对象的视频，并将视频发送至身份识别设备；
174.身份识别设备用于对视频中的各帧图像进行面部检测，得到各帧图像中的面部图块，基于各面部图块之间的时序关系，以及各面部图块中关键部位之间的位置关系，对视频进行面部真伪检测，得到检测结果，并在检测结果为真实面部的情况下，基于各面部图块识别待识别对象的身份。
175.具体地，采用本发明实施例提供的身份识别系统，可自动智能化实现对待识别对象进行身份识别。图像采集设备用于采集包括待识别对象的视频，并将视频发送至身份识
别设备。图像采集设备可以是具备拍照功能的智能手机、平板电脑、固定摄像头等。
176.身份识别设备用于识别待识别对象的身份，具体识别过程在前述实施例已详细描述，在此不再赘述。
177.身份识别设备和图像采集设备可集成在同一个电子设备中，例如均集成在智能手机中，智能手机针对识别对象拍摄视频后，将视频发送至身份识别设备进行身份识别。
178.身份识别设备还可设置在云端，图像采集设备通过网络将采集到的视频发送至身份识别设备，由身份识别设备在云端完成身份识别。
179.本发明实施例提供的身份识别系统，能够实现自动智能化实现对待识别对象进行身份识别，能够有效识别视频中面部的真伪，可以避免使用伪造图像带来的误识别，以提高身份识别的准确率。
180.图10示例了一种电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器(processor)1010、通信接口(communications interface)1020、存储器(memory)1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行身份识别方法，该方法包括：获取包括待识别对象的视频；对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块；基于各面部图块之间的时序关系，以及所述各面部图块中关键部位之间的位置关系，对所述视频进行面部真伪检测，得到检测结果；在所述检测结果为真实面部的情况下，基于所述各面部图块识别所述待识别对象的身份。
181.此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
182.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的身份识别方法，该方法包括：获取包括待识别对象的视频；对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块；基于各面部图块之间的时序关系，以及所述各面部图块中关键部位之间的位置关系，对所述视频进行面部真伪检测，得到检测结果；在所述检测结果为真实面部的情况下，基于所述各面部图块识别所述待识别对象的身份。
183.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的身份识别方法，该方法包括：获取包括待识别对象的视频；对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块；基于各面部图块之间的时序关系，以及所述各面部图块中关键部位之间的位置关系，对所述视频进行面部真伪检测，得到检测结果；在所述检测结果为真实面部的情况下，基于所述各面部图块识别所述待识别对象的身份。
184.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
185.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
186.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种身份识别方法，其特征在于，包括：获取包括待识别对象的视频；对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块；基于各面部图块之间的时序关系，以及所述各面部图块中关键部位之间的位置关系，对所述视频进行面部真伪检测，得到检测结果；在所述检测结果为真实面部的情况下，基于所述各面部图块识别所述待识别对象的身份。2.根据权利要求1所述的身份识别方法，其特征在于，所述基于各面部图块之间的时序关系，以及所述各面部图块中关键部位之间的位置关系，对所述视频进行面部真伪检测，得到检测结果，包括：对所述各面部图块中的各关键部位进行特征提取，得到各关键部位的部位特征；基于所述各面部图块之间的时序关系，对所述各关键部位的部位特征进行时序特征提取，得到时序特征；基于所述各关键部位的部位特征，从所述各面部图块中提取所述各关键部位之间的位置特征，所述位置特征表征所述位置关系；基于所述时序特征和所述位置特征，对所述视频进行面部真伪检测，得到检测结果。3.根据权利要求2所述的身份识别方法，其特征在于，所述基于所述各关键部位的部位特征，从所述各面部图块中提取所述各关键部位之间的位置特征，包括：对所述各关键部位的部位特征进行特征融合，得到权重特征，所述权重特征表征所述各面部图块中各关键部位的重要程度；基于所述权重特征，从所述各面部图块中提取各关键部位的部位图块特征；基于所述各关键部位的部位图块特征，提取所述各关键部位之间的位置特征。4.根据权利要求3所述的身份识别方法，其特征在于，所述基于所述权重特征，从所述各面部图块中提取各关键部位的部位图块特征，包括：基于所述权重特征，从所述各面部图块中提取各关键部位的候选图块特征；对所述各关键部位的候选图块特征进行特征评分，并基于评分结果从所述各关键部位的候选图块特征中选取所述各关键部位的部位图块特征。5.根据权利要求1所述的身份识别方法，其特征在于，所述对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块，包括：基于面部检测模型，对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块；所述面部检测模型基于面部检测任务和面部关键点检测任务训练得到。6.根据权利要求1-5中任一项所述的身份识别方法，其特征在于，所述基于所述各面部图块识别所述待识别对象的身份，包括：在已知所述待识别对象的id的情况下，基于所述各面部图块与所述id对应的特征模板之间的相似度，识别所述待识别对象的身份；在未知所述待识别对象的id的情况下，基于所述各面部图块与各个特征模板之间的相似度，将所述各面部图块与各个特征模板进行匹配，并基于匹配结果识别所述待识别对象的身份。
7.根据权利要求6所述的身份识别方法，其特征在于，所述特征模板的确定步骤包括：对录入对象的视频进行面部检测，得到所述录入对象的录入面部图块；基于各录入面部图块之间的时序关系，以及所述各录入面部图块中关键部位之间的位置关系，提取得到录入时序特征和录入位置特征，并将所述录入时序特征和所述录入位置特征进行特征融合，得到录入融合特征；基于所述录入融合特征，对所述录入对象的视频进行面部真伪检测，得到录入检测结果，在所述录入检测结果为真实面部的情况下，将所述录入融合特征作为所述录入对象的特征模板。8.一种身份识别装置，其特征在于，包括：视频获取单元，用于获取包括待识别对象的视频；面部检测单元，用于对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块；真伪检测单元，用于基于各面部图块之间的时序关系，以及所述各面部图块中关键部位之间的位置关系，对所述视频进行面部真伪检测，得到检测结果；身份识别单元，用于在所述检测结果为真实面部的情况下，基于所述各面部图块识别所述待识别对象的身份。9.一种身份识别系统，其特征在于，包括：图像采集设备和身份识别设备；所述图像采集设备用于采集包括待识别对象的视频，并将所述视频发送至所述身份识别设备；所述身份识别设备用于对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块，基于各面部图块之间的时序关系，以及所述各面部图块中关键部位之间的位置关系，对所述视频进行面部真伪检测，得到检测结果，并在所述检测结果为真实面部的情况下，基于所述各面部图块识别所述待识别对象的身份。10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述身份识别方法。11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述身份识别方法。

技术总结
本发明涉及计算机视觉技术领域，提供一种身份识别方法、装置、系统、电子设备和存储介质，其中方法包括：获取包括待识别对象的视频；对所述视频中的各帧图像进行面部检测，得到所述各帧图像中的面部图块；基于各面部图块之间的时序关系，以及所述各面部图块中关键部位之间的位置关系，对所述视频进行面部真伪检测，得到检测结果；在所述检测结果为真实面部的情况下，基于所述各面部图块识别所述待识别对象的身份。本发明提供的身份识别方法、装置、系统、电子设备和存储介质，能够有效识别视频中面部的真伪，可以避免使用伪造图像带来的误识别，以提高身份识别的准确率。以提高身份识别的准确率。以提高身份识别的准确率。


技术研发人员：闫润强 杨梓钰 李旭强 邓柯珀
受保护的技术使用者：河南讯飞智元信息科技有限公司
技术研发日：2023.04.10
技术公布日：2023/8/5