一种人脸识别方法、装置、电子设备及存储介质与流程

1.本发明涉及人工智能技术领域，特别是涉及一种人脸识别方法、装置、电子设备及存储介质。


背景技术：

2.人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。随着人工智能技术的发展，人脸识别的应用越来越广泛。比如，利用人脸识别对影视剧中人物进行识别，或者利用人脸识别对电子设备采集到的图像中人物进行识别等等。
3.相关技术在对影视剧中人物进行识别的场景中，用户触发客户端对影视剧播放过程中某一视频帧进行截取，客户端将所截取的视频帧发送给云端，云端接收到视频帧后，对视频帧中包含的人脸特征进行提取，并将提取到的人脸特征与预先设置的人脸特征库中人脸特征进行比对，将比对结果作为人脸识别结果反馈给客户端，客户端将云端反馈的人脸识别结果展示给用户。在实际应用中，客户端所截取的视频帧中包含的人脸可能是模糊人脸(比如因切换镜头，或者视频拍摄时拍摄的设备、光线以及角度等引起的人脸模糊)，或者侧脸、背影等，使得发送给云端进行人脸识别的图像的质量无法保证，进而导致云端无法准确识别图像中包含的人物或者无法识别图像中包含的人物。


技术实现要素：

4.本发明实施例的目的在于提供一种人脸识别方法、装置、电子设备及存储介质，以提高人脸识别的准确度以及识别结果召回率。具体技术方案如下：
5.在本发明实施的第一方面，首先提供了一种人脸识别方法，应用于客户端设备，所述方法包括：
6.获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧；
7.对所述待处理视频帧中每一视频帧进行目标检测，得到各视频帧的目标检测结果；
8.基于各所述目标检测结果，对所述待处理视频帧的各视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果；
9.基于所述人脸分类结果，从所述待处理视频帧中确定目标视频帧；
10.将所述目标视频帧发送给云端设备，以使所述云端设备提取所述目标视频帧中的人脸特征，得到目标人脸特征，将所述目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配，并将所述预设的人脸特征库中与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果发送给客户端设备，其中，所述预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息；
11.接收所述云端设备发送的人脸识别结果。
12.在一种可能的实施方式中，所述基于各所述目标检测结果，对所述待处理视频帧
的各视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果，包括：
13.按照所述目标播放视频中各视频帧的播放顺序，在所述待处理视频帧的各视频帧中对各所述目标检测结果进行人脸跟踪，得到各所述目标检测结果的人脸跟踪结果；其中，所述人脸跟踪结果包括：正脸、侧脸、背影、全局或局部；
14.针对各所述人脸跟踪结果，保留人脸跟踪结果为正脸对应的视频帧，得到候选视频帧；
15.对各所述候选视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果。
16.在一种可能的实施方式中，所述方法还包括：
17.对所述目标播放视频所播放的视频帧进行缓存；
18.所述获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧，包括：
19.在接收到人脸识别指令的情况下，获取所述目标播放视频当前时间戳之前第一预设时间范围内已缓存的视频帧，以及所述目标播放视频当前时间戳之后第二预设时间范围内播放并缓存的视频帧，得到待处理视频帧。
20.在一种可能的实施方式中，所述基于所述人脸分类结果，从所述待处理视频帧中确定目标视频帧，包括：
21.针对每一人脸分类结果，从该人脸分类结果对应的视频帧中选择满足预设质量要求的一帧图像，作为该人脸分类结果对应的目标视频帧。
22.在一种可能的实施方式中，所述目标检测结果中包含视频帧中检测目标对应的目标检测框的位置，所述方法还包括：
23.将目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息发送给所述云端设备。
24.在本发明实施的第二方面，还提供了一种人脸识别方法，应用于云端设备，所述方法包括：
25.接收客户端设备发送的目标视频帧，所述目标视频帧为：所述客户端设备获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧，并对所述待处理视频帧中各视频帧分别进行目标检测，以及基于各目标检测结果对所述待处理视频帧的各视频帧中属于不同对象的人脸进行分类后，基于人脸分类结果从所述待处理视频帧中确定的；
26.提取所述目标视频帧中的人脸特征，得到目标人脸特征；
27.将所述目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配；
28.在所述预设的人脸特征库中存在与所述目标人脸特征匹配的人脸特征的情况下，将与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果，并将所述人脸识别结果发送给所述客户端设备，其中，所述预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息。
29.在一种可能的实施方式中，所述方法还包括：
30.接收客户端设备发送的目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息；
31.确定所述目标播放视频的标识信息是否对应有数据关系表；
32.如果有，查询所述数据关系表中是否存在：与所述目标视频帧对应的时间戳相同的视频帧时间戳、以及与所述目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置；其中，所述数据关系表中包括：视频帧时间戳和检测框位置与人物识别结果之间的对应关系；检测框位置与所述目标视频帧中检测目标对应的目标检测框的位置匹配表示：检测框位置与所述目标视频帧中检测目标对应的目标检测框的位置相同，或者检测框位置与所述目标视频帧中检测目标对应的目标检测框的位置之间的距离小于预设距离阈值；
33.如果存在，则将所述数据关系表中与所述目标视频帧对应的时间戳和所述目标视频帧中检测目标对应的目标检测框的位置相对应的人物识别结果，确定为所述目标视频帧的人脸识别结果，并发送给所述客户端设备；否则提取所述目标视频帧中的人脸特征，得到目标人脸特征。
34.在一种可能的实施方式中，所述预设的人脸特征库包括：第一人脸特征库以及第二人脸特征库，所述第一人脸特征库中所包含的人脸特征用于表征目标对象在视频中饰演角色下的人脸特征，所述第二人脸特征库中所包含的人脸特征用于表征目标对象真实身份的人脸特征；
35.所述将所述目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配；在所述预设的人脸特征库中存在与所述目标人脸特征匹配的人脸特征的情况下，将与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果，并将所述人脸识别结果发送给所述客户端设备，包括：
36.基于所述目标播放视频的标识信息，以及视频的标识信息与第一人脸特征库之间的对应关系表，确定是否存在与所述目标播放视频对应的第一人脸特征库；
37.在存在与所述目标播放视频对应的第一人脸特征库的情况下，将所述目标人脸特征与所述第一人脸特征库中所包含的人脸特征进行匹配；
38.在所述目标人脸特征与所述第一人脸特征库中所包含的人脸特征匹配的情况下，将所述第一人脸特征库中与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果，并发送给所述客户端设备；
39.在所述目标人脸特征与所述第一人脸特征库中所包含的人脸特征不匹配，或者不存在与所述目标播放视频对应的第一人脸特征库的情况下，将所述目标人脸特征与所述第二人脸特征库中所包含的人脸特征进行匹配；
40.在所述目标人脸特征与所述第二人脸特征库中所包含的人脸特征匹配的情况下，将所述第二人脸特征库中与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果，并发送给所述客户端设备。
41.在一种可能的实施方式中，所述预设的人脸特征库包括：第一人脸特征库以及第二人脸特征库，所述第一人脸特征库中所包含的人脸特征用于表征目标对象在视频中饰演角色下的人脸特征，所述第二人脸特征库中所包含的人脸特征用于表征目标对象真实身份的人脸特征；
42.所述将所述目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配；在所述预设的人脸特征库中存在与所述目标人脸特征匹配的人脸特征的情况下，将与所述目
标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果，并将所述人脸识别结果发送给所述客户端设备，包括：
43.基于所述目标播放视频的标识信息，以及视频的标识信息与第一人脸特征库之间的对应关系表，确定是否存在与所述目标播放视频对应的第一人脸特征库；
44.在存在与所述目标播放视频对应的第一人脸特征库的情况下，将所述目标人脸特征与所述第一人脸特征库中所包含的人脸特征进行匹配，得到第一匹配结果；
45.将所述目标人脸特征与所述第二人脸特征库中所包含的人脸特征进行匹配，得到第二匹配结果；
46.基于所述第一匹配结果以及所述第二匹配结果，得到所述目标视频帧的人脸识别结果，并将所述人脸识别结果发送给所述客户端设备。
47.在一种可能的实施方式中，所述方法还包括：
48.在所述目标人脸特征与所述第二人脸特征库中所包含的人脸特征不匹配的情况下，将所述目标视频帧以及所述目标视频帧中检测目标对应的目标检测框的位置发送给运营端，以使运营端将目标视频帧中检测目标对应的真实身份的人脸特征，以及该人脸特征对应的人物信息更新至所述第二人脸特征库中；
49.在所述目标人脸特征与所述目标播放视频对应的第一人脸特征库中所包含的人脸特征不匹配，或者不存在与所述目标播放视频对应的第一人脸特征库的情况下，将所述目标视频帧、所述目标视频帧中检测目标对应的目标检测框的位置以及所述目标播放视频的标识信息发送给运营端，以使运营端将目标视频帧中检测目标在所述目标播放视频中所饰演角色下的人脸特征，以及该人脸特征对应的人物信息更新至所述第一人脸特征库中。
50.在本发明实施的第三方面，还提供了一种人脸识别装置，应用于客户端设备，所述装置包括：
51.视频帧获取模块，用于获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧；
52.目标检测模块，用于对所述待处理视频帧中每一视频帧进行目标检测，得到各视频帧的目标检测结果；
53.人脸分类模块，用于基于各所述目标检测结果，对所述待处理视频帧的各视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果；
54.视频帧确定模块，用于基于所述人脸分类结果，从所述待处理视频帧中确定目标视频帧；
55.视频帧发送模块，用于将所述目标视频帧发送给云端设备，以使所述云端设备提取所述目标视频帧中的人脸特征，得到目标人脸特征，将所述目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配，并将所述预设的人脸特征库中与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果发送给客户端设备，其中，所述预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息；
56.识别结果接收模块，用于接收所述云端设备发送的人脸识别结果。
57.在本发明实施的第四方面，还提供了一种人脸识别装置，应用于云端设备，所述装置包括：
58.视频帧接收模块，用于接收客户端设备发送的目标视频帧，所述目标视频帧为：所
述客户端设备获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧，并对所述待处理视频帧中各视频帧分别进行目标检测，以及基于各目标检测结果对所述待处理视频帧的各视频帧中属于不同对象的人脸进行分类后，基于人脸分类结果从所述待处理视频帧中确定的；
59.人脸特征提取模块，用于提取所述目标视频帧中的人脸特征，得到目标人脸特征；
60.人脸特征匹配模块，用于将所述目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配；
61.人脸识别模块，用于在所述预设的人脸特征库中存在与所述目标人脸特征匹配的人脸特征的情况下，将与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果，并将所述人脸识别结果发送给所述客户端设备，其中，所述预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息。
62.在本发明实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
63.存储器，用于存放计算机程序；
64.处理器，用于执行存储器上所存放的程序时，实现上述任一所述的人脸识别方法的步骤。
65.在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的人脸识别方法的步骤。
66.在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的人脸识别方法的步骤。
67.本发明实施例提供的一种人脸识别方法、装置、电子设备及存储介质，将人脸识别划分为人脸检测和人脸特征比对两部分，客户端设备获取目标播放视频中目标时间戳的预设时间范围内的多个视频帧，再分别利用目标检测和人脸分类技术，从多个视频帧中确定发送给云端设备进行人脸特征比对的目标视频帧，相较于现有将截取的影视剧播放过程中某一视频帧发送给云端设备进行人脸识别，提高了发送给云端设备进行人脸识别的视频帧的图像质量以及鲁棒性，且充分利用了客户端设备的计算资源，进一步的，云端设备能够基于高图像质量的目标视频帧，更准确的识别目标视频帧中的人脸并向客户端设备反馈目标视频帧对应的人脸识别结果，提高了人脸识别的准确度以及识别结果召回率。
附图说明
68.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
69.图1为本发明实施例中一种人脸识别方法的流程示意图；
70.图2为本发明实施例中一种人脸识别结果的展示示意图；
71.图3为本发明实施例中另一种人脸识别方法的流程示意图；
72.图4为本发明实施例中客户端获取目标视频帧的过程示意图；
73.图5为本发明实施例中再一种人脸识别方法的流程示意图；
74.图6为本发明实施例中再一种人脸识别方法的流程示意图；
75.图7为本发明实施例中一种人脸特征匹配的实施方式流程示意图；
76.图8为本发明实施例中云端人脸识别的过程示意图；
77.图9为本发明实施例中运营端人脸特征库更新示意图；
78.图10为本发明实施例中一种人脸识别方法的交互示意图；
79.图11为本发明实施例中一种人脸识别的交互示意图；
80.图12为本发明实施例中一种人脸识别装置的结构示意图；
81.图13为本发明实施例中另一种人脸识别装置的结构示意图；
82.图14为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
83.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
84.随着人工智能技术的发展，通过人工智能算法(比如包含视觉识别、ocr(optical character recognition，光学字符识别)、nlp(natural language processing，自然语言处理)、以及语音和声纹识别等算法)对影视剧内容中各类实体信息的识别应用越来越多，比如对影视剧内容中人物、衣服、装饰以及风景名胜等的识别。
85.一方面，影视剧的更新速度较快，影视剧内容中人物、衣服、装饰以及风景名胜等随之更新，使得用户对于影视剧内容中人物、衣服、装饰以及风景名胜等的识别需求愈发强烈。另一方面，在对影视剧内容中人物的识别中，通常影视剧内容大部分镜头都有人脸，但并不会一直是人物的正脸出境，可能存在侧脸、背影、甚至只有声音的情况，且人物的出现可能伴随着化妆、着装等装扮，使得对影视剧中人物的识别难度较大。
86.相关技术中，对影视剧内容中人物的识别主要通过人脸特征比对的方式进行，在云端存储有庞大的人脸特征库。客户端获取需要识别的当前帧图像，将当前帧图像发送给云端，云端对当前帧图像中的人脸特征进行提取，并将提取的人脸特征与人脸特征库中包含的人脸特征进行比对，将比对的结果反馈给客户端，客户端再将云端反馈的结果展示给用户。然而实际中，客户端所获取的当前帧图像中包含的人脸可能是模糊人脸，或者侧脸、背影等，使得发送给云端进行人脸特征比对的图像的质量无法保证，进而导致云端无法准确识别当前帧图像中包含的人物或者无法识别当前帧图像中包含的人物。
87.为了提高人脸识别的准确度以及识别结果召回率，本发明实施例提供了一种人脸识别方法、装置、电子设备及存储介质。本发明实施例提供的一种人脸识别方法，应用于客户端设备，包括：
88.获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧；
89.对所述待处理视频帧中每一视频帧进行目标检测，得到各视频帧的目标检测结果；
90.基于各所述目标检测结果，对所述待处理视频帧的各视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果；
91.基于所述人脸分类结果，从所述待处理视频帧中确定目标视频帧；
92.将所述目标视频帧发送给云端设备，以使所述云端设备提取所述目标视频帧中的人脸特征，得到目标人脸特征，将所述目标人脸特征与预设的人脸特征库中所包含的人脸
特征进行匹配，并将所述预设的人脸特征库中与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果发送给客户端设备，其中，所述预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息；
93.接收所述云端设备发送的人脸识别结果。
94.本发明实施例提供的一种人脸识别方法，客户端设备获取目标播放视频中目标时间戳的预设时间范围内的多个视频帧，再分别利用目标检测和人脸分类技术，从多个视频帧中确定发送给云端设备进行人脸特征比对的目标视频帧，相较于现有将截取的影视剧播放过程中某一视频帧发送给云端设备进行人脸识别，提高了发送给云端设备进行人脸识别的视频帧的图像质量以及鲁棒性，且充分利用了客户端设备的计算资源，进一步的，使得云端设备能够基于高图像质量的目标视频帧，更准确的识别目标视频帧中的人脸并向客户端设备反馈目标视频帧对应的人脸识别结果，提高了人脸识别的准确度以及识别结果召回率。
95.下面对本发明实施例提供的一种人脸识别方法进行详细介绍：
96.本发明实施例提供的一种人脸识别方法，可以应用于影视剧等视频中的人脸识别场景中。
97.在对视频中人物进行识别的场景中，因客户端设备的性能层次不齐，如果将人脸识别的整个过程部署于客户端设备，容易导致客户端设备向用户返回识别结果的延迟，影响用户对人脸识别的体验。而将人脸识别的整个过程部署于云端设备，客户端设备只是获取待识别的图像帧，使得人脸识别的过程依赖于云端设备，云端设备的服务成本较高。基于此，本发明实施例中，将人脸识别划分为人脸检测和人脸特征比对两部分，将人脸检测的过程部署于客户端设备中，以充分利用客户端设备的计算资源和缓存能力，将人脸特征比对的过程部署于云端设备中，减少云端设备在人脸检测方面的服务成本，使得客户端设备与云端设备协同完成人脸识别的过程。
98.如图1所示，本发明实施例所提供的一种人脸识别方法，应用于客户端设备，可以通过如下步骤实现：
99.s101，获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧。
100.本发明实施例中，利用客户端设备中的视频帧缓存模块对需要进行人脸识别的视频帧进行缓存，以充分利用客户端设备的缓存能力。目标播放视频可以是客户端设备的播放器中正在播放的视频，也可以是客户端设备的播放器中任一能够播放的视频等等。预设时间范围可以根据客户端设备的计算能力进行设置，也可以根据经验值进行设置等，比如预设时间范围可以是目标时间戳向前两秒，或者向后两秒，或者前后各一秒或两秒等等，目标时间戳可以是当前时间戳。
101.一个例子中，客户端设备在接收到人脸识别指令的情况下，获取目标播放视频中当前时间戳向前两秒，或者向后两秒，或者前后各一秒或两秒时间范围内的视频帧，得到待处理视频帧。示例性的，目标播放视频一秒对应10帧视频帧，获取目标播放视频中当前时间戳向前两秒，或者向后两秒时间范围内的视频帧，得到20帧待处理视频帧。
102.s102，对待处理视频帧中每一视频帧进行目标检测，得到各视频帧的目标检测结果。
103.针对待处理视频帧中每一视频帧，利用预先训练好的目标检测模型对该视频帧中所包含的检测目标进行目标检测，得到该视频帧的目标检测结果。其中，预先训练好的目标检测模型是根据样本视频帧，以及样本视频帧的目标检测结果进行训练得到的。
104.检测目标可以是人像或人脸等。目标检测结果中可以包含：人像或人脸对应的锚框(或称目标检测框)的位置信息，以及视频帧中包含的人像或人脸的数量等信息。一个例子中，一个目标检测结果包含一个人像或人脸对应的目标检测框的位置信息，一个视频帧可能对应多个目标检测结果。
105.s103，基于各目标检测结果，对待处理视频帧的各视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果。
106.一个视频帧中可能包含多个人脸，各视频帧中出现的人脸可能属于不同的对象(即检测目标)。进而，在得到各视频帧对应的目标检测结果后，可以利用预先训练好的分类模型或者利用目标聚类算法，对待处理视频帧的各视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果。
107.其中，预先训练好的分类模型可以是根据样本目标检测结果，以及样本目标检测结果对应的分类结果进行训练得到的。目标聚类算法比如可以是k-means(k-means clustering algorithm，k均值聚类算法)、dbscan(density-based spatial clustering of applications with noise，基于密度的聚类算法)、isodata(iterative selforganizing data analysis techniques algorithm，迭代自组织数据分析算法)、以及birch(balanced iterative reducing and clustering using hierarchies，基于层次结构的平衡迭代聚类方法)等。
108.示例性的，待处理视频帧包含20帧视频帧，每一视频帧中包含5个人脸对应5个对象，20帧视频帧对应100个目标检测结果，分别将这100个目标检测结果输入预先训练好的分类模型，或者利用目标聚类算法对这100个目标检测结果进行聚类，以实现对20帧视频帧中属于不同对象的人脸进行分类，得到五个类别的人脸分类结果。
109.s104，基于人脸分类结果，从待处理视频帧中确定目标视频帧。
110.针对人脸分类结果中的每一个类，从该类对应的视频帧中选择一个视频帧作为目标视频帧。示例性的，可以在每一个类对应的视频帧中随机选择一帧作为目标视频帧，也可以选择每一个类对应的视频帧中清晰度最高、和/或人脸为正脸、和/或人脸没有遮挡的一帧作为目标视频帧。
111.s105，将目标视频帧发送给云端设备，以使云端设备提取目标视频帧中的人脸特征，得到目标人脸特征，将目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配，并将预设的人脸特征库中与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果发送给客户端设备。
112.其中，预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息。示例性的，人脸特征对应的人物信息可以包括但不限于：人物名称、照片、年龄、出生地、星座、艺名、简历以及演艺经历等。
113.客户端设备确定目标视频帧之后，将目标视频帧发送给云端设备，以使云端设备对该目标视频帧中所包含的人脸进行特征提取以及特征匹配，实现人脸的识别，并向客户端设备反馈人脸识别结果。
114.在一种可能的实施方式中，上述目标检测结果中包含视频帧中检测目标对应的目标检测框的位置，在将目标视频帧发送给云端设备的同时，还可以将目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息发送给云端设备。
115.其中，目标检测结果中包含的视频帧中检测目标对应的目标检测框的位置，即对视频帧进行目标检测之后，得到的视频帧中人像或人脸对应的锚框(或称目标检测框)的位置信息，检测目标即所检测的对象。客户端设备所获取的目标播放视频中目标时间戳的预设时间范围内的每一视频帧均对应有时间戳，目标播放视频的标识信息用于标识目标播放视频，该标识信息可以是目标播放视频的名称、编码或标记信息等等。
116.本发明实施例中，将目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息发送给云端设备，以使云端设备能够更准确的对目标视频帧中所包含的人脸进行识别，进一步提高人脸识别的准确度以及识别结果的召回率。
117.s106，接收云端设备发送的人脸识别结果。
118.一个例子中，客户端设备接收云端设备发送的人脸识别结果之后，还可以在目标播放视频的播放界面任一位置处展示人脸识别结果。示例性的，如图2所示，在目标播放视频的播放界面中展示人脸的识别结果，该识别结果中包含人物a，并在目标播放视频的播放界面的一侧展示人物a的信息。
119.本发明实施例提供的一种人脸识别方法，客户端设备获取目标播放视频中目标时间戳的预设时间范围内的多个视频帧，再分别利用目标检测和人脸分类技术，从多个视频帧中确定发送给云端设备进行人脸特征比对的目标视频帧，相较于现有将截取的影视剧播放过程中某一视频帧发送给云端设备进行人脸识别，提高了发送给云端设备进行人脸识别的视频帧的图像质量以及鲁棒性，且充分利用了客户端设备的计算资源，进一步的，使得云端设备能够基于高图像质量的目标视频帧，更准确的识别目标视频帧中的人脸并向客户端设备反馈目标视频帧对应的人脸识别结果，提高了人脸识别的准确度以及识别结果召回率。
120.在一种可能的实施方式中，上述步骤s103基于各目标检测结果，对待处理视频帧的各视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果的实施方式，可以包括：
121.按照目标播放视频中各视频帧的播放顺序，在待处理视频帧的各视频帧中对各目标检测结果进行人脸跟踪，得到各目标检测结果的人脸跟踪结果；
122.针对各人脸跟踪结果，保留人脸跟踪结果为正脸对应的视频帧，得到候选视频帧；
123.对各候选视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果。
124.本发明实施例中，上述对待处理视频帧中每一视频帧进行目标检测，得到的各视频帧的目标检测结果中包含：该视频帧中人像或人脸对应的目标检测框的位置，一个目标检测结果对应视频帧中一张人像或人脸的目标检测框的位置。针对每一目标检测结果，按照目标播放视频中各视频帧的播放顺序(即各视频帧对应的时间戳的先后顺序)，在待处理视频帧的各视频帧中对该目标检测结果中的目标检测框的位置进行人脸跟踪，得到该目标
检测结果的人脸跟踪结果。其中，人脸跟踪结果可以包括：正脸、侧脸、背影、全局或局部、背景、模糊等。
125.一个例子中，可以采用运动分割、光流或立体视觉等方法，在待处理视频帧的各视频帧中对各目标检测结果进行人脸跟踪，得到的人脸跟踪结果可以包含：人脸所在视频帧的标识，人脸在各视频帧中属于正脸、侧脸、背影、全局或局部、背景、模糊等信息。
126.在得到人脸跟踪结果之后，将各目标检测结果对应的视频帧中，人脸属于侧脸、背影、局部、背景或模糊以及冗余(或称重复)的视频帧舍弃(即丢弃)，保留人脸跟踪结果为正脸对应的视频帧，得到候选视频帧。再针对各候选视频帧，根据各候选视频帧对应的目标检测结果对各候选视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果。一个例子中，可以采用上述预先训练好的分类模型或者利用目标聚类算法，对各候选视频帧中属于不同对象的人脸进行分类，本发明实施例在此不再赘述。
127.本发明实施例中，按照目标播放视频中各视频帧的播放顺序，在待处理视频帧的各视频帧中对各目标检测结果进行人脸跟踪，得到各目标检测结果的人脸跟踪结果，保留人脸跟踪结果为正脸对应的视频帧，以舍弃图像质量不高的、人脸跟踪结果为侧脸、背影、局部、背景或模糊以及冗余的视频帧，并对各候选视频帧中属于不同对象的人脸进行分类，以便于客户端设备从人脸分类之后的属于不同对象的人脸分类结果对应的视频帧中确定图像质量较高的目标视频帧发送给云端设备进行人脸识别，提高了发送给云端设备进行人脸识别的视频帧的图像质量以及鲁棒性。
128.在一种可能的实施方式中，上述方法还可以包括：对目标播放视频所播放的视频帧进行缓存；
129.相应的，上述步骤s101获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧，可以包括：在接收到人脸识别指令的情况下，获取目标播放视频当前时间戳之前第一预设时间范围内已缓存的视频帧，以及目标播放视频当前时间戳之后第二预设时间范围内播放并缓存的视频帧，得到待处理视频帧。
130.本发明实施例中，利用客户端设备中的视频帧缓存模块对目标播放视频所播放的视频帧进行实时缓存，以充分利用客户端设备的缓存能力。其中，第一预设时间范围与第二预设时间范围可以相同或不同。第一预设时间范围与第二预设时间范围可以是1秒、2秒或3秒等。
131.示例性的，第一预设时间范围与第二预设时间范围均为1秒，在接收到人脸识别指令的情况下，客户端设备获取目标播放视频当前时间戳之前1秒内已缓存的视频帧，以及目标播放视频当前时间戳之后1秒内播放并缓存的视频帧，得到待处理视频帧。如果1秒对应10帧，则获取当前时间戳往前1秒和往后1秒的视频帧，即当前时间戳前后各1秒内的20帧视频帧，得到待处理视频帧。
132.本发明实施例中，对目标播放视频所播放的视频帧进行缓存，充分利用了客户端设备的缓存能力，在接收到人脸识别指令的情况下，通过获取目标播放视频中当前时间戳前后预设时间范围(第一预设时间范围和/或第二预设时间范围)内的视频帧的方式，以提高客户端设备发送给云端设备进行人脸识别图像的质量和鲁棒性。
133.在一种可能的实施方式中，上述步骤s104基于人脸分类结果，从待处理视频帧中确定目标视频帧的实施方式，可以包括：
134.针对每一人脸分类结果，从该人脸分类结果对应的视频帧中选择满足预设质量要求的一帧图像，作为该人脸分类结果对应的目标视频帧。
135.其中，预设质量要求可以包含满足以下至少一项：清晰度最高、人脸为正脸、人脸没有遮挡等。
136.示例性的，人脸分类结果包含5个类别的人脸(对应5个人)，针对每一人脸分类结果，在该人脸分类结果对应的视频帧只有一帧的情况下，将该视频帧作为该人脸分类结果对应的目标视频帧；在该人脸分类结果对应的视频帧为多帧的情况下，从该人脸分类结果对应的视频帧中选择清晰度最高、人脸为正脸或人脸没有遮挡的一帧图像，作为该人脸分类结果对应的目标视频帧，舍弃该人脸分类结果对应的其他视频帧。
137.本发明实施例中，从人脸分类结果对应的视频帧中选择清晰度最高、人脸为正脸或人脸没有遮挡的一帧图像，作为该人脸分类结果对应的目标视频帧，以提高发送给云端设备进行人脸识别的图像质量。
138.如图3所示，本发明实施例所提供的另一种人脸识别方法，应用于客户端设备，可以通过如下步骤实现：
139.s301，对目标播放视频所播放的视频帧进行缓存；
140.s302，在接收到人脸识别指令的情况下，获取目标播放视频当前时间戳之前第一预设时间范围内已缓存的视频帧，以及目标播放视频当前时间戳之后第二预设时间范围内播放并缓存的视频帧，得到待处理视频帧；
141.s303，对待处理视频帧中每一视频帧进行目标检测，得到各视频帧的目标检测结果；
142.s304，按照目标播放视频中各视频帧的播放顺序，在待处理视频帧的各视频帧中对各目标检测结果进行人脸跟踪，得到各目标检测结果的人脸跟踪结果；
143.其中，人脸跟踪结果包括：正脸、侧脸、背影、全局或局部；
144.s305，针对各人脸跟踪结果，保留人脸跟踪结果为正脸对应的视频帧，得到候选视频帧；
145.s306，对各候选视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果；
146.s307，基于人脸分类结果，从待处理视频帧中确定目标视频帧；
147.s308，将目标视频帧发送给云端设备，以使云端设备提取目标视频帧中的人脸特征，得到目标人脸特征，将目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配，并将预设的人脸特征库中与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果发送给客户端设备；
148.其中，预设的人脸特征库中包括人脸特征，以及人脸特征对应的人物信息。
149.s309，接收云端设备发送的人脸识别结果。
150.本发明实施例提供的一种人脸识别方法，客户端设备获取目标播放视频中当前时间戳的预设时间范围内的多个视频帧，再分别利用目标检测和人脸分类技术，从多个视频帧中确定发送给云端设备进行人脸特征比对的目标视频帧，相较于现有将截取的影视剧播放过程中某一视频帧发送给云端设备进行人脸识别，提高了发送给云端设备进行人脸识别的视频帧的图像质量以及鲁棒性，且充分利用了客户端设备的缓存能力和计算资源，进一
步的，使得云端设备能够基于高图像质量的目标视频帧，更准确的识别目标视频帧中的人脸并向客户端设备反馈目标视频帧对应的人脸识别结果，提高了人脸识别的准确度以及识别结果召回率。
151.示例性的，如图4所示，客户端设备包括视频帧缓存模块、人脸跟踪检测模块以及人脸分类合并模块。视频帧缓存模块对目标播放视频所播放的视频帧进行缓存。客户端设备设置有用户可触发的人脸识别功能入口，在用户触发人脸识别的情况下，视频帧缓存模块接收人脸识别指令，获取目标播放视频当前时间戳前1秒内已缓存的视频帧，以及目标播放视频当前时间戳后1秒内播放并缓存的视频帧，得到待处理视频帧(图4中抽取视频帧)。比如，1秒对应10帧，则获取当前时间戳往前1秒和往后1秒内的20帧视频帧(即待处理视频帧)。对待处理视频帧和各视频帧的时间戳进行存储(图4中存储视频帧和时间戳)。
152.人脸跟踪检测模块对待处理视频帧中每一视频帧进行人脸检测(图4中人脸检测)，得到各视频帧的人脸检测结果，各视频帧的人脸检测结果可以表示成[有人脸帧，时间戳]的列表。然后按照目标播放视频中各视频帧的播放顺序，在待处理视频帧的各视频帧中对各人脸检测结果进行人脸跟踪，得到各人脸检测结果的人脸跟踪结果(图4中基于前后帧的人脸跟踪)，针对各人脸跟踪结果，保留人脸跟踪结果为正脸对应的视频帧，得到候选视频帧。
[0153]
人脸分类合并模块对各候选视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果，即过滤同类正脸帧，默认同类属于同一个人脸实体。进一步的，客户端设备基于人脸分类结果，从待处理视频帧中确定目标视频帧，并将目标视频帧发送给云端设备，以使云端设备对目标视频帧中的人脸进行识别。
[0154]
如图5所示，本发明实施例所提供的另一种人脸识别方法，应用于云端设备，可以通过如下步骤实现：
[0155]
s501，接收客户端设备发送的目标视频帧。
[0156]
其中，目标视频帧为：客户端设备获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧，并对待处理视频帧中各视频帧分别进行目标检测，以及基于各目标检测结果对待处理视频帧的各视频帧中属于不同对象的人脸进行分类后，基于人脸分类结果从待处理视频帧中确定的。具体客户端设备确定并发送目标视频帧的实现过程参见上文描述，本发明实施例在此不再赘述。
[0157]
s502，提取目标视频帧中的人脸特征，得到目标人脸特征。
[0158]
在人脸识别的过程中比对的是人脸特征，因离散化的特征比较适合做向量运算，实现快速的特征比对，本发明实施例中，人脸特征为离散化的人脸特征，通过离散化序列来存储，同时节省了存储空间。
[0159]
一个例子中，目标检测结果中包含视频帧中检测目标对应的目标检测框的位置，客户端设备在将目标视频帧发送给云端设备的同时，还将目标视频帧中检测目标对应的目标检测框的位置也发送给了云端设备。云端设备接收客户端设备发送的目标视频帧以及目标视频帧中检测目标对应的目标检测框的位置，进而能够基于目标视频帧中检测目标对应的目标检测框的位置，准确的对该目标视频帧的目标检测框中所包含的人脸特征进行提取，以得到目标人脸特征。
[0160]
s503，将目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配。
[0161]
云端设备中存储有预设的人脸特征库，该预设的人脸特征库中包含大量的人脸特征。示例性的，该预设的人脸特征库中所包含的人脸特征可以是目标对象在视频中饰演角色下的人脸特征，也可以是能够表征目标对象真实身份的人脸特征，比如目标对象在不同年龄段的人脸特征等等，目标对象比如可以是目标人物。
[0162]
一个例子中，计算目标人脸特征与预设的人脸特征库中所包含的各人脸特征之间的相似度，将与目标人脸特征的相似度最大对应的人脸特征，或者，将与目标人脸特征的相似度大于目标阈值对应的人脸特征，确定为与目标人脸特征匹配的人脸特征。其中，目标阈值比如可以是0.8、0.9或0.95等等。
[0163]
s504，在预设的人脸特征库中存在与目标人脸特征匹配的人脸特征的情况下，将与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果，并将人脸识别结果发送给客户端设备。
[0164]
其中，预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息。示例性的，人脸特征对应的人物信息可以包括但不限于：人物名称、照片、年龄、出生地、星座、艺名、简历以及演艺经历等。
[0165]
一个例子中，在预设的人脸特征库中不存在与目标人脸特征匹配的人脸特征的情况下，向客户端设备发送未识别到的结果。
[0166]
本发明实施例提供的一种人脸识别方法，客户端设备获取目标播放视频中目标时间戳的预设时间范围内的多个视频帧，再分别利用目标检测和人脸分类技术，从多个视频帧中确定发送给云端设备进行人脸特征比对的目标视频帧，相较于现有将截取的影视剧播放过程中某一视频帧发送给云端设备进行人脸识别，提高了发送给云端设备进行人脸识别的视频帧的图像质量以及鲁棒性，且充分利用了客户端设备的计算资源。进一步的，云端设备能够基于高图像质量的目标视频帧，利用预设的人脸特征库中所包含的人脸特征与该目标视频帧中的目标人脸特征进行比对，以更准确的识别目标视频帧中的人脸并向客户端设备反馈目标视频帧对应的人脸识别结果，提高了人脸识别的准确度以及识别结果召回率，且，在客户端设备中完成人脸检测和分类，减少了云端设备的计算量，进而降低了云端设备进行人脸检测和分类对应的成本。
[0167]
如图6所示，本发明实施例所提供的另一种人脸识别方法，应用于云端设备，可以通过如下步骤实现：
[0168]
s601，接收客户端设备发送的目标视频帧、目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息。
[0169]
s602，确定目标播放视频的标识信息是否对应有数据关系表。
[0170]
云端设备中存储有历史人脸识别结果，该历史人脸识别结果以数据关系表的形式存储在云端设备中。一个例子中，一个影视剧内容(即一个目标播放视频)对应一个数据关系表。
[0171]
云端设备在接收到客户端设备发送的目标视频帧、目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息的情况下，根据视频的标识信息与数据关系表之间的对应关系，查询历史人脸识别结果中是否存在与目标播放视频的标识信息相对应的数据关系表，如果存在，则表示该云端设备对目标播放视频中所包含的检测目标进行人脸识别过，如果不存在，则表示该云端设备没有对目标播放
视频中所包含的检测目标进行人脸识别过。
[0172]
s603，如果目标播放视频的标识信息对应有数据关系表，查询数据关系表中是否存在：与目标视频帧对应的时间戳相同的视频帧时间戳、以及与目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置。
[0173]
其中，数据关系表中包括：视频帧时间戳和检测框位置与人物识别结果之间的对应关系；检测框位置与目标视频帧中检测目标对应的目标检测框的位置匹配表示：检测框位置与目标视频帧中检测目标对应的目标检测框的位置相同，或者检测框位置与目标视频帧中检测目标对应的目标检测框的位置之间的距离小于预设距离阈值。预设距离阈值可以根据需求或经验值进行设定，比如0.4、0.5或0.6毫秒或厘米等等。
[0174]
s604，如果数据关系表中存在：与目标视频帧对应的时间戳相同的视频帧时间戳、以及与目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置，则将数据关系表中与目标视频帧对应的时间戳和目标视频帧中检测目标对应的目标检测框的位置相对应的人物识别结果，确定为目标视频帧的人脸识别结果，并发送给客户端设备。
[0175]
数据关系表中存在与目标视频帧对应的时间戳相同的时间戳、以及与目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置，表示待识别的目标视频帧中的人物，与数据关系表中已识别过的人物属于同一人，即云端设备历史对目标播放视频中与目标视频帧对应的时间戳相同的视频帧时间戳对应的同一人进行人脸识别过，此时，将对应的人物识别结果确定为目标视频帧的人脸识别结果。
[0176]
s605，如果目标播放视频的标识信息没有对应数据关系表，或者数据关系表中不存在：与目标视频帧对应的时间戳相同的视频帧时间戳、以及与目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置，则提取目标视频帧中的人脸特征，得到目标人脸特征。
[0177]
其中，提取目标视频帧中的人脸特征，得到目标人脸特征的实现过程，可参照上述步骤s502的实现过程，本发明实施例在此不再赘述。
[0178]
s606，将目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配。
[0179]
s607，在预设的人脸特征库中存在与目标人脸特征匹配的人脸特征的情况下，将与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果，并将人脸识别结果发送给客户端设备。
[0180]
其中，预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息。步骤s606-s607的实现过程，可参照上述步骤s503-s504的实现过程，本发明实施例在此不再赘述。
[0181]
本发明实施例提供的一种人脸识别方法，客户端设备获取目标播放视频中目标时间戳的预设时间范围内的多个视频帧，再分别利用目标检测和人脸分类技术，从多个视频帧中确定发送给云端设备进行人脸特征比对的目标视频帧，相较于现有将截取的影视剧播放过程中某一视频帧发送给云端设备进行人脸识别，提高了发送给云端设备进行人脸识别的视频帧的图像质量以及鲁棒性，且充分利用了客户端设备的计算资源。进一步的，云端设备优先查询是否已对同一目标播放视频中同一时间点同一人物进行过人脸识别，如果是，则直接返回存储的人脸识别结果，否则基于高图像质量的目标视频帧，利用预设的人脸特征库中所包含的人脸特征与该目标视频帧中的目标人脸特征进行比对，以更准确的识别目
标视频帧中的人脸并向客户端设备反馈目标视频帧对应的人脸识别结果，提高了人脸识别的准确度以及识别结果召回率。
[0182]
在一种可能的实施方式中，上述预设的人脸特征库包括：第一人脸特征库以及第二人脸特征库，其中，第一人脸特征库中所包含的人脸特征用于表征目标对象在视频中饰演角色下的人脸特征，第二人脸特征库中所包含的人脸特征用于表征目标对象真实身份的人脸特征。第一人脸特征库中包括第一人脸特征，以及该第一人脸特征对应的人物信息，第二人脸特征库中也包括第二人脸特征，以及该第二人脸特征对应的人物信息。
[0183]
一个例子中，第一人脸特征库中包含目标对象在不同视频中不同装扮(比如发饰、头饰/帽子、墨镜、妆容等装扮)下的人脸特征，该不同装扮下的人脸特征可以是从目标对象在视频中所饰演角色下的图像中获取的，第二人脸特征库中包含目标对象在不同年龄段下的人脸特征(即全生命周期的人脸特征)，该不同年龄段下的人脸特征可以是从目标对象在不同年龄段下生活照或证件照等用于表征目标对象真实身份的图像中获取的。第二人脸特征库是全局特征库，不受播放视频不同的影响，而针对不同的播放视频，第一人脸特征库不同(即一个视频对应一个第一人脸特征库)。
[0184]
相应的，参见图7，上述将目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配；在预设的人脸特征库中存在与目标人脸特征匹配的人脸特征的情况下，将与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果，并将人脸识别结果发送给客户端设备，包括：
[0185]
s701，基于目标播放视频的标识信息，以及视频的标识信息与第一人脸特征库之间的对应关系表，确定是否存在与目标播放视频对应的第一人脸特征库。
[0186]
云端设备存储有视频的标识信息与第一人脸特征库之间的对应关系表，通过查询视频的标识信息与第一人脸特征库之间的对应关系表，可以确定是否存在与目标播放视频对应的第一人脸特征库。
[0187]
s702，在存在与目标播放视频对应的第一人脸特征库的情况下，将目标人脸特征与第一人脸特征库中所包含的人脸特征进行匹配。
[0188]
一个例子中，在存在与目标播放视频对应的第一人脸特征库的情况下，计算目标人脸特征与第一人脸特征库中所包含的各人脸特征之间的相似度，将与目标人脸特征之间的相似度最大对应的人脸特征，或者，将与目标人脸特征之间的相似度大于目标阈值对应的人脸特征，确定为与目标人脸特征匹配的人脸特征。其中，目标阈值比如可以是0.8、0.9或0.95等等。
[0189]
s703，在目标人脸特征与第一人脸特征库中所包含的人脸特征匹配的情况下，将第一人脸特征库中与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果，并发送给客户端设备。
[0190]
s704，在目标人脸特征与第一人脸特征库中所包含的人脸特征不匹配，或者不存在与目标播放视频对应的第一人脸特征库的情况下，将目标人脸特征与第二人脸特征库中所包含的人脸特征进行匹配。
[0191]
s705，在目标人脸特征与第二人脸特征库中所包含的人脸特征匹配的情况下，将第二人脸特征库中与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果，并发送给客户端设备。
[0192]
本发明实施例中，云端设备利用包含用于表征目标对象在视频中饰演角色下的人脸特征的第一人脸特征库，以及包含用于表征目标对象真实身份的人脸特征的第二人脸特征库中的人脸特征，与待进行人脸识别的目标视频帧中目标人脸特征进行比对，相较于只使用用于表征目标对象真实身份的人脸特征进行人脸识别，提高了人脸识别的准确度以及识别结果召回率，且，针对不同的播放视频，第一人脸特征库不同，使得不同的第一人脸特征库之间不存在信息干扰。
[0193]
在一种可能的实施方式中，上述预设的人脸特征库包括：第一人脸特征库以及第二人脸特征库，第一人脸特征库中所包含的人脸特征用于表征目标对象在视频中饰演角色下的人脸特征，第二人脸特征库中所包含的人脸特征用于表征目标对象真实身份的人脸特征。第一人脸特征库中包括第一人脸特征，以及该第一人脸特征对应的人物信息，第二人脸特征库中也包括第二人脸特征，以及该第二人脸特征对应的人物信息。
[0194]
相应的，上述将目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配；在预设的人脸特征库中存在与目标人脸特征匹配的人脸特征的情况下，将与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果，并将人脸识别结果发送给客户端设备，包括：
[0195]
基于目标播放视频的标识信息，以及视频的标识信息与第一人脸特征库之间的对应关系表，确定是否存在与目标播放视频对应的第一人脸特征库；
[0196]
在存在与目标播放视频对应的第一人脸特征库的情况下，将目标人脸特征与第一人脸特征库中所包含的人脸特征进行匹配，得到第一匹配结果；
[0197]
将目标人脸特征与第二人脸特征库中所包含的人脸特征进行匹配，得到第二匹配结果；
[0198]
基于第一匹配结果以及第二匹配结果，得到目标视频帧的人脸识别结果，并发送给客户端设备。
[0199]
基于所述第一匹配结果以及所述第二匹配结果，得到所述目标视频帧的人脸识别结果，并发送给所述客户端设备。
[0200]
一个例子中，在存在与目标播放视频对应的第一人脸特征库的情况下，确定第一人脸特征库中与目标人脸特征之间的相似度最高对应的第一人脸特征，将该第一人脸特征对应的人物信息作为第一匹配结果，将该第一人脸特征与目标人脸特征之间的相似度确定为第一匹配相似度；以及，确定第二人脸特征库中与目标人脸特征之间的相似度最高对应的第二人脸特征，将该第二人脸特征对应的人物信息作为第二匹配结果，将该第二人脸特征与目标人脸特征之间的相似度确定为第二匹配相似度。进一步的，比较第一匹配相似度与第二匹配相似度，将匹配相似度较高对应的匹配结果确定为目标视频帧的人脸识别结果。或者，将第一匹配结果和第二匹配结果均确定为目标视频帧的人脸识别结果。
[0201]
本发明实施例中，云端设备利用包含用于表征目标对象在视频中饰演角色下的人脸特征的第一人脸特征库，以及包含用于表征目标对象真实身份的人脸特征的第二人脸特征库中的人脸特征，与待进行人脸识别的目标视频帧中目标人脸特征进行比对，相较于只使用用于表征目标对象真实身份的人脸特征进行人脸识别，提高了人脸识别的准确度以及识别结果召回率，且，针对不同的播放视频，第一人脸特征库不同，使得不同的第一人脸特征库之间不存在信息干扰，以及结合第一匹配结果和第二匹配结果得到目标视频帧的人脸
识别结果，进一步提高了识别结果的召回率。
[0202]
示例性的，如图8所示，云端设备包括时间戳比对模块、人脸特征提取模块以及人脸特征比对模块。云端设备接收客户端设备发送的目标视频帧、目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息。
[0203]
时间戳比对模块确定目标播放视频的标识信息是否对应有数据关系表，如果目标播放视频的标识信息对应有数据关系表，查询数据关系表中是否存在：与目标视频帧对应的时间戳相同的视频帧时间戳、以及与目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置，如果存在，则将数据关系表中与目标视频帧对应的时间戳和目标视频帧中检测目标对应的目标检测框的位置相对应的人物识别结果，确定为目标视频帧的人脸识别结果。云端设备将人脸识别结果并发送给客户端设备。
[0204]
人脸特征提取模块在目标播放视频的标识信息没有对应数据关系表，或者数据关系表中不存在：与目标视频帧对应的时间戳相同的视频帧时间戳、以及与目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置的情况下，提取目标视频帧中的人脸特征，得到目标人脸特征。
[0205]
人脸特征比对模块基于目标播放视频的标识信息，以及视频的标识信息与第一人脸特征库之间的对应关系表，确定是否存在与目标播放视频对应的第一人脸特征库，在存在的情况下，将目标人脸特征与第一人脸特征库中所包含的人脸特征进行匹配，得到第一匹配结果；以及将目标人脸特征与第二人脸特征库中所包含的人脸特征进行匹配，得到第二匹配结果；基于第一匹配结果以及第二匹配结果，得到目标视频帧的人脸识别结果。云端设备将人脸识别结果并发送给客户端设备。
[0206]
在一种可能的实施方式中，在基于上述第一人脸特征库和/或第二人脸特征库得到目标视频帧的人脸识别结果的情况下，可以进一步将目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳、目标播放视频的标识信息以及目标视频帧的人脸识别结果，更新至目标播放视频的标识信息对应的数据关系表中。
[0207]
在一种可能的实施方式中，上述方法还可以包括：
[0208]
在目标人脸特征与第二人脸特征库中所包含的人脸特征不匹配的情况下，将目标视频帧以及目标视频帧中检测目标对应的目标检测框的位置发送给运营端，以使运营端将目标视频帧中检测目标对应的真实身份的人脸特征，以及该人脸特征对应的人物信息更新至第二人脸特征库中；
[0209]
在目标人脸特征与目标播放视频对应的第一人脸特征库中所包含的人脸特征不匹配，或者不存在与目标播放视频对应的第一人脸特征库的情况下，将目标视频帧、目标视频帧中检测目标对应的目标检测框的位置以及目标播放视频的标识信息发送给运营端，以使运营端将目标视频帧中检测目标在目标播放视频中所饰演角色下的人脸特征，以及该人脸特征对应的人物信息更新至第一人脸特征库中。
[0210]
在目标人脸特征与第二人脸特征库中所包含的人脸特征不匹配的情况下，云端设备无法识别到目标视频帧中的人物信息，此时，将目标视频帧以及目标视频帧中检测目标对应的目标检测框的位置发送给运营端，以使运营端将目标视频帧中检测目标对应的真实身份的人脸特征以及该人脸特征对应的人物信息更新至第二人脸特征库中，实现第二人脸特征库的实时更新。
[0211]
在目标人脸特征与目标播放视频对应的第一人脸特征库中所包含的人脸特征不匹配，或者不存在与目标播放视频对应的第一人脸特征库的情况下，云端设备不能够准确的识别视频中的人物，此时，将目标视频帧、目标视频帧中检测目标对应的目标检测框的位置以及目标播放视频的标识信息发送给运营端，以使运营端将目标视频帧中检测目标在目标播放视频中所饰演角色下的人脸特征以及该人脸特征对应的人物信息更新至第一人脸特征库中，实现第一人脸特征库的实时更新和创建。
[0212]
示例性的，如图9所示，运营端可以预先基于影视剧图像，利用人脸特征提取模块提取影视剧图像中人物的人脸特征，再根据该人脸特征以及该人脸特征对应的人物信息创建第一人脸特征库；以及基于目标对象的生活照图像，利用人脸特征提取模块提取生活照图像中的人脸特征，再根据该人脸特征以及该人脸特征对应的人物信息创建第二人脸特征库。进一步的，将第一人脸特征库和第二人脸特征库存储至云端设备，运营端对第一人脸特征库和第二人脸特征库进行维护，以及，在接收到云端设备发送的目标视频帧以及目标视频帧中检测目标对应的目标检测框的位置的情况下，补充更新第二人脸特征库；在接收到云端设备发送的目标视频帧、目标视频帧中检测目标对应的目标检测框的位置以及目标播放视频的标识信息的情况下，补充更新第一人脸特征库。
[0213]
本发明实施例中，通过运营端维护第一人脸特征库和第二人脸特征库，在云端设备无法识别到目标视频帧中的人物信息时，将目标视频帧的相关信息发送给运营端，以使运营端将目标视频帧中检测目标对应的真实身份的人脸特征，以及该人脸特征对应的人物信息更新至第二人脸特征库中，实现第二人脸特征库的实时更新。以及在云端设备不能够准确的识别视频中的人物时，将目标视频帧的相关信息发送给运营端，以使运营端将目标视频帧中检测目标在目标播放视频中所饰演角色下的人脸特征以及该人脸特征对应的人物信息更新至第一人脸特征库中，实现第一人脸特征库的实时更新和创建。
[0214]
示例性的，如图10所示，本发明实施例提供的一种人脸识别方法，可以包括：
[0215]
客户端设备对目标播放视频所播放的视频帧进行缓存，在接收到人脸识别指令的情况下，获取目标播放视频当前时间戳之前第一预设时间范围内已缓存的视频帧，以及目标播放视频当前时间戳之后第二预设时间范围内播放并缓存的视频帧，得到待处理视频帧，对待处理视频帧中每一视频帧进行目标检测，得到各视频帧的目标检测结果，基于各目标检测结果，对待处理视频帧的各视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果，基于人脸分类结果，从待处理视频帧中确定目标视频帧，将目标视频帧、目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息发送给云端设备。
[0216]
云端设备接收客户端设备发送的目标视频帧、目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息，确定目标播放视频的标识信息是否对应有数据关系表，如果有，查询数据关系表中是否存在：与目标视频帧对应的时间戳相同的视频帧时间戳、以及与目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置，如果存在，则将数据关系表中与目标视频帧对应的时间戳和目标视频帧中检测目标对应的目标检测框的位置相对应的人物识别结果，确定为目标视频帧的人脸识别结果，并发送给客户端设备；否则，提取目标视频帧中的人脸特征，得到目标人脸特征，将目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配，在预设的人脸
特征库中存在与目标人脸特征匹配的人脸特征的情况下，将与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果，将人脸识别结果发送给客户端设备。
[0217]
客户端设备接收云端设备发送的人脸识别结果。
[0218]
本发明实施例提供的一种人脸识别方法，客户端设备获取目标播放视频中目标时间戳的预设时间范围内的多个视频帧，再分别利用目标检测和人脸分类技术，从多个视频帧中确定发送给云端设备进行人脸特征比对的目标视频帧，相较于现有将截取的影视剧播放过程中某一视频帧发送给云端设备进行人脸识别，提高了发送给云端设备进行人脸识别的视频帧的图像质量以及鲁棒性，且充分利用了客户端设备的缓存能力和计算资源。进一步的，云端设备优先查询是否已对同一目标播放视频中同一时间点同一人物进行过人脸识别，如果是，则直接返回存储的人脸识别结果，否则基于高图像质量的目标视频帧，利用预设的人脸特征库中所包含的人脸特征与该目标视频帧中的目标人脸特征进行比对，以更准确的识别目标视频帧中的人脸并向客户端设备反馈目标视频帧对应的人脸识别结果，提高了人脸识别的准确度以及识别结果召回率，且，在客户端设备中完成人脸检测和分类，减少了云端设备的计算量，进而降低了云端设备进行人脸检测和分类对应的成本。
[0219]
示例性的，如图11所示，本发明实施例提供的一种人脸识别方法，可以包括：
[0220]
客户端的视频帧缓存模块对目标播放视频所播放的视频帧进行缓存，在接收到人脸识别指令的情况下，获取目标播放视频当前时间戳之前第一预设时间范围内已缓存的视频帧，以及目标播放视频当前时间戳之后第二预设时间范围内播放并缓存的视频帧，得到待处理视频帧。客户端的人脸检测跟踪模块对待处理视频帧中每一视频帧进行目标检测，得到各视频帧的目标检测结果，按照目标播放视频中各视频帧的播放顺序，在待处理视频帧的各视频帧中对各目标检测结果进行人脸跟踪，得到各目标检测结果的人脸跟踪结果，针对各人脸跟踪结果，保留人脸跟踪结果为正脸对应的视频帧，得到候选视频帧。客户端的人脸分类模块对各候选视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果，基于人脸分类结果，从待处理视频帧中确定目标视频帧。客户端将目标视频帧、目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息发送给云端。在目标视频帧为多个的情况下，将目标视频帧对应的视频帧列表以及该视频帧列表中每一目标视频帧对应的时间戳组成的时间戳列表发送给云端。
[0221]
云端接收客户端发送的目标视频帧、目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息。云端的时间戳比对模块确定目标播放视频的标识信息是否对应有数据关系表，如果有，查询数据关系表中是否存在：与目标视频帧对应的时间戳相同的视频帧时间戳、以及与目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置，如果存在，则将数据关系表中与目标视频帧对应的时间戳和目标视频帧中检测目标对应的目标检测框的位置相对应的人物识别结果，确定为目标视频帧的人脸识别结果，并发送给客户端设备。云端的人脸特征提取模块在目标播放视频的标识信息没有对应数据关系表，或者数据关系表中不存在：与目标视频帧对应的时间戳相同的视频帧时间戳、以及与目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置的情况下，提取目标视频帧中的人脸特征，得到目标人脸特征。
[0222]
云端的人脸特征比对模块基于目标播放视频的标识信息，以及视频的标识信息与
第一人脸特征库之间的对应关系表，确定是否存在与目标播放视频对应的第一人脸特征库，在存在的情况下，将目标人脸特征与第一人脸特征库中所包含的人脸特征进行匹配，在目标人脸特征与第一人脸特征库中所包含的人脸特征匹配的情况下，将第一人脸特征库中与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果，并发送给客户端；在目标人脸特征与第一人脸特征库中所包含的人脸特征不匹配，或者不存在与目标播放视频对应的第一人脸特征库的情况下，将目标人脸特征与第二人脸特征库中所包含的人脸特征进行匹配，在目标人脸特征与第二人脸特征库中所包含的人脸特征匹配的情况下，将第二人脸特征库中与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果，并发送给客户端。
[0223]
云端在目标人脸特征与第二人脸特征库中所包含的人脸特征不匹配的情况下，将目标视频帧以及目标视频帧中检测目标对应的目标检测框的位置发送给运营端，运营端获取目标视频帧中检测目标对应的目标检测框对应的人脸的生活照图像，利用人脸特征提取模块提取生活照图像中的人脸特征，将该人脸特征以及该人脸特征对应的人物信息更新至第二人脸特征库中。云端在目标人脸特征与目标播放视频对应的第一人脸特征库中所包含的人脸特征不匹配，或者不存在与目标播放视频对应的第一人脸特征库的情况下，将目标视频帧、目标视频帧中检测目标对应的目标检测框的位置以及目标播放视频的标识信息发送给运营端，运营端获取目标视频帧中检测目标在目标播放视频中所饰演角色下的影视剧图像，利用人脸特征提取模块提取影视剧图像中的人脸特征，将该人脸特征以及该人脸特征对应的人物信息更新至第一人脸特征库中。
[0224]
本发明实施例提供的一种人脸识别方法，客户端设备获取目标播放视频中目标时间戳的预设时间范围内的多个视频帧，再分别利用目标检测和人脸分类技术，从多个视频帧中确定发送给云端设备进行人脸特征比对的目标视频帧，相较于现有将截取的影视剧播放过程中某一视频帧发送给云端设备进行人脸识别，提高了发送给云端设备进行人脸识别的视频帧的图像质量以及鲁棒性，且充分利用了客户端设备的缓存能力和计算资源。进一步的，云端设备优先查询是否已对同一目标播放视频中同一时间点同一人物进行过人脸识别，如果是，则直接返回存储的人脸识别结果，否则利用包含用于表征目标对象在视频中饰演角色下的人脸特征的第一人脸特征库，以及包含用于表征目标对象真实身份的人脸特征的第二人脸特征库中的人脸特征，与待进行人脸识别的目标视频帧中目标人脸特征进行比对，相较于只使用目标对象真实身份的人脸特征进行人脸识别，提高了人脸识别的准确度以及识别结果召回率，且，针对不同的播放视频，第一人脸特征库不同，使得不同的第一人脸特征库之间不存在信息干扰。
[0225]
相应于上述方法实施例，本发明实施例还提供了相应的装置实施例。
[0226]
如图12所示，本发明实施例提供了一种人脸识别装置，应用于客户端设备，该装置包括：
[0227]
视频帧获取模块1201，用于获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧；
[0228]
目标检测模块1202，用于对待处理视频帧中每一视频帧进行目标检测，得到各视频帧的目标检测结果；
[0229]
人脸分类模块1203，用于基于各目标检测结果，对待处理视频帧的各视频帧中属
于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果；
[0230]
视频帧确定模块1204，用于基于人脸分类结果，从待处理视频帧中确定目标视频帧；
[0231]
视频帧发送模块1205，用于将目标视频帧发送给云端设备，以使云端设备提取目标视频帧中的人脸特征，得到目标人脸特征，将目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配，并将预设的人脸特征库中与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果发送给客户端设备，其中，预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息；
[0232]
识别结果接收模块1206，用于接收云端设备发送的人脸识别结果。
[0233]
在一种可能的实施方式中，上述人脸分类模块1203，具体用于：
[0234]
按照目标播放视频中各视频帧的播放顺序，在待处理视频帧的各视频帧中对各目标检测结果进行人脸跟踪，得到各目标检测结果的人脸跟踪结果；其中，人脸跟踪结果包括：正脸、侧脸、背影、全局或局部；
[0235]
针对各人脸跟踪结果，保留人脸跟踪结果为正脸对应的视频帧，得到候选视频帧；
[0236]
对各候选视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果。
[0237]
在一种可能的实施方式中，上述装置还包括：
[0238]
视频帧缓存模块，用于对目标播放视频所播放的视频帧进行缓存；
[0239]
上述视频帧获取模块1201，具体用于在接收到人脸识别指令的情况下，获取目标播放视频当前时间戳之前第一预设时间范围内已缓存的视频帧，以及目标播放视频当前时间戳之后第二预设时间范围内播放并缓存的视频帧，得到待处理视频帧。
[0240]
在一种可能的实施方式中，上述视频帧确定模块1204，具体用于针对每一人脸分类结果，从该人脸分类结果对应的视频帧中选择满足预设质量要求的一帧图像，作为该人脸分类结果对应的目标视频帧。
[0241]
在一种可能的实施方式中，上述目标检测结果中包含视频帧中检测目标对应的目标检测框的位置，上述装置还包括：
[0242]
视频信息发送模块，用于将目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息发送给云端设备。
[0243]
如图13所示，本发明实施例提供了一种人脸识别装置，应用于云端设备，该装置包括：
[0244]
视频帧接收模块1301，用于接收客户端设备发送的目标视频帧，目标视频帧为：客户端设备获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧，并对待处理视频帧中各视频帧分别进行目标检测，以及基于各目标检测结果对待处理视频帧的各视频帧中属于不同对象的人脸进行分类后，基于人脸分类结果从待处理视频帧中确定的；
[0245]
人脸特征提取模块1302，用于提取目标视频帧中的人脸特征，得到目标人脸特征；
[0246]
人脸特征匹配模块1303，用于将目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配；
[0247]
人脸识别模块1304，用于在预设的人脸特征库中存在与目标人脸特征匹配的人脸
特征的情况下，将与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果，并将人脸识别结果发送给客户端设备，其中，预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息。
[0248]
在一种可能的实施方式中，上述装置还包括：
[0249]
视频信息接收模块，用于接收客户端设备发送的目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息；
[0250]
第一确定模块，用于确定目标播放视频的标识信息是否对应有数据关系表；
[0251]
查询模块，用于在第一确定模块确定出目标播放视频的标识信息对应有数据关系表时，查询数据关系表中是否存在：与目标视频帧对应的时间戳相同的视频帧时间戳、以及与目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置；其中，数据关系表中包括：视频帧时间戳和检测框位置与人物识别结果之间的对应关系；检测框位置与目标视频帧中检测目标对应的目标检测框的位置匹配表示：检测框位置与目标视频帧中检测目标对应的目标检测框的位置相同，或者检测框位置与目标视频帧中检测目标对应的目标检测框的位置之间的距离小于预设距离阈值；
[0252]
第二确定模块，用于在数据关系表中存在：与目标视频帧对应的时间戳相同的视频帧时间戳、以及与目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置时，将数据关系表中与目标视频帧对应的时间戳和目标视频帧中检测目标对应的目标检测框的位置相对应的人物识别结果，确定为目标视频帧的人脸识别结果，并发送给客户端设备；否则，触发人脸特征提取模块1302执行：提取目标视频帧中的人脸特征，得到目标人脸特征。
[0253]
在一种可能的实施方式中，上述预设的人脸特征库包括：第一人脸特征库以及第二人脸特征库，第一人脸特征库中所包含的人脸特征用于表征目标对象在视频中饰演角色下的人脸特征，第二人脸特征库中所包含的人脸特征用于表征目标对象真实身份的人脸特征；
[0254]
上述人脸特征匹配模块1303和人脸识别模块1304，具体用于：
[0255]
基于目标播放视频的标识信息，以及视频的标识信息与第一人脸特征库之间的对应关系表，确定是否存在与目标播放视频对应的第一人脸特征库；
[0256]
在存在与目标播放视频对应的第一人脸特征库的情况下，将目标人脸特征与第一人脸特征库中所包含的人脸特征进行匹配；
[0257]
在目标人脸特征与第一人脸特征库中所包含的人脸特征匹配的情况下，将第一人脸特征库中与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果，并发送给客户端设备；
[0258]
在目标人脸特征与第一人脸特征库中所包含的人脸特征不匹配，或者不存在与目标播放视频对应的第一人脸特征库的情况下，将目标人脸特征与第二人脸特征库中所包含的人脸特征进行匹配；
[0259]
在目标人脸特征与第二人脸特征库中所包含的人脸特征匹配的情况下，将第二人脸特征库中与目标人脸特征匹配的人脸特征所对应的人物信息作为目标视频帧的人脸识别结果，并发送给客户端设备。
[0260]
在一种可能的实施方式中，上述预设的人脸特征库包括：第一人脸特征库以及第
integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0276]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的方法实施例的步骤，以达到相同的技术效果。
[0277]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的方法实施例的步骤，以达到相同的技术效果。
[0278]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0279]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0280]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0281]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

技术特征：
1.一种人脸识别方法，其特征在于，应用于客户端设备，所述方法包括：获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧；对所述待处理视频帧中每一视频帧进行目标检测，得到各视频帧的目标检测结果；基于各所述目标检测结果，对所述待处理视频帧的各视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果；基于所述人脸分类结果，从所述待处理视频帧中确定目标视频帧；将所述目标视频帧发送给云端设备，以使所述云端设备提取所述目标视频帧中的人脸特征，得到目标人脸特征，将所述目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配，并将所述预设的人脸特征库中与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果发送给客户端设备，其中，所述预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息；接收所述云端设备发送的人脸识别结果。2.根据权利要求1所述的方法，其特征在于，所述基于各所述目标检测结果，对所述待处理视频帧的各视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果，包括：按照所述目标播放视频中各视频帧的播放顺序，在所述待处理视频帧的各视频帧中对各所述目标检测结果进行人脸跟踪，得到各所述目标检测结果的人脸跟踪结果；其中，所述人脸跟踪结果包括：正脸、侧脸、背影、全局或局部；针对各所述人脸跟踪结果，保留人脸跟踪结果为正脸对应的视频帧，得到候选视频帧；对各所述候选视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述目标播放视频所播放的视频帧进行缓存；所述获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧，包括：在接收到人脸识别指令的情况下，获取所述目标播放视频当前时间戳之前第一预设时间范围内已缓存的视频帧，以及所述目标播放视频当前时间戳之后第二预设时间范围内播放并缓存的视频帧，得到待处理视频帧。4.根据权利要求1所述的方法，其特征在于，所述基于所述人脸分类结果，从所述待处理视频帧中确定目标视频帧，包括：针对每一人脸分类结果，从该人脸分类结果对应的视频帧中选择满足预设质量要求的一帧图像，作为该人脸分类结果对应的目标视频帧。5.根据权利要求1-4任一所述的方法，其特征在于，所述目标检测结果中包含视频帧中检测目标对应的目标检测框的位置，所述方法还包括：将目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息发送给所述云端设备。6.一种人脸识别方法，其特征在于，应用于云端设备，所述方法包括：接收客户端设备发送的目标视频帧，所述目标视频帧为：所述客户端设备获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧，并对所述待处理视
频帧中各视频帧分别进行目标检测，以及基于各目标检测结果对所述待处理视频帧的各视频帧中属于不同对象的人脸进行分类后，基于人脸分类结果从所述待处理视频帧中确定的；提取所述目标视频帧中的人脸特征，得到目标人脸特征；将所述目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配；在所述预设的人脸特征库中存在与所述目标人脸特征匹配的人脸特征的情况下，将与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果，并将所述人脸识别结果发送给所述客户端设备，其中，所述预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：接收客户端设备发送的目标视频帧中检测目标对应的目标检测框的位置、目标视频帧对应的时间戳以及目标播放视频的标识信息；确定所述目标播放视频的标识信息是否对应有数据关系表；如果有，查询所述数据关系表中是否存在：与所述目标视频帧对应的时间戳相同的视频帧时间戳、以及与所述目标视频帧中检测目标对应的目标检测框的位置相匹配的检测框位置；其中，所述数据关系表中包括：视频帧时间戳和检测框位置与人物识别结果之间的对应关系；检测框位置与所述目标视频帧中检测目标对应的目标检测框的位置匹配表示：检测框位置与所述目标视频帧中检测目标对应的目标检测框的位置相同，或者检测框位置与所述目标视频帧中检测目标对应的目标检测框的位置之间的距离小于预设距离阈值；如果存在，则将所述数据关系表中与所述目标视频帧对应的时间戳和所述目标视频帧中检测目标对应的目标检测框的位置相对应的人物识别结果，确定为所述目标视频帧的人脸识别结果，并发送给所述客户端设备；否则提取所述目标视频帧中的人脸特征，得到目标人脸特征。8.根据权利要求7所述的方法，其特征在于，所述预设的人脸特征库包括：第一人脸特征库以及第二人脸特征库，所述第一人脸特征库中所包含的人脸特征用于表征目标对象在视频中饰演角色下的人脸特征，所述第二人脸特征库中所包含的人脸特征用于表征目标对象真实身份的人脸特征；所述将所述目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配；在所述预设的人脸特征库中存在与所述目标人脸特征匹配的人脸特征的情况下，将与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果，并将所述人脸识别结果发送给所述客户端设备，包括：基于所述目标播放视频的标识信息，以及视频的标识信息与第一人脸特征库之间的对应关系表，确定是否存在与所述目标播放视频对应的第一人脸特征库；在存在与所述目标播放视频对应的第一人脸特征库的情况下，将所述目标人脸特征与所述第一人脸特征库中所包含的人脸特征进行匹配；在所述目标人脸特征与所述第一人脸特征库中所包含的人脸特征匹配的情况下，将所述第一人脸特征库中与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果，并发送给所述客户端设备；在所述目标人脸特征与所述第一人脸特征库中所包含的人脸特征不匹配，或者不存在
与所述目标播放视频对应的第一人脸特征库的情况下，将所述目标人脸特征与所述第二人脸特征库中所包含的人脸特征进行匹配；在所述目标人脸特征与所述第二人脸特征库中所包含的人脸特征匹配的情况下，将所述第二人脸特征库中与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果，并发送给所述客户端设备。9.根据权利要求7所述的方法，其特征在于，所述预设的人脸特征库包括：第一人脸特征库以及第二人脸特征库，所述第一人脸特征库中所包含的人脸特征用于表征目标对象在视频中饰演角色下的人脸特征，所述第二人脸特征库中所包含的人脸特征用于表征目标对象真实身份的人脸特征；所述将所述目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配；在所述预设的人脸特征库中存在与所述目标人脸特征匹配的人脸特征的情况下，将与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果，并将所述人脸识别结果发送给所述客户端设备，包括：基于所述目标播放视频的标识信息，以及视频的标识信息与第一人脸特征库之间的对应关系表，确定是否存在与所述目标播放视频对应的第一人脸特征库；在存在与所述目标播放视频对应的第一人脸特征库的情况下，将所述目标人脸特征与所述第一人脸特征库中所包含的人脸特征进行匹配，得到第一匹配结果；将所述目标人脸特征与所述第二人脸特征库中所包含的人脸特征进行匹配，得到第二匹配结果；基于所述第一匹配结果以及所述第二匹配结果，得到所述目标视频帧的人脸识别结果，并发送给所述客户端设备。10.根据权利要求8所述的方法，其特征在于，所述方法还包括：在所述目标人脸特征与所述第二人脸特征库中所包含的人脸特征不匹配的情况下，将所述目标视频帧以及所述目标视频帧中检测目标对应的目标检测框的位置发送给运营端，以使运营端将目标视频帧中检测目标对应的真实身份的人脸特征，以及该人脸特征对应的人物信息更新至所述第二人脸特征库中；在所述目标人脸特征与所述目标播放视频对应的第一人脸特征库中所包含的人脸特征不匹配，或者不存在与所述目标播放视频对应的第一人脸特征库的情况下，将所述目标视频帧、所述目标视频帧中检测目标对应的目标检测框的位置以及所述目标播放视频的标识信息发送给运营端，以使运营端将目标视频帧中检测目标在所述目标播放视频中所饰演角色下的人脸特征，以及该人脸特征对应的人物信息更新至所述第一人脸特征库中。11.一种人脸识别装置，其特征在于，应用于客户端设备，所述装置包括：视频帧获取模块，用于获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧；目标检测模块，用于对所述待处理视频帧中每一视频帧进行目标检测，得到各视频帧的目标检测结果；人脸分类模块，用于基于各所述目标检测结果，对所述待处理视频帧的各视频帧中属于不同对象的人脸进行分类，得到属于不同对象的人脸分类结果；视频帧确定模块，用于基于所述人脸分类结果，从所述待处理视频帧中确定目标视频
帧；视频帧发送模块，用于将所述目标视频帧发送给云端设备，以使所述云端设备提取所述目标视频帧中的人脸特征，得到目标人脸特征，将所述目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配，并将所述预设的人脸特征库中与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果发送给客户端设备，其中，所述预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息；识别结果接收模块，用于接收所述云端设备发送的人脸识别结果。12.一种人脸识别装置，其特征在于，应用于云端设备，所述装置包括：视频帧接收模块，用于接收客户端设备发送的目标视频帧，所述目标视频帧为：所述客户端设备获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧，并对所述待处理视频帧中各视频帧分别进行目标检测，以及基于各目标检测结果对所述待处理视频帧的各视频帧中属于不同对象的人脸进行分类后，基于人脸分类结果从所述待处理视频帧中确定的；人脸特征提取模块，用于提取所述目标视频帧中的人脸特征，得到目标人脸特征；人脸特征匹配模块，用于将所述目标人脸特征与预设的人脸特征库中所包含的人脸特征进行匹配；人脸识别模块，用于在所述预设的人脸特征库中存在与所述目标人脸特征匹配的人脸特征的情况下，将与所述目标人脸特征匹配的人脸特征所对应的人物信息作为所述目标视频帧的人脸识别结果，并将所述人脸识别结果发送给所述客户端设备，其中，所述预设的人脸特征库中包括人脸特征，以及该人脸特征对应的人物信息。13.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-10任一所述的方法步骤。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10任一所述的方法步骤。

技术总结
本发明实施例提供了一种人脸识别方法、装置、电子设备及存储介质，所述方法包括：客户端获取目标播放视频中目标时间戳的预设时间范围内的视频帧，得到待处理视频帧，对待处理视频帧中每一视频帧进行目标检测得到各视频帧的目标检测结果，基于各目标检测结果对待处理视频帧的各视频帧中属于不同对象的人脸进行分类，得到人脸分类结果，基于人脸分类结果从待处理视频帧中确定目标视频帧并发送给云端；云端提取目标视频帧中的人脸特征得到目标人脸特征，将目标人脸特征与人脸特征库中人脸特征进行匹配，并在匹配时将对应的人物信息作为目标视频帧的人脸识别结果发送给客户端；客户端接收人脸识别结果，提高了人脸识别的准确度以及识别结果召回率。以及识别结果召回率。以及识别结果召回率。


技术研发人员：朱俊敏 谢丹铭
受保护的技术使用者：北京爱奇艺科技有限公司
技术研发日：2023.04.18
技术公布日：2023/7/25