人物关系识别方法、装置、手持云台、系统、设备及介质与流程

1.本技术涉及人工智能技术领域，特别是涉及一种人物关系识别方法、装置、手持云台、系统、设备及介质。


背景技术：

2.随着时代的发展，越来越多的人都喜欢拍摄照片或者视频来纪念自己不同的生活场景，例如跟自己的家人朋友出去旅游或者参加户外活动的时候，大家往往都喜欢拍摄一些重要时刻，但是在用户通过手机、平板电脑、相机或其他智能设备进行拍摄时，往往不知道采用哪种方式拍摄才能使自己拍摄的视频呈现出更好的效果，如果能够识别出用户拍摄时对应的人物场景，从而根据人物场景提供拍摄引导将会大大提高视频拍摄的呈现效果，尤其是拍摄亲子场景视频的时候。
3.相关技术中，主要是对拍摄的人物进行人脸识别，但是存在对拍摄的人物关系不能识别的问题。
4.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种人物关系识别方法、装置、手持云台、系统、设备及介质。
6.第一方面，本技术实施例提供了一种人物关系识别方法，该方法包括：
7.获取多个图像帧；
8.对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果；
9.通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。
10.在其中一个实施例中，对多个图像帧进行检测处理，得到各图像帧的人体检测结果和人脸检测结果，包括：
11.对各图像帧进行人体检测处理，得到各图像帧的人体检测结果；
12.根据各图像帧的人体检测结果确定各图像帧中的各人体图像，并对各人体图像进行人脸检测处理，得到各图像帧的人脸检测结果。
13.在其中一个实施例中，人体检测结果包括人体检测框的位置信息和尺寸信息；根据各图像帧的人体检测结果确定各图像帧中的各人体图像，包括：
14.对于任一图像帧，根据图像帧中各人体检测框的位置信息和尺寸信息，确定图像帧中各人体图像的角点信息；
15.根据图像帧中各人体图像的角点信息，对图像帧进行裁剪处理，得到图像帧中的各人体图像。
16.在其中一个实施例中，通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果，包括：
17.根据各图像帧的人体检测结果，确定各图像帧中各人体的年龄属性分类结果，以及根据各图像帧的人脸检测结果，确定各图像帧中各人脸的年龄属性分类结果；
18.根据各图像帧中各人体的年龄属性分类结果和各人脸的年龄属性分类结果，对多个图像帧中的人物特征进行分析，获得人物关系识别结果。
19.在其中一个实施例中，根据各图像帧的人体检测结果，确定各图像帧中各人体的年龄属性分类结果，包括：
20.根据各图像帧的人体检测结果，获取各图像帧中的各人体图像；
21.将各人体图像输入至人体年龄分类模型，得到各图像帧中各人体的年龄属性分类结果。
22.在其中一个实施例中，根据各图像帧的人脸检测结果，确定各图像帧中各人脸的年龄属性分类结果，包括：
23.根据各图像帧的人脸检测结果，获取各图像帧中的各人脸图像；
24.将各人脸图像输入至人脸年龄分类模型，得到各图像帧中各人脸的年龄属性分类结果。
25.在其中一个实施例中，人脸检测结果包括人脸检测框的位置信息和尺寸信息；根据各图像帧的人脸检测结果，获取各图像帧中的各人脸图像，包括：
26.对于任一图像帧，根据图像帧中各人脸检测框的位置信息和尺寸信息，对图像帧进行裁剪处理，得到图像帧中的各人脸图像。
27.在其中一个实施例中，年龄属性分类结果包括年龄属性分类置信度；根据各图像帧中各人体的年龄属性分类结果和各人脸的年龄属性分类结果，对多个图像帧中的人物特征进行分析，获得人物关系识别结果，包括：
28.根据各图像帧中各人体的年龄属性分类置信度确定多个图像帧的人体加权置信度，以及根据各图像帧中各人脸的年龄属性分类置信度确定多个图像帧的人脸加权置信度；
29.根据人体加权置信度和人脸加权置信度，确定联合置信度；
30.通过联合置信度对多个图像帧中的人物特征进行分析，得到人物关系识别结果。
31.在其中一个实施例中，根据各图像帧中各人体的年龄属性分类置信度确定多个图像帧的人体加权置信度，包括：
32.对于任一图像帧，根据图像帧中各人体的年龄属性分类置信度，确定图像帧的人体置信度；
33.对各图像帧的人体置信度相加，得到多个图像帧的人体加权置信度。
34.在其中一个实施例中，根据各图像帧中各人脸的年龄属性分类置信度确定多个图像帧的人脸加权置信度，包括：
35.对于任一图像帧，根据图像帧中各人脸的年龄属性分类置信度，确定图像帧的人脸置信度；
36.对各图像帧的人脸置信度相加，得到多个图像帧的人脸加权置信度。
37.在其中一个实施例中，通过联合置信度对多个图像帧中的人物特征进行分析，得
到人物关系识别结果，包括：
38.判断联合置信度是否大于预设的置信度阈值；
39.若是，则确定多个图像帧中的人物关系识别结果为亲子关系。
40.在其中一个实施例中，上述方法还包括：
41.若确定多个图像帧中的人物关系识别结果为亲子关系，则输出亲子场景信息。
42.在其中一个实施例中，亲子场景信息包括亲子场景的拍摄教程和亲子特效效果中的至少一种。
43.在其中一个实施例中，上述方法还包括：
44.若确定多个图像帧中的人物关系识别结果为亲子关系，则控制云台转动，用于使亲子位于图像采集设备采集到的图像帧的中央区域。
45.第二方面，本技术实施例提供了一种人物关系识别装置，该装置包括：
46.图像帧获取模块，用于获取多个图像帧；
47.检测处理模块，用于对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果；
48.分析模块，用于通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。
49.第三方面，本技术实施例还提供了一种手持云台，包括：电机和处理器，电机用于控制手持云台转动，处理器用于实现以下步骤：
50.获取多个图像帧；
51.对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果；
52.通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。
53.第四方面，本技术实施例还提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
54.获取多个图像帧；
55.对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果；
56.通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。
57.第五方面，本技术实施例还提供了一种人物关系识别系统，该系统包括：
58.云台；
59.连接于云台的图像采集设备，图像采集设备中包括第四方面实施例中的计算机设备。
60.第六方面，本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
61.获取多个图像帧；
62.对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果；
63.通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。
64.第七方面，本技术实施例还提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
65.获取多个图像帧；
66.对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果；
67.通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。
68.本技术实施例提供的人物关系识别方法、装置、手持云台、系统、设备及介质，包括：获取多个图像帧，对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果，并通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。上述方法可以通过多个图像帧实现人物关系识别，不仅能够减少识别误差，提高确定的人物关系识别结果的准确性，还能够提高识别的鲁棒性；同时，上述方法通过检测处理得到图像帧中的人体检测结果和人脸检测结果，并在对图像帧中的人物特征分析的过程中，综合考虑了图像帧中的人体特征信息和人脸特征信息，即人体检测结果和人脸检测结果，从而能够提高确定的人物关系识别结果的准确性；另外，上述方法不需要人工参与，能够降低用户对人物关系识别的学习难度，并且能够减少人工参与误差，进一步提高识别结果的准确性，并且还能够节省识别的人力成本，以及提高识别的速度和效率。
附图说明
69.图1为一个实施例中人物关系识别方法的应用环境图；
70.图2为一个实施例中人物关系识别方法的流程示意图；
71.图3为一个实施例中带有一个人体检测框的一图像帧；
72.图4为另一个实施例中带有两个人体检测框的另一图像帧；
73.图5为另一个实施例中人物关系识别方法的流程示意图；
74.图6为另一个实施例中人物关系识别方法的流程示意图；
75.图7为另一个实施例中人物关系识别方法的流程示意图；
76.图8为另一个实施例中人物关系识别方法的流程示意图；
77.图9为另一个实施例中人物关系识别方法的流程示意图；
78.图10为另一个实施例中人物关系识别方法的流程示意图；
79.图11为另一个实施例中人物关系识别方法的流程示意图；
80.图12为另一个实施例中人物关系识别方法的流程示意图；
81.图13为另一个实施例中人物关系识别方法的流程示意图；
82.图14为另一个实施例中人物关系识别方法的流程示意图；
83.图15为一个实施例中人物关系识别装置的结构框图；
84.图16为一个实施例中计算机设备的内部结构图。
具体实施方式
85.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
86.在人工智能领域中，通常对进入亲子活动场所的人物进行识别，得到不同人物之间的人物关系，如亲子关系。在相关技术中，主要是通过对单个图像帧中的人脸进行检测，根据人脸检测结果识别人物关系。然而，采用相关技术识别人物关系的准确度较低。基于此，本技术实施例提供了一种人物关系识别方法，能够提高人物关系的准确度。
87.本技术实施例提供的人物关系识别方法，可以应用于如图1所示的应用环境中。其中，云台可以自带图像采集设备(这种情况未示出)，也可以是云台外接其他的图像采集设备(本实施例中的附图主要展示这种情况)。图像采集设备主要用于对场景中的对象或环境等进行拍摄，获得相应的图像帧；图像采集设备可以是相机、摄像头、雷达、手机等等。云台主要是为了在图像采集设备拍摄图像帧过程中，防止图像采集设备出现抖动，即为了使图像采集设备可以稳定拍摄图像帧。另外，图像采集设备中可以内置计算机设备(图1主要示意该情况，并且以图像采集设备为手机示意的)，或者图像采集设备也可以与外部的计算机设备连接(该情况图1未示出)，这里的计算机设备主要对图像采集设备拍摄的图像帧进行处理，实现人物关系识别。可选地，计算机设备分别与图像采集设备和云台之间通信连接，该通信方式可以为蓝牙、wi-fi、移动网络连接等等。下述实施例中将具体介绍人物关系识别方法的具体过程，并且以执行主体为计算机设备来介绍人物关系识别方法的具体过程。
88.如图2所示，为本技术实施例提供的人物关系识别方法的流程示意图，该方法可以包括以下步骤：
89.s100、获取多个图像帧。
90.具体地，计算机设备可以接收图像采集设备发送的多个图像帧。其中，在图像采集设备采集到人物的图像帧后将采集到的图像帧发送给计算机设备。
91.在本技术实施例中，上述多个图像帧可以为按照采集先后时间对应的同一组人物的多个连续图像帧。可选地，上述同一组人物可以理解为同步参加亲子活动的多个人物；同一组人物中可以包括亲子关系的人物，也可以包括非亲子关系的人物。同时，每个图像帧中可以包括同一组人物中的所有人物，也可以包括同一组人物中的部分人物，对此本技术实施例不做限定。
92.s200、对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果。
93.在实际应用中，计算机设备可以预先训练一种检测网络模型，然后将多个图像帧均输入至检测网络模型中，该检测网络模型分别对各图像帧进行检测处理，最终输出各图像帧的人体检测结果和各图像帧的人脸检测结果。
94.可选地，上述检测网络模型可以是由卷积神经网络模型、递归神经网络模型、深信度网络模型、深度自动编码器和生成对抗网络模型中的至少一种组合而成。
95.另外，计算机设备还可以采用目标检测算法，分别对各图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果。可选地，上述目标检测算法可以为特征提取算法、特征识别算法、特征匹配算法和滑动窗口算法中的至少一种组合而成。
96.可选地，人体检测结果可以包括图像帧中人体的轮廓信息和/或图像帧中人体图像的分辨率等等，对应地，人脸检测结果可以包括图像帧中人脸的轮廓信息和/或图像帧中人脸图像的分辨率等等。
97.s300、通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。
98.其中，计算机设备可以对各图像帧的人体检测结果进行算术运算处理得到人体处理结果，以及对各图像帧的人脸检测结果进行算术运算处理得到人脸处理结果，然后对人体处理结果和人脸处理结果进行融合处理，并根据融合处理结果对多个图像帧中的人物特征进行分析，得到多个图像帧中的人物关系识别结果。
99.可选地，上述算术运算可以为加法运算、减法运算、乘法运算、指数运算、对数运算、除法运算中的至少一种；上述人物特征可以包括人物的人脸特征、人物的五官特征和相似度较大的五官的数量等等。在实际应用中，上述人物关系识别结果可以为亲子关系、师生关系或朋友关系等等。
100.可以理解的是，计算机设备还可以预先训练一种算法模型，然后依次针对每个图像帧，将图像帧的人体检测结果和图像帧的人脸检测结果均输入至算法模型中，该算法模型依次对各图像帧中的人物特征进行分析并输出各图像帧中的人物关系识别结果。
101.本技术实施例中的技术方案，获取多个图像帧，对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果，并通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果；上述方法可以通过多个图像帧实现人物关系识别，不仅能够减少识别误差，提高确定的人物关系识别结果的准确性，还能够提高识别的鲁棒性；同时，上述方法通过检测处理得到图像帧中的人体检测结果和人脸检测结果，并在对图像帧中的人物特征分析的过程中，综合考虑了图像帧中的人体特征信息和人脸特征信息，即人体检测结果和人脸检测结果，从而能够提高确定的人物关系识别结果的准确性；另外，上述方法不需要人工参与，能够降低用户对人物关系识别的学习难度，并且能够减少人工参与误差，进一步提高识别结果的准确性，并且还能够节省识别的人力成本，以及提高识别的速度和效率。
102.下面对上述对多个图像帧进行检测处理，得到各图像帧的人体检测结果和人脸检测结果的过程进行说明。在一实施例中，如图3所示，上述s200中的步骤可以通过以下方式实现：
103.s210、对各图像帧进行人体检测处理，得到各图像帧的人体检测结果。
104.具体地，计算机设备可以预先训练一种人体检测模型，然后分别对各图像帧进行人体检测处理，得到各图像帧的人体检测结果。可选地，人体检测结果可以包括人体检测框和人体检测框的置信度，对于同一个图像帧，人体检测处理后得到多个人体的检测结果，每个人体的检测结果可以包括多个结果，进一步可以选取其中置信度最大的结果确定为人体检测结果；另外，不同人物的人体检测框的位置在图像帧中可以相互独立，也可以部分重叠，对此本技术实施例不做限定。
105.图4示出了带有一个人体检测框的图像帧，图5示出了带有两个相交人体检测框的另一图像帧，其中，图4和图5示出的图像帧的尺寸信息(长度和宽度)不同，但在实际应用中，由于多个图像帧均是同一图像采集设备采集的，所以不同图像帧的尺寸信息是相同的。
106.同时，上述人体检测处理可以理解为人体感兴趣图像区域检测的过程。可选地，人体检测模型可以由卷积神经网络模型、空间金字塔池化网络模型和递归神经网络模型等等中的至少一个组合而成，对此本技术实施例不做限定。
107.其中，人体检测模型的训练过程可以为将训练集输入至初始人体检测模型中，得到人体预测结果，通过损失函数计算人体预测结果与标准人体检测结果之间的预测误差值，并根据预测误差值更新初始人体检测模型中的初始网络参数，不断迭代以上训练步骤，直到预测误差值满足预设误差阈值或迭代次数达到预设迭代次数阈值为止，得到预先训练好的人体检测模型。可选地，上述训练集为人物图像集，该人物图像集可以包括不同人物的图像。
108.在本技术实施例中，可以按照采集先后时间对多个图像帧进行人体检测处理，这样能够提高人体检测结果的准确性。
109.s220、根据各图像帧的人体检测结果确定各图像帧中的各人体图像，并对各人体图像进行人脸检测处理，得到各图像帧的人脸检测结果。
110.同时，计算机设备可以根据各图像帧的人体检测结果确定各图像帧中的各人体图像，并且将各人体图像输入至预先训练好的人脸检测模型中，通过人脸检测模型对各人体图像进行人脸检测处理，得到各图像帧的人脸检测结果。另外，计算机设备还可以直接对各图像帧进行人脸检测处理，得到各图像帧的人脸检测结果。
111.可选地，人脸检测结果可以包括人脸检测框和人脸检测框的置信度，对于同一个图像帧，人脸检测处理后得到多个检测结果，进一步可以选取置信度最大的检测结果确定为人脸检测结果。
112.这里需要说明的，上述人脸检测处理可以理解为人脸感兴趣图像区域检测的过程。可选地，人脸检测模型也可以由卷积神经网络模型、空间金字塔池化网络模型和递归神经网络模型等等中的至少一个组合而成，但是，人脸检测模型与人体检测模型的内部结构不同。这里需要说明的是，人脸检测模型的训练过程与人体检测模型的训练过程类似，对此本技术实施例不再赘述。
113.其中，对于任一图像帧，根据图像帧的人体检测结果确定图像帧中的各人体图像的方式可以是根据图像帧的人体检测结果提取图像帧中的人体轮廓信息，然后根据人体轮廓信息从图像帧中获取人体轮廓图像，即人体图像。
114.一个实施例中，上述人体检测结果包括人体检测框的位置信息和尺寸信息；如图6所示，上述s220中根据各图像帧的人体检测结果确定各图像帧中的各人体图像的步骤，可以包括：
115.s221、对于任一图像帧，根据图像帧中各人体检测框的位置信息和尺寸信息，确定图像帧中各人体图像的角点信息。
116.可选地，每个图像帧中包括至少一个人物，对应地，对每个图像帧进行检测处理后，可以得到图像帧中的至少一个人体检测框。
117.在本技术实施例中，上述人体检测框的位置信息可以为人体检测框的中心点坐标，人体检测框的尺寸信息可以为人体检测框的长度和宽度，并且本技术实施例中的人体图像为矩形。自然地，对于任一图像帧中的任一人体检测框，计算机设备根据图像帧中人体检测框的位置信息和尺寸信息，可以得到图像帧中人体图像的四个角点的角点信息，即角
点坐标。
118.示例性地，若一图像帧中一个人体检测框的位置信息为(10，13)，人体检测框的尺寸为4*10，则该图像帧中人体图像的四个角点的角点信息分别可以为(8，8)、(12，8)、(12，18)和(8，18)。
119.s222、根据图像帧中各人体图像的角点信息，对图像帧进行裁剪处理，得到图像帧中的各人体图像。
120.在实际应用中，对于图像帧中的任一人体图像，计算机设备可以根据图像帧中人体图像的角点信息，对图像帧进行裁剪处理，得到图像帧中对应的人体图像。可选地，同一图像帧中不同人体图像的尺寸可以相同，也可以不相同，对此本技术实施例不做限定。
121.本技术实施例中的技术方案，对各图像帧进行人体检测处理，得到各图像帧的人体检测结果，根据各图像帧的人体检测结果确定各图像帧中的各人体图像，并对各人体图像进行人脸检测处理，得到各图像帧的人脸检测结果；上述方法可以采用人体检测技术，对图像帧进行人体检测处理得到人体检测结果，该过程能够为提高确定精准度更高的人物关系识别结果做贡献，将获取到的人体检测结果作为后续对多个图像帧中的人物特征进行分析的参考信息，使得人物特征分析过程考虑了人体信息，进一步提高确定的人物关系识别结果的准确性。
122.下面对上述通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果的过程进行说明。在一实施例中，如图7所示，上述s300中的步骤，可以通过以下方式实现：
123.s310、根据各图像帧的人体检测结果，确定各图像帧中各人体的年龄属性分类结果，以及根据各图像帧的人脸检测结果，确定各图像帧中各人脸的年龄属性分类结果。
124.具体地，对于任一图像帧，计算机设备可以根据图像帧的人体检测结果，采用特征提取算法提取图像帧中的人体图像特征，然后根据对人体图像特征进行分析，确定图像帧中对应人体的年龄属性分类结果。
125.可选地，上述特征提取算法可以为尺度不变特征转换算法、方向梯度直方图算法或特征描述算法等等。在本技术实施例中，上述年龄属性分类结果包括年龄属性分类类别和各年龄属性分类类别对应的年龄属性分类置信度，同时，年龄属性分类类别可以包括婴儿baby、儿童children、青少年及成人young和其它类别other，具体表达形式可以为1*4的向量，如[baby children young other]，对应地，年龄属性分类置信度可以表示为[a b c d]，其中，a、b、c和d均为大于0小于1的数值。这里需要说明的是，年龄属性分类类别中不同类别的位置顺序可以相互交换，对此本技术实施例不做限定。
[0126]
这里需要说明的是，上述婴儿可以理解为无法独立行走的孩子，年龄大约为0～2岁；上述儿童可以理解为能够独立行走，且愿意与父母进行亲子互动，年龄大约小于12岁的孩子；上述青少年及成人可以理解为年龄大于12岁的人；上述其它类别可以为人体检测框中的人体误检框、人体局部检测框、边界检测框等等对应的类别。可选地，人体误检框可以理解为包括了非人体的人体检测框，人体局部框可以理解为包括了一部分人体图像的人体检测框，边界检测框可以理解为靠近图像帧边界的人体检测框。
[0127]
一个实施例中，如图8所示，上述s310中根据各图像帧的人体检测结果，确定各图像帧中各人体的年龄属性分类结果的步骤，可以包括：
[0128]
s311、根据各图像帧的人体检测结果，获取各图像帧中的各人体图像。
[0129]
可以理解的是，上述步骤s311的实现过程与上述步骤s220的实现过程可以相同，对此本技术实施例不再赘述。
[0130]
s312、将各人体图像输入至人体年龄分类模型，得到各图像帧中各人体的年龄属性分类结果。
[0131]
这里需要说明的是，计算机设备可以预先训练人体年龄分类模型，然后将图像帧中的各人体图像依次输入至人体年龄分类模型中，该人体年龄分类模型输出图像帧中各人体图像对应的人体的年龄属性分类结果。
[0132]
可选地，上述人体年龄分类模型可以是由决策树、随机森林、基于决策树的集成算法和监督模型中的至少一种实现，但在本技术实施例中，人体年龄分类模型可以是由轻量级网络模型实现，如，shufflenetv2模型或mobilenetv2模型等等。
[0133]
在本技术实施例中，人体年龄分类模型的训练过程与人体检测模型的训练过程类似，但是，训练人体年龄分类模型的训练集中可以包括不同的婴儿、儿童、青少年及成人、其它类别对应的图像。
[0134]
s320、根据各图像帧中各人体的年龄属性分类结果和各人脸的年龄属性分类结果，对多个图像帧中的人物特征进行分析，获得人物关系识别结果。
[0135]
在实际应用中，计算机设备可以对各图像帧中各人体的年龄属性分类结果和各人脸的年龄属性分类结果进行算术运算处理得到处理结果，然后通过处理结果对多个图像帧中的人物特征进行分析，得到多个图像帧中的人物关系识别结果。
[0136]
本技术实施例中的技术方案，根据各图像帧的人体检测结果，确定各图像帧中各人体的年龄属性分类结果，以及根据各图像帧的人脸检测结果，确定各图像帧中各人脸的年龄属性分类结果，并根据各图像帧中各人体的年龄属性分类结果和各人脸的年龄属性分类结果，对多个图像帧中的人物特征进行分析，获得人物关系识别结果；该方法通过各图像帧的人体检测结果确定对应人体的年龄属性分类结果，并通过各图像帧的人脸检测结果确定对应人脸的年龄属性分类结果，进一步基于人体的年龄属性分类结果和人脸的年龄属性分类结果，综合对图像帧中的人物特征进行分析，从而能够提高确定的人物关系识别结果的准确性，并且还能够提高识别的鲁棒性。
[0137]
在一实施例中，如图9所示，上述s310中根据各图像帧的人脸检测结果，确定各图像帧中各人脸的年龄属性分类结果的步骤，可以通过以下方式实现：
[0138]
s313、根据各图像帧的人脸检测结果，获取各图像帧中的各人脸图像。
[0139]
其中，对于任一图像帧，根据图像帧的人脸检测结果确定图像帧中的各人脸图像的方式可以是根据图像帧的人脸检测结果提取图像帧中的人脸轮廓信息，然后根据人脸轮廓信息从图像帧中获取人脸轮廓图像，即人脸图像。
[0140]
一个实施例中，人脸检测结果包括人脸检测框的位置信息和尺寸信息；如图10所示，上述s313中根据各图像帧的人脸检测结果，获取各图像帧中的各人脸图像的步骤，可以包括：
[0141]
s3131、对于任一图像帧，根据图像帧中各人脸检测框的位置信息和尺寸信息，确定图像帧中各人脸图像的角点信息。
[0142]
可选地，每个图像帧中包括至少一个人物，但是，图像帧中可以包括人物的正面图
像、背面图像和侧面图像，因此，图像帧中不一定包括人脸图像，自然地，对每个图像帧进行检测处理后，可以得到图像帧中大于0个人脸检测框。
[0143]
在本技术实施例中，上述人脸检测框的位置信息可以为人脸检测框的中心点坐标，人脸检测框的尺寸信息可以为人脸检测框的长度和宽度，并且本技术实施例中的人脸图像可以为矩形或者方形。自然地，对于任一图像帧中的任一人脸检测框，计算机设备根据图像帧中人脸检测框的位置信息和尺寸信息，可以得到图像帧中人脸图像的四个角点的角点信息，即角点坐标。
[0144]
s3132、根据图像帧中各人脸图像的角点信息，对图像帧进行裁剪处理，得到图像帧中的各人脸图像。
[0145]
在实际应用中，对于图像帧中的任一人脸图像，计算机设备可以根据图像帧中人脸图像的角点信息，对图像帧进行裁剪处理，得到图像帧中对应的人脸图像。可选地，同一图像帧中不同人脸图像的尺寸可以相同，也可以不相同，对此本技术实施例不做限定。
[0146]
s314、将各人脸图像输入至人脸年龄分类模型，得到各图像帧中各人脸的年龄属性分类结果。
[0147]
这里需要说明的是，计算机设备可以预先训练人脸年龄分类模型，然后将图像帧中的各人脸图像依次输入至人脸年龄分类模型中，该人脸年龄分类模型输出图像帧中各人脸图像对应的人脸的年龄属性分类结果。
[0148]
可选地，上述人脸年龄分类模型也可以是由决策树、随机森林、基于决策树的集成算法和监督模型中的至少一种实现，但是，人脸年龄分类模型与人体年龄分类模型的内部结构不同。
[0149]
在本技术实施例中，获取到人体检测框和人脸检测框后，可以将人脸检测框与对应的人体检测框进行绑定，其中，绑定的一组检测框为同一个人物的人脸检测框和人体检测框。由于人体在图像帧中可以是以背身或侧面的状态存在，所以图像帧中人体的总数量会大于或等于人脸的总数量，自然地，部分人体检测框可能无法绑定到对应的人脸检测框，这里需要说明的是，若人体检测框没有绑定到对应的人脸检测框时，可以将该人体检测框对应的人脸的年龄属性分类置信度设置为全0，如，人脸的年龄属性分类置信度对应1*4的向量为全0向量。
[0150]
本技术实施例中的技术方案，根据各图像帧的人脸检测结果，获取各图像帧中的各人脸图像，并将各人脸图像输入至人脸年龄分类模型，得到各图像帧中各人脸的年龄属性分类结果；该方法通过各图像帧的人脸检测结果确定对应人体的年龄属性分类结果，以为后续对图像帧中的人物特征进行分析提供参考信息，从而能够进一步提高人物关系识别结果的准确性。
[0151]
在一实施例中，上述年龄属性分类结果包括年龄属性分类置信度；如图11所示，上述s320中根据各图像帧中各人体的年龄属性分类结果和各人脸的年龄属性分类结果，对多个图像帧中的人物特征进行分析，获得人物关系识别结果的步骤，可以包括：
[0152]
s321、根据各图像帧中各人体的年龄属性分类置信度确定多个图像帧的人体加权置信度，以及根据各图像帧中各人脸的年龄属性分类置信度确定多个图像帧的人脸加权置信度。
[0153]
具体地，计算机设备可以对各图像帧中各人体的年龄属性分类置信度进行算术运
算处理，得到多个图像帧的人体加权置信度，并且对各图像帧中各人脸的年龄属性分类置信度进行算术运算处理，得到多个图像帧的人脸加权置信度。
[0154]
一个实施例中，如图12所示，上述s321中根据各图像帧中各人体的年龄属性分类置信度确定多个图像帧的人体加权置信度的步骤，可以包括：
[0155]
s3211、对于任一图像帧，根据图像帧中各人体的年龄属性分类置信度，确定图像帧的人体置信度。
[0156]
具体地，对于任一图像帧，若图像帧中存在一个人体时，计算机设备可以直接将图像帧中该人体的年龄属性分类置信度作为图像帧的人体置信度。
[0157]
若图像帧中存在多个人体时，可以采用下列任一种方式确定图像帧的人体置信度：
[0158]
第一种方式，计算机设备可以采用最大值计算法，从图像帧中所有人体的年龄属性分类置信度中选取最大的年龄属性分类置信度得到该图像帧的人体置信度。例如，图像帧中存在两个人体，对图像帧中的两个人体分别进行分类后，得到四分类对应的年龄属性分类置信度分别为[0.90 0.08 0.01 0.01]和[0.67 0.32 0.01 0.01]，则采用最大值计算法最终得到该图像帧的人体置信度为[0.90 0.08 0.01 0.01]，实际上，最大值计算法也就是选取任一分类置信度最大的年龄属性分类置信度，在该示例中，最大的分类置信度为0.9，因此，最终图像帧的人体置信度为[0.90 0.08 0.01 0.01]。
[0159]
第二种方式，计算机设备可以采用平均值计算法，对图像帧中所有人体的年龄属性分类置信度进行平均值计算得到该图像帧的人体置信度。例如，图像帧中存在两个人体，对图像帧中的两个人体分别进行分类后，得到四分类对应的年龄属性分类置信度分别为[0.90 0.080.01 0.01]和[0.67 0.32 0.01 0.00]，则采用平均值计算法最终得到该图像帧的人体置信度为[0.785 0.20 0.01 0.005]，实际上，平均值计算法也就是对图像帧中所有人体的年龄属性分类置信度中各分类置信度求平均，在该示例中，年龄属性分类置信度中第一分类置信度可以等于0.90和0.67的平均值(即0.785)，年龄属性分类置信度中第二分类置信度可以等于0.08和0.32的平均值(即0.02)，年龄属性分类置信度中第三类置信度可以等于0.01和0.01的平均值(即0.01)，年龄属性分类置信度中第四类置信度可以等于0.01和0.00的平均值(即0.005)，因此，最终图像帧的人体置信度为[0.785 0.20 0.01 0.005]。
[0160]
第三种方式，计算机设备可以采用多目标跟踪法，根据图像帧中所有人体的年龄属性分类置信度，得到该图像帧的人体置信度。例如，图像帧中存在两个人体，对图像帧中的两个人体分别进行分类后，得到四分类对应的年龄属性分类置信度分别为parent_score_n1和parent_score_n2，则采用多目标跟踪法最终得到该图像帧的人体置信度为[parent_score_n1parent_score_n2]。
[0161]
s3212、对各图像帧的人体置信度相加，得到多个图像帧的人体加权置信度。
[0162]
进一步，计算机设备可以对获取到的所有图像帧的人体置信度进行求和，得到多个图像帧的人体加权置信度。
[0163]
继续参见上述多目标跟踪法的示例，若m个图像帧中均存在两个人体，则m个图像帧的人体加权置信度为[parent_score_n
1m parent_score_n
2m
]，其中，parent_score_n
1m
等于m个图像帧中对应同一人体的年龄属性分类置信度之和，parent_score_n
2m
等于m个图像
帧中另一人体的年龄属性分类置信度之和。
[0164]
一个实施例中，如图13所示，上述s321中根据各图像帧中各人脸的年龄属性分类置信度确定多个图像帧的人脸加权置信度的步骤，可以包括：
[0165]
s3213、对于任一图像帧，根据图像帧中各人脸的年龄属性分类置信度，确定图像帧的人脸置信度。
[0166]
其中，若图像帧中存在一个人脸时，计算机设备可以直接将图像帧中该人脸的年龄属性分类置信度作为图像帧的人脸置信度。
[0167]
若图像帧中存在多个人脸时，可以采用下列任一种方式确定图像帧的人脸置信度：
[0168]
第一种方式，计算机设备可以采用最大值计算法，从图像帧中所有人脸的年龄属性分类置信度中选取最大的年龄属性分类置信度，确定为该图像帧的人脸置信度。
[0169]
第二种方式，计算机设备可以是采用平均值计算法，对图像帧中所有人脸的年龄属性分类置信度进行平均值计算得到该图像帧的人脸置信度。
[0170]
第三种方式，计算机设备可以采用多目标跟踪法，根据图像帧中所有人脸的年龄属性分类置信度得到该图像帧的人脸置信度。
[0171]
s3214、对各图像帧的人脸置信度相加，得到多个图像帧的人脸加权置信度。
[0172]
进一步，计算机设备可以对获取到的所有图像帧的人脸置信度进行求和得到多个图像帧的人脸加权置信度。
[0173]
s322、根据人体加权置信度和人脸加权置信度，确定联合置信度。
[0174]
其中，计算机设备可以对人体加权置信度和人脸加权置信度进行加权求和，得到联合置信度。具体地，对人体加权置信度与人体权重系数相乘，并对人脸加权置信度与人脸权重系数相乘，之后对两者乘积相加得到联合置信度。
[0175]
可选地，人体权重系数和人脸权重系数均可以是自定义确定的，还可以是根据历史经验值确定的。这里需要说明的是，在实际应用中，若更偏向于通过人体检测技术来实现人物关系识别，则对应地人体权重系数可以大于人脸权重系数；若更偏向于通过人脸检测技术来实现人物关系识别，则对应地人体权重系数可以小于人脸权重系数。
[0176]
例如，若人体加权置信度为parent_score_n_body，人脸加权置信度为parent_score_n_face，人体权重系数为a(a为大于0小于1的数值)，人脸权重系数为1-a，则对应地联合置信度parent_score_n可以等于a*parent_score_n_body+(1-a)*parent_score_n_face。在本技术实施例中，联合置信度为一个1*4的向量，对应为各年龄属性分类类别对应的联合置信度，4个数值对应的年龄属性分类类别与parent_score_n_body以及parent_score_n_face中4个数值对应的年龄属性分类类别对应。
[0177]
s323、通过联合置信度对多个图像帧中的人物特征进行分析，得到人物关系识别结果。
[0178]
其中，计算机设备可以预先训练一种算法模型，然后将联合置信度输入至算法模型中，该算法模型对多个图像帧中的人物特征进行分析后输出人物关系识别结果。
[0179]
或者，计算机设备还可以将联合置信度与映射关系中的置信度进行匹配，并将映射关系中匹配成功的置信度对应的人物关系确定为人物关系识别结果。可选地，映射关系中可以包括不同的联合置信度、对应的人物关系以及两者之间的对应关系。
[0180]
本技术实施例中的技术方案，根据各图像帧中各人体的年龄属性分类置信度确定多个图像帧的人体加权置信度，以及根据各图像帧中各人脸的年龄属性分类置信度确定多个图像帧的人脸加权置信度，根据人体加权置信度和人脸加权置信度，确定联合置信度，并通过联合置信度对多个图像帧中的人物特征进行分析，得到人物关系识别结果；该方法可以通过多个图像帧中各人体的人体加权置信度和各人脸的人脸加权置信度确定多个图像帧的联合置信度，进而通过联合置信度对多个图像帧中的人物特征进行分析，该过程不仅考虑了人体信息还考虑了人脸信息，从而能够提高确定的人物关系识别结果的准确性，并且该方法仅通过检测处理后得到的置信度来实现人物关系识别，处理过程比较简单。
[0181]
下面对上述通过联合置信度对多个图像帧中的人物特征进行分析，得到人物关系识别结果的过程进行说明。在一实施例中，如图14所示，上述s323中的步骤，可以包括：
[0182]
s3231、判断联合置信度是否大于预设的置信度阈值。
[0183]
其中，计算机设备可以判断多个图像帧的联合置信度是否大于预设的置信度阈值。可选地，预设的置信度阈值可以是自定义的，还可以是根据历史经验值确定的，对此本技术实施例不做限定。
[0184]
继续参见上一示例，若parent_score_n中婴儿或儿童的联合置信度大于n*0.85(n大于1)，则可以确定n个图像帧中的人物关系识别结果为亲子关系。
[0185]
s3232、若是，则确定多个图像帧中的人物关系识别结果为亲子关系。
[0186]
在确定联合置信度大于预设的置信度阈值时，表明多个图像帧中的同一组人物为亲子，可以确定多个图像帧中的人物关系识别结果为亲子关系。可选地，确定为亲子关系的同一组人物中可以包括2个人物、3个人物、4个人物等等。
[0187]
在一些场景中，确定进入亲子活动场景中的同一组人物为亲子关系时，可以向该组人物推荐一些亲子场景信息。基于此，在一实施例中，上述s300中的步骤执行之后，上述方法还可以包括：若确定多个图像帧中的人物关系识别结果为亲子关系，则输出亲子场景信息。
[0188]
其中，若云台包括计算机设备时，上述人物关系识别方法的执行主体实际上是计算机设备中的处理器，因此，在确定多个图像帧中的人物关系识别结果为亲子关系的情况下，计算机设备可以输出亲子场景信息，并且以弹窗的形式或语音播报的形式将亲子场景信息输出。另外，若云台不包括计算机设备时，计算机设备可以向云台上设置的用户终端发送亲子场景信息。
[0189]
一个实施例中，亲子场景信息包括：亲子场景的拍摄教程和亲子特效效果中的至少一种。
[0190]
可选地，亲子场景信息可以包括亲子场景的拍摄视角和亲子场景的拍摄时间等等信息，但在本技术实施例中，亲子场景信息包括亲子场景的拍摄教程和/或亲子特效效果。
[0191]
在一些场景中，为了让亲子位于图像采集设备采集的图像帧的中央区域，需要通过控制云台转动来动态调整图像采集设备的焦距，在图像帧拍摄的过程中，控制图像采集设备的焦距指向亲子，以使亲子位于图像采集设备采集到的图像帧的中央区域。基于此，在一实施例中，上述s300中的步骤执行之后，上述方法还可以包括：若确定多个图像帧中的人物关系识别结果为亲子关系，则控制云台转动，用于使亲子位于图像采集设备采集到的图像帧的中央区域。
[0192]
这里需要说明的是，上述云台具有支撑功能，可以用于固定图像采集设备，以防止图像采集设备在拍摄过程中的抖动。其中，云台可以运动，并且云台转动后对应图像采集设备也随之运动，因此，计算机设备可以控制云台转动来带动图像采集设备运动，从而能够调整图像采集设备的焦距，在图像帧拍摄的过程中，控制图像采集设备的焦距指向亲子，以使亲子位于图像采集设备采集到的图像帧的中央区域。
[0193]
本技术实施例中的技术方案，判断联合置信度是否大于预设的置信度阈值，若是，则确定多个图像帧中的人物关系识别结果为亲子关系；该方法可以通过多个图像帧中的人体的人体加权置信度和人脸的人脸加权置信度综合确定联合置信度，进而通过联合置信度能够准确确定人物关系识别结果，并且该处理过程不需要参与，能够提高处理速度和效率。
[0194]
一种实施例中，本技术实施例还提供一种人物关系识别方法，该方法包括以下过程：
[0195]
(1)获取多个图像帧。
[0196]
(2)对各图像帧进行人体检测处理，得到各图像帧的人体检测结果；人体检测结果包括人体检测框和人体检测框的位置信息和尺寸信息。
[0197]
(3)对于任一图像帧，根据图像帧中各人体检测框的位置信息和尺寸信息，确定图像帧中各人体图像的角点信息。
[0198]
(4)根据图像帧中各人体图像的角点信息，对图像帧进行裁剪处理，得到图像帧中的各人体图像。
[0199]
(5)对各人体图像进行人脸检测处理，得到各图像帧的人脸检测结果；人脸检测结果包括人脸检测框的位置信息和尺寸信息。
[0200]
(6)根据各图像帧的人体检测结果，获取各图像帧中的各人体图像。
[0201]
(7)将各人体图像输入至人体年龄分类模型，得到各图像帧中各人体的年龄属性分类结果。
[0202]
(8)对于任一图像帧，根据图像帧中各人脸检测框的位置信息和尺寸信息，确定图像帧中各人脸图像的角点信息。
[0203]
(9)根据图像帧中各人脸图像的角点信息，对图像帧进行裁剪处理，得到图像帧中的各人脸图像。
[0204]
(10)将各人脸图像输入至人脸年龄分类模型，得到各图像帧中各人脸的年龄属性分类结果；年龄属性分类结果包括年龄属性分类置信度。
[0205]
(11)对于任一图像帧，根据图像帧中各人体的年龄属性分类置信度，确定图像帧的人体置信度。
[0206]
(12)对各图像帧的人体置信度相加，得到多个图像帧的人体加权置信度。
[0207]
(13)对于任一图像帧，根据图像帧中各人脸的年龄属性分类置信度，确定图像帧的人脸置信度。
[0208]
(14)对各图像帧的人脸置信度相加，得到多个图像帧的人脸加权置信度。
[0209]
(15)根据人体加权置信度和人脸加权置信度，确定联合置信度。
[0210]
(16)判断联合置信度是否大于预设的置信度阈值。
[0211]
(17)若是，则确定多个图像帧中的人物关系识别结果为亲子关系。
[0212]
(18)若确定多个图像帧中的人物关系识别结果为亲子关系，则输出亲子场景的拍
摄教程和亲子特效效果中的至少一种。
[0213]
(19)若确定多个图像帧中的人物关系识别结果为亲子关系，则控制云台转动，用于使亲子位于图像采集设备采集到的图像帧的中央区域。
[0214]
以上(1)至(19)的执行过程具体可以参见上述实施例的描述，其实现原理和技术效果类似，在此不再赘述。
[0215]
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0216]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的人物关系识别方法的人物关系识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个人物关系识别装置实施例中的具体限定可以参见上文中对于人物关系识别方法的限定，在此不再赘述。
[0217]
在一个实施例中，图15为本技术一个实施例中人物关系识别装置的结构示意图，本技术实施例提供的人物关系识别装置可以应用于计算机设备中。如图15所示，本技术实施例的人物关系识别装置，可以包括：图像帧获取模块11、检测处理模块12和分析模块13，其中：
[0218]
图像帧获取模块11，用于获取多个图像帧；
[0219]
检测处理模块12，用于对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果；
[0220]
分析模块13，用于通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。
[0221]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0222]
在其中一个实施例中，检测处理模块12包括：人体检测处理单元和人脸检测处理单元，其中：
[0223]
人体检测处理单元，用于对各图像帧进行人体检测处理，得到各图像帧的人体检测结果；
[0224]
人脸检测处理单元，用于根据各图像帧的人体检测结果确定各图像帧中的各人体图像，并对各人体图像进行人脸检测处理，得到各图像帧的人脸检测结果。
[0225]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0226]
在其中一个实施例中，人体检测结果包括人体检测框的位置信息和尺寸信息；人脸检测处理单元具体用于：
[0227]
对于任一图像帧，根据图像帧中各人体检测框的位置信息和尺寸信息，确定图像帧中各人体图像的角点信息；
[0228]
根据图像帧中各人体图像的角点信息，对图像帧进行裁剪处理，得到图像帧中的各人体图像。
[0229]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0230]
在其中一个实施例中，分析模块13包括：分类结果确定单元和分析单元，其中：
[0231]
分类结果确定单元，用于根据各图像帧的人体检测结果，确定各图像帧中各人体的年龄属性分类结果，以及根据各图像帧的人脸检测结果，确定各图像帧中各人脸的年龄属性分类结果；
[0232]
分析单元，用于根据各图像帧中各人体的年龄属性分类结果和各人脸的年龄属性分类结果，对多个图像帧中的人物特征进行分析，获得人物关系识别结果。
[0233]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0234]
在其中一个实施例中，分类结果确定单元包括第一获取子单元和第一确定子单元，其中：
[0235]
第一获取子单元，用于根据各图像帧的人体检测结果，获取各图像帧中的各人体图像；
[0236]
第一确定子单元，用于将各人体图像输入至人体年龄分类模型，得到各图像帧中各人体的年龄属性分类结果。
[0237]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0238]
在其中一个实施例中，分类结果确定单元包括第二获取子单元和第二确定子单元，其中：
[0239]
第二获取子单元，用于根据各图像帧的人脸检测结果，获取各图像帧中的各人脸图像；
[0240]
第二确定子单元，用于将各人脸图像输入至人脸年龄分类模型，得到各图像帧中各人脸的年龄属性分类结果。
[0241]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0242]
在其中一个实施例中，人脸检测结果包括人脸检测框的位置信息和尺寸信息；第二获取子单元具体用于：
[0243]
对于任一图像帧，根据图像帧中各人脸检测框的位置信息和尺寸信息，确定图像帧中各人脸图像的角点信息；
[0244]
根据图像帧中各人脸图像的角点信息，对图像帧进行裁剪处理，得到图像帧中的各人脸图像。
[0245]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0246]
在其中一个实施例中，分析单元包括：加权置信度确定子单元、联合置信度确定子单元和分析子单元，其中：
[0247]
加权置信度确定子单元，用于根据各图像帧中各人体的年龄属性分类置信度确定
多个图像帧的人体加权置信度，以及根据各图像帧中各人脸的年龄属性分类置信度确定多个图像帧的人脸加权置信度；
[0248]
联合置信度确定子单元，用于根据人体加权置信度和人脸加权置信度，确定联合置信度；
[0249]
分析子单元，用于通过联合置信度对多个图像帧中的人物特征进行分析，得到人物关系识别结果。
[0250]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0251]
在其中一个实施例中，加权置信度确定子单元具体用于：
[0252]
对于任一图像帧，根据图像帧中各人体的年龄属性分类置信度，确定图像帧的人体置信度；
[0253]
对各图像帧的人体置信度相加，得到多个图像帧的人体加权置信度。
[0254]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0255]
在其中一个实施例中，加权置信度确定子单元具体还用于：
[0256]
对于任一图像帧，根据图像帧中各人脸的年龄属性分类置信度，确定图像帧的人脸置信度；
[0257]
对各图像帧的人脸置信度相加，得到多个图像帧的人脸加权置信度。
[0258]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0259]
在其中一个实施例中，分析子单元具体用于：
[0260]
判断联合置信度是否大于预设的置信度阈值；
[0261]
若是，则确定多个图像帧中的人物关系识别结果为亲子关系。
[0262]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0263]
在其中一个实施例中，人物关系识别装置还包括信息输出模块，其中：
[0264]
信息输出模块，用于在确定多个图像帧中的人物关系识别结果为亲子关系时，输出亲子场景信息；
[0265]
其中，亲子场景信息包括亲子场景的拍摄教程和亲子特效效果中的至少一种。
[0266]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0267]
在其中一个实施例中，人物关系识别装置还包括：控制模块，其中：
[0268]
控制模块，用于在确定多个图像帧中的人物关系识别结果为亲子关系时，控制云台转动，用于使亲子位于图像采集设备采集到的图像帧的中央区域。
[0269]
本技术实施例提供的人物关系识别装置可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0270]
关于人物关系识别装置的具体限定可以参见上文中对于人物关系识别方法的限定，在此不再赘述。上述人物关系识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以
以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0271]
在一个实施例中，提供了一种手持云台，包括：电机和处理器，电机用于控制手持云台转动，处理器用于执行上述人物关系识别方法中的任一实施例的步骤。
[0272]
其中，处理器可以控制电机转动，然后电机转动带动手持云台转动。可选地，上述手持云台有二轴手持云台或者三轴手持云台。也可以理解的是，云台运动后，云台的各轴之间会发生联动，其中，二轴手持云台包括横滚轴、俯仰轴和航向轴中的任意两轴，三轴手持云台包括横滚轴、俯仰轴和航向轴，在三轴手持云台运动过程中，横滚轴、俯仰轴和航向轴之间的至少两个轴会发生联动，也可以是控制横滚轴、俯仰轴和航向轴之间的其中一个轴运动。
[0273]
本技术实施例提供的手持云台可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0274]
在一个实施例中，提供了一种计算机设备，该计算机设备的内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供处理能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多个图像帧。该计算机设备的网络接口用于与外部的终点通过网络连接通信。该计算机程序被处理器执行时以实现一种人物关系识别方法。
[0275]
本领域技术人员可以理解，图16中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0276]
在一个实施例中，提供了一种人物关系识别系统，该人物关系识别系统包括云台；连接于云台的图像采集设备，图像采集设备中包括上述实施例中的计算机设备；
[0277]
其中，计算机设备用于执行上述人物关系识别方法中的任一实施例的步骤。
[0278]
可选地，计算机设备可以控制云台的电机转动，然后电机转动带动云台转动。
[0279]
本技术实施例提供的人物关系识别系统可以用于执行本技术上述人物关系识别方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0280]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0281]
获取多个图像帧；
[0282]
对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果；
[0283]
通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。
[0284]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0285]
获取多个图像帧；
[0286]
对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检
测结果；
[0287]
通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。
[0288]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0289]
获取多个图像帧；
[0290]
对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果；
[0291]
通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。
[0292]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0293]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0294]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种人物关系识别方法，其特征在于，所述方法包括：获取多个图像帧；对所述多个图像帧进行检测处理，得到各所述图像帧的人体检测结果和各所述图像帧的人脸检测结果；通过各所述图像帧的人体检测结果和各所述图像帧的人脸检测结果，对所述多个图像帧中的人物特征进行分析，获得所述多个图像帧中的人物关系识别结果。2.根据权利要求1所述的方法，其特征在于，所述对所述多个图像帧进行检测处理，得到各图像帧的人体检测结果和人脸检测结果，包括：对各所述图像帧进行人体检测处理，得到各所述图像帧的人体检测结果；根据各所述图像帧的人体检测结果确定各所述图像帧中的各人体图像，并对各所述人体图像进行人脸检测处理，得到各所述图像帧的人脸检测结果。3.根据权利要求2所述的方法，其特征在于，所述人体检测结果包括人体检测框的位置信息和尺寸信息；所述根据各所述图像帧的人体检测结果确定各所述图像帧中的各人体图像，包括：对于任一图像帧，根据所述图像帧中各人体检测框的位置信息和尺寸信息，确定所述图像帧中各人体图像的角点信息；根据所述图像帧中各所述人体图像的角点信息，对所述图像帧进行裁剪处理，得到所述图像帧中的各所述人体图像。4.根据权利要求1-3中任一项所述的方法，其特征在于，所述通过各所述图像帧的人体检测结果和各所述图像帧的人脸检测结果，对所述多个图像帧中的人物特征进行分析，获得所述多个图像帧中的人物关系识别结果，包括：根据各所述图像帧的人体检测结果，确定各所述图像帧中各人体的年龄属性分类结果，以及根据各所述图像帧的人脸检测结果，确定各所述图像帧中各人脸的年龄属性分类结果；根据各所述图像帧中各人体的年龄属性分类结果和各人脸的年龄属性分类结果，对所述多个图像帧中的人物特征进行分析，获得所述人物关系识别结果。5.根据权利要求4所述的方法，其特征在于，所述根据各所述图像帧的人体检测结果，确定各所述图像帧中各人体的年龄属性分类结果，包括：根据各所述图像帧的人体检测结果，获取各所述图像帧中的各所述人体图像；将各所述人体图像输入至人体年龄分类模型，得到各所述图像帧中各人体的年龄属性分类结果。6.根据权利要求4所述的方法，其特征在于，所述根据各所述图像帧的人脸检测结果，确定各所述图像帧中各人脸的年龄属性分类结果，包括：根据各所述图像帧的人脸检测结果，获取各所述图像帧中的各所述人脸图像；将各所述人脸图像输入至人脸年龄分类模型，得到各所述图像帧中各人脸的年龄属性分类结果。7.根据权利要求6所述的方法，其特征在于，所述人脸检测结果包括人脸检测框的位置信息和尺寸信息；所述根据各所述图像帧的人脸检测结果，获取各所述图像帧中的各所述人脸图像，包括：
对于任一图像帧，根据所述图像帧中各人脸检测框的位置信息和尺寸信息，确定所述图像帧中各人脸图像的角点信息；根据所述图像帧中各所述人脸图像的角点信息，对所述图像帧进行裁剪处理，得到所述图像帧中的各所述人脸图像。8.根据权利要求4所述的方法，其特征在于，所述年龄属性分类结果包括年龄属性分类置信度；所述根据各所述图像帧中各人体的年龄属性分类结果和各人脸的年龄属性分类结果，对所述多个图像帧中的人物特征进行分析，获得所述人物关系识别结果，包括：根据各所述图像帧中各所述人体的年龄属性分类置信度确定所述多个图像帧的人体加权置信度，以及根据各所述图像帧中各所述人脸的年龄属性分类置信度确定所述多个图像帧的人脸加权置信度；根据所述人体加权置信度和所述人脸加权置信度，确定联合置信度；通过所述联合置信度对所述多个图像帧中的人物特征进行分析，得到所述人物关系识别结果。9.根据权利要求8所述的方法，其特征在于，所述根据各所述图像帧中各所述人体的年龄属性分类置信度确定所述多个图像帧的人体加权置信度，包括：对于任一图像帧，根据所述图像帧中各所述人体的年龄属性分类置信度，确定所述图像帧的人体置信度；对各所述图像帧的人体置信度相加，得到所述多个图像帧的人体加权置信度。10.根据权利要求8所述的方法，其特征在于，所述根据各所述图像帧中各所述人脸的年龄属性分类置信度确定所述多个图像帧的人脸加权置信度，包括：对于任一图像帧，根据所述图像帧中各所述人脸的年龄属性分类置信度，确定所述图像帧的人脸置信度；对各所述图像帧的人脸置信度相加，得到所述多个图像帧的人脸加权置信度。11.根据权利要求8所述的方法，其特征在于，所述通过所述联合置信度对所述多个图像帧中的人物特征进行分析，得到所述人物关系识别结果，包括：判断所述联合置信度是否大于预设的置信度阈值；若是，则确定所述多个图像帧中的人物关系识别结果为亲子关系。12.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：若确定所述多个图像帧中的人物关系识别结果为亲子关系，则输出亲子场景信息。13.根据权利要求12所述的方法，其特征在于，所述亲子场景信息包括亲子场景的拍摄教程和亲子特效效果中的至少一种。14.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：若确定所述多个图像帧中的人物关系识别结果为亲子关系，则控制云台转动，用于使亲子位于图像采集设备采集到的图像帧的中央区域。15.一种人物关系识别装置，其特征在于，所述装置包括：图像帧获取模块，用于获取多个图像帧；检测处理模块，用于对所述多个图像帧进行检测处理，得到各所述图像帧的人体检测结果和各所述图像帧的人脸检测结果；分析模块，用于通过各所述图像帧的人体检测结果和各所述图像帧的人脸检测结果，
对所述多个图像帧中的人物特征进行分析，获得所述多个图像帧中的人物关系识别结果。16.一种手持云台，其特征在于，包括：电机和处理器，所述电机用于控制所述手持云台转动，所述处理器用于实现权利要求1-14中任一项所述的方法的步骤。17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-14中任一项所述的方法的步骤。18.一种人物关系识别系统，其特征在于，包括：云台；连接于云台的图像采集设备，所述图像采集设备中包括权利要求17所述的计算机设备。19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-14中任一项所述的方法的步骤。

技术总结
本申请涉及一种人物关系识别方法、装置、手持云台、系统、设备及介质。该方法包括：获取多个图像帧，对多个图像帧进行检测处理，得到各图像帧的人体检测结果和各图像帧的人脸检测结果，并通过各图像帧的人体检测结果和各图像帧的人脸检测结果，对多个图像帧中的人物特征进行分析，获得多个图像帧中的人物关系识别结果。上述方法通过检测处理得到图像帧中的人体检测结果和人脸检测结果，并在对图像帧中的人物特征分析的过程中，综合考虑了图像帧中的人体特征信息和人脸特征信息，即人体检测结果和人脸检测结果，从而能够提高确定的人物关系识别结果的准确性。识别结果的准确性。识别结果的准确性。


技术研发人员：贾配洋 马龙祥 张伟俊
受保护的技术使用者：影石创新科技股份有限公司
技术研发日：2023.03.24
技术公布日：2023/7/21