一种肢体接触行为的识别方法、装置及电子设备与流程

1.本发明涉及视频监控技术领域，尤其是涉及一种肢体接触行为的识别方法、装置及电子设备。


背景技术：

2.随着人工智能技术的发展和进步，目标识别已在诸多领域应用。目标识别技术除了用于识别目标的类别，还能够识别目标的行为。
3.目前，识别肢体接触行为的算法，通常通过帧差或光流进行建模，存在精度低、速度慢的问题。


技术实现要素：

4.本发明的目的在于提供一种肢体接触行为的识别方法、装置及电子设备，解决了现有技术中存在的识别精度低、速度慢的问题。
5.第一方面，本发明提供一种肢体接触行为的识别方法，包括：
6.利用openpose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置；
7.基于人体骨架关键点及所在位置，利用deepsort算法进行人体目标跟踪，获取人体目标的人体骨架时序图；
8.利用目标框聚堆算法，获取人体目标的聚集区域；
9.利用st-gcn网络模型识别人体骨架时序图中的肢体接触行为，获得识别结果；
10.对识别结果及聚集区域的判断结果进行综合判断，获得肢体接触输出结果。
11.进一步的，利用openpose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置的步骤，包括：
12.利用openpose模型，采用自下而上的关键点检测方法，对视频帧图像中的人体目标进行检测，获取人体目标的人体骨架关键点及所在位置。
13.进一步的，基于人体骨架关键点及所在位置，利用deepsort算法进行人体目标跟踪，获取人体目标的人体骨架时序图的步骤，包括：
14.基于人体骨架关键点及所在位置，利用deepsort多目标跟踪算法，获取人体目标的历史轨迹及人体关键点变化过程，得到人体目标的人体骨架时序图。
15.进一步的，所述st-gcn网络模型的训练过程，包括：
16.由肢体接触人体骨架样本与正常活动人体骨架样本，构建深度学习训练集与测试集；
17.搭建resnet-50构建的st-gcn初始网络模型；
18.配置训练参数，利用训练集和测试集训练st-gcn初始网络模型；
19.获得训练后的st-gcn网络模型。
20.进一步的，配置训练参数，利用训练集和测试集训练st-gcn初始网络模型的步骤，
包括：
21.设置初始学习率为0.001，利用自适应时刻估计算法进行迭代训练，使网络训练最终输出的损失值下降至预设值。
22.进一步的，所述人体骨架关键点包括头部、颈部、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右臀、右膝、右脚腕、左臀、左膝、左脚腕。
23.第二方面，本发明还提供一种肢体接触行为的识别装置，包括：
24.检测模块，用于利用openpose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置；
25.跟踪模块，用于基于人体骨架关键点及所在位置，利用deepsort算法进行人体目标跟踪，获取人体目标的人体骨架时序图；
26.聚堆模块，用于利用目标框聚堆算法，获取人体目标的聚集区域；
27.识别模块，用于利用st-gcn网络模型识别人体骨架时序图中的肢体接触行为，获得识别结果；
28.输出模块，用于对识别结果及聚集区域的判断结果进行综合判断，获得肢体接触输出结果。
29.第三方面，本发明还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
30.第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述方法。
31.本发明提供的肢体接触行为的识别方法，首先获取视频帧中人体目标的人体骨架关键点及所在位置，利用deepsort算法进行人体目标跟踪，获取人体目标的人体骨架时序图，再利用st-gcn网络模型识别人体骨架时序图中的肢体接触行为，获得识别结果。同时，利用目标框聚堆算法，获取人体目标的聚集区域，对识别结果及聚集区域的判断结果进行综合判断，获得肢体接触输出结果，提高了肢体接触行为识别的精度，实现监控领域的实时检测，解决了现有技术中存在的识别精度低、速度慢的问题。
32.相应地，本发明实施例提供的肢体接触行为的识别装置、电子设备及计算机可读存储介质，也同样具有上述技术效果。
附图说明
33.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明实施例提供的肢体接触行为的识别方法的流程图；
35.图2为本发明实施例提供的肢体接触行为的识别方法的另一流程图；
36.图3为本发明实施例中人体骨架关键点的示意图；
37.图4为本发明实施例提供的肢体接触行为的识别装置的示意图。
具体实施方式
38.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.本发明实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
40.如图1和图2所示，本发明提供一种肢体接触行为的识别方法，包括：
41.s1：利用openpose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置。
42.s2：基于人体骨架关键点及所在位置，利用deepsort算法进行人体目标跟踪，获取人体目标的人体骨架时序图。
43.s3：利用目标框聚堆算法，获取人体目标的聚集区域。
44.s4：利用st-gcn网络模型识别人体骨架时序图中的肢体接触行为，获得识别结果。
45.s5：对识别结果及聚集区域的判断结果进行综合判断，获得肢体接触输出结果。
46.例如，可以将肢体接触行为识别结果和聚集区域的判断结果取交集，获得最终的肢体接触输出结果。
47.本发明实施例通过对人体骨架时序图进行肢体接触行为的识别，并结合聚集区域进行综合判断，提高了肢体接触行为识别的精度，实现监控领域的实时检测，解决了现有技术中存在的识别精度低、速度慢的问题。
48.在一种可能的实施方式中，步骤s1，具体包括：
49.利用openpose模型，采用自下而上的关键点检测方法，对视频帧图像中的人体目标进行检测，获取人体目标的人体骨架关键点及所在位置，具有鲁棒性高且处理时间稳定的优点。
50.如图3所示，人体骨架关键点包括头部0、颈部1、右肩2、右手肘3、右手腕4、左肩5、左手肘6、左手腕7、右臀8、右膝9、右脚腕10、左臀11、左膝12、左脚腕13。
51.在一种可能的实施方式中，步骤s2，具体包括：
52.基于人体骨架关键点及所在位置，利用deepsort多目标跟踪算法，获取人体目标的历史轨迹及人体关键点变化过程，得到人体目标的人体骨架时序图。
53.在一种可能的实施方式中，所述st-gcn网络模型的训练过程，包括以下步骤：
54.(1)构建训练模型的训练样本集。
55.由肢体接触人体骨架样本与正常活动人体骨架样本，构建深度学习训练集与测试集，并构建基于多个人体目标的人体骨架时序图。
56.(2)搭建基于st-gcn的深度学习分类网络架构。
57.采用resnet-50构建的st-gcn初始网络模型，作为backbone神经网络对输入的样本进行特征提取，将生成的特征识别结果用于特征分类，采用交叉熵函数作为损失函数计算损失值loss。
58.(3)配置训练参数，训练检测模型。
59.配置深度学习参数训练模型，利用训练集和测试集训练st-gcn初始网络模型。设置初始学习率为0.001，利用自适应时刻估计算法进行迭代训练，使网络训练最终输出的损失值下降至预设值。
60.最后，获得训练后的st-gcn网络模型，即st-gcn人体骨架肢体接触行为识别模型。
61.如图3所示，本发明实施例还提供一种肢体接触行为的识别装置，包括：
62.检测模块，用于利用openpose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置；
63.跟踪模块，用于基于人体骨架关键点及所在位置，利用deepsort算法进行人体目标跟踪，获取人体目标的人体骨架时序图；
64.聚堆模块，用于利用目标框聚堆算法，获取人体目标的聚集区域；
65.识别模块，用于利用st-gcn网络模型识别人体骨架时序图中的肢体接触行为，获得识别结果；
66.输出模块，用于对识别结果及聚集区域的判断结果进行综合判断，获得肢体接触输出结果。
67.本发明实施例还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
68.对应于上述方法，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述方法的步骤。
69.本发明实施例所提供的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
70.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
71.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。
72.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明
的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种肢体接触行为的识别方法，其特征在于，包括：利用openpose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置；基于人体骨架关键点及所在位置，利用deepsort算法进行人体目标跟踪，获取人体目标的人体骨架时序图；利用目标框聚堆算法，获取人体目标的聚集区域；利用st-gcn网络模型识别人体骨架时序图中的肢体接触行为，获得识别结果；对识别结果及聚集区域的判断结果进行综合判断，获得肢体接触输出结果。2.根据权利要求1所述的方法，其特征在于，利用openpose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置的步骤，包括：利用openpose模型，采用自下而上的关键点检测方法，对视频帧图像中的人体目标进行检测，获取人体目标的人体骨架关键点及所在位置。3.根据权利要求1所述的方法，其特征在于，基于人体骨架关键点及所在位置，利用deepsort算法进行人体目标跟踪，获取人体目标的人体骨架时序图的步骤，包括：基于人体骨架关键点及所在位置，利用deepsort多目标跟踪算法，获取人体目标的历史轨迹及人体关键点变化过程，得到人体目标的人体骨架时序图。4.根据权利要求1所述的方法，其特征在于，所述st-gcn网络模型的训练过程，包括：由肢体接触人体骨架样本与正常活动人体骨架样本，构建深度学习训练集与测试集；搭建resnet-50构建的st-gcn初始网络模型；配置训练参数，利用训练集和测试集训练st-gcn初始网络模型；获得训练后的st-gcn网络模型。5.根据权利要求4所述的方法，其特征在于，配置训练参数，利用训练集和测试集训练st-gcn初始网络模型的步骤，包括：设置初始学习率为0.001，利用自适应时刻估计算法进行迭代训练，使网络训练最终输出的损失值下降至预设值。6.根据权利要求1所述的方法，其特征在于，所述人体骨架关键点包括头部、颈部、右肩、右手肘、右手腕、左肩、左手肘、左手腕、右臀、右膝、右脚腕、左臀、左膝、左脚腕。7.一种肢体接触行为的识别装置，其特征在于，包括：检测模块，用于利用openpose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置；跟踪模块，用于基于人体骨架关键点及所在位置，利用deepsort算法进行人体目标跟踪，获取人体目标的人体骨架时序图；聚堆模块，用于利用目标框聚堆算法，获取人体目标的聚集区域；识别模块，用于利用st-gcn网络模型识别人体骨架时序图中的肢体接触行为，获得识别结果；输出模块，用于对识别结果及聚集区域的判断结果进行综合判断，获得肢体接触输出结果。8.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一
项所述的方法的步骤。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至6任一项所述的方法。

技术总结
本发明提供了一种肢体接触行为的识别方法、装置及电子设备，属于视频监控的技术领域，解决了现有技术中存在的识别精度低、速度慢的问题。该方法包括：利用OpenPose模型，对视频帧图像进行检测，获取人体目标的人体骨架关键点及所在位置；基于人体骨架关键点及所在位置，利用DeepSort算法进行人体目标跟踪，获取人体目标的人体骨架时序图；利用目标框聚堆算法，获取人体目标的聚集区域；利用ST-GCN网络模型识别人体骨架时序图中的肢体接触行为，获得识别结果；对识别结果及聚集区域的判断结果进行综合判断，获得肢体接触输出结果。获得肢体接触输出结果。获得肢体接触输出结果。


技术研发人员：于宏志 张鹏超 王洪涛 董承恩 周湘平 王宁
受保护的技术使用者：天津天地伟业智能安全防范科技有限公司
技术研发日：2022.11.25
技术公布日：2023/8/9