行为识别方法、装置、计算机设备和存储介质与流程

1.本技术涉及人工智能技术领域，特别是涉及一种行为识别方法、装置、计算机设备和存储介质，可应用于机器视觉技术领域。


背景技术：

2.行为识别是计算机视觉领域中一个重要的研究课题，其目的在于对行为动作数据中的有效信息或具有辨识力的特征进行提取，并利用这些信息和特征对行为进行动作类别细分。
3.现有技术中，行为识别的方式是基于从目标对象的动作中获取的骨架数据，对目标对象的行为进行识别。然而，这种行为识别方式存在识别结果准确度较低、不全面的问题。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够全面、准确的对目标对象的行为动作进行识别的行为识别方法、装置、计算机设备和存储介质。
5.第一方面，本技术提供了一种行为识别方法，该方法包括：
6.从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据；
7.根据各骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据；
8.通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果。
9.在其中一个实施例中，通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果，包括：
10.对各骨架数据和深度行为数据进行融合，得到融合数据；
11.将融合数据输入至行为识别模型中，得到目标对象的行为识别结果。
12.在其中一个实施例中，对各骨架数据和深度行为数据进行融合，得到融合数据，包括：
13.从待识别视频中提取每一骨架数据对应的颜色数据；
14.将各骨架数据、各骨架数据对应的颜色数据，以及深度行为数据进行融合，得到融合数据。
15.在其中一个实施例中，从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据，包括：
16.根据待识别视频中每一视频帧的清晰度和图像信息，确定至少两个目标帧；
17.从至少两个目标帧中，提取目标对象的至少两个骨架数据。
18.在其中一个实施例中，根据各骨架数据之间的变化情况，确定目标对象的深度行为数据之前，方法还包括：
19.根据目标对象的对象类型，确定目标对象的基本骨骼点数；
20.根据基本骨骼点数和各骨架数据中所包含的骨骼点数，确定各骨架数据的有效性。
21.在其中一个实施例中，该方法还包括：
22.对各骨架数据中相同骨骼点进行连接，得到骨骼点变化曲线；
23.根据骨骼点变化曲线，确定各骨架数据之间的骨骼变化情况。
24.第二方面，本技术还提供了一种行为识别装置，该装置包括：
25.数据提取模块，用于从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据；
26.数据确定模块，用于根据各骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据；
27.结果确定模块，用于通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果。
28.第三方面，本技术还提供了一种计算机设备，该计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
29.从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据；
30.根据各骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据；
31.通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果。
32.第四方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
33.从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据；
34.根据各骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据；
35.通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果。
36.第五方面，本技术还提供了一种计算机程序产品，该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
37.从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据；
38.根据各骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据；
39.通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果。
40.上述行为识别方法、装置、计算机设备和存储介质，通过从包含目标对象的待识别视频中提取目标对象的多个骨架数据，并根据多个骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据；进一步的，将确定的骨架数据和深度行为数据输入至行为识别模型中，即可得到目标对象的行为识别结果。上述方案，在对目标对象进行行为识别的过程中，不仅根据目标对象的骨架数据，还引入了由多个骨架数据之间的骨骼变化情况确定的深度行为数据，能够更加全面的对行为进行识别，进而能够更加准确的得到目标行为识别结果。
附图说明
41.图1为一个实施例中行为识别方法的应用环境图；
42.图2为一个实施例中行为识别方法的流程示意图；
43.图3为一个实施例中确定各骨架数据的有效性的流程示意图；
44.图4为一个实施例中获取目标对象的行为识别结果的流程示意图；
45.图5为另一个实施例中行为识别方法的流程示意图；
46.图6为一个实施例中行为识别装置的结构框图；
47.图7为另一个实施例中行为识别装置的结构框图；
48.图8为又一个实施例中行为识别装置的结构框图；
49.图9为一个实施例中计算机设备的内部结构图。
具体实施方式
50.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
51.本技术实施例提供的行为识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据，如骨架数据、深度行为数据等。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。可选的，终端102可以通过配置的摄像头(如红外摄像头)，对目标对象的行为进行录像，得到待识别视频；并通过网络与服务器104进行交互，将待识别视频传输至服务器104；进一步的，服务器104接收到终端102传输的待识别视频后，可以对待识别视频进行分析，提取目标对象的多个骨架数据，并根据骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据；将骨架数据和深度行为数据输入至行为识别模型中，得到目标对象的行为识别结果，完成对目标对象的行为识别操作。
52.其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
53.可选的，本技术实施例提供的行为识别方法，可以应用于需要对目标对象的行为进行识别的场景，如银行等金融相关场景。例如，在需要对办理金融业务的人的行为进行识别时，可以通过银行本地配置的摄像头，对目标对象所产生的行为进行录制，生成待识别视频，将待识别视频传输至服务器，由服务器根据待识别视频，对目标对象的行为进行识别，进而得到目标对象的行为识别结果；进一步的，将目标对象的行为识别结果传输至终端，终端可以根据行为识别结果，来判断目标对象的业务需求，进而为目标对象提供业务相关的服务。
54.在一个实施例中，如图2所示，提供了一种行为识别方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
55.s201，从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据。
56.在本实施例中，目标对象即为行为待识别的对象，可以为人或动物等。待识别视频可以为在需要对目标对象进行行为识别时，通过摄像头对目标对象的行为进行录制得到的
视频，或从服务器的数据存储系统中获取到的包括目标对象的视频。骨架数据即为目标对象的骨架相关数据，可以包括骨架中各骨骼的坐标等数据。
57.具体的，服务器通过网络与终端进行交互，从终端获取到包括目标对象的待识别视频后，可以通过行为提取软件，直接从待识别视频中提取目标对象的骨架数据。需要说明的是，在待识别视频中的目标对象发生动作时，目标对象的骨架数据将会发生变化，因此，可以从待识别视频中提取出目标对象的多个骨架数据。
58.可选的，可以根据待识别视频中每一视频帧的清晰度和图像信息，确定至少两个目标帧；从至少两个目标帧中，提取目标对象的至少两个骨架数据。
59.其中，图像信息可以为图像中包含的目标对象的相关信息，可以表征目标对象的完整性、丰富度等信息。目标帧指的是需要从待识别视频中提取的第几帧，可以为多个；一个目标帧即可对应一个骨架数据。
60.具体的，获取到待识别视频后，可以对待识别视频中的每一视频帧均进行分析，确定每一视频帧的清晰度是否满足要求，并根据每一视频帧中的图像信息，确定每一视频帧中包含的目标对象的完整性等；从待识别视频中选择清晰度较高，且图像信息完整的视频帧，作为目标帧；进一步的，可以通过行为提取软件，从确定的目标帧中，提取出对应的骨架数据。
61.可以理解的是，通过引入待识别视频中每一视频帧的清晰度和图像信息，来确定目标帧，能够使得确定的目标帧对应的图像更加清晰、完整，进而保证了从目标帧中提取目标对象的骨架数据更加完整、准确。
62.s202，根据各骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据。
63.在本实施例中，骨骼变化情况可以用于表征骨架数据中所包含的全部骨骼点的整体变化情况。深度行为数据即为表征目标对象在三维空间中的行为在二维平面上的投影，可以反应目标对象产生的行为的运动方向和速度。
64.具体的，提取出目标对象的骨架数据后，可以对每一骨架数据进行分析，从各骨架数据中确定每一骨骼的变化情况，根据每一骨骼的变化情况，得到目标对象的深度行为数据。
65.可选的，可以对各骨架数据中相同骨骼点进行连接，得到骨骼点变化曲线；根据骨骼点变化曲线，确定各骨架数据之间的骨骼变化情况。其中，骨骼点即为骨架中所包含的骨骼对应的点，骨架中每一骨骼均对应一个骨骼点。
66.具体的，提取出目标对象的骨架数据后，可以对各骨架数据进行分析，确定各骨架数据中的骨骼点；将每一骨架数据中相同的骨骼点相连接，可以构成该骨骼点对应的变化曲线，即骨骼点变化曲线；例如，可以将各骨架数据中目标对象的手腕处骨骼点进行连接，得到圆弧状的骨骼点变化曲线；进一步的，将每一骨骼点变化曲线进行综合分析，能够确定各骨架数据之间整体的骨骼变化情况。
67.可以理解的是，通过引入由各骨架数据中相同骨骼点连接构成的骨骼点变化曲线，来确定各骨架数据之间的骨骼变化情况，能够使确定的骨骼变化情况更加准确，进而实现更加准确地对目标对象的行为进行识别。
68.s203，通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果。
69.在本实施例中，行为识别模型指的是多模态融合模型，即根据多模态融合的数据，对目标对象的行为进行识别的神经网络模型。行为识别结果即为对目标对象的行为进行识别的结果，可以为挥手、弯腰、点头等。
70.具体的，确定目标对象的骨架数据和深度行为数据后，可以将各骨架数据和深度行为数据输入至行为识别模型中，通过行为识别模型，对目标对象进行行为识别，进而得到目标对象的行为识别结果。
71.上述行为识别方法，通过从包含目标对象的待识别视频中提取多个目标对象的骨架数据，并根据多个骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据；进一步的，将确定的骨架数据和深度行为数据输入至行为识别模型中，得到目标对象的行为识别结果。上述方案，在对目标对象进行行为识别的过程中，不仅根据目标对象的骨架数据，还引入了由多个骨架数据之间的骨骼变化情况确定的深度行为数据，能够更加全面的对人体行为进行识别，进而能够更加准确的得到目标行为识别结果。
72.为了使确定的目标对象的深度行为数据更加准确，在上述实施例的基础上，在一个实施例中，如图3所示，在执行s202之前还可以包括以下步骤：
73.s301，根据目标对象的对象类型，确定目标对象的基本骨骼点数。
74.在本实施例中，对象类型即为目标对象的类型，可以包括人、狗、猫等。基本骨骼点数即为目标对象所包括的基本骨骼的总数，如目标对象为人时，基本骨骼点数为26个。
75.具体的，获取到待识别视频后，可以通过对待识别视频进行分析，确定待识别视频中的目标对象的对象类型；进一步的，可以基于预先设定的对象类型与基本骨骼点数之间的对应关系，确定待识别视频中的目标对象对应的基本骨骼点数。
76.s302，根据基本骨骼点数和各骨架数据中所包含的骨骼点数，确定各骨架数据的有效性。
77.具体的，确定目标对象对应的基本骨骼点数后，针对提取出的每一骨架数据，可以对该骨架数据进行解析，确定该骨架数据中所包含的骨骼点数；进一步的，可以将该骨架数据中所包含的骨骼点数与基本骨骼点数进行比较，若该骨架数据中所包含的骨骼点数与基本骨骼点数相同，则确定该骨架数据为有效；若该骨架数据中所包含的骨骼点数少于基本骨骼点数，则判断该骨架数据为不完整，即无效；进而，可以将无效骨架数据进行剔除，保留有效骨架数据，根据保留的有效骨架数据，进行深度行为数据的获取。
78.可以理解的是，通过引入目标对象的对象类型，以及对象类型对应的基本骨骼点数，进而根据各骨架数据中所包含的骨骼点数，能够更加准确的确定各骨架数据的有效性，进而提高确定的深度行为数据的准确性。
79.为了使确定的目标对象的行为识别结果更加准确，在上述实施例的基础上，在一个实施例中，如图4所示，进一步的对上述s203进行细化，具体包括以下步骤：
80.s401，对各骨架数据和深度行为数据进行融合，得到融合数据。
81.在本实施例中，融合数据即为由多模态数据融合得到的数据。
82.具体的，在确定骨架数据和深度行为数据后，可以基于现有的数据融合技术，将骨架数据与深度行为数据进行融合，得到融合数据。
83.可选的，待识别视频中包含丰富的行为相关数据，如颜色数据等。基于待识别视频中所包含的行为相关数据，可以对目标对象进行行为识别。随着目标对象的动作变化，骨架
数据、颜色数据等数据均会发生变化。每一骨架数据均可以对应一个颜色数据。为了更加准确、全面的对目标对象的行为进行识别，可以从待识别视频中提取每一骨架数据对应的颜色数据；将各骨架数据、各骨架数据对应的颜色数据，以及深度行为数据进行融合，得到融合数据。在本实施例中，颜色数据即为图像中所包含的颜色相关数据，可以包含颜色的分布等信息。
84.具体的，在确定骨架数据和深度行为数据后，可以根据待识别视频中提取出的每一骨架数据，从每一骨架数据中提取出每一骨架数据对应的颜色数据；进一步的，可以基于现有的数据融合技术，将各骨架数据、各骨架数据对应的颜色数据，以及深度行为数据进行融合，得到融合数据。
85.可以理解的是，通过引入各骨架数据对应的颜色数据，进而将颜色数据、骨架数据和深度行为数据进行融合，能够使得到的融合数据更加全面，进而实现更加准确的对目标对象的行为进行识别的效果。
86.s402，将融合数据输入至行为识别模型中，得到目标对象的行为识别结果。
87.具体的，确定融合数据后，可以将融合数据输入至行为识别模型中，通过行为识别模型，对融合数据进行识别，进而得到目标对象的行为识别结果。
88.可以理解的是，通过将骨架数据和深度行为数据进行融合，得到融合数据，进而将融合数据输入多模态融合的行为识别模型中，能够实现更加全面、准确的对目标对象的行为进行识别的效果。
89.在一个实施例中，如图5所示，提供了一种人体行为识别方法的优选实例。
90.具体过程如下：
91.s501，根据待识别视频中每一视频帧的清晰度和图像信息，确定至少两个目标帧。
92.s502，从至少两个目标帧中，提取目标对象的至少两个骨架数据。
93.可选的，可以根据目标对象的对象类型，确定目标对象的基本骨骼点数；根据基本骨骼点数和各骨架数据中所包含的骨骼点数，确定各骨架数据的有效性。
94.s503，对各骨架数据中相同骨骼点进行连接，得到骨骼点变化曲线。
95.s504，根据骨骼点变化曲线，确定各骨架数据之间的骨骼变化情况。
96.s505，根据各骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据。
97.s506，从待识别视频中提取每一骨架数据对应的颜色数据。
98.s507，将各骨架数据、各骨架数据对应的颜色数据，以及深度行为数据进行融合，得到融合数据。
99.s508，将融合数据输入至行为识别模型中，得到目标对象的行为识别结果。
100.上述s501-s508的具体过程可以参见上述方法实施例的描述，其实现原理和技术效果类似，在此不再赘述。
101.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的
步骤或者阶段的至少一部分轮流或者交替地执行。
102.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的行为识别方法的行为识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个行为识别装置实施例中的具体限定可以参见上文中对于行为识别方法的限定，在此不再赘述。
103.在一个实施例中，如图6所示，提供了一种行为识别装置1，包括：数据提取模块10、数据确定模块20和结果确定模块30，其中：
104.数据提取模块10，用于从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据；
105.数据确定模块20，用于根据各骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据；
106.结果确定模块30，用于通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果。
107.在一个实施例中，在上述图6的基础上，如图7所示，上述结果确定模块30还包括：
108.数据获取单元31，用于对各骨架数据和深度行为数据进行融合，得到融合数据；
109.结果获取单元32，用于将融合数据输入至行为识别模型中，得到目标对象的行为识别结果。
110.在一个实施例中，上述数据获取单元31具体可以用于：
111.从待识别视频中提取每一骨架数据对应的颜色数据；将各骨架数据、各骨架数据对应的颜色数据，以及深度行为数据进行融合，得到融合数据。
112.在一个实施例中，在上述图6或图7的基础上，如图8所示，上述数据提取模块10可以包括：
113.帧确定单元11，用于根据待识别视频中每一视频帧的清晰度和图像信息，确定至少两个目标帧；
114.数据提取单元12，用于从至少两个目标帧中，提取目标对象的至少两个骨架数据。
115.在一个实施例中，上述行为识别装置1还可以包括：
116.有效性确定模块，用于根据目标对象的对象类型，确定目标对象的基本骨骼点数；根据基本骨骼点数和各骨架数据中所包含的骨骼点数，确定各骨架数据的有效性。
117.在一个实施例中，上述行为识别装置1还可以包括：
118.曲线获取模块，用于对各骨架数据中相同骨骼点进行连接，得到骨骼点变化曲线；
119.情况确定模块，用于根据骨骼点变化曲线，确定各骨架数据之间的骨骼变化情况。
120.上述行为识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
121.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备
的数据库用于存储骨架数据、深度行为数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种行为识别方法。
122.本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
123.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
124.从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据；
125.根据各骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据；
126.通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果。
127.在一个实施例中，处理器执行计算机程序通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果的逻辑时，还实现以下步骤：
128.对各骨架数据和深度行为数据进行融合，得到融合数据；将融合数据输入至行为识别模型中，得到目标对象的行为识别结果。
129.在一个实施例中，处理器执行计算机程序对各骨架数据和深度行为数据进行融合，得到融合数据的逻辑时，还实现以下步骤：
130.从待识别视频中提取每一骨架数据对应的颜色数据；将各骨架数据、各骨架数据对应的颜色数据，以及深度行为数据进行融合，得到融合数据。
131.在一个实施例中，处理器执行计算机程序从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据的逻辑时，还实现以下步骤：
132.根据待识别视频中每一视频帧的清晰度和图像信息，确定至少两个目标帧；从至少两个目标帧中，提取目标对象的至少两个骨架数据。
133.在一个实施例中，处理器执行计算机程序根据各骨架数据之间的变化情况，确定目标对象的深度行为数据的逻辑之前，还实现以下步骤：
134.根据目标对象的对象类型，确定目标对象的基本骨骼点数；根据基本骨骼点数和各骨架数据中所包含的骨骼点数，确定各骨架数据的有效性。
135.在一个实施例中，处理器执行计算机程序时，还实现以下步骤：
136.对各骨架数据中相同骨骼点进行连接，得到骨骼点变化曲线；根据骨骼点变化曲线，确定各骨架数据之间的骨骼变化情况。
137.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
138.从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据；
139.根据各骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据；
140.通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果。
141.在一个实施例中，计算机程序通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果的逻辑被处理器执行时，还实现以下步骤：
142.对各骨架数据和深度行为数据进行融合，得到融合数据；将融合数据输入至行为
识别模型中，得到目标对象的行为识别结果。
143.在一个实施例中，计算机程序对各骨架数据和深度行为数据进行融合，得到融合数据的逻辑被处理器执行时，还实现以下步骤：
144.从待识别视频中提取每一骨架数据对应的颜色数据；将各骨架数据、各骨架数据对应的颜色数据，以及深度行为数据进行融合，得到融合数据。
145.在一个实施例中，计算机程序从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据的逻辑被处理器执行时，还实现以下步骤：
146.根据待识别视频中每一视频帧的清晰度和图像信息，确定至少两个目标帧；从至少两个目标帧中，提取目标对象的至少两个骨架数据。
147.在一个实施例中，计算机程序根据各骨架数据之间的变化情况，确定目标对象的深度行为数据的逻辑被处理器执行之前，还实现以下步骤：
148.根据目标对象的对象类型，确定目标对象的基本骨骼点数；根据基本骨骼点数和各骨架数据中所包含的骨骼点数，确定各骨架数据的有效性。
149.在一个实施例中，计算机程序被处理器执行时，还实现以下步骤：
150.对各骨架数据中相同骨骼点进行连接，得到骨骼点变化曲线；根据骨骼点变化曲线，确定各骨架数据之间的骨骼变化情况。
151.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
152.从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据；
153.根据各骨架数据之间的骨骼变化情况，确定目标对象的深度行为数据；
154.通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果。
155.在一个实施例中，计算机程序通过行为识别模型，根据各骨架数据和深度行为数据，确定目标对象的行为识别结果的逻辑被处理器执行时，还实现以下步骤：
156.对各骨架数据和深度行为数据进行融合，得到融合数据；将融合数据输入至行为识别模型中，得到目标对象的行为识别结果。
157.在一个实施例中，计算机程序对各骨架数据和深度行为数据进行融合，得到融合数据的逻辑被处理器执行时，还实现以下步骤：
158.从待识别视频中提取每一骨架数据对应的颜色数据；将各骨架数据、各骨架数据对应的颜色数据，以及深度行为数据进行融合，得到融合数据。
159.在一个实施例中，计算机程序从包含目标对象的待识别视频中，提取目标对象的至少两个骨架数据的逻辑被处理器执行时，还实现以下步骤：
160.根据待识别视频中每一视频帧的清晰度和图像信息，确定至少两个目标帧；从至少两个目标帧中，提取目标对象的至少两个骨架数据。
161.在一个实施例中，计算机程序根据各骨架数据之间的变化情况，确定目标对象的深度行为数据的逻辑被处理器执行之前，还实现以下步骤：
162.根据目标对象的对象类型，确定目标对象的基本骨骼点数；根据基本骨骼点数和各骨架数据中所包含的骨骼点数，确定各骨架数据的有效性。
163.在一个实施例中，计算机程序被处理器执行时，还实现以下步骤：
164.对各骨架数据中相同骨骼点进行连接，得到骨骼点变化曲线；根据骨骼点变化曲线，确定各骨架数据之间的骨骼变化情况。
165.需要说明的是，本技术所涉及的数据(包括但不限于待识别视频数据、骨架数据、深度行为数据等)，均为经过各方充分授权的信息和数据。
166.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
167.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
168.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种行为识别方法，其特征在于，所述方法包括：从包含目标对象的待识别视频中，提取所述目标对象的至少两个骨架数据；根据各骨架数据之间的骨骼变化情况，确定所述目标对象的深度行为数据；通过行为识别模型，根据各骨架数据和所述深度行为数据，确定所述目标对象的行为识别结果。2.根据权利要求1所述的方法，其特征在于，所述通过行为识别模型，根据各骨架数据和所述深度行为数据，确定所述目标对象的行为识别结果，包括：对各骨架数据和所述深度行为数据进行融合，得到融合数据；将所述融合数据输入至行为识别模型中，得到所述目标对象的行为识别结果。3.根据权利要求2所述的方法，其特征在于，所述对各骨架数据和所述深度行为数据进行融合，得到融合数据，包括：从所述待识别视频中提取每一骨架数据对应的颜色数据；将各骨架数据、各骨架数据对应的颜色数据，以及所述深度行为数据进行融合，得到融合数据。4.根据权利要求1所述的方法，其特征在于，所述从包含目标对象的待识别视频中，提取所述目标对象的至少两个骨架数据，包括：根据所述待识别视频中每一视频帧的清晰度和图像信息，确定至少两个目标帧；从至少两个目标帧中，提取所述目标对象的至少两个骨架数据。5.根据权利要求1所述的方法，其特征在于，所述根据各骨架数据之间的变化情况，确定所述目标对象的深度行为数据之前，所述方法还包括：根据所述目标对象的对象类型，确定所述目标对象的基本骨骼点数；根据所述基本骨骼点数和各骨架数据中所包含的骨骼点数，确定各骨架数据的有效性。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：对各骨架数据中相同骨骼点进行连接，得到骨骼点变化曲线；根据所述骨骼点变化曲线，确定各骨架数据之间的骨骼变化情况。7.一种行为识别装置，其特征在于，所述装置包括：数据提取模块，用于从包含目标对象的待识别视频中，提取所述目标对象的至少两个骨架数据；数据确定模块，用于根据各骨架数据之间的骨骼变化情况，确定所述目标对象的深度行为数据；结果确定模块，用于通过行为识别模型，根据各骨架数据和所述深度行为数据，确定所述目标对象的行为识别结果。8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种行为识别方法、装置、计算机设备和存储介质。所述方法包括：从包含目标对象的待识别视频中，提取所述目标对象的至少两个骨架数据；根据各骨架数据之间的骨骼变化情况，确定所述目标对象的深度行为数据；通过行为识别模型，根据各骨架数据和所述深度行为数据，确定所述目标对象的行为识别结果。采用本方法能够实现全面、准确的对目标对象的行为进行识别，得到准确的行为识别结果的效果。得到准确的行为识别结果的效果。得到准确的行为识别结果的效果。


技术研发人员：杨文涛 张祯 吕若晨 李宁馨 文梦蝶
受保护的技术使用者：中国银行股份有限公司
技术研发日：2023.05.26
技术公布日：2023/10/11