基于大数据的行为分析方法及装置与流程

1.本发明涉及图像识别技术领域，尤其涉及一种基于大数据的行为分析方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着互联网及监控视频技术的发展，人们在日常的生产生活中产生了海量的视频图像数据，通常人是视频图像数据的主要视觉目标，通过动作识别技术(action recognition)识别视频图像数据中人的行为动作，促进了视频监控及人机交互等领域的发展。
3.当前判定视频图像数据中人的行为动作主要通过将获取的人体骨架数据输入预先训练好的时空卷积网络中进行行为分析，但这种通过神经网络的判定方式存在判定计算量大，精确度低等现象。


技术实现要素：

4.本发明提供一种基于大数据的行为分析方法、装置及计算机可读存储介质，其主要目的在于解决通过神经网络的判定方式存在判定计算量大，精确度低的问题。
5.为实现上述目的，本发明提供的一种基于大数据的行为分析方法，包括：
6.获取人体动作视频帧集，在所述人体动作视频帧集中提取人体区域图像集；
7.利用预构建的姿态识别算法在所述人体区域图像集中提取人体动作骨架，得到人体动作骨架帧集；
8.根据所述人体动作骨架帧集中同一关节点的位置变化，构建不同关节点对应的关节变化矢量集；
9.整合所有关节点对应的关节变化矢量集，得到人体骨架变化矢量集；
10.利用所述人体骨架变化矢量集，根据预构建的相似骨架比对公式，在预构建的人体骨架特征变化矢量数据库中进行比对，得到所述人体骨架变化矢量集对应的相似骨架变化矢量集，其中所述相似骨架比对公式如下所示：
[0011][0012]
其中，x表示相似骨架变化矢量集与人体骨架变化矢量集之间的差值，t表示所述人体骨架特征变化矢量数据库中的人体动作类别数，i表示关节点的序号标签，n表示人体动作骨架的总关节点个数，表示所述人体骨架特征变化矢量数据库中第t个人体动作类别的第i个关节点的关节变化矢量集，x
′
表示所述人体骨架变化矢量集中第i个关节点的关节变化矢量集；
[0013]
将所述相似骨架变化矢量集对应的特征动作作为所述人体动作视频帧集中的人体动作，完成所述人体动作视频帧集的行为分析。
[0014]
可选地，所述在所述人体动作视频帧集中提取人体区域图像集，包括：
[0015]
获取人体区域图像提取训练集及初始人体区域图像提取网络；
[0016]
利用所述人体区域图像提取训练集对所述初始人体区域图像提取网络进行训练，得到目标人体区域图像提取网络；
[0017]
利用所述目标人体区域图像提取网络在所述人体动作视频帧集中进行人体区域图像提取，得到所述人体区域图像集。
[0018]
可选地，所述利用预构建的姿态识别算法在所述人体区域图像集中提取人体动作骨架，得到人体动作骨架帧集，包括：
[0019]
利用所述姿态识别算法在所述人体区域图像集中提取关节点，得到每张所述人体区域图像对应的人体关节点集；
[0020]
利用有向线段连接所述人体关节点集，得到所述人体动作骨架帧，整合所有所述人体区域图像对应的人体动作骨架帧，得到所述人体动作骨架帧集。
[0021]
可选地，所述根据所述人体动作骨架帧集中同一关节点的位置变化，构建不同关节点对应的关节变化矢量集，包括：
[0022]
在所述人体动作骨架帧集中依次提取相邻两张人体动作骨架帧；
[0023]
识别所述相邻两张人体动作骨架帧中相同关节点的位置坐标；
[0024]
连接所述相邻两张人体动作骨架帧中相同关节点的位置坐标，得到所述相邻两张人体动作骨架帧中相同关节点的关节变化矢量；
[0025]
整合所述人体动作骨架帧集中所有相邻两张人体动作骨架帧中所有相同关节点的关节变化矢量，得到所述不同关节点对应的关节变化矢量集。
[0026]
可选地，所述识别所述相邻两张人体动作骨架帧中相同关节点的位置坐标，包括：
[0027]
构建统一参考坐标系，将所述人体动作骨架帧集中首张人体动作骨架帧置于所述统一参考坐标系中，得到所述首张人体动作骨架帧的初始参考位置；
[0028]
根据所述相邻两张人体动作骨架帧中相同关节点的位移距离及所述初始参考位置，计算所述人体动作骨架帧集中所有人体动作骨架帧在所述统一参考坐标系中的位置；
[0029]
根据所述人体动作骨架帧集中所有人体动作骨架帧在所述统一参考坐标系中的位置，识别所述相邻两张人体动作骨架帧中相同关节点的位置坐标。
[0030]
可选地，所述整合所有关节点对应的关节变化矢量集，得到人体骨架变化矢量集，包括：
[0031]
识别所述相邻两张人体动作骨架帧中相同关节点的关节变化矢量，得到单位侦差时间骨架变化矢量集；
[0032]
整合所有所述相邻两张人体动作骨架帧的单位侦差时间骨架变化矢量集，得到所述人体骨架变化矢量集。
[0033]
可选地，所述人体骨架变化矢量集可以如下表示：
[0034][0035]
其中，x表示人体骨架变化矢量集，表示第1个关节点在所有相邻两张人体动作骨架帧中的矢量集合，示第2个关节点在所有相邻两张人体动作骨架帧中的矢量集
合，表示第n个关节点在所有相邻两张人体动作骨架帧中的矢量集合。
[0036]
可选地，所述利用所述人体骨架变化矢量集，根据预构建的相似骨架比对公式，在预构建的人体骨架特征变化矢量数据库中进行比对，得到所述人体骨架变化矢量集对应的相似骨架变化矢量集，包括：
[0037]
在所述人体骨架特征变化矢量数据库中依次提取各个动作类别对应的同一关节点的关节变化矢量集，得到关节变化模板矢量集；
[0038]
利用所述关节变化模板矢量集，与所述人体骨架变化矢量集中相同关节点对应的关节变化矢量集进行比对，得到所述相同关节点的相似度差值；
[0039]
根据所述人体骨架变化矢量集中所有关节点对应的相似度差值，利用所述相似骨架比对公式，计算所述关节变化模板矢量集与人体骨架变化矢量集之间的差值；
[0040]
提取各个动作类别对应的关节变化模板矢量集与人体骨架变化矢量集之间的差值的最小矢量差值，将所述最小矢量差值对应的关节变化模板矢量集作为所述相似骨架变化矢量集。
[0041]
可选地，所述将所述相似骨架变化矢量集对应的特征动作作为所述人体动作视频帧集中的人体动作，完成所述人体动作视频帧集的行为分析之后，所述方法还包括：
[0042]
利用预构建的性能检测公式，检测所述人体动作视频帧集的行为分析性能，其中所述的性能检测公式如下所示：
[0043][0044]
其中，t
p
表示在动作类别发生时，检测正确的次数；tn表示在动作类别未发生时，检测正确的次数；f
p
表示在动作类别发生时，检测错误的次数；fn表示在动作类别未发生时，检测错误的次数，a
cc
表示精确率(正确检测某种动作类别的概率)，p表示准确率(所有预测出来的正例中真正例的概率)，r表示召回率(某一动作类别被预测分类正确的概率)。
[0045]
为了解决上述问题，本发明还提供一种基于大数据的行为分析装置，所述装置包括：
[0046]
人体区域图像集提取模块，用于获取人体动作视频帧集，在所述人体动作视频帧集中提取人体区域图像集；
[0047]
人体动作骨架帧集提取模块，用于利用预构建的姿态识别算法在所述人体区域图像集中提取人体动作骨架，得到人体动作骨架帧集；
[0048]
关节变化矢量集构建模块，用于根据所述人体动作骨架帧集中同一关节点的位置变化，构建不同关节点对应的关节变化矢量集；
[0049]
人体骨架变化矢量集整合模块，用于整合所有关节点对应的关节变化矢量集，得到人体骨架变化矢量集；
[0050]
人体骨架变化矢量集比对模块，用于利用所述人体骨架变化矢量集，根据预构建
的相似骨架比对公式，在预构建的人体骨架特征变化矢量数据库中进行比对，得到所述人体骨架变化矢量集对应的相似骨架变化矢量集，其中所述相似骨架比对公式如下所示：
[0051][0052]
其中，x表示相似骨架变化矢量集与人体骨架变化矢量集之间的差值，t表示所述人体骨架特征变化矢量数据库中的人体动作类别数，i表示关节点的序号标签，n表示人体动作骨架的总关节点个数，表示所述人体骨架特征变化矢量数据库中第t个人体动作类别的第i个关节点的关节变化矢量集，xi′
表示所述人体骨架变化矢量集中第i个关节点的关节变化矢量集；将所述相似骨架变化矢量集对应的特征动作作为所述人体动作视频帧集中的人体动作，完成所述人体动作视频帧集的行为分析。
[0053]
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
[0054]
至少一个处理器；以及，
[0055]
与所述至少一个处理器通信连接的存储器；其中，
[0056]
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现上述所述的基于大数据的行为分析方法。
[0057]
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于大数据的行为分析方法。
[0058]
相比于背景技术所述：通过神经网络的判定方式存在判定计算量大，精确度低的现象，本发明实施例通过在人体动作视频帧集中提取人体区域图像集，并在人体区域图像集中提取人体动作骨架帧集，从而得到人体动作视频帧集中人体骨架变化矢量集，所述人体骨架变化矢量集记录有人体骨架所有关节点的位移速率及位移方向的数据，通过利用所述相似骨架比对公式在所述人体骨架特征变化矢量数据库搜寻所述人体骨架变化矢量集最相似的动作类别，实现所述人体动作视频帧集中人体动作的精准识别。因此本发明提出的基于大数据的行为分析方法、装置、电子设备及计算机可读存储介质，可以解决通过神经网络的判定方式存在判定计算量大，精确度低的问题。
附图说明
[0059]
图1为本发明一实施例提供的基于大数据的行为分析方法的流程示意图；
[0060]
图2为图1中其中一个步骤的详细实施流程示意图；
[0061]
图3为图1中另一个步骤的详细实施流程示意图；
[0062]
图4为本发明一实施例提供的基于大数据的行为分析装置的功能模块图；
[0063]
图5为本发明一实施例提供的实现所述基于大数据的行为分析方法的电子设备的结构示意图。
[0064]
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0065]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
0.06s等之间的矢量集合。关节变化矢量描述在帧差时间内，关节点的位移大小及位移方向变化。
[0083]
本发明实施例中，所述根据所述人体动作骨架帧集中同一关节点的位置变化，构建不同关节点对应的关节变化矢量集，包括：
[0084]
在所述人体动作骨架帧集中依次提取相邻两张人体动作骨架帧；
[0085]
识别所述相邻两张人体动作骨架帧中相同关节点的位置坐标；
[0086]
连接所述相邻两张人体动作骨架帧中相同关节点的位置坐标，得到所述相邻两张人体动作骨架帧中相同关节点的关节变化矢量；
[0087]
整合所述人体动作骨架帧集中所有相邻两张人体动作骨架帧中所有相同关节点的关节变化矢量，得到所述不同关节点对应的关节变化矢量集。
[0088]
详细地，参阅图2所示，所述识别所述相邻两张人体动作骨架帧中相同关节点的位置坐标，包括：
[0089]
s31、构建统一参考坐标系，将所述人体动作骨架帧集中首张人体动作骨架帧置于所述统一参考坐标系中，得到所述首张人体动作骨架帧的初始参考位置；
[0090]
s32、根据所述相邻两张人体动作骨架帧中相同关节点的位移距离及所述初始参考位置，计算所述人体动作骨架帧集中所有人体动作骨架帧在所述统一参考坐标系中的位置；
[0091]
s33、根据所述人体动作骨架帧集中所有人体动作骨架帧在所述统一参考坐标系中的位置，识别所述相邻两张人体动作骨架帧中相同关节点的位置坐标。
[0092]
可解释的，为了统一关节点的矢量变化，需要在统一的参考坐标系中进行标定，从而确定相同关节点在不同时间段内的位移大小及方向的相对变化。
[0093]
s4、整合所有关节点对应的关节变化矢量集，得到人体骨架变化矢量集。
[0094]
可解释的，所述人体骨架变化矢量集指描述人体骨架的所有关节点在人体动作骨架帧集的所有帧差时间的位移大小及方向变化的矢量集合。当得到所述关节变化矢量集时，同一关节点在所述人体动作骨架帧集中的全程变化数据都已获悉，此时只需要将所有关节点的关节变化矢量集整合在一起，即可得到包含人体所有关节点的人体骨架变化矢量集。
[0095]
本发明实施例中，所述整合所有关节点对应的关节变化矢量集，得到人体骨架变化矢量集，包括：
[0096]
识别所述相邻两张人体动作骨架帧中相同关节点的关节变化矢量，得到单位侦差时间骨架变化矢量集；
[0097]
整合所有所述相邻两张人体动作骨架帧的单位侦差时间骨架变化矢量集，得到所述人体骨架变化矢量集。
[0098]
可理解的，所述单位侦差时间骨架变化矢量集指相邻两张人体动作骨架帧中所有相同关节点的变化矢量集。单位帧差时间指相邻两张图像帧的时间差，也即帧差时间。
[0099]
详细地，所述人体骨架变化矢量集可以如下表示：
[0100]
[0101]
其中，x表示人体骨架变化矢量集，表示第1个关节点在所有相邻两张人体动作骨架帧中的矢量集合，示第2个关节点在所有相邻两张人体动作骨架帧中的矢量集合，表示第n个关节点在所有相邻两张人体动作骨架帧中的矢量集合。
[0102]
可解释的每当第1个关节点为肘关节时，表示肘关节在关节变化矢量集的所有帧差时间的矢量集合。例如：肘关节在第一个帧差时间的矢量为(1，2,1)，在第二个帧差时间的矢量为(2,3,2)。两个矢量之间的差值除以帧差时间即为表示肘关节位移的方向及大小的矢量，可以描述肘关节的移动速度和方向。
[0103]
s5、利用所述人体骨架变化矢量集，根据预构建的相似骨架比对公式，在预构建的人体骨架特征变化矢量数据库中进行比对，得到所述人体骨架变化矢量集对应的相似骨架变化矢量集。
[0104]
可理解的，所述人体骨架特征变化矢量数据库指存储有各类人体动作的关节变化模板矢量集的数据库，例如：当人体动作为行走、坐下、蹲下、弯腰、摔倒、抽烟、跑步以及打电话时，每类动作都对应有相应的关节变化模板矢量集，所述关节变化模板矢量集指描述各类人体动作的标准的全身关节点的矢量变化集合(人体骨架变化矢量集)。通过将各类所述关节变化模板矢量集在所述人体骨架变化矢量集中进行相似性比对，达到求得所述人体骨架变化矢量集对应的人体动作的目的。由于人体骨架变化矢量集描述了人体的各个关节点在每个帧差时间的位移大小及位移方向，因此可以表示人体在做某一动作时，人体的全部关节点的位移大小及位移速度的数据信息，从而达到精细化比对和识别的目的。
[0105]
详细地，所述相似骨架比对公式如下所示：
[0106][0107]
其中，x表示相似骨架变化矢量集与人体骨架变化矢量集之间的差值，t表示所述人体骨架特征变化矢量数据库中的人体动作类别数，i表示关节点的序号标签，n表示人体动作骨架的总关节点个数，表示所述人体骨架特征变化矢量数据库中第t个人体动作类别的第i个关节点的关节变化矢量集，xi′
表示所述人体骨架变化矢量集中第i个关节点的关节变化矢量集。
[0108]
可解释的，通过计算人体骨架特征变化矢量数据库中各类动作的所有关节点的矢量变化值与所述人体骨架变化矢量集进行差值总和，从而可以确定各类动作与所述人体动作视频帧集中录制的人体动作的综合相似性，当差值越小，表示相似度越高，即可以将所述人体动作视频帧集中录制的人体动作判定为所述人体骨架特征变化矢量数据库中最相似的动作，例如：下蹲。
[0109]
本发明实施例中，所述利用所述人体骨架变化矢量集，根据预构建的相似骨架比对公式，在预构建的人体骨架特征变化矢量数据库中进行比对，得到所述人体骨架变化矢量集对应的相似骨架变化矢量集，包括：
[0110]
在所述人体骨架特征变化矢量数据库中依次提取各个动作类别对应的同一关节
点的关节变化矢量集，得到关节变化模板矢量集；
[0111]
利用所述关节变化模板矢量集，与所述人体骨架变化矢量集中相同关节点对应的关节变化矢量集进行比对，得到所述相同关节点的相似度差值；
[0112]
根据所述人体骨架变化矢量集中所有关节点对应的相似度差值，利用所述相似骨架比对公式，计算所述关节变化模板矢量集与人体骨架变化矢量集之间的差值；
[0113]
提取各个动作类别对应的关节变化模板矢量集与人体骨架变化矢量集之间的差值的最小矢量差值，将所述最小矢量差值对应的关节变化模板矢量集作为所述相似骨架变化矢量集。
[0114]
s6、将所述相似骨架变化矢量集对应的特征动作作为所述人体动作视频帧集中的人体动作，完成所述人体动作视频帧集的行为分析。
[0115]
本发明实施例中，所述将所述相似骨架变化矢量集对应的特征动作作为所述人体动作视频帧集中的人体动作，完成所述人体动作视频帧集的行为分析之后，所述方法还包括：
[0116]
利用预构建的性能检测公式，检测所述人体动作视频帧集的行为分析性能，其中所述的性能检测公式如下所示：
[0117][0118]
其中，t
p
表示在动作类别发生时，检测正确的次数；tn表示在动作类别未发生时，检测正确的次数；f
p
表示在动作类别发生时，检测错误的次数；fn表示在动作类别未发生时，检测错误的次数，a
cc
表示精确率(正确检测某种动作类别的概率)，p表示准确率(所有预测出来的正例中真正例的概率)，r表示召回率(某一动作类别被预测分类正确的概率)。
[0119]
可理解的，为了检测本发明对所述人体动作视频帧集中动作的判定准确度，需要对判定方法进行检测，当a
cc
越大，表示判定越准确。当准确率高于某一预设阈值(可以为0.8)时，表示判定方法合格。
[0120]
相比于背景技术所述：通过神经网络的判定方式存在判定计算量大，精确度低的现象，本发明实施例通过在人体动作视频帧集中提取人体区域图像集，并在人体区域图像集中提取人体动作骨架帧集，从而得到人体动作视频帧集中人体骨架变化矢量集，所述人体骨架变化矢量集记录有人体骨架所有关节点的位移速率及位移方向的数据，通过利用所述相似骨架比对公式在所述人体骨架特征变化矢量数据库搜寻所述人体骨架变化矢量集最相似的动作类别，实现所述人体动作视频帧集中人体动作的精准识别。因此本发明提出的基于大数据的行为分析方法、装置、电子设备及计算机可读存储介质，可以解决通过神经网络的判定方式存在判定计算量大，精确度低的问题。
[0121]
实施例2：
[0122]
如图4所示，是本发明一实施例提供的基于大数据的行为分析装置的功能模块图。
[0123]
本发明所述基于大数据的行为分析装置100可以安装于电子设备中。根据实现的功能，所述基于大数据的行为分析装置100可以包括人体区域图像集提取模块101、人体动作骨架帧集提取模块102、关节变化矢量集构建103、人体骨架变化矢量集整合模块104及人体骨架变化矢量集比对模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
[0124]
所述人体区域图像集提取模块101，用于获取人体动作视频帧集，在所述人体动作视频帧集中提取人体区域图像集；
[0125]
所述人体动作骨架帧集提取模块102，用于利用预构建的姿态识别算法在所述人体区域图像集中提取人体动作骨架，得到人体动作骨架帧集；
[0126]
所述关节变化矢量集构建模块103，用于根据所述人体动作骨架帧集中同一关节点的位置变化，构建不同关节点对应的关节变化矢量集；
[0127]
所述人体骨架变化矢量集整合模块104，用于整合所有关节点对应的关节变化矢量集，得到人体骨架变化矢量集；
[0128]
所述人体骨架变化矢量集比对模块105，用于利用所述人体骨架变化矢量集，根据预构建的相似骨架比对公式，在预构建的人体骨架特征变化矢量数据库中进行比对，得到所述人体骨架变化矢量集对应的相似骨架变化矢量集，其中所述相似骨架比对公式如下所示：
[0129][0130]
其中，x表示相似骨架变化矢量集与人体骨架变化矢量集之间的差值，t表示所述人体骨架特征变化矢量数据库中的人体动作类别数，i表示关节点的序号标签，n表示人体动作骨架的总关节点个数，表示所述人体骨架特征变化矢量数据库中第t个人体动作类别的第i个关节点的关节变化矢量集，xi′
表示所述人体骨架变化矢量集中第i个关节点的关节变化矢量集；将所述相似骨架变化矢量集对应的特征动作作为所述人体动作视频帧集中的人体动作，完成所述人体动作视频帧集的行为分析。
[0131]
详细地，本发明实施例中所述基于大数据的行为分析装置100中的所述各模块在使用时采用与上述的图1中所述的基于大数据的行为分析方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
[0132]
实施例3：
[0133]
如图5所示，是本发明一实施例提供的实现基于大数据的行为分析方法的电子设备的结构示意图。
[0134]
所述电子设备1可以包括处理器10、存储器11、总线12和通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于大数据的行为分析程序。
[0135]
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的
移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于大数据的行为分析程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0136]
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如基于大数据的行为分析程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
[0137]
所述总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0138]
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0139]
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
[0140]
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
[0141]
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
[0142]
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
[0143]
所述电子设备1中的所述存储器11存储的基于大数据的行为分析程序是多个指令的组合，在所述处理器10中运行时，可以实现：
[0144]
获取人体动作视频帧集，在所述人体动作视频帧集中提取人体区域图像集；
[0145]
利用预构建的姿态识别算法在所述人体区域图像集中提取人体动作骨架，得到人体动作骨架帧集；
[0146]
根据所述人体动作骨架帧集中同一关节点的位置变化，构建不同关节点对应的关节变化矢量集；
[0147]
整合所有关节点对应的关节变化矢量集，得到人体骨架变化矢量集；
[0148]
利用所述人体骨架变化矢量集，根据预构建的相似骨架比对公式，在预构建的人体骨架特征变化矢量数据库中进行比对，得到所述人体骨架变化矢量集对应的相似骨架变化矢量集，其中所述相似骨架比对公式如下所示：
[0149][0150]
其中，x表示相似骨架变化矢量集与人体骨架变化矢量集之间的差值，t表示所述人体骨架特征变化矢量数据库中的人体动作类别数，i表示关节点的序号标签，n表示人体动作骨架的总关节点个数，表示所述人体骨架特征变化矢量数据库中第t个人体动作类别的第i个关节点的关节变化矢量集，xi′
表示所述人体骨架变化矢量集中第i个关节点的关节变化矢量集；
[0151]
将所述相似骨架变化矢量集对应的特征动作作为所述人体动作视频帧集中的人体动作，完成所述人体动作视频帧集的行为分析。
[0152]
具体地，所述处理器10对上述指令的具体实现方法可参考图1至图4对应实施例中相关步骤的描述，在此不赘述。
[0153]
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0154]
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
[0155]
获取人体动作视频帧集，在所述人体动作视频帧集中提取人体区域图像集；
[0156]
利用预构建的姿态识别算法在所述人体区域图像集中提取人体动作骨架，得到人体动作骨架帧集；
[0157]
根据所述人体动作骨架帧集中同一关节点的位置变化，构建不同关节点对应的关节变化矢量集；
[0158]
整合所有关节点对应的关节变化矢量集，得到人体骨架变化矢量集；
[0159]
利用所述人体骨架变化矢量集，根据预构建的相似骨架比对公式，在预构建的人体骨架特征变化矢量数据库中进行比对，得到所述人体骨架变化矢量集对应的相似骨架变化矢量集，其中所述相似骨架比对公式如下所示：
[0160]
[0161]
其中，x表示相似骨架变化矢量集与人体骨架变化矢量集之间的差值，t表示所述人体骨架特征变化矢量数据库中的人体动作类别数，i表示关节点的序号标签，n表示人体动作骨架的总关节点个数，表示所述人体骨架特征变化矢量数据库中第t个人体动作类别的第i个关节点的关节变化矢量集，xi′
表示所述人体骨架变化矢量集中第i个关节点的关节变化矢量集；
[0162]
将所述相似骨架变化矢量集对应的特征动作作为所述人体动作视频帧集中的人体动作，完成所述人体动作视频帧集的行为分析。
[0163]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0164]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0165]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0166]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
[0167]
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

技术特征：
1.一种基于大数据的行为分析方法，其特征在于，所述方法包括：获取人体动作视频帧集，在所述人体动作视频帧集中提取人体区域图像集；利用预构建的姿态识别算法在所述人体区域图像集中提取人体动作骨架，得到人体动作骨架帧集；根据所述人体动作骨架帧集中同一关节点的位置变化，构建不同关节点对应的关节变化矢量集；整合所有关节点对应的关节变化矢量集，得到人体骨架变化矢量集；利用所述人体骨架变化矢量集，根据预构建的相似骨架比对公式，在预构建的人体骨架特征变化矢量数据库中进行比对，得到所述人体骨架变化矢量集对应的相似骨架变化矢量集，其中所述相似骨架比对公式如下所示：其中，x表示相似骨架变化矢量集与人体骨架变化矢量集之间的差值，t表示所述人体骨架特征变化矢量数据库中的人体动作类别数，i表示关节点的序号标签，n表示人体动作骨架的总关节点个数，表示所述人体骨架特征变化矢量数据库中第t个人体动作类别的第i个关节点的关节变化矢量集，x
′
i
表示所述人体骨架变化矢量集中第i个关节点的关节变化矢量集；将所述相似骨架变化矢量集对应的特征动作作为所述人体动作视频帧集中的人体动作，完成所述人体动作视频帧集的行为分析。2.如权利要求1所述的基于大数据的行为分析方法，其特征在于，所述在所述人体动作视频帧集中提取人体区域图像集，包括：获取人体区域图像提取训练集及初始人体区域图像提取网络；利用所述人体区域图像提取训练集对所述初始人体区域图像提取网络进行训练，得到目标人体区域图像提取网络；利用所述目标人体区域图像提取网络在所述人体动作视频帧集中进行人体区域图像提取，得到所述人体区域图像集。3.如权利要求2所述的基于大数据的行为分析方法，其特征在于，所述利用预构建的姿态识别算法在所述人体区域图像集中提取人体动作骨架，得到人体动作骨架帧集，包括：利用所述姿态识别算法在所述人体区域图像集中提取关节点，得到每张所述人体区域图像对应的人体关节点集；利用有向线段连接所述人体关节点集，得到所述人体动作骨架帧，整合所有所述人体区域图像对应的人体动作骨架帧，得到所述人体动作骨架帧集。4.如权利要求3所述的基于大数据的行为分析方法，其特征在于，所述根据所述人体动作骨架帧集中同一关节点的位置变化，构建不同关节点对应的关节变化矢量集，包括：在所述人体动作骨架帧集中依次提取相邻两张人体动作骨架帧；识别所述相邻两张人体动作骨架帧中相同关节点的位置坐标；连接所述相邻两张人体动作骨架帧中相同关节点的位置坐标，得到所述相邻两张人体
动作骨架帧中相同关节点的关节变化矢量；整合所述人体动作骨架帧集中所有相邻两张人体动作骨架帧中所有相同关节点的关节变化矢量，得到所述不同关节点对应的关节变化矢量集。5.如权利要求4所述的基于大数据的行为分析方法，其特征在于，所述识别所述相邻两张人体动作骨架帧中相同关节点的位置坐标，包括：构建统一参考坐标系，将所述人体动作骨架帧集中首张人体动作骨架帧置于所述统一参考坐标系中，得到所述首张人体动作骨架帧的初始参考位置；根据所述相邻两张人体动作骨架帧中相同关节点的位移距离及所述初始参考位置，计算所述人体动作骨架帧集中所有人体动作骨架帧在所述统一参考坐标系中的位置；根据所述人体动作骨架帧集中所有人体动作骨架帧在所述统一参考坐标系中的位置，识别所述相邻两张人体动作骨架帧中相同关节点的位置坐标。6.如权利要求4所述的基于大数据的行为分析方法，其特征在于，所述整合所有关节点对应的关节变化矢量集，得到人体骨架变化矢量集，包括：识别所述相邻两张人体动作骨架帧中相同关节点的关节变化矢量，得到单位侦差时间骨架变化矢量集；整合所有所述相邻两张人体动作骨架帧的单位侦差时间骨架变化矢量集，得到所述人体骨架变化矢量集。7.如权利要求6所述的基于大数据的行为分析方法，其特征在于，所述人体骨架变化矢量集可以如下表示：其中，x表示人体骨架变化矢量集，表示第1个关节点在所有相邻两张人体动作骨架帧中的矢量集合，示第2个关节点在所有相邻两张人体动作骨架帧中的矢量集合，表示第n个关节点在所有相邻两张人体动作骨架帧中的矢量集合。8.如权利要求7所述的基于大数据的行为分析方法，其特征在于，所述利用所述人体骨架变化矢量集，根据预构建的相似骨架比对公式，在预构建的人体骨架特征变化矢量数据库中进行比对，得到所述人体骨架变化矢量集对应的相似骨架变化矢量集，包括：在所述人体骨架特征变化矢量数据库中依次提取各个动作类别对应的同一关节点的关节变化矢量集，得到关节变化模板矢量集；利用所述关节变化模板矢量集，与所述人体骨架变化矢量集中相同关节点对应的关节变化矢量集进行比对，得到所述相同关节点的相似度差值；根据所述人体骨架变化矢量集中所有关节点对应的相似度差值，利用所述相似骨架比对公式，计算所述关节变化模板矢量集与人体骨架变化矢量集之间的差值；提取各个动作类别对应的关节变化模板矢量集与人体骨架变化矢量集之间的差值的最小矢量差值，将所述最小矢量差值对应的关节变化模板矢量集作为所述相似骨架变化矢量集。9.如权利要求8所述的基于大数据的行为分析方法，其特征在于，所述将所述相似骨架
变化矢量集对应的特征动作作为所述人体动作视频帧集中的人体动作，完成所述人体动作视频帧集的行为分析之后，所述方法还包括：利用预构建的性能检测公式，检测所述人体动作视频帧集的行为分析性能，其中所述的性能检测公式如下所示：其中，t
p
表示在动作类别发生时，检测正确的次数；t
n
表示在动作类别未发生时，检测正确的次数；f
p
表示在动作类别发生时，检测错误的次数；f
n
表示在动作类别未发生时，检测错误的次数，a
cc
表示精确率(正确检测某种动作类别的概率)，p表示准确率(所有预测出来的正例中真正例的概率)，r表示召回率(某一动作类别被预测分类正确的概率)。10.一种基于大数据的行为分析装置，其特征在于，所述装置包括：人体区域图像集提取模块，用于获取人体动作视频帧集，在所述人体动作视频帧集中提取人体区域图像集；人体动作骨架帧集提取模块，用于利用预构建的姿态识别算法在所述人体区域图像集中提取人体动作骨架，得到人体动作骨架帧集；关节变化矢量集构建模块，用于根据所述人体动作骨架帧集中同一关节点的位置变化，构建不同关节点对应的关节变化矢量集；人体骨架变化矢量集整合模块，用于整合所有关节点对应的关节变化矢量集，得到人体骨架变化矢量集；人体骨架变化矢量集比对模块，用于利用所述人体骨架变化矢量集，根据预构建的相似骨架比对公式，在预构建的人体骨架特征变化矢量数据库中进行比对，得到所述人体骨架变化矢量集对应的相似骨架变化矢量集，其中所述相似骨架比对公式如下所示：其中，x表示相似骨架变化矢量集与人体骨架变化矢量集之间的差值，t表示所述人体骨架特征变化矢量数据库中的人体动作类别数，i表示关节点的序号标签，n表示人体动作骨架的总关节点个数，表示所述人体骨架特征变化矢量数据库中第t个人体动作类别的第i个关节点的关节变化矢量集，x
′
i
表示所述人体骨架变化矢量集中第i个关节点的关节变化矢量集；将所述相似骨架变化矢量集对应的特征动作作为所述人体动作视频帧集中的人体动作，完成所述人体动作视频帧集的行为分析。

技术总结
本发明涉及图像识别技术领域，揭露了一种基于大数据的行为分析方法，包括：在人体动作视频帧集中提取人体区域图像集，在所述人体区域图像集中提取人体动作骨架帧集，根据人体动作骨架帧集构建人体骨架变化矢量集，利用人体骨架变化矢量集，根据相似骨架比对公式，在人体骨架特征变化矢量数据库中进行比对，得到相似骨架变化矢量集，将相似骨架变化矢量集对应的特征动作作为人体动作视频帧集中的人体动作。本发明还提出一种基于大数据的行为分析装置、电子设备以及计算机可读存储介质。本发明可以解决通过神经网络的判定方式存在判定计算量大，精确度低的问题。精确度低的问题。精确度低的问题。


技术研发人员：李佳
受保护的技术使用者：遥相科技发展（北京）有限公司
技术研发日：2023.03.02
技术公布日：2023/7/18