一种跨域双模态特征融合的实时人体行为识别方法与流程

1.本发明涉及无线通信技术和计算机视觉领域，具体来说是一种跨域双模态特征融合的实时人体行为识别方法。


背景技术：

2.随着科学技术的发展，人员行为识别在健康管理、视频监控、智能家居等领域得到广泛应用。现有人员行为识别技术主要包括基于可穿戴传感器设备的识别方法以及基于计算机视觉的识别方法等，这些方法在相关领域都取得了良好的识别效果。但是，基于可穿戴设备的人员行为识别方法在一定程度上会对人员的正常行为造成阻碍，且一套完整的动作传感设备通常需要较高的成本，不利于大规模的人员行为识别。基于计算机视觉的人员行为检测方法虽然部署起来较为方便，但是会受到光线的视线传播，照明强度等因素的影响导致识别准确率降低。
3.近年来，基于wifi的动作识别得到了人们的广泛关注，wifi信号不受视线传播的影响，并且利用广泛普及的商用wifi设备采集人体动作样本成本较低。基于csi的人体活动那个识别主要包括接受信号强度指示(rssi)和信道状态信息(csi)。信道状态信息(csi)是从wifi设备中提取的无线信道物理层信息，可以提供细粒度的动作信息，已经被广泛应用于基于wifi的动作识别的研究。但是由于无线信道的时变特性以及多径效应的影响，基于csi的人体活动识别技术在多人检测、跨域识别领域仍存在技术难点。


技术实现要素：

4.本发明是为了解决上述现有问题的不足之处，提出一种跨域双模态特征融合的实时人体行为识别方法，以期能适应复杂的识别场景，实现在存在干扰的环境下的单人或多人行为识别，从而能提高识别准确性和抗干扰能力。
5.本发明为达到上述发明目的，采用如下技术方案：
6.本发明一种跨域双模态特征融合的实时人体行为识别方法的特点在于，是按如下步骤进行：
7.步骤1、采集csi动作样本数据和视频样本数据；
8.步骤1.1、在矩形区域内选定间距均为d的p1个位置区域和p2个随机位置区域，其中，p1个位置区域为训练位置，p2个随机位置区域作为测试位置，且p1+p2＝m；
9.步骤1.2、在所述矩形区域的外围放置一台路由器作为wifi信号的发送设备，记为ap，在所述矩形区域的外围放置一台具有无线网卡的pc作为接收设备，记为rp1，在所述矩形区域的外围放置一台摄像头作为视频数据接收设备，记为rp2；
10.步骤1.3、令q名实验人员分别在m个位置执行n种动作，其中，q1名人员作为训练人员，q2名人员作为测试人员，且q1+q2＝q，并通过rp1接收q名实验人员动作的csi数据；同时，使用rp2采集q名实验人员动作的视频数据；
11.步骤2、对数据进行预处理；
12.步骤2.1、通过小波变换对csi数据的幅度值进行降噪处理，再进行等间隔采样，从而得到csi动作样本集合t＝{(x
ji
,y
ji
)|i∈[1,q]，j∈[1,m]}，其中，x
ji
表示第j个位置上的第i名人员的csi动作样本，y
ji
为x
ji
对应的真实标签；
[0013]
对视频数据进行等间隔采样，从而构建视频动作样本数据集v＝{(v
ji
,y
ji
)|i∈[1,q]，j∈[1,m]}，其中，v
ji
表示第j个位置上的第i名人员的视频动作样本，y
ji
为v
ji
对应的真实标签，且其中，表示视频动作样本v
ji
的第k帧图像；f表示视频动作样本的总帧数；
[0014]
步骤3、构建双模态人员行为识别网络，包括：特征提取模块、特征融合模块、特征对齐模块与分类模块；
[0015]
步骤3.1、构建所述特提取模块，包括：csi动作特征提取模块和视频动作特征提取模块；
[0016]
步骤3.1.1、所述csi动作特征提取模块用于提取csi动作样本x
ji
中的csi动作样本特征
[0017]
步骤3.1.2、所述视频动作特征提取模块用于提取视频动作样本v
ji
中的视频动作特征
[0018]
步骤3.2、所述特征融合模块是由3个全连接层fc构成；
[0019]
将csi动作样本特征和视频动作特征输入到特征融合模块中，并利用式(1)得到融合特征
[0020][0021]
式(1)中，fc1表示第1个全连接层，fc2表示第2个全连接层，fc3表示第3个全连接层；
[0022]
步骤3.3、所述特征对齐模块由梯度反转层grl和鉴别器网络disc构成；
[0023]
所述梯度反转层grl在网络正向传播时，保持输入的融合特征自身的梯度；在网络反向传播时，将输入的融合特征的梯度取反后乘以参数λ，且λ∈[0,1]；
[0024]
所述鉴别器网络disc由两层一维卷积层，一层leaky relu层和一层全连接层构成；
[0025]
所述融合特征输入鉴别器网络disc中，并依次经过第一层一维卷积层、一层leak relu层、第二层一维卷积层和一层全连接层后得到域特征
[0026]
所述域特征通过softmax函数后得到分类概率序列，并将分类概率序列中最大概率所对应的类别作为x
ji
和v
ji
的域标签；
[0027]
步骤3.4、由x
ji
和v
ji
的域标签及其真实标签中的人员和位置构建交叉熵损失函数loss1；
[0028]
步骤3.5、构建所述分类模块是由全连接层fc构成；
[0029]
所述融合特征输入所述分类模块中进行处理后，得到特征向量序列再通过softmax函数的处理后，得到特征概率向量，并将特征概率向量中最大概率所对应的类别作
为预测的动作种类；
[0030]
步骤3.6、由x
ji
和v
ji
的预测的动作种类及其真实标签中的动作种类构建交叉熵损失函数loss2；
[0031]
步骤3.7、构建总损失loss＝loss1+αloss2，其中，α为权重因子；
[0032]
步骤4、基于csi动作样本集合t和视频动作样本数据集v，利用梯度下降法对所述双模态人员行为识别网络进行训练，并对loss进行误差反向传播以更新网络参数，直到loss收敛为止，从而得到训练好的人员行为识别模型用于对任意位置上的动作进行识别。
[0033]
本发明所述的一种跨域双模态特征融合的实时人体行为识别方法的特点也在于，所述步骤3.1中的csi动作特征提取模块由一层gat网络、一层int网络、一层平均池化层avgpool和一层flatten网络构成；其中，所述gat网络由a个图注意力层构成；所述int网络是由b个inception网络构成；
[0034]
所述csi动作样本x
ji
输入双模态人员行为识别网络中，并由特征提取模块中csi动作特征提取模块的gat网络进行处理后，得到图注意力特征
[0035]
所述图注意力特征输入到int网络中进行特征提取，得到动作特征
[0036]
所述动作特征依次经过平均池化层avgpool和flatten网络的处理后，得到csi动作样本特征
[0037]
所述步骤3.2中的视频动作特征提取模块包括：空间特征提取模块和时间特征提取模块；
[0038]
其中，所述空间特征提取模块是由f个并行的空间特征提取单元组成，每个空间特征提取单元由一层resnet-50残差网络和一层flatten层构成；
[0039]
所述时间特征提取模块依次由s层lstm长短时记忆网络和一层flatten层构成；
[0040]
所述视频动作样本输入输入双模态人员行为识别网络中，并由视频动作特征提取模块中的空间特征提取模块的f个并行的空间特征提取单元进行处理后，得到相应空间动作特征其中，表示第k个空间特征提取单元对提取的空间动作特征；
[0041]
所述空间动作特征输入所述时间特征提取模块中进行处理后，得到视频动作特征
[0042]
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述实时人体行为识别方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
[0043]
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述实时人体行为识别方法的步骤。
[0044]
与现有技术相比，本发明的有益效果在于：
[0045]
1、本发明结合了基于csi的人体活动识别和基于计算机视觉的人体活动识别两种人员行为识别技术，充分利用了两种模态样本信息的互补特性，能够有效的解决单模态方
法易受环境干扰的技术难题，实现了抗干扰、高精度的人员行为识别。
[0046]
2、本发明使用鉴别器网络对样本的人员、位置等域变化信息进行特征级别的对齐训练，增强了特征提取器对域无关特征的提取能力，通过一次训练就可以实现任意人员与位置的人体行为的识别，从而提高了模型对人员变化、位置变化的泛化能力。
附图说明
[0047]
图1是本发明的实现流程图；
[0048]
图2是本发明的csi动作特征提取模块图；
[0049]
图3是本发明的视频动作特征提取模块图；
[0050]
图4是本发明的特征融合模块图；
[0051]
图5是本发明鉴别器网络图。
具体实施方式
[0052]
本实施例中，如图1所示，一种跨域双模态特征融合的实时人体行为识别方法是按如下步骤进行；
[0053]
步骤1、采集csi动作样本数据和视频样本数据；
[0054]
步骤1.1、在矩形区域内选定间距均为d的p1个位置区域和p2个随机位置区域，其中，p1个位置为训练位置，p2个随机位置区域作为测试位置，且p1+p2＝m；本实施例中，选取间隔为2米的9个位置，其中随机选取6个位置作为训练位置，其他3个位置作为测试位置；
[0055]
步骤1.2、在矩形区域的外围放置一台路由器作为wifi信号的发送设备，记为ap，在矩形区域的外围放置一台具有无线网卡的pc作为接收设备，记为rp1，在矩形区域的外围放置一台摄像头作为视频数据接收设备，记为rp2；本实施例中，wifi发送设备ap采用tl-wdr6500路由器，wifi接收设备采用具有intel5300网卡的pc，视频采集设备采用了tl-ipc55a监控摄像头；
[0056]
步骤1.3、令q名实验人员分别在m个位置执行n种动作，其中，q1名人员作为训练人员，q2名人员作为测试人员，且q1+q2＝q，并通过rp1接收q名实验人员动作的csi数据；同时，使用rp2采集q名实验人员动作的视频数据；本实施例中，共有3名训练人员和2名测试人员，执行了10种动作类型，csi数据采样速率为每秒1000个数据包，采用了1根发射天线和3根接收天线，每个链路具有30个子载波，共采集90路子载波信号；视频数据采集帧率为每秒15帧图像，采样格式为单通道灰度图像；
[0057]
步骤2、对数据进行预处理；
[0058]
步骤2.1、通过小波变换对csi数据的幅度值进行降噪处理，再进行等间隔采样，从而得到csi动作样本集合t＝{(x
ji
,y
ji
)|i∈[1,q]，j∈[1,m]}，其中，x
ji
表示第j个位置上的第i名人员的csi动作样本，y
ji
为x
ji
对应的真实标签；本实施例中，对每个csi数据在时间维度上保留400个数据包，得到的csi样本x
ji
的格式为90
×
400，其中90表示子载波数量，400表示每个子载波csi的时间戳长度，标签y
ji
包括人员、位置、动作类型三种信息；
[0059]
对视频数据进行等间隔采样，从而构建视频动作样本数据集v＝{(v
ji
,y
ji
)|i∈[1,q]，j∈[1,m]}，其中，v
ji
表示第j个位置上的第i名人员的视频动作样本，y
ji
为v
ji
对应的
真实标签，且其中，表示视频动作样本v
ji
的第k帧图像；f表示视频动作样本的总帧数；本实施例中，对每个视频数据等间隔采样后保留20帧图像；
[0060]
步骤3、构建双模态人员行为识别网络，包括：特征提取模块、特征融合模块、特征对齐模块与分类模块；
[0061]
步骤3.1、构建特提取模块，包括：csi动作特征提取模块和视频动作特征提取模块；
[0062]
步骤3.1.1、csi动作特征提取模块由一层gat网络、一层int网络、一层平均池化层avgpool和一层flatten网络构成，其网络结构如图2所示；其中，gat网络由a个图注意力层构成；int网络是由b个inception网络构成；本实施例中，gat共有3层图注意力层，每层图注意力层具有90个图节点，对应90路子载波数据；int网络共有3层inception网络，每层inception网络中三个并列一维卷积网络conv1d的卷积核大小分别为15，31，63；
[0063]
csi动作样本x
ji
输入双模态人员行为识别网络中，并由特征提取模块中csi动作特征提取模块的gat网络处理后，得到图注意力特征
[0064]
图注意力特征输入到int网络中进行特征提取，得到动作特征
[0065]
动作特征依次输入到平均池化层avgpool和flatten网络中进行处理，得到csi动作样本特征
[0066]
步骤3.1.2、视频动作特征提取模块包括：空间特征提取模块和时间特征提取模块，其网络结构如图3所示；
[0067]
其中，空间特征提取模块是由f个并行的空间特征提取单元组成，每个空间特征提取单元由一层resnet-50残差网络和一层flatten层构成；本实施例中，并行空间特征提取模块的数量f为20，对应每个视频动作样本的20帧图像数据；
[0068]
时间特征提取模块是由s层lstm长短时记忆网络和一层flatten层构成；本实施例中，lstm长短时记忆网络层数为2；
[0069]
视频动作样本输入双模态人员行为识别网络中，并由视频动作特征提取模块中的空间特征提取模块的f个并行的空间特征提取单元进行处理后，得到相应空间动作特征其中，表示第k个空间特征提取单元对提取的空间动作特征；
[0070]
空间动作特征输入时间特征提取模块中进行处理后，得到视频动作特征
[0071]
步骤3.2、特征融合模块是由3个全连接层fc构成，其网络结构如图4所示；
[0072]
将csi动作样本特征和视频动作特征输入到特征融合与特征对齐模块中，并利用式(1)得到融合特征
[0073][0074]
式(1)中，fc1表示第1个全连接层，fc2表示第2个全连接层，fc3表示第3个全连接层；
[0075]
步骤3.3、特征对齐模块由梯度反转层grl和鉴别器网络disc构成；
[0076]
梯度反转层grl在网络正向传播时，保持输入的融合特征自身梯度；在网络反向传播时，将输入的融合特征的梯度取反后乘以参数λ，且λ∈[0,1]；本实施例中，λ的取值定义为：β为程序当前迭代次数与总迭代次数的比值；
[0077]
鉴别器网络disc由两层一维卷积层，一层leaky relu层和一层全连接层构成，其网络结构如图5所示；
[0078]
融合特征输入鉴别器网络disc中，并依次经过第一层一维卷积层、一层leak relu层、第二层一维卷积层和一层全连接层后得到域特征
[0079]
域特征通过softmax函数后得到分类概率序列，并将分类概率序列中最大概率所对应的类别作为x
ji
和v
ji
的域标签；
[0080]
步骤3.4、由x
ji
和v
ji
的域标签及其真实标签中的人员和位置构建交叉熵损失函数loss1；
[0081]
步骤3.5、构建分类模块是由全连接层fc构成；
[0082]
融合特征输入分类模块中进行处理后，得到特征向量序列再通过softmax函数的处理后，得到特征概率向量，并将特征概率向量中最大概率所对应的类别作为预测的动作种类；
[0083]
步骤3.6、由x
ji
和v
ji
的预测的动作种类及其真实标签中的动作种类构建交叉熵损失函数loss2；
[0084]
步骤3.7、构建总损失loss＝loss1+αloss2，其中，α为权重因子；本实施例中，α取0.5；
[0085]
步骤4、基于csi动作样本集合t和视频动作样本数据集v，利用梯度下降法对双模态人员行为识别网络进行训练，并对loss进行误差反向传播以更新网络参数，直到loss收敛为止，从而得到训练好的人员行为识别模型用于对任意位置上的动作进行识别。
[0086]
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
[0087]
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

技术特征：
1.一种跨域双模态特征融合的实时人体行为识别方法，其特征在于，是按如下步骤进行：步骤1、采集csi动作样本数据和视频样本数据；步骤1.1、在矩形区域内选定间距均为d的p1个位置区域和p2个随机位置区域，其中，p1个位置区域为训练位置，p2个随机位置区域作为测试位置，且p1+p2＝m；步骤1.2、在所述矩形区域的外围放置一台路由器作为wifi信号的发送设备，记为ap，在所述矩形区域的外围放置一台具有无线网卡的pc作为接收设备，记为rp1，在所述矩形区域的外围放置一台摄像头作为视频数据接收设备，记为rp2；步骤1.3、令q名实验人员分别在m个位置执行n种动作，其中，q1名人员作为训练人员，q2名人员作为测试人员，且q1+q2＝q，并通过rp1接收q名实验人员动作的csi数据；同时，使用rp2采集q名实验人员动作的视频数据；步骤2、对数据进行预处理；步骤2.1、通过小波变换对csi数据的幅度值进行降噪处理，再进行等间隔采样，从而得到csi动作样本集合t＝{(x
ji
,y
ji
)|i∈[1,q]，j∈[1,m]}，其中，x
ji
表示第j个位置上的第i名人员的csi动作样本，y
ji
为x
ji
对应的真实标签；对视频数据进行等间隔采样，从而构建视频动作样本数据集v＝{(v
ji
,y
ji
)|i∈[1,q]，j∈[1,m]}，其中，v
ji
表示第j个位置上的第i名人员的视频动作样本，y
ji
为v
ji
对应的真实标签，且其中，表示视频动作样本v
ji
的第k帧图像；f表示视频动作样本的总帧数；步骤3、构建双模态人员行为识别网络，包括：特征提取模块、特征融合模块、特征对齐模块与分类模块；步骤3.1、构建所述特提取模块，包括：csi动作特征提取模块和视频动作特征提取模块；步骤3.1.1、所述csi动作特征提取模块用于提取csi动作样本x
ji
中的csi动作样本特征步骤3.1.2、所述视频动作特征提取模块用于提取视频动作样本v
ji
中的视频动作特征步骤3.2、所述特征融合模块是由3个全连接层fc构成；将csi动作样本特征和视频动作特征输入到特征融合模块中，并利用式(1)得到融合特征融合特征式(1)中，fc1表示第1个全连接层，fc2表示第2个全连接层，fc3表示第3个全连接层；步骤3.3、所述特征对齐模块由梯度反转层grl和鉴别器网络disc构成；所述梯度反转层grl在网络正向传播时，保持输入的融合特征自身的梯度；在网络反向传播时，将输入的融合特征的梯度取反后乘以参数λ，且λ∈[0,1]；所述鉴别器网络disc由两层一维卷积层，一层leaky relu层和一层全连接层构成；
所述融合特征输入鉴别器网络disc中，并依次经过第一层一维卷积层、一层leak relu层、第二层一维卷积层和一层全连接层后得到域特征所述域特征通过softmax函数后得到分类概率序列，并将分类概率序列中最大概率所对应的类别作为x
ji
和v
ji
的域标签；步骤3.4、由x
ji
和v
ji
的域标签及其真实标签中的人员和位置构建交叉熵损失函数loss1；步骤3.5、构建所述分类模块是由全连接层fc构成；所述融合特征输入所述分类模块中进行处理后，得到特征向量序列再通过softmax函数的处理后，得到特征概率向量，并将特征概率向量中最大概率所对应的类别作为预测的动作种类；步骤3.6、由x
ji
和v
ji
的预测的动作种类及其真实标签中的动作种类构建交叉熵损失函数loss2；步骤3.7、构建总损失loss＝loss1+αloss2，其中，α为权重因子；步骤4、基于csi动作样本集合t和视频动作样本数据集v，利用梯度下降法对所述双模态人员行为识别网络进行训练，并对loss进行误差反向传播以更新网络参数，直到loss收敛为止，从而得到训练好的人员行为识别模型用于对任意位置上的动作进行识别。2.根据权利要求1所述的一种跨域双模态特征融合的实时人体行为识别方法，其特征在于，所述步骤3.1中的csi动作特征提取模块由一层gat网络、一层int网络、一层平均池化层avgpool和一层flatten网络构成；其中，所述gat网络由a个图注意力层构成；所述int网络是由b个inception网络构成；所述csi动作样本x
ji
输入双模态人员行为识别网络中，并由特征提取模块中csi动作特征提取模块的gat网络进行处理后，得到图注意力特征所述图注意力特征输入到int网络中进行特征提取，得到动作特征所述动作特征依次经过平均池化层avgpool和flatten网络的处理后，得到csi动作样本特征3.根据权利要求2所述的一种跨域双模态特征融合的实时人体行为识别方法，其特征在于，所述步骤3.2中的视频动作特征提取模块包括：空间特征提取模块和时间特征提取模块；其中，所述空间特征提取模块是由f个并行的空间特征提取单元组成，每个空间特征提取单元由一层resnet-50残差网络和一层flatten层构成；所述时间特征提取模块依次由s层lstm长短时记忆网络和一层flatten层构成；所述视频动作样本输入输入双模态人员行为识别网络中，并由视频动作特征提取模块中的空间特征提取模块的f个并行的空间特征提取单元进行处理后，得到相应空间动作特征其中，表示第k个空间特征提取单
元对提取的空间动作特征；所述空间动作特征输入所述时间特征提取模块中进行处理后，得到视频动作特征4.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-3中任一所述实时人体行为识别方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。5.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-3中任一所述实时人体行为识别方法的步骤。

技术总结
本发明公开了一种跨域双模态特征融合的实时人体行为识别方法，其步骤包括：1、采集CSI动作样本数据和视频样本数据；2、对采集数据进行预处理；3、构建双线程动作特征提取网络提取CSI样本和视频样本中的动作特征；4、构建特征融合和特征对齐网络将两个模态的动作特征进行融合；5、将融合特征输入到分类器网络进行人体动作识别。本发明基于CSI和视频双模态信息实现行为识别，具有较强的识别准确性和抗干扰能力。能力。能力。


技术研发人员：章丹 吕妍 孙巍巍 吴海艳 施雯 王远 胡茂亮 廖羽晗 邱曼曼 霍骋 陈迎 罗长 万礼嵩 赵晓山 王法治 郭可贵 韩玉 孟磊 马欢 沈风 罗俊骁
受保护的技术使用者：国网安徽省电力有限公司超高压分公司
技术研发日：2023.05.23
技术公布日：2023/8/9