一种基于Transformer的WiFi人体手势识别方法、电子设备及存储介质

一种基于transformer的wifi人体手势识别方法、电子设备及存储介质
技术领域
1.本发明属于手势识别领域，具体涉及一种基于transformer的wifi人体手势识别方法、电子设备及存储介质。


背景技术：

2.近年来，我国商业wifi热点部署量不断上升，到目前，部署的商业热点数量已经超过200万，且wifi设备具有分布广泛，成本低廉，容易部署等特点。人体行为作为日常生活中的重要组成部分，可以帮助我们传达信息，对人体行为感知与识别技术进行研究有重要的现实意义和研究意义。行为识别已经成为当下wifi智能感知技术的热点，如步态、呼吸、手势等。wifi感知的基本原理就是当信号在传播过程中遇到人体，会发生反射、折射、衍射以及散射等现象，对信号的正常传播产生扰动，通过分析接收信号，检测信号变化特征，从而感知信号传播过程中所遇到的人体的状态。基于wifi的手势识别主要是利用wifi信道状态信息(csi)实现，csi记录了wifi通信链路的细粒度信息，由不同人体动作而引起的细微的传播路径变化能通过分析csi识别。但csi中不仅含有手势信息，同时也包含了大量的环境特征，因此在跨区域的场景下使用csi识别难以取得好的效果。而在保证同区域下的手势识别准确性的前提下，建立高效、准确的跨域识别模型，能为人体行为识别方案的完善做出巨大贡献。
3.《widar3.0:zero-effort cross-domain gesture recognition with wi-fi》将csi信号中的多普勒频移分解为以人体为原点各个方向上的速度分量，基于多个链路的多普勒频移曲线提取出了独立于环境因素的不同速度下概率分布的坐标速度特征(body-coordinate velocity profile，bvp)。并基于bvp的特征，将门控制循环单元(gru)与卷积神经网络(cnn)相结合，提出了具有跨域识别能力的人体手势识别模型(此模型在下文中简称gru-cnn模型)。
4.在利用bvp进行跨域人体手势识别时，gru-cnn随着识别手势种类的增加，识别的准确率会逐渐降低。识别常用6种手势的准确率在90％左右，但手势种类提高到22种后，识别准确率下降到了70％左右，说明gru-cnn模型并未具有很强的稳定性。通过实验与查阅资料，利用cnn提取空间特征并对时间维度建模难以适应数据复杂度太高的识别任务，bvp图像中的高亮点值对应手部运动速率，且bvp数据具有相邻帧相关性更大、高亮点的变化趋势与手势运动趋势相对应、逆变化趋势的高亮点更有可能是噪声等特征，利用这些特征可以实现识别率的提升，但中存在大量的噪声数据，gru-cnn难以消除过多的噪声数据对识别结果的影响。由此可见利用bvp完成人体手势识别能一定程度上解决跨域识别的难题，但在数据复杂度较高的情况下，仍然难以达到令人满意的识别率。


技术实现要素：

5.有鉴于此，本发明的目的在于针对现有技术中存在的问题，提供一种基于
transformer的wifi人体手势识别方法、电子设备及存储介质，以保证在数据复杂度较高的情况下依旧保证稳定的域内与跨域人体手势识别。
6.为实现本发明的目的，本发明采用如下技术方案：
7.一种基于transformer的wifi人体手势识别方法，包括：
8.接收人体手势变化过程中的wifi信道状态信息(csi)；
9.基于wifi信道状态信息，得到bvp数据；
10.进行bvp数据处理；
11.利用处理好的bvp数据训练transformer模型；
12.利用训练好的模型完成人体手势识别。
13.进一步的，得到bvp数据的过程为：利用滤波器将收集的csi信号数据进行限制在-60hz～60hz内，再使用pca算法以及短时傅里叶变换获取多普勒频移，得到对应的bvp数据。
14.进一步的，所述bvp数据处理为；将不同时间长短的bvp数据进行序列填充和数据归一化处理。
15.进一步的，所述bvp数据处理还包括：再使用mask算法对bvp数据进行映射简化和去噪处理，筛选出bvp数据中的高亮点。
16.进一步的，训练模型具体为：
17.将处理好的bvp数据和高亮点输入改进的transformer模型，将自注意计算限制在3～5个相邻帧中，利用不同时间尺度提取手势特征，编码器会利用这些特征不断完善手势与bvp之间的时序相关性，并用于训练最终的识别模型
18.进一步的，所述改进的transformer模型在于限制注意力计算的区域，根据不同的时间尺度划定进行注意力计算的bvp帧数，通过在较深的层中合并相邻帧，并使用不同时间尺度的局部相邻帧自注意计算来建立分层特征映射，使细节特征信息得到增强，实现不同层次特征信息的充分利用。
19.本发明还提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据上述的人体手势识别方法。
20.本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的人体手势识别方法。
21.本发明的技术效果：
22.本发明提出了一种基于transformer的wifi人体手势识别方法，利用从wifi信道状态信息中获取的bvp数据，捕捉bvp数据与对应人体手势的时序相关性，在人体手势种类不断增加、数据复杂度不断上升的情况下，依旧保证稳定的域内与跨域人体手势识别。
附图说明
23.附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
24.图1示出了本发明的流程示意图；
25.图2示出了本发明的去噪处理示意图；
26.图3示出了本发明的mask子网络示意图；
27.图4示出了本发明的去躁子网络示意图。
具体实施方式
28.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
29.一种基于transformer的wifi人体手势识别方法：
30.第一步，室内布置wifi信号发射器与接收器，实验人员在室内进行不同的手势活动，收集识别对象手势变化过程中的csi信号。
31.第二步，利用滤波器将将收集的csi信号数据限制-60hz～60hz内，再使用pca算法以及短时傅里叶变换获取多普勒频移，并提取出对应的bvp数据。
32.第三步，对bvp数据进行序列填充和数据归一化处理，将时间维度大小统一，再利用mask算法对bvp数据进行映射简化和去噪处理，采用一种特殊的0-1矩阵对bvp中的高亮部分数据进行替换，并分离出不同的高亮点部分，依次对相邻帧中的高亮点部分进行比对，最后通过迭代求解自适应获取最优高亮点；
33.mask算法的去噪过程是从bvp数据中提取关于bvp序列的辅助信息用于辅助噪声抑制和数据恢复。我们设计了由两个子网络组成的掩码引导去噪网络，分别为mask子网络和去噪子网络。mask子网络首先生成一个与原bvp数据集相同大小的掩码矩阵，该矩阵的每个元素都是0或1，其中0表示该数据点不存在高亮点，1表示该数据点存在高亮点。去噪子网络中以暹罗网络(siamese network)为主体，将掩码矩阵与噪声特征相结合，学习有效信息与噪声之间的差异。通过具有相同参数的两个cnn分支来学习掩码和噪声数据之间的共同特征，以便后续去噪子网可以基于共同特征(有效bvp数据和相对位置信息)来学习噪声和信号之间的差异，从而获得更好的噪声估计n’；
34.假设有噪声的bvp数据y∈bh×w×
t
，h、w为bvp数据中沿x轴和y轴速度分量可能的值，h＝w，t为bvp的帧数，由手势动作的持续时间而定，x为无噪声的bvp数据，噪声为n，其中
35.y＝x+n
36.随机噪声有时会与bvp数据相似。我们设计了mask算法，用其中的残差模块来预测噪声n
′
,通过
37.y-n
′
＝
′
≈x
38.使去噪数据x
′
接近x。mask子网络中设计了一中掩码矩阵，将bvp数据y映射到名为mask的二进制矩阵my，掩码矩阵的值对应bvp高亮点位置的信息。然后,在去噪子网络中采用暹罗网络，通过两个cnn分支学习掩码和噪声数据之间的共同特征以便后续去噪子网络可以基于有效信号和噪声的共同特征以实现更好的噪声估计。最后通过去除噪声n
′
，可以很好地恢复无噪声的bvp数据x。结构如图2所示
39.mask子网络：
40.mask子网络由特征提取部分和预测部分组成，旨在发现bvp噪声数据中的语义信息，其结构如图2所示。特征提取部分由12层卷积网络组成，该网络使用普通卷积和扩张卷积的组合提取特征。扩张卷积的扩张率为2。扩张卷积核相较于常规卷积核，在相邻的非零
参数之间插入1个零。扩张卷积扩大了感受野，并使mask子网络不需要很大的网络深度即可提取足够多的bvp数据全局特征，同时特征提取块中的残差结构提供了bvp数据的细节,以便准确地分割掩码边界。预测块具有7个卷积层，特征的维数会从256逐渐减少到2，用于预测每个样本属于信号和噪声的概率。结合提取的不同手势中bvp数据的全局特征和细节特征预测块可以很好地预测包含可学习参数θm的包含噪声数据的y信号语义信息并获得下式给出的掩码:
41.my＝(f)＝s((m；))
42.s()为映射函数，利用softmax函数将输出的张量f归一化为二进制矩阵my网络结构如图3所示
43.去噪子网络：
44.去噪子网络由暹罗主干和去噪块组成，暹罗网络可以找到两组输入数据的相似特征，因此我们使用暹罗网络作为去噪子网络的主干，模型可以将掩码中有效信号的位置信息作为约束，以更好地保留bvp数据的全局形状和细节特征，，暹罗主干部分的两个分支会用于训练同一组参数，因此两部分输入会使用相同的转换隐式编码。通过融合双输入的特征图暹罗主干可以学习掩码和噪声数据的相似特征，从而避免噪声和有效高亮点之间的特征混淆。去噪块首先使用六层卷积网络将暹罗主干提取的特征映射到高维特征，并使用残差连接与y上主干的输出相结合以提供全局特征信息。通过此方式可使噪声特征和信号特征之间的细微差异在高维度上更好地表征并且减轻由位置信息误差引起的影响。去噪块中的七层卷积网络最后将特征的信道数从128减少到1，以实现跨信道特征，并最终输出表示为
45.n
′
＝d((d；y；))
46.通过不断训练去噪子网络，使预测的接近y
‑′
接近真实无噪声bvp数据。网络结构如图4所示。
47.第四步，将处理好的bvp数据和高亮点输入改进的transformer模型，将自注意计算限制在3～5个相邻帧中，利用不同时间尺度提取手势特征，编码器会利用这些特征不断完善手势与bvp之间的时序相关性，并用于训练最终的识别模型。
48.第五步，利用训练好的模型对bvp数据进行分类，并给出最终的手势识别结果。
49.具体为：分类步骤采用多层感知机(mlp，multilayer perceptron)来实现，将transformer编码器输出的特征放入mlp的输入层，用于训练隐藏层的神经元，输入层拥有n个神经元，代表输入样本在n个属性下的值；输入层信号通过带权重的连接传递至隐藏层，隐藏层神经元分别接收到各自的总输入值，将其与神经元的阈值进行比较，然后通过“激活函数”处理产生相应的输出，隐藏层输出信号同样通过带权重的连接传递至输出层，输出层神经元分别接收各自的总输入值并通过激活函数处理产生最后输出该样本的动作预测。输出层神经元代表分类结果，其个数取决于最终分类标签的个数。
50.以上所述，仅为本发明优选的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于transformer的wifi人体手势识别方法，其特征在于，包括：接收人体手势变化过程中的wifi信道状态信息；基于wifi信道状态信息，得到bvp数据；进行bvp数据处理；利用处理好的bvp数据训练transformer模型；利用训练好的模型完成人体手势识别。2.根据权利要求1所述的人体手势识别技术，其特征在于，得到bvp数据的过程具体为：利用滤波器将收集的wifi信道状态信息数据进行限制在-60hz～60hz内，再使用pca算法以及短时傅里叶变换获取多普勒频移，得到对应的bvp数据。3.根据权利要求1所述的人体手势识别技术，其特征在于，所述bvp数据处理具体为：将不同时间长短的bvp数据进行序列填充和数据归一化处理。4.根据权利要求3所述的人体手势识别技术，其特征在于，所述bvp数据处理还包括：使用mask算法对bvp数据进行映射简化和去噪处理，筛选出bvp数据中的高亮点。5.根据权利要求1所述的人体手势识别技术，其特征在于，训练transformer模型具体为：将处理好的bvp数据和高亮点输入改进的transformer模型，将自注意计算限制在3～5个相邻帧中，利用不同时间尺度提取手势特征，编码器利用这些特征不断完善手势与bvp之间的时序相关性，并用于训练最终的识别模型。6.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1-5中所述的人体手势识别方法。7.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中所述的人体手势识别方法。

技术总结
本发明提供一种基于Transformer的WiFi人体手势识别方法、电子设备及存储介质，包括：接收人体手势变化过程中的WiFi信道状态信息；基于WiFi信道状态信息，得到BVP数据；进行BVP数据处理；利用处理好的BVP数据训练Transformer模型；利用训练好的模型完成人体手势识别。本发明利用从WiFi信道状态信息中获取的BVP数据，捕捉BVP数据与对应人体手势的时序相关性，在人体手势种类不断增加、数据复杂度不断上升的情况下，依旧保证稳定的域内与跨域人体手势识别。识别。识别。


技术研发人员：李小龙 杨珩 黄华 李闯 董莉
受保护的技术使用者：湖南工商大学
技术研发日：2023.03.28
技术公布日：2023/7/18