基于WiFi的特定行为识别方法、装置及其应用与流程

基于wifi的特定行为识别方法、装置及其应用
技术领域
1.本技术涉及深度学习技术领域，特别是涉及基于wifi的特定行为识别方法、装置及其应用。


背景技术：

2.目前基于rgb相机的特定行为识别会侵犯个人隐私，同时基于rgb相机的特定识别存在遮挡、光线的影响，会降低特定行为识别的准确率；另一方面，家庭监控摄像头并没有普及，实现难度高。
3.因此，亟待一种不泄露个人面部信息，不受光线和遮挡物的视觉影响以及普及度更高的基于wifi的特定行为识别方法、装置及其应用，来解决现有技术存在的问题。


技术实现要素：

4.本技术实施例提供了基于wifi的特定行为识别方法及其应用，针对目前技术侵犯个人隐私、容易受光纤和遮挡影响以及普及度低的问题。
5.本发明核心技术主要是运用wifi信号进行特定行为识别，对于许多家庭来说，家庭内部都是覆盖wifi的，wifi和人们的生活紧密相连，本发明对wifi信号进行处理，通过较为成熟的深度学习技术，将wifi信号转换成图像域数据，运用深度学习模型对转换后的图像域数据进行特定行为识别。
6.第一方面，本技术提供了基于wifi的特定行为识别方法，所述方法包括以下步骤：s00、对家庭wifi环境中的原始csi数据进行数据清洗，得到清洗后的csi数据；s10、通过模态转换网络将多个时刻的清洗后的csi数据转换成图像域数据，构成时序图像域数据；s20、提取该时序图像域数据中的时序图像特征，再提取该时序图像特征中的图像局部特征和时域全局特征；s30、提取图像局部特征和时域全局特征中的行为特征；s40、将行为特征进行二分类，以判断是否为特定行为。
7.进一步地，s00步骤中，数据清洗的具体步骤为：s01、将原始csi数据进行相位展开得到csi相位展开数据；s02、将csi相位展开数据进行中值和均值过滤，以消除相位的随机抖动，从而得到csi相位展开去抖动数据；s03、将csi相位展开去抖动数据进行线性拟合，以得到清洗后的csi数据。
8.进一步地，s10步骤中，模态转换网络包括双流编码器、特征交叉融合模块及模态转换编码解码器，该双流编码器包括振幅编码器和相位编码器，且清洗后的csi数据包括振幅张量和相位张量，通过将振幅张量输入到振幅编码器提取振幅特征，将相位张量输入到相位编码器提取相位特征，将振幅特征和相位特征输入到特征交叉融合模块进行特征融合获取振幅相位融合特征，将振幅相位融合特征输入到模态转换编码解码器中获取图像域数
据。
9.进一步地，s20步骤中，通过将时序图像域数据依次输入到主干网络resnet提取图像域特征获取时序图像特征。
10.进一步地，s20步骤中，通过将时序图像特征输入到双流注意力模块分别提取图像局部特征和时域全局特征，该双流注意力模块包括局部注意力模块和全局注意力模块，分别对应提取图像局部特征和时域全局特征。
11.进一步地，s20步骤中，将时序图像特征从通道维度进行拼接得到时序图像融合特征，并将该时序图像融合特征输入到全局注意力模块提取得到时域全局特征。
12.进一步地，s30步骤中，通过局部和全局特征融合模块提取图像局部特征和时域全局特征中的行为特征，该局部和全局特征融合模块将n个图像局部特征和时域全局特征输入到第一全连接层进行全连接操作得到第一局部和全局融合特征，并将该第一局部和全局融合特征输入到第二全连接层进行全连接操作得到局部和全局融合特征。
13.第二方面，本技术提供了一种基于wifi的特定行为识别装置，包括：清洗模块，用于对家庭wifi环境中的原始csi数据进行数据清洗，得到清洗后的csi数据；模态转换模块，用于通过模态转换网络将多个时刻的清洗后的csi数据转换成图像域数据，构成时序图像域数据；提取特征模块，用于提取该时序图像域数据中的时序图像特征，再提取该时序图像特征中的图像局部特征和时域全局特征；提取图像局部特征和时域全局特征中的行为特征；二分类模块，用于将行为特征进行二分类，以判断是否为特定行为；输出模块，用于输出特定行为。
14.第三方面，本技术提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述的基于wifi的特定行为识别方法。
15.第四方面，本技术提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据上述的基于wifi的特定行为识别方法。
16.本发明的主要贡献和创新点如下：1、与现有技术相比，本技术基于wifi进行特定行为识别是无感的，不会泄漏个人的面部信息；光线、遮挡的视觉遮挡对于wifi的影响不大；目前大部分家庭都有wifi覆盖，而且覆盖面更广，因此基于wifi进行特定行为识别可行性更高，成本更低；2、与现有技术相比，本技术提出模态转换网络将wifi信号转换为图像域数据，利用发展较成熟的深度学习方法，对转换后的图像域数据进行特定行为识别，大大提升wifi信号进行特定行为识别的可能性；本技术提出双流注意力模块提取图像局部特征和时域全局特征，更好的提取行为特征，从而提升特定行为识别的准确率。
17.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
18.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是根据本技术实施例的基于wifi的特定行为识别方法的流程图；图2是本技术的模态转换网络大致流程图；图3是本技术模态转换网络的双流编码器，(a)为振幅编码器，(b)为相位编码器；图4是模态转换网络的特征融合模块示意图；图5是模块转换网络的模态转换编码解码器，(a)模态转换编码器，(b)模态转换解码器；图6是图像域数据特定行为识别流程图；图7是双流注意力模块的示意图，(a)局部注意力模块，(b)全局注意力模块；图8是局部和全局特征融合模块示意图；图9是根据本技术实施例的电子装置的硬件结构示意图。
具体实施方式
19.这里将详细的对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
20.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
21.基于家庭监控的特定行为识别实施存在困难，很多家庭不愿意在家庭内部安装监控，认为侵犯个人隐私，尤其有特定倾向的家庭成员不愿意安装监控，这为保护受害人的合法权益带来难度。
22.基于此，本发明基于wifi进行特定行为识别来解决视觉识别存在的问题。
23.实施例一本技术旨在提出一种基于wifi的特定行为识别方法，具体地，参考图1和图5，所述方法包括以下步骤：s00、对家庭wifi环境中的原始csi数据进行数据清洗，得到清洗后的csi数据；在本实施例中，csi数据是指无线电信道状态信息（channel state information），它通常是由天线和接收器之间的信道传输状况所决定。csi数据可以用于估计无线信道的质量，以及在无线通信系统中进行波束成形、信道编码、多天线信号处理等方面的应用。
24.优选地，数据清洗具体步骤为：s01、将原始csi数据采用公式（1）和公式（2）进行相位展开得到csi相位展开数据，
原始csi数据是通过3个发射天线和3个接收天线之间传输的信号采样得到；公式（1）公式（2）其中，i表示第i个csi样本，j表示第j个载波，φ表示相位；s02、将s01步骤获取的csi相位展开数据采用中值和均值滤波器进行过滤，消除相位的随机抖动获取csi相位展开去抖动数据；s03、将s02步骤获取的csi相位展开去抖动数据采用公式（3）、公式(4)、公式（5）进行线性拟合，获取清洗后的csi数据；公式（3）公式（4）公式（5）其中，f是载波的最大索引，例如本实施例设置为30，表示载波f清洗后的相位值；s10、通过模态转换网络将多个时刻的清洗后的csi数据转换成图像域数据，构成时序图像域数据；在本实施例中，模态转换网络包括双流编码器、特征交叉融合模块和模态转换编码解码器，双流编码器包括振幅编码器和相位编码器，清洗后的csi数据包括振幅张量和相位张量，将振幅张量输入到振幅编码器提取振幅特征，将相位张量输入到相位编码器提取相位特征，将振幅特征和相位特征输入到特征交叉融合模块进行特征融合获取振幅相位融合特征，将振幅相位融合特征输入到模态转换编码解码器中获取图像域数据。而构建时序图像域数据即分别将t，t+1，
…
，t+n时刻获取的csi数据依次输入到模态转换得到t，t+1，
…
，t+n时刻的图像域数据，构成时序图像域数据。
25.优选地，如图2-5所示，模态转换网络的转换步骤具体为：s11、模态转换网络输入是频率为30的5个连续清洗后的csi样本，包括振幅张量和相位张量，振幅张量和相位张量尺寸均为3
×3×
150；s12、将振幅张量输入到振幅编码器进行编码获取振幅特征，振幅编码器包括3个卷积层，具体操作如下：将振幅张量输入到卷积层a1进行卷积操作，卷积层a1的卷积核尺寸为1
×1×
150，通道数为128，得到第一振幅特征，第一振幅特征维度为3
×3×
128，将第一振幅特征输入到卷积层a2进行卷积操作，卷积层a2的卷积核尺寸为1
×1×
128，通道数为64，得到第二振幅特征，第二振幅特征维度为3
×3×
64，将第二振幅特征输入到卷积层a3进行卷积操作，卷积层a3的卷积核尺寸为1
×1×
64，通道数为32，得到振幅特征，振幅特征维度为3
×3×
32；s13、将相位张量输入到相位编码器进行编码获取相位特征，相位编码器包括3个卷积层，具体操作如下：将相位张量输入到卷积层f1进行卷积操作，卷积层f1的卷积核尺寸
为1
×1×
150，通道数为128，得到第一相位特征，第一相位特征维度为3
×3×
128，将第一相位特征输入到卷积层f2进行卷积操作，卷积层f2的卷积核尺寸为1
×1×
128，通道数为64，得到第二相位特征，第二相位特征维度为3
×3×
64，将第二相位特征输入到卷积层f3进行卷积操作，卷积层f3的卷积核尺寸为1
×1×
64，通道数为32，得到相位特征，相位特征维度为3
×3×
32；s14、将s12步骤得到的振幅特征和s13步骤得到的相位特征输入特征交叉融合模块进行特征融合得到振幅相位融合特征，振幅相位融合特征维度为3
×3×
64，特征交叉融合模块包括交叉拼接层和2个卷积层，具体操作如下：将振幅特征和相位特征输入到交叉拼接层在通道维度上进行交叉拼接得到第一振幅相位融合特征，振幅特征维度为3
×3×
32，相位特征维度为3
×3×
32，第一振幅相位融合特征维度为3
×3×
64，具体操作如下：第一振幅相位融合特征的第一特征图是振幅特征的第一特征图，第一振幅相位融合特征的第二特征图是相位特征的第一特征图，
…
，第一振幅相位融合特征的第六十三特征图是振幅特征的第三十二特征图，第一振幅相位融合特征的第六十四特征图是相位特征的第三十二特征图，将第一振幅相位融合特征输入到卷积层c1中进行卷积操作得到第二振幅相位融合特征，卷积层c1的卷积核尺寸为1
×1×
64，通道数为64，第二振幅相位融合特征维度为3
×3×
64，将第二振幅相位融合特征输入到卷积层c2中进行卷积操作得到振幅相位融合特征，卷积层c2的卷积核尺寸为1
×1×
64，通道数为64，振幅相位融合特征维度为3
×3×
64；s15、将s14步骤获取的振幅相位融合特征输入到reshape层进行尺寸变换得到尺寸变换后的振幅相位融合特征，尺寸变换后的振幅相位融合特征维度为24
×
24；s16、将s15步骤获取的尺寸变换后的振幅相位融合特征输入到模态转换编码器中获取csi编码特征，模态转换编码器包括2个加性卷积层，尺寸变换后的振幅相位融合特征维度为24
×
24，csi编码特征维度为6
×6×
128，2个卷积层分别为加性卷积层d1，加性卷积层d2，加性卷积层d1卷积核尺寸为3
×
3，通道数为64, 加性卷积层d2卷积核尺寸为3
×3×
64，通道数为128，加性卷积层将卷积核在特征图上滑动2次计算得到的2个结果进行相加得到1个结果从而实现降采样操作；s17、将s16步骤获取的csi编码特征输入到模态转换解码器中获取图像域数据，模态转换解码器包括4个跨通道拼接卷积层，csi编码特征维度为6
×6×
128，经过模态转换解码器中4个跨通道拼接卷积层的4次上采样操作得到图像域特征维度为96
×
96，4个跨通道拼接卷积层分别为跨通道拼接卷积层e1，跨通道拼接卷积层e2，跨通道拼接卷积层e3，跨通道拼接卷积层e4，跨通道拼接卷积层e1卷积核尺寸为3
×3×
32，通道数为64，跨通道拼接卷积层e2卷积核尺寸为3
×3×
16，通道数为32，跨通道拼接卷积层e3卷积核尺寸为3
×3×
8，通道数为16，跨通道拼接卷积层e4卷积核尺寸为3
×3×
4，通道数为1，例如跨通道拼接卷积层e1的具体操作如下：将得到的尺寸为6
×6×
128的csi编码特征，随机选取4张尺寸为6
×
6的特征图拼接成12
×
12的特征图，得到12
×
12
×
32的跨通道拼接特征，将跨通道拼接特征，再经过卷积核为3
×3×
32，通道数为64的卷积进行卷积操作，得到第一解码特征；s20、获取时序图像域数据依次输入到主干网络resnet提取图像域特征获取时序图像特征，将时序图像特征输入到双流注意力模块分别提取图像局部特征和时域全局特征，resnet为通用的图像特征提取网络；resnet是一种深度卷积神经网络，它是由微软研究院于2015年提出的，被用于解
决深度神经网络中的退化问题（即增加网络深度后性能不如期望的问题）。resnet的主要思想是通过引入残差块（residual block）来解决退化问题。残差块允许信息在神经网络中直接绕过一些层，从而避免了层与层之间的信息流失。每个残差块包含两个卷积层和一个跨越连接（shortcut connection），即将输入直接加到输出中，这个跨越连接可以让信息在网络中流动更快，从而避免了深度神经网络中的信息丢失。resnet的基本结构是由多个残差块组成，这些残差块之间可以通过下采样层进行降采样。这样，resnet可以通过增加深度来提高网络的准确性，而不会影响网络的性能。
26.在本实施例中，如图7所示，双流注意力模块提取的具体步骤为：s21、将时序图像特征x(t)、x(t+1)、
…
、x(t+n)依次输入到局部注意力模块提取图像局部特征，时序图像特征x(t)、x(t+1)、
…
、x(t+n)均为维度为512的向量，局部注意力模块包括2个transformer层，transformer层均为单头，具体地：将x(t)、x(t+1)、
…
、x(t+n)依次输入到transformer层l1得到n个第一图像局部特征，将n个第一图像局部特征依次输入到transformer层l2得到n个图像局部特征，第一图像局部特征和图像局部特征均为维度为512的向量；s22、将时序图像特征x(t)、x(t+1)、
…
、x(t+n)输入到concat层从通道维度进行拼接得到时序图像融合特征，时序图像融合特征维度为512
×
n；s23、将时序图像融合特征输入到全局注意力模块提取时序全局特征，全局注意力模块包括2个transformer层，transdormer层是多头的，头数为n，具体地：将时序图像融合特征输入到transformer层g1得到第一时序全局特征，将第一时序全局特征输入到transformer层g2得到时序全局特征，第一时序全局特征和时序全局特征均为维度为512的向量；s30、将图像局部特征和时域全局特征输入到局部和全局特征融合模块获取行为特征；在本实施例中，如图8所示，将n个图像局部特征和时域全局特征输入到局部和全局特征融合模块，局部和全局特征融合模块包括2个全连接层，具体地：将n个图像局部特征和时域全局特征输入到全连接层1进行全连接操作得到第一局部和全局融合特征，将第一局部和全局融合特征输入到全连接层2进行全连接操作得到局部和全局融合特征，第一全连接层的神经元个数为1024，第二全连接层的神经元个数为512，第一局部和全局融合特征维度为1024，局部和全局融合特征维度为512；s40、行为特征输入到softmax层进行二分类，判断是否为特定行为。
27.在本实施例中，需要将从局部和全局特征融合模块中获得的行为特征输入到一个全连接层，该全连接层的输出尺寸为2，表示二分类任务中的两个类别。然后，通过softmax激活函数将全连接层的输出转化为表示概率分布的输出值，分别对应两个类别的概率。最后，根据概率值的大小，判断输入的时序图像是否包含特定行为。具体而言，如果softmax输出中第一个元素的概率值大于等于第二个元素，那么输入的时序图像就被分类为“无特定行为”类别；反之，则被分类为“有特定行为”类别。
28.实施例二基于相同的构思，本技术还提出了一种基于wifi的特定行为识别装置，包括：清洗模块，用于对家庭wifi环境中的原始csi数据进行数据清洗，得到清洗后的
csi数据；模态转换模块，用于通过模态转换网络将多个时刻的清洗后的csi数据转换成图像域数据，构成时序图像域数据；提取特征模块，用于提取该时序图像域数据中的时序图像特征，再提取该时序图像特征中的图像局部特征和时域全局特征；提取图像局部特征和时域全局特征中的行为特征；二分类模块，用于将行为特征进行二分类，以判断是否为特定行为；输出模块，用于输出特定行为。
29.实施例三本实施例还提供了一种电子装置，参考图9，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
30.具体地，上述处理器402可以包括中央处理器（cpu），或者特定集成电路（applicationspecificintegratedcircuit，简称为asic），或者可以被配置成实施本技术实施例的一个或多个集成电路。
31.其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（harddiskdrive，简称为hdd）、软盘驱动器、固态驱动器（solidstatedrive，简称为ssd）、闪存、光盘、磁光盘、磁带或通用串行总线（universalserialbus，简称为usb）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（non-volatile）存储器。在特定实施例中，存储器404包括只读存储器（read-onlymemory，简称为rom）和随机存取存储器（randomaccessmemory，简称为ram）。在合适的情况下，该rom可以是掩模编程的rom、可编程rom（programmableread-onlymemory，简称为prom）、可擦除prom（erasableprogrammableread-onlymemory，简称为eprom）、电可擦除prom（electricallyerasableprogrammableread-onlymemory，简称为eeprom）、电可改写rom（electricallyalterableread-onlymemory，简称为earom）或闪存（flash）或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器（staticrandom-accessmemory，简称为sram）或动态随机存取存储器（dynamicrandomaccessmemory，简称为dram），其中，dram可以是快速页模式动态随机存取存储器404（fastpagemodedynamicrandomaccessmemory，简称为fpmdram）、扩展数据输出动态随机存取存储器（extendeddateoutdynamicrandomaccessmemory，简称为edodram）、同步动态随机存取内存（synchronousdynamicrandom-accessmemory，简称sdram）等。
32.存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
33.处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意基于wifi的特定行为识别方法。
34.可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
35.传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
36.输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是csi数据等，输出的信息可以是是否为特定行为等。
37.实施例四本实施例还提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据实施例一的基于wifi的特定行为识别方法。
38.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
39.通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
40.本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如dvd及其数据变体、cd等光学介质上。物理介质是非瞬态介质。
41.本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
42.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以作出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.基于wifi的特定行为识别方法，其特征在于，包括以下步骤：s00、对家庭wifi环境中的原始csi数据进行数据清洗，得到清洗后的csi数据；s10、通过模态转换网络将多个时刻的所述清洗后的csi数据转换成图像域数据，构成时序图像域数据；s20、提取该时序图像域数据中的时序图像特征，再提取该时序图像特征中的图像局部特征和时域全局特征；s30、提取所述图像局部特征和所述时域全局特征中的行为特征；s40、将所述行为特征进行二分类，以判断是否为特定行为。2.如权利要求1所述的基于wifi的特定行为识别方法，其特征在于，s00步骤中，所述数据清洗的具体步骤为：s01、将所述原始csi数据进行相位展开得到csi相位展开数据；s02、将所述csi相位展开数据进行中值和均值过滤，以消除相位的随机抖动，从而得到csi相位展开去抖动数据；s03、将所述csi相位展开去抖动数据进行线性拟合，以得到清洗后的csi数据。3.如权利要求1所述的基于wifi的特定行为识别方法，其特征在于，s10步骤中，所述模态转换网络包括双流编码器、特征交叉融合模块及模态转换编码解码器，该双流编码器包括振幅编码器和相位编码器，且所述清洗后的csi数据包括振幅张量和相位张量，通过将所述振幅张量输入到所述振幅编码器提取振幅特征，将所述相位张量输入到所述相位编码器提取相位特征，将所述振幅特征和所述相位特征输入到所述特征交叉融合模块进行特征融合获取振幅相位融合特征，将所述振幅相位融合特征输入到所述模态转换编码解码器中获取图像域数据。4.如权利要求1所述的基于wifi的特定行为识别方法，其特征在于，s20步骤中，通过将时序图像域数据依次输入到主干网络resnet提取图像域特征获取时序图像特征。5.如权利要求4所述的基于wifi的特定行为识别方法，其特征在于，s20步骤中，通过将所述时序图像特征输入到双流注意力模块分别提取图像局部特征和时域全局特征，该双流注意力模块包括局部注意力模块和全局注意力模块，分别对应提取图像局部特征和时域全局特征。6.如权利要求5所述的基于wifi的特定行为识别方法，其特征在于，s20步骤中，将所述时序图像特征从通道维度进行拼接得到时序图像融合特征，并将该时序图像融合特征输入到所述全局注意力模块提取得到所述时域全局特征。7.如权利要求1-6任一项所述的基于wifi的特定行为识别方法，其特征在于，s30步骤中，通过局部和全局特征融合模块提取所述图像局部特征和所述时域全局特征中的行为特征，该局部和全局特征融合模块将n个图像局部特征和时域全局特征输入到第一全连接层进行全连接操作得到第一局部和全局融合特征，并将该第一局部和全局融合特征输入到第二全连接层进行全连接操作得到局部和全局融合特征。8.一种基于wifi的特定行为识别装置，其特征在于，包括：清洗模块，用于对家庭wifi环境中的原始csi数据进行数据清洗，得到清洗后的csi数据；模态转换模块，用于通过模态转换网络将多个时刻的清洗后的csi数据转换成图像域
数据，构成时序图像域数据；提取特征模块，用于提取时序图像域数据中的时序图像特征，再提取该时序图像特征中的图像局部特征和时域全局特征；提取图像局部特征和时域全局特征中的行为特征；二分类模块，用于将行为特征进行二分类，以判断是否为特定行为；输出模块，用于输出特定行为。9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7任一项所述的基于wifi的特定行为识别方法。10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1至7任一项所述的基于wifi的特定行为识别方法。

技术总结
本申请提出了基于WiFi的特定行为识别方法及其应用，包括以下步骤：S00、对家庭WiFi环境中的原始CSI数据进行数据清洗，得到清洗后的CSI数据；S10、通过模态转换网络将清洗后的CSI数据转换成图像域数据；S20、获取时序图像域数据，并提取该时序图像域数据中的时序图像特征，再提取该时序图像特征中的图像局部特征和时域全局特征；S30、提取图像局部特征和时域全局特征中的行为特征；S40、将行为特征进行二分类，以判断是否为特定行为。本申请采用WiFi信号进行特定行为识别更加保护隐私，相对于RGB相机对于环境光线要求更低，基于WiFi进行特定行为识别可行性更高。特定行为识别可行性更高。特定行为识别可行性更高。


技术研发人员：李圣权 陈思瑶 毛云青 王国梁 葛俊
受保护的技术使用者：城云科技（中国）有限公司
技术研发日：2023.02.24
技术公布日：2023/7/20