一种人类轨迹及躯干活动识别方法及系统

1.本发明属于无线感知、动作识别技术领域，尤其涉及一种人类轨迹及躯干活动识别方法及系统。


背景技术：

2.随着物联网技术的飞速发展，出现了许多非接触式传感和人机交互的智能传感应用。人类活动识别是人与计算机之间的通信纽带。以前的人类活动识别应用通常建立在图像和传感器设备基础上，这依赖于设备部署，需要大量的设备开销。
3.目前存在许多形式的人类活动识别(human activity recognition har)技术，现有的基于传感器和基于视觉的har方法已经取得了较好的结果。然而，这些方法在环境、设备要求方面仍然存在局限性。基于摄像头的识别技术易受环境因素（如背景、照明、遮挡）和社会约束（如隐私问题）的影响。此外，在基于传感器的方法中，由于它们需要穿戴设备很麻烦，使得这项技术在实际生活情境下难以随意使用。
4.wifi设备比上述技术更便宜、更节能、不受光线影响、更容易实现并且比相机更少隐私问题，因此使用wifi设备来进行无线感知活动应用比较广泛。比如，当一个人位于一对wifi收发器的周围区域时，他/她的身体运动会影响wifi信号的传播。通过分析粗粒度rssi（received signal strength indicator）和细粒度csi(channel status information)等信号特征，可以识别出不同的活动（位置）。由于rssi与csi相比更不稳定，它不能正确捕捉活动执行时信号的动态变化，并且csi可以保存信道各子载波的物理层信息，所以csi作为一种常用于har的细粒度信息，近年来比rssi更受关注。当一个人在发射器和接收器之间执行特定活动时，来自身体反射的无线信号会产生独特的模式。还有人体形状、执行活动的速度、环境障碍以及执行活动的路径都会导致接收到的csi信号发生不同的变化。例如，做一个人走圆形轨迹，与一个人走方形轨迹的实验相比，这个活动对csi信号的影响是不同的。
5.通过上述分析，现有技术存在的问题及缺陷为：传统的基于图像和传感器设备的人类活动识别应用依赖于设备部署，需要大量的设备，使得成本增加，且易受环境因素和隐私信息限制所影响，使得现有技术对基于wifi的人类活动识别信息全面性以及准确度偏低。


技术实现要素：

6.为克服相关技术中存在的问题，本发明公开实施例提供了一种人类轨迹及躯干活动识别方法及系统。具体涉及一种基于商用wifi信道状态信息的人类轨迹及躯干活动识别方法。
7.所述技术方案如下：人类轨迹及躯干活动识别方法，包括以下步骤：s1，配置ubuntu系统下的csi-tool工具；s2，使用发送端和接收端，收集原始信道状态信息csi数据；s3，对收集到的原始信道状态信息csi数据利用不同的收发天线提取信道状态信
息csi商，获得新的信道状态信息csi商的基础信号；s4，根据采集到的新的信道状态信息csi商的基础信号，对目标运动轨迹提取多普勒频谱图，对目标躯干活动轨迹提取新的信道状态信息csi商伪彩图；s5，利用cnn对提取的多普勒频谱图、信道状态信息csi商伪彩图进行训练，并基于训练结果对目标运动轨迹、目标躯干活动轨迹进行识别分类。
8.在步骤s2中，使用发送端和接收端，收集原始信道状态信息csi数据，具体包括：s2.1，调整收发天线位置，当被检测目标的活动范围位于发送端和接收端的对角线位置时，信道状态信息csi信号的功率将受到影响从而衰减，将检测区域设为发送端和接收端连线的一侧；s2.2，通过对比试验选择出天线间距。
9.在步骤s2.1中，将检测区域设为发送端和接收端连线的一侧，具体方法为：s2.1.1，设置两组对照试验，实验1：检测区域位于接受设备的对角线位置；实验2：检测区域位于接受设备的一侧；s2.1.2：进行实验1、实验2的实验验证。
10.在步骤s3中，获得新的信道状态信息csi商的基础信号，具体包括：s3.1，将得到的一组3
×
30的原始信道状态信息csi数据矩阵提取，并将不同收发天线的信道状态信息csi值两两相除，得到新的信道状态信息csi商基础信号；其中，不同天线至少包括两根天线；s3.2，对得到的新的信道状态信息csi商基础信号利用savitzky-golay滤波器进行去噪。
11.在步骤s3.1中，得到新的信道状态信息csi商基础信号，具体包括：s3.1.1，接收端获取到的原始信道状态信息csi矩阵表示与频率f和时间t相关的结构，表达式为：；式中，是信道总数，是频率，是时间，是路径i的信道衰减，是相位信息；s3.1.2，基于获取的信道状态信息csi矩阵，将接收端的两根天线的csi值做商，得到新的信道状态信息csi商基础信号，定义如下：；其中，和分别为第一根天线和第二根天线的信道状态信息csi矩阵，是第一根天线的动态路径长度，为信号发射频率，和分别是第一根、第二根天线的静态路径分量，第一根天线动态路径的衰减和初始相位偏移路径组件，是第二根天线动态路径的衰减和初始相位偏移路径组件；是两个天线
之间由于物理位置不同而产生的动态路径长度差，得到新的信道状态信息csi商基础信号。
12.在步骤s4中，对目标躯干活动轨迹提取新的信道状态信息csi商伪彩图，具体包括：s4.1，针对目标躯干活动轨迹提取新的信道状态信息csi商伪彩图；s4.2，针对目标运动轨迹提取多普勒频谱图，基于新的信道状态信息csi商值计算多普勒速度。
13.在步骤s4.1中，将根据csi商矩阵制作伪彩色图，表示为x-y平面中的彩色面数组；在伪彩色图中，单元格排列在csi商矩阵的矩形阵列中，颜色由输入矩阵中的值指定；通过在输入矩阵数值中的每个角附近使用四个点描述每个单元格创建伪彩色图；csi输入矩阵的每个元素都线性映射到rgb颜色图上。
14.在步骤s4.2中，基于新的信道状态信息csi商值计算多普勒速度，具体实现方法为：收发装置和在信号测量区域内活动的人类之间的相对运动将改变在收发装置处获取到的多普勒效应，移动物体的多普勒频移定义为：；带入新的信道状态信息csi商基础信号中，在动态反射路径上测得的多普勒速度实际上等于新的信道状态信息csi商在复平面上的每秒转数，旋转方向表示多普勒速度的符号，生成多普勒频谱图。
15.在步骤s5中，对目标运动轨迹、目标躯干活动轨迹进行识别分类包括：cnn网络包括alex-net\res-net\googlenet。
16.本发明的另一目的在于提供一种人类轨迹及躯干活动识别系统，实施所述的人类轨迹及躯干活动识别方法，该系统包括：csi信号获取模块，用于利用搭载ubuntu系统和csi-tool的收发设备获取csi数据，将接收端的两根全向天线做商，获得csi商基础信号；csi信号预处理模块，用于利用savitzky-golay滤波器进行csi商值的去噪处理，使用离散小波变换去除高频噪声；动作识别分类模块，用于针对人类的运动轨迹以及躯干活动分别生成多普勒频谱图和csi商伪彩图，利用深度神经网络进行动作识别分类。
17.结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的人类轨迹及躯干活动识别方法先利用搭载了ubuntu系统以及csi-tool的收发设备获取信道状态信息(channel state information,csi)数据，接收端有三根全向天线，将两根天线做商，获得csi商模型的基础信号；对于csi商值的去噪，选择了savitzky-golay滤波器，可以保留信号波形中峰值的宽度和高度，从而保证csi商信号的特征不会发生偏移；使用离散小波变换(discrete waveletttansform,dwt)去除高频噪声；针对人类的运动轨迹以及躯干活动，分别生成多普勒频谱图以及csi商伪彩图，利用深度神经网络的方式实现动作识别分类。
附图说明
18.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理；图1是本发明实施例提供的人类轨迹及躯干活动识别方法流程图；图2是本发明实施例提供的人类轨迹及躯干活动识别系统示意图；图3是本发明实施例提供的经过cnn分类后的识别准确度的人类运动轨迹混淆矩阵示意图；图4是本发明实施例提供的人类躯干动作混淆轨迹示意图；图5是本发明实施例提供的多普勒频谱图分类图；图6是本发明实施例提供的网络性能统计图；图7是本发明实施例提供的不同神经网络模型对7种动作识别的准确度示意图；图8是本发明实施例提供的接收端天线间距分别为2.4cm和6.0cm时的动态功率值示意图；图中：1、csi信号获取模块；2、csi信号预处理模块；3、动作识别分类模块。
具体实施方式
19.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
20.实施例1，本发明实施例提供的人类轨迹及躯干活动识别方法包括：利用无处不在的商用wifi设备处理收集到的信道状态信息，采用搭载ubuntu（是一个以桌面应用为主的linux发行版操作系统）系统和csi-tool（建立在intel wi-fi无线网卡上，使用定制的修改固件和开源的linux ubuntu系统的无线驱动程序）工具以及intel 5300网卡的收发设备获取信道状态信息csi数据，接收端包括三根全向天线；将两根天线的信道状态信息csi值做商，获得信道状态信息csi商的基础信号；利用savitzky-golay滤波器进行csi商值的去噪，使用离散小波变换(discrete wavelet transform,dwt)去除高频噪声；针对人类的运动轨迹以及躯干活动轨迹，分别生成多普勒频谱图以及信道状态信息csi商伪彩图，利用深度神经网络的方式实现动作识别分类。
21.实施例2，作为本发明另一种实施方式，如图1所示，本发明实施例提供的人类轨迹及躯干活动识别方法具体包括以下步骤：s1，配置ubuntu系统下的csi-tool工具；s2，使用发送端和接收端，收集原始信道状态信息csi数据；s3，对收集到的原始信道状态信息csi数据利用不同的收发天线提取信道状态信息csi商，获得新的信道状态信息csi商的基础信号；s4，根据采集到的新的信道状态信息csi商的基础信号，对目标运动轨迹提取多普勒频谱图，以及对目标躯干活动轨迹提取新的信道状态信息csi商伪彩图；s5，利用cnn对提取的多普勒频谱图、信道状态信息csi商伪彩图进行训练，并基于
训练结果对目标运动轨迹、目标躯干活动轨迹进行识别分类。
22.在本发明一实施例中，所述步骤s2使用发送端和接收端，收集原始信道状态信息csi数据具体包括：s2.1，选择合适的收发天线位置，当被检测目标的活动范围位于发送端和接收端的对角线位置时，信道状态信息csi信号的功率将受到影响从而衰减，因此将检测区域设为发送端和接收端连线的一侧；其中，架设了一组收发装置来进行csi信息数据的采集。这组收发装置构成如下：发送端是一根天线，架设在高1.5m的支架上，接收端是三根天线，架设在1.5m的支架上，发送端和接收端的天线分别通过信号延长线连接至发送端与接收端，即发送端电脑与接收端电脑，并且发送端与接收端电脑均配置了intel 5300无线网卡；s2.2，受各种因素影响，不同的接收端天线间距将接收到不同功率的信道状态信息csi信号，通过对比试验选择出合适的天线间距。
23.通过更改接收端的三根天线间距，当天线间距为6cm时可以得到最好的实验效果。
24.示例性的，在步骤s2.1中，将检测区域设为收发天线连线的一侧的具体实现方法为：s2.1.1，设置两组对照试验，实验1：检测区域位于接受设备的对角线位置；实验2：检测区域位于接受设备的一侧；s2.1.2：进行实验1中，目标活动经过第一菲涅尔区时会造成信道状态信息csi幅值的衰减，按照实验2进行实验时，进行与实验1相同的目标活动，信道状态信息csi幅值不受第一菲涅尔区（first fresnel zone,ffz）影响。
25.示例性的，在步骤s2.2中，通过对同一接收端的两根天线进行比值可以得到csi商数据。为了更有效地利用csi信息，需要计算每根接收端天线csi值的静态功率与动态功率。其中静态信号分量的平均功率计算为每个天线的平均原始csi幅度，动态信号分量的最大可能功率计算为最大原始csi幅度与平均原始csi幅度之差。在实际计算中，选择静态功率较大的作为分母，以此获得更准确的动作映射。通过实验对比发现当适度增大接收端三根天线的间距时，动态信号分量功率有显著提升其中，接收端天线间距分别为2.4cm和6.0cm时的动态功率值如图8所示。2.4cm时动态功率值在11.7-12.2；6.0cm时的动态功率值在13.9-14.2。更强的动态信号功率有助于提取更明显的人体活动反射信号，因此本发明选择了一个相对于便于实验的天线间距，将其设置为6cm。
26.在本发明一实施例中，在步骤s3中，对收集到的原始信道状态信息csi数据提取信道状态信息csi商，获得新信道状态信息csi商的基础信号具体包括：s3.1，将得到的一组3
×
30的原始信道状态信息csi数据矩阵提取，并将不同收发天线的信道状态信息csi值两两相除，得到新的信道状态信息csi商基础信号；所述不同天线至少包括两根天线；s3.2，对得到的新的信道状态信息csi商基础信号进行去噪，选择savitzky-golay滤波器，可以保留信号波形中峰值的宽度和高度，从而保证信道状态信息csi商基础信号的特征不会发生偏移；savitzky-golay滤波器使用线性最小二乘法拟合具有低次多项式的连续数据点子集，引入的失真更少，针对复数的平滑也更加有效。
27.示例性的，在步骤s3.1中，得到新的信道状态信息csi商基础信号包括：
s3.1.1，接收端获取到的原始信道状态信息csi矩阵表示与频率f和时间t相关的结构：；式中，是信道总数，是频率，是时间，是路径i的信道衰减，是相位信息；s3.1.2，基于获取的信道状态信息csi矩阵，将接收端的两根天线的csi值做商，得到新的信道状态信息csi商基础信号，定义如下：；其中，和分别为第一根天线和第二根天线的信道状态信息csi矩阵，是第一根天线的动态路径长度，为信号发射频率，和分别是第一根、第二根天线的静态路径分量，第一根天线动态路径的衰减和初始相位偏移路径组件，是第二根天线动态路径的衰减和初始相位偏移路径组件；是两个天线之间由于物理位置不同而产生的动态路径长度差，得到新的信道状态信息csi商基础信号，很好的反应了不同动作对于信号反射路径长短的变化。
28.在本发明一实施例中，在步骤s4中，根据步骤s3采集到的新的信道状态信息csi商的基础信号，对目标运动轨迹提取多普勒频谱图，以及对目标躯干活动轨迹提取新的信道状态信息csi商伪彩图具体包括：s4.1，针对目标躯干活动轨迹提取新的信道状态信息csi商伪彩图：使用csi商生成伪彩图后，为了保证信息不丢失，无需对csi商伪彩图进行去噪处理；s4.2，针对目标运动轨迹提取多普勒频谱图：基于新的信道状态信息csi商值计算多普勒速度。
29.示例性的，在步骤s4.1中，伪彩图常被用于处理单通道图像，通过伪彩的处理使得单通道图像的特征更加明显，图像由二维矩阵构成，每个像素点用一个值表示颜色，它的像素值在0到255之间。本发明可以通过调整使得生成的新的信道状态信息csi商基础信号符合这一特征。借助这一概念，本发明将根据新的信道状态信息csi商基础信号制作伪彩色图，将它们表示为x-y平面中的彩色面数组。在伪彩色图中，单元格排列在新的信道状态信息csi商基础信号的矩形阵列中，颜色由输入的矩形矩阵中的值指定。通过在输入的矩形矩阵数值中的每个角附近使用四个点来描述每个单元格来创建此图。输入的新的信道状态信息csi商基础信号的矩形阵列的每个元素都线性映射到rgb颜色图上。
30.示例性的，在步骤s4.2中，基于新的信道状态信息csi商值计算多普勒速度的具体实现方法为：由于收发装置和在信号测量区域内活动的人类之间的相对运动将改变在收发装置处获取到的频率，即多普勒效应。由于移动物体的多普勒频移定义为：
；将其带入新的信道状态信息csi商基础信号中可得，在动态反射路径上测得的多普勒速度实际上等于新的信道状态信息csi商在复平面上的每秒转数，旋转方向表示多普勒速度的符号，由此生成多普勒频谱图。
31.在本发明一实施例中，在步骤s5中，利用cnn对提取的多普勒频谱图、信道状态信息csi商伪彩图进行训练，并基于训练结果对目标运动轨迹、目标躯干活动轨迹进行识别分类包括：选择了cnn来进行分类任务，cnn是一种前馈神经网络，通过卷积运算从数据中挖掘特征。cnn包括卷积层、池化层、密集层和扁平化层，这种分类网络比其他分类技术需要更少的预处理。
32.本发明使用伪彩色图、频谱图将新的信道状态信息csi商基础信号转换为rgb图像，并将它们输入cnn。通过将新的信道状态信息csi商基础信号转换为rgb图像，可以一眼看出每个活动的信号模式。这意味着由于目标运动而导致的图案变化被描绘在了图像中，并且为了找到更适合本系统的网络模型，本发明选择了几种不同的图像识别cnn网络进行训练。包括alex-net\res-net\googlenet。
33.实施例3，作为本发明另一种实施方式，本发明实施例提供的人类轨迹及躯干活动识别方法具体包括以下步骤：步骤1：配置ubuntu系统下的csi-tool工具，设置为monitor模式，具体为：csi tool最高只能支持linux内核为4.2的ubuntu系统，即只支持从ubuntu 12.04-14.04系统，本发明使用的是ubuntu 14.04系统版本，csi-tool可以选择ap模式与monitor模式。
34.步骤2：使用发送接收端两台电脑，收集原始csi数据，具体为：整个实验过程中，本发明使用5ghz wifi通道和20mhz带宽载波，发射机每秒发送500个数据包。
35.由于wifi设备的发送端和接收端是相互独立的两个设备，它们使用各自的时钟而没有同步，实际测量得到的每个csi采样中都会包含一项随时间变化的随机相位偏移。数学上，这种偏移可以表示为：；其中，是载频相位偏移（carrier frequency offset,cfo），分别是由锁相环（phase locked loop,pll）初始相位、采样频率偏移（sampling frequency offset,sfo）和包边界检测（packet boundary detection,pbd）不确定性带来的相位误差。为了消除相关噪声并提取手部活动对应的csi信号的真实变化，本发明使用csi商来提取信号特征。
36.接收端获取到的csi矩阵可以表示与频率f和时间t相关的结构：；
本发明基于获取的信道状态信息csi矩阵，将接收端的两根天线的csi值做商，得到新的信道状态信息csi商基础信号，其定义如下：；由此得到的新的信道状态信息csi商基础信号，很好的反应了不同动作对于信号反射路径长短的变化。
37.本发明需要计算每根接收端天线csi值的静态功率与动态功率。其中静态信号分量的平均功率计算为每个天线的平均原始csi幅度，动态信号分量的最大可能功率计算为最大原始csi幅度与平均原始csi幅度之差。在实际计算中，选择静态功率较大的作为分母，以此获得更准确的动作映射。
38.通过对同一接收端的两根天线进行比值可以得到csi商数据。为了更有效地利用csi信息，更强的动态信号分量功率，以此获得更准确的动作映射。动态信号分量的最大可能功率计算为最大原始csi幅度与平均原始csi幅度之差。通过实验对比发现当适度增大接收端三根天线的间距时，动态信号分量功率有显著提升。更强的动态信号功率有助于本发明提取更明显的人体活动反射信号，因此本发明选择了一个相对于便于实验的天线间距，将其设置为6cm；利用savitzky-golay滤波器对得到的新的基础csi商信号进行去噪。对于csi商值的去噪，本发明选择了savitzky-golay滤波器，它可以保留信号波形中峰值的宽度和高度，从而保证csi商信号的特征不会发生偏移，savitzky-golay滤波器使用线性最小二乘法拟合具有低次多项式的连续数据点子集。它引入的失真更少，针对复数的平滑也更加有效。
39.步骤3：根据采集到的信号，对人类轨迹活动提取多普勒频谱图，对人类躯干活动提取csi商伪彩图。
40.通过在输入csi商矩阵数值中的每个角附近使用四个点来描述每个单元格来创建此图，csi输入矩阵的每个元素都线性映射到rgb颜色图上。
41.步骤4：生成多普勒频谱图：首先计算多普勒速度：；将其带入新的基础信号中可得，在动态反射路径上测得的多普勒速度实际上等于csi商在复平面上的每秒转数，旋转方向表示多普勒速度的符号。
42.由于此时计算得到的多普勒速度含有很多复杂的环境噪声，本发明使用离散小波变换（dwt）来去除高频噪声分量。不同于快速傅里叶变换（fft）和短时傅里叶变换（stft），dwt可以实现数据的时频表示，不仅在时域和频域上提供了最佳分辨率，而且提供了多数据的规模分析。
43.步骤5：使用cnn对特征图像进行分类，本发明使用伪彩色图、频谱图将csi信号转换为rgb图像，并将它们输入2d-cnn。通过将csi转换为rgb图像，可以一眼看出每个活动的信号模式，这意味着由于人体运动而导致的图案变化被描绘在了图像中。
44.如图2所示，本发明实施例提供的人类轨迹及躯干活动识别系统包括：csi信号获取模块1，用于利用搭载ubuntu系统和csi-tool的收发设备获取csi数据，将接收端的两根全向天线做商，获得csi商基础信号；csi信号预处理模块2，用于利用savitzky-golay滤波器进行csi商值的去噪处理，使用离散小波变换去除高频噪声；动作识别分类模块3，用于针对人类的运动轨迹以及躯干活动分别生成多普勒频谱图和csi商伪彩图，利用深度神经网络实现动作识别分类。
45.通过上述技术方案，本发明提出的基于商用wifi信道状态信息的人类轨迹及躯干活动识别方法，在真实的室内环境中可进行人类活动识别。本发明通过利用商用wifi设备上两根天线的csi商提取特征信息对人类运动轨迹和人体躯干活动进行识别，相比传统的csi提取方法提高了信噪比。当人的活动区域位于收发器设备视线直达距离的一侧时，估计更准确。因此，本发明使用的一对收发设备链路具有对用户姿势、方向和行走方向一定的鲁棒性；再者，人体运动轨迹数据将在实验室环境下收集，人体躯干活动数据将采用一组公开数据集。
46.本发明使用csi商模型能够去除由采样频率偏移以及硬件噪声等的不确定性引起的相位偏移；提取了csi数据的多普勒速度，使用频谱图来识别不同的运动轨迹；提取了csi商的伪彩图来识别躯干活动。拓展了人类活动识别的应用范围。
47.相比于现有技术，本发明基于wifi的人类活动识别具有易于部署，不侵犯用户隐私等特点。因此在无线通信技术快速发展，以及智能家居极具前景的当下，本发明提出的探索无线设备对人类活动的感知，不仅可以拓展无线感知的应用领域，更可以将其应用于提升人类日常生活的便捷性。由于基于wifi的人类活动识别方法利用了射频无处不在的传输特性，利用这种特性，也可以开发一种基于房屋wifi的智能家居系统，使得万物互联成为可能。
48.还有，以往的har系统仅限于一些人类的躯干活动如挥手，起立，坐下等，本发明首次将人类的活动轨迹识别与人类的躯干运动识别相结合，扩展了har领域的应用，将大范围的活动轨迹与小范围的躯干活动识别相结合，将实现更多应用。
49.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
50.上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
51.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。
52.基于上述本发明实施例记载的技术方案，进一步的可提出以下应用例。
53.根据本技术的实施例，本发明还提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
54.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
55.本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。
56.本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。
57.本发明实施例还提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
58.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（read-only memory,rom）、随机存取存储器（random access memory,ram）、电载波信号、电信信号以及软件分发介质。
59.例如u盘、移动硬盘、磁碟或者光盘等。
60.为进一步证明上述实施例的积极效果，本发明基于上述技术方案进行如下实验。
61.在实际应用中，选择了实验室环境下3
×
3米的检测区域，收发端的天线被设置为1.5m，与被测者胸腔位置平齐，可以更好的接收反射信号，三根全向天线的底座选择了pec材质的泡沫，此种材质的介电常数近似于空气，可以增加天线的信号强度。在实验中，tx，rx固定在矩形传感区域边界的两点上。
62.tx和rx间隔为3米。本发明使用开源linux csi工具从接收器收集csi数据。在整个实验过程中，本发明使用5ghz wifi通道和20mhz带宽载波，发射机每秒发送500个数据包。
63.本发明收集了7种人类运动轨迹不同训练样本，为了实现不同用户的运动轨迹识别，本发明招募了4名不同身高和体型的志愿者(2名女性，2名男性)参与实验，每位志愿者每种动作采集50组数据。在使用公开数据集wiar的实验中，本发明同样选择了7个动作，可以分为两类，即基于躯干的活动和基于手势的活动。基于躯干的活动主要是利用人体躯干来反映无线电信号，这是一个相对较大的区域。然而，基于躯干的活动主要是用手和手臂来反映无线电信号，这是相对较小的区域，本发明的设置综合考虑了所有这两种类型。此外，这些活动在本发明的日常生活中是常见的和有代表性的活动，如坐下和挥手。
64.本发明可以识别14种人类活动（7种人类运动轨迹与7种人类躯干活动）分别为：圆形轨迹(circle)、方形轨迹(square)、z型轨迹(z)、方向相反的圆形轨迹(reverse direction circle rc)、方向相反的方形轨迹(reverse direction square rs)、方向相反
的z型轨迹(reverse direction z,rz)、与方形同起点的圆形轨迹(a circle similar to the starting point of a square css)；双手挥舞(two hands wave,thw)、画x型(drwa x,dx)、画勾型(drwa tick,dt)、向前踢腿(forward kick,fk)、鼓掌(hand clap,hc)、喝水(drink water,dw)、坐下(sit down,sd)。
65.其中运动轨迹数据为实验室自主采集数据，躯干活动数据为使用一组公开数据集wiar。
66.本发明选择了四种不同的cnn网络模型来对人类运动轨迹的多普勒频谱图分类，分别是：resnet、squeezenet、googlenet、alexnet。如图5所示。
67.为了更好的衡量这些网络的性能，如图6统计了不同网络每轮迭代的时间，以及平均精确度：结合这四种网络在不同动作识别的准确度以及训练时间上的表现，本发明选择了squeezenet作为最终的训练网络，本发明使用混淆矩阵（或误差矩阵）来描述对每个动作的识别的性能，其中行代表预期的类别，列代表实际类别。分类后的识别准确度的人类运动轨迹混淆矩阵如图3所示。
68.本发明使用一组公开数据集的数据，并生成基于csi商的伪彩图，使用不同的cnn模型进行对比，选择最适合本系统的深度学习网络模型。并选择了四种不同类型的图像分类模型：resnet、squeezenet、googlenet、mobilenet分别对公开数据集wiar进行训练，平均准确度分别可以达到：resnet：77.5%、squeezenet：90%、googlenet：84%、mobilenet：83.6%。
69.其中不同的神经网络模型对这7种动作识别的准确度如图7所示，通过观察图中不同动作识别的准确度，发现对于如drink water、sit down此类型的大幅度的肢体活动识别准确度较高，其中resnet对sit down这一动作的识别准确度可以达到98.3%。观察不同神经网络训练的准确度数据同时不难发现对于如two hands wave、drwa x、drwa tick此类动作幅度较小的肢体动作识别准确度比sit down等大幅度动作要低，其中googlenet对于two hands wave识别的准确度最低为68.3%。综合考虑这四种深度学习网络模型的表现，最终的方案中，本发明选择了对大幅度动作与小幅度动作识别准确度均表现良好的squeezenet。
70.经过cnn分类后的识别准确度人类躯干动作混淆轨迹如图4所示。
71.以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种人类轨迹及躯干活动识别方法，其特征在于，该方法包括以下步骤：s1，配置ubuntu系统下的csi-tool工具；s2，使用发送端和接收端，收集原始信道状态信息csi数据；s3，对收集到的原始信道状态信息csi数据利用不同的收发天线提取信道状态信息csi商，获得新的信道状态信息csi商的基础信号；s4，根据采集到的新的信道状态信息csi商的基础信号，对目标运动轨迹提取多普勒频谱图，对目标躯干活动轨迹提取新的信道状态信息csi商伪彩图；s5，利用cnn对提取的多普勒频谱图、信道状态信息csi商伪彩图进行训练，并基于训练结果对目标运动轨迹、目标躯干活动轨迹进行识别分类。2.根据权利要求1所述的人类轨迹及躯干活动识别方法，其特征在于，在步骤s2中，使用发送端和接收端，收集原始信道状态信息csi数据，具体包括：s2.1，调整收发天线位置，当被检测目标的活动范围位于发送端和接收端的对角线位置时，信道状态信息csi信号的功率将受到影响从而衰减，将检测区域设为发送端和接收端连线的一侧；s2.2，通过对比试验选择出天线间距。3.根据权利要求2所述的人类轨迹及躯干活动识别方法，其特征在于，在步骤s2.1中，将检测区域设为发送端和接收端连线的一侧，具体方法为：s2.1.1，设置两组对照试验，实验1：检测区域位于接受设备的对角线位置；实验2：检测区域位于接受设备的一侧；s2.1.2：进行实验1、实验2的实验验证。4.根据权利要求1所述的人类轨迹及躯干活动识别方法，其特征在于，在步骤s3中，获得新的信道状态信息csi商的基础信号，具体包括：s3.1，将得到的一组3
×
30的原始信道状态信息csi数据矩阵提取，并将不同收发天线的信道状态信息csi值两两相除，得到新的信道状态信息csi商基础信号；其中，不同天线至少包括两根天线；s3.2，对得到的新的信道状态信息csi商基础信号利用savitzky-golay滤波器进行去噪。5.根据权利要求4所述的人类轨迹及躯干活动识别方法，其特征在于，在步骤s3.1中，得到新的信道状态信息csi商基础信号，具体包括：s3.1.1，接收端获取到的原始信道状态信息csi矩阵表示与频率f和时间t相关的结构，表达式为：；式中，是信道总数，是频率，是时间，是路径i的信道衰减，是相位信息；s3.1.2，基于获取的信道状态信息csi矩阵，将接收端的两根天线的csi值做商，得到新的信道状态信息csi商基础信号，定义如下：
；其中，和分别为第一根天线和第二根天线的信道状态信息csi矩阵，是第一根天线的动态路径长度，为信号发射频率，和分别是第一根、第二根天线的静态路径分量，第一根天线动态路径的衰减和初始相位偏移路径组件，是第二根天线动态路径的衰减和初始相位偏移路径组件；是两个天线之间由于物理位置不同而产生的动态路径长度差，得到新的信道状态信息csi商基础信号。6.根据权利要求1所述的人类轨迹及躯干活动识别方法，其特征在于，在步骤s4中，对目标躯干活动轨迹提取新的信道状态信息csi商伪彩图，具体包括：s4.1，针对目标躯干活动轨迹提取新的信道状态信息csi商伪彩图；s4.2，针对目标运动轨迹提取多普勒频谱图，基于新的信道状态信息csi商值计算多普勒速度。7.根据权利要求6所述的人类轨迹及躯干活动识别方法，其特征在于，在步骤s4.1中，将根据csi商矩阵制作伪彩色图，表示为x-y平面中的彩色面数组；在伪彩色图中，单元格排列在csi商矩阵的矩形阵列中，颜色由输入矩阵中的值指定；通过在输入矩阵数值中的每个角附近使用四个点描述每个单元格创建伪彩色图；csi输入矩阵的每个元素都线性映射到rgb颜色图上。8.根据权利要求6所述的人类轨迹及躯干活动识别方法，其特征在于，在步骤s4.2中，基于新的信道状态信息csi商值计算多普勒速度，具体实现方法为：收发装置和在信号测量区域内活动的人类之间的相对运动将改变在收发装置处获取到的多普勒效应，移动物体的多普勒频移定义为：；带入新的信道状态信息csi商基础信号中，在动态反射路径上测得的多普勒速度实际上等于新的信道状态信息csi商在复平面上的每秒转数，旋转方向表示多普勒速度的符号，生成多普勒频谱图。9.根据权利要求1所述的人类轨迹及躯干活动识别方法，其特征在于，在步骤s5中，对目标运动轨迹、目标躯干活动轨迹进行识别分类包括：cnn网络包括alex-netres-netgooglenet。10.一种人类轨迹及躯干活动识别系统，其特征在于，实施权利要求1-9任意一项所述的人类轨迹及躯干活动识别方法，该系统包括：csi信号获取模块（1），用于利用搭载ubuntu系统和csi-tool的收发设备获取csi数据，将接收端的两根全向天线做商，获得csi商基础信号；csi信号预处理模块（2），用于利用savitzky-golay滤波器进行csi商值的去噪处理，使用离散小波变换去除高频噪声；动作识别分类模块（3），用于针对人类的运动轨迹以及躯干活动分别生成多普勒频谱图和csi商伪彩图，利用深度神经网络进行动作识别分类。

技术总结
本发明属于无线感知、动作识别技术领域，公开了一种人类轨迹及躯干活动识别方法及系统。该方法利用搭载了Ubuntu系统以及CSI-TOOL的收发设备获取信道状态信息CSI数据，接收端有三根全向天线，将两根天线做商，获得CSI商模型的基础信号；对于CSI商值的去噪，选择了Savitzky-Golay滤波器，可以保留信号波形中峰值的宽度和高度，从而保证CSI商信号的特征不会发生偏移；使用离散小波变换去除高频噪声；针对人类的运动轨迹以及躯干活动，分别生成多普勒频谱图以及CSI商伪彩图，利用深度神经网络的方式实现动作识别分类。络的方式实现动作识别分类。络的方式实现动作识别分类。


技术研发人员：梁泉泉 张琨 吴庆哲 王文华 于智杰
受保护的技术使用者：山东科技大学
技术研发日：2023.07.19
技术公布日：2023/8/16