姿态识别方法、装置、电子设备及存储介质与流程
未命名
08-25
阅读:116
评论:0
1.本技术涉及计算机技术领域,具体而言,本技术涉及一种姿态识别方法、装置、电子设备及存储介质。
背景技术:
2.随着计算机技术的发展,姿态识别逐渐用于辅助用户进行各种信息分析,例如,基于睡姿识别可辅助用户分析睡眠状态、睡眠阶段等。
3.目前,姿态识别主要基于各种类型的检测设备实现,例如,检测设备可以是摄像头、雷达设备、传感器等。无论是哪一种类型的检测设备,均会影响姿态识别的准确率。以压力传感器为例,该压力传感器容易受环境影响而导致检测失效,进而影响姿态识别的准确率。
4.为此,如何提高姿态识别的准确率仍有待解决。
技术实现要素:
5.本技术提供了一种姿态识别方法、装置、电子设备及存储介质,可以解决相关技术中存在的姿态识别的准确率不高的问题。所述技术方案如下:
6.根据本技术的一个方面,一种姿态识别方法,包括:基于对目标对象进行的定位,得到与所述目标对象在检测区域中姿态相关的目标数据;对所述目标数据进行时频域特征提取,得到第一目标特征和第二目标特征;所述第一目标特征是对所述目标对象在检测区域中姿态的频域表达,所述第二目标特征是对所述目标对象在检测区域中姿态的时域表达;根据所述第一目标特征和所述第二目标特征,对所述目标对象的姿态进行识别,得到姿态识别结果。
7.根据本技术的一个方面,一种姿态识别装置,包括:数据获取模块,用于基于对目标对象进行的定位,得到与所述目标对象在检测区域中姿态相关的目标数据;特征提取模块,用于对所述目标数据进行时频域特征提取,得到第一目标特征和第二目标特征;所述第一目标特征是对所述目标对象在检测区域中姿态的频域表达,所述第二目标特征是对所述目标对象在检测区域中姿态的时域表达;姿态识别模块,用于根据所述第一目标特征和所述第二目标特征,对所述目标对象的姿态进行识别,得到姿态识别结果。
8.在一示例性实施例中,所述特征提取模块包括:频域变换单元,用于对所述目标数据进行频域变换,得到所述目标数据在频域中的多个频域信号,各频域信号分别与所述频域中的各频点对应;时域变换单元,用于对设定频段中各频点对应的频域信号进行频域特征提取,得到第一目标特征;对设定频段中各频点对应的频域信号进行时域变换,得到第二目标特征。
9.在一示例性实施例中,所述姿态识别模块,包括:特征融合单元,用于将所述第一目标特征与所述第二目标特征进行融合,得到目标联合特征;姿态预测单元,用于将所述目标联合特征输入姿态识别模型进行姿态类别预测,得到所述姿态识别结果。
10.在一示例性实施例中,所述装置还包括:模型训练模块,用于根据训练集中样本联合特征及其对应的样本标签,对基础模型进行模型训练,得到所述姿态识别模型,所述样本标签用于指示为对应的样本联合特征所属样本标注的姿态类别;所述模型训练模块,包括:样本输入单元,用于将所述训练集中的当前一个样本联合特征输入所述基础模型,通过所述基础模型对所述样本联合特征进行姿态识别,得到姿态预测结果;损失计算单元,用于基于所述姿态预测结果与当前一个样本联合特征对应的样本标签之间的差异,得到对应的损失值;收敛单元,用于根据所述损失值调整所述基础模型中各模型参数的梯度并继续进行训练,直到各模型参数的梯度满足设定收敛条件,则由所述基础模型训练得到所述姿态识别模型。
11.在一示例性实施例中,所述装置还包括:信号获取模块,用于基于设定窗长的滑动窗,从多个回波信号中,获取与所述设定窗长数量相匹配的回波信号;多个回波信号是检测设备在定位过程中发射的多个雷达信号,经所述目标对象反射形成的;频谱分析模块,用于对获取到的回波信号进行频谱分析,得到多个距离数据,所述距离数据用于指示所述检测区域中所述目标对象与检测设备之间的径向距离;静止检测模块,用于根据多个所述距离数据,确定所述检测区域中的所述目标对象是否静止;若为否,则控制所述滑动窗在多个回波信号中继续滑动。
12.在一示例性实施例中,所述姿态为睡姿,所述姿态识别结果用于指示所述目标对象在所述检测区域中的睡姿。
13.在一示例性实施例中,所述装置还包括:第一自动控制模块,用于通知设备执行与所述姿态识别结果指示的睡姿对应的动作。
14.在一示例性实施例中,所述装置还包括:体征检测模块,用于基于所述姿态识别结果指示的睡姿,对所述目标对象进行生命体征检测,得到所述目标对象的生命体征数据,所述生命体征数据用于指示所述目标对象的生命体征;睡眠分期模块,用于根据所述生命体征数据指示的所述目标对象的生命体征、以及为所述目标对象在所述睡姿下的生命体征所配置的可信度,确定睡眠分期结果;第二自动控制模块,用于通知设备执行与所述睡眠分期结果指示的睡眠阶段对应的动作。
15.在一示例性实施例中,所述装置还包括:配置模块,用于根据所述姿态识别结果指示的睡姿、所述第一目标特征、和/或所述第二目标特征,为所述目标对象在所述睡姿下的生命体征进行可信度配置。
16.根据本技术的一个方面,一种电子设备,包括:至少一个处理器、至少一个存储器、以及至少一条通信总线,其中,存储器上存储有计算机程序,处理器通过通信总线读取存储器中的计算机程序;计算机程序被处理器执行时实现如上所述的姿态识别方法。
17.根据本技术的一个方面,一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上所述的姿态识别方法。
18.根据本技术的一个方面,一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序存储在存储介质中,计算机设备的处理器从存储介质读取计算机程序,处理器执行计算机程序,使得计算机设备执行时实现如上所述的姿态识别方法。
19.本技术提供的技术方案带来的有益效果是:
20.在上述技术方案中,在得到与目标对象在检测区域中姿态相关的目标数据后,便
对该目标数据进行时频域特征提取,分别得到第一目标特征和第二目标特征,以此作为对目标对象的姿态进行识别的依据,得到姿态识别结果,该第一目标特征是对目标对象在检测区域中姿态的频域表达,该第二目标特征是对目标对象在检测区域中姿态的时域表达,也就是说,利用第一目标特征和第二目标特征,即目标对象在检测区域中的姿态在时频域中的不同表达,综合预测目标对象的姿态,能够得到较高的识别准确率,从而解决相关技术中姿态识别的准确率不高的问题。
附图说明
21.为了更清楚地说明本技术提供的技术方案,下面将对本技术各实施例描述中所需要使用的附图作简单地介绍。
22.图1是根据本技术实施例所涉及的实施环境的示意图;
23.图2是根据一示例性实施例示出的一种姿态识别方法的流程图;
24.图3是图2对应实施例中步骤370在一个实施例的流程图;
25.图4是根据一示例性实施例示出的另一种姿态识别方法的流程图;
26.图5是图4对应实施例中步骤410在一个实施例的流程图;
27.图6是根据一示例性实施例示出的滑动窗移动的示意图;
28.图7是根据一示例性实施例示出的另一种姿态识别方法的流程图;
29.图8是图3对应实施例中步骤373在一个实施例的流程图;
30.图9是根据一示例性实施例示出的一种姿态识别装置的结构框图;
31.图10是根据一示例性实施例示出的一种服务器的硬件结构图;
32.图11是根据一示例性实施例示出的一种电子设备的结构框图。
具体实施方式
33.下面详细描述本技术的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本技术,而不能解释为对本技术的限制。
34.本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
35.下面是对本技术涉及的几个名词进行的介绍和解释:
36.cfar,英文全称为constant false-alarm rate,中文含义为恒虚警率。
37.fft,英文全称为fast fourier transform,中文含义为快速傅里叶变换。
38.ifft,英文全称为inverse fast fourier transform,中文含义为逆快速傅里叶变换。
39.snr,英文全称为signal-noise ratio,中文含义为信噪比。
40.pca,英文全称为principal component analysis,中文含义为主成分分析。
41.svm,英文全称为support vector machine,中文含义为支持向量机。
42.cnn,英文全称为convolutional neural networks,中文含义为卷积神经网络。
43.lstm,英文全称为long short-term memory,中文含义为长短期记忆。
44.gru,英文全称为gated recurrent unit,中文含义为门控循环单元。
45.目前,用户可通过各种类型的检测设备所得到的数据进行各种信息分析,例如,分析自身的睡眠状况。具体而言,利用压电传感器采集用户胸腔区域的起伏信号,来检测用户的心率、呼吸率、体动等生命体征,进而基于这些生命体征来分析用户的睡眠状态、睡眠阶段等等。
46.通常,不同睡姿下检测到的用户的生命体征的准确性是不一样的,例如,若雷达设备垂直向下检测,则由于平躺是面对检测设备,此时呼吸和心跳引起的胸腔起伏较大,检测到的呼吸率和心率就比较准确;侧躺时呼吸和心跳引起的胸腔起伏在雷达径向内相对于平躺会小一些,因此呼吸和心跳相较于平躺时也会变弱,进而影响呼吸率和心率的准确率,其中左侧躺因为心脏在内而与雷达设备之间的径向距离最远,心跳最微弱,那么,心率的准确率最低。
47.由此,基于上述生命体征进行的睡眠状态判断和睡眠阶段分析等便会有所偏差。为了更加准确地分析用户的睡眠状态、睡眠阶段等等,在生命体征检测过程中进行睡姿识别,以此为睡眠状态的判断和睡眠阶段的分析提供有效的数据依据。
48.然而,如前所述,无论是基于摄像头、雷达设备、传感器中哪一种检测设备实现的睡姿识别,准确率都不高。此外,摄像头还存在涉及用户隐私的问题,雷达设备在睡姿识别过程中需要检测轮廓会导致成本过高,传感器则是容易受到环境影响或者容易损坏,而影响检测的有效性,使得睡姿识别的准确率进一步下降。
49.由上可知,以睡姿为例,相关技术中仍存在睡姿识别的准确率不高的缺陷,同理,基于各种类型的检测设备实现的姿态识别,也仍具有准确率不高的局限性。
50.为此,本技术提供的姿态识别方法,能够有效地提高姿态识别的准确率,相应地,该姿态识别方法适用于姿态识别装置、该姿态识别装置可部署于电子设备,例如,电子设备可以是配置冯诺依曼体系结构的计算机设备,该计算机设备包括但不限于台式电脑、笔记本电脑、平板电脑、服务器等等,或者,电子设备也可以是检测设备,例如人体传感器等。
51.为使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术实施方式作进一步地详细描述。
52.图1为一种姿态识别方法所涉及的实施环境的示意图。该实施环境包括用户终端110、智能设备130、网关150、服务器端170和路由器190。
53.具体地,具体地,用户终端110,也可以认为是用户端或者终端,可进行智能设备130关联的客户端的部署(也理解为安装),此用户终端110可以是智能手机、平板电脑、笔记本电脑、台式电脑、智能控制面板、其他具有显示和控制功能的设备等电子设备,在此不进行限定。
54.其中,客户端,与智能设备130关联,实质是用户在客户端中进行账户注册,并在客户端中对智能设备130进行配置,例如,该配置包括为智能设备130添加设备标识等,以使得用户终端110中运行客户端时,能够为用户提供关于智能设备130的设备显示、设备控制等
功能,此客户端可以是应用程序形式,也可以是网页形式,相应地,客户端进行设备显示的界面则可以是程序窗口形式,还可以是网页页面形式的,此处也并未加以限定。
55.智能设备130部署在网关150中,并通过其自身所配置的通信模块与网关150通信,进而受控于网关150。应当理解,智能设备130泛指多个智能设备130中的一个,本技术实施例仅以智能设备130举例说明,也即是,本技术实施例对部署在网关150中的智能设备的数量和设备类型并未加以限定。在一个应用场景中,智能设备130通过局域网络接入网关150,从而部署于网关150中。智能设备130通过局域网络接入网关150的过程包括:由网关150首先建立一个局域网络,智能设备130通过连接该网关150,从而加入该网关150建立的局域网络中。此局域网络包括但不限于:zigbee或者蓝牙。其中,智能设备130可以是智能打印机、智能传真机、智能摄像机、智能空调、智能门锁、智能灯或者配置了通信模块的人体传感器、门窗传感器、温湿度传感器、水浸传感器、天然气报警器、烟雾报警器、墙壁开关、墙壁插座、无线开关、无线墙贴开关、魔方控制器、窗帘电机等电子设备。
56.用户终端110与智能设备130之间的交互,可以通过局域网络实现,还可以通过广域网络实现。在一个应用场景中,用户终端110通过路由器190与网关150之间建立有线或者无线等方式的通信连接,例如,该有线或者无线等方式包括但不限于wifi等,使得用户终端110与网关150部署于同一个局域网络,进而使得用户终端110可通过局域网络路径实现与智能设备130之间的交互。在另一个应用场景中,用户终端110通过服务器端170与网关150之间建立有线或者无线等方式的通信连接,例如,该有线或者无线等方式包括但不限于2g、3g、4g、5g、wifi等,使得用户终端110与网关150部署于同一个广域网络,进而使得用户终端110可通过广域网络路径实现与智能设备130之间的交互。
57.其中,服务器端170,也可以认为是云端、云平台、平台端、服务端等等,此服务器端170可以是一台服务器,也可以是由多台服务器构成的一个服务器集群,或者是由多台服务器构成的云计算中心,以便于更好地向海量用户终端110提供后台服务。例如,后台服务包括姿态识别服务。
58.以由服务器端170提供姿态识别服务为例,对姿态识别的过程进行以下说明:
59.就智能设备130来说,针对目标对象进行定位,便能够得到与该目标对象在检测区域中姿态相关的目标数据,进而将该目标数据发送至服务器端170,以此来请求服务器端170提供姿态识别服务。
60.那么,随着智能设备130通过局域网路径或者广域网路径实现与服务器端170之间的交互,对于服务器端170而言,便能够接收到智能设备130发送的目标数据,进而对该目标数据进行时频域特征提取,得到第一目标特征和第二目标特征,以结合第一目标特征和第二目标特征来对目标对象的姿态进行识别,得到识别准确率较高的姿态识别结果。
61.基于识别准确率较高的姿态识别结果,便能够更好地辅助用户进行各种信息分析,例如,基于睡姿识别所进行的睡眠状态、睡眠阶段等的分析。
62.请参阅图2,本技术实施例提供了一种姿态识别方法,该方法适用于电子设备,该电子设备具体可以是图1所示出实施环境中的服务器端170,还可以是图1所示出实施环境中的智能设备130,例如人体传感器。
63.在下述方法实施例中,为了便于描述,以该方法各步骤的执行主体为电子设备为例进行说明,但是并非对此构成具体限定。
64.如图2所示,该方法可以包括以下步骤:
65.步骤310,基于对目标对象进行的定位,得到与目标对象在检测区域中姿态相关的目标数据。
66.首先说明的是,目标对象是指可以出现在检测区域内的任意对象,该对象具体可以是人、机器人、动物等具有姿态的物体。其中,检测区域是指检测设备能够向目标对象发射有效的检测信号的区域。
67.其次,针对目标对象的定位,是由检测设备实现的。在一种可能的实现方式,检测设备安装在正对目标对象的正上方。例如,若目标对象为人,则检测设备可以安装在正对人胸口的正上方,譬如天花板。
68.以检测设备为配置毫米波雷达的人体传感器为例,在人体传感器中,毫米波雷达配置有天线阵列,该天线阵列包括发射天线和接收天线,人体传感器可以通过发射天线向目标对象发射毫米波信号,并通过接收天线接收该毫米波信号经目标对象发射形成的回波信号,经过相关处理,来实现目标对象的定位。
69.通过对目标对象进行的定位,检测设备便能够得到目标对象在检测区域中的位置数据。其中,位置数据用于指示目标对象在检测区域中的位置。对于保持姿态的目标对象而言,在一种可能的实现方式,位置数据包括但不限于:目标对象在检测区域中的姿态、目标对象在检测区域中与检测设备之间的径向距离。
70.由此,目标数据,与目标对象在检测区域中的姿态相关,是由目标对象在检测区域中的位置数据提取得到的。在一种可能的实现方式,目标数据通过接收天线的方位角描述,该方位角可以是水平角,还可以是指俯仰角,用于指示目标对象在检测区域中的姿态。
71.例如,目标对象在检测区域中的位置数据,可以表示为其中,ρ
*
表示目标对象在检测区域中与检测设备之间的径向距离,θ
*
表示目标对象在检测区域中用于指示姿态的水平角,表示目标对象在检测区域中用于指示姿态的俯仰角。那么,从该位置数据中可以提取得到目标数据,表示为在一种可能的实现方式,若姿态为睡姿,则目标数据具体指示了目标对象在检测区域中睡姿的水平角和俯仰角。
72.应当说明的是,发明人意识到,若检测区域中不存在目标对象,而检测设备仍然对目标对象进行定位,会导致检测设备的功耗较高,使得检测设备需要频繁地更换电池,进而影响检测设备的使用寿命,不利于降低姿态识别的硬件成本。为此,在一种可能的实现方式,在对目标对象进行定位之前,首先确定检测区域中是否存在目标对象。例如,检测设备采用二维cfar(constant false-alarm rate,恒虚警率)算法对检测区域进行目标对象检测,使得检测设备若检测到检测区域内存在目标对象,则针对该目标对象进行定位。当然,在其他实施例中,不限于目标对象检测和目标对象定位由同一个检测设备完成,目标对象检测和目标对象定位也可以通过不同的检测设备分别实现,此处并非构成具体限定。
73.步骤350,对目标数据进行时频域特征提取,得到第一目标特征和第二目标特征。
74.其中,第一目标特征是指设定频段中频点对应的频域信号的特征,即频域特征,也可以认为是,第一目标特征是对目标对象在检测区域中姿态的频域表达;第二目标特征是指该频域信号经时域变换的时域信号的特征,即时域特征,也可以认为是,第二目标特征是对目标对象在检测区域中姿态的时域表达。
75.应当理解,目标对象在检测区域中的姿态,经时频域变换后,其在时频域中的不同
表达也将有所区别,即第一目标特征各不相同、第二目标特征也有所差别,换而言之,第一目标特征是从频域角度准确地描述了目标对象在检测区域中的姿态,第二目标特征则是从时域角度准确地描述了目标对象在检测区域中的姿态。
76.在一种可能的实现方式,时频域特征提取过程,具体是指:对目标数据进行频域变换,得到目标数据在频域中的多个频域信号;对设定频段中各频点对应的频域信号进行频域特征提取,得到第一目标特征;对设定频段中各频点对应的频域信号进行时域变换,得到第二目标特征。其中,各频域信号分别与频域中的各频点对应。
77.其中,频域是描述信号在频率方面特性的一种坐标系,可以描述频率范围内各指定频带内的信号量。其中,频点可以是指定某个频率,频率可以是描述物体振动频繁程度的量。
78.在一种可能的实现方式,频域变换是指快速傅里叶变换。具体地,假设目标数据表示为x(n),对该目标数据进行快速傅里叶变换等频域变换,得到频域信号x(k),其中,n表示目标数据中向量的个数;k表示该频域信号的频点号,也可以认为是该频域信号对应于频域中的第k个频点。
79.在一种可能的实现方式,对目标数据进行加窗处理,使得频域变换是基于处理后的目标数据进行的,以此防止因目标数据的波形不连续导致出现频谱泄露现象,进而有利于提高识别准确率的提高。其中,加窗处理可以是加汉明窗,还可以是加矩形窗,此处并未加以限定。
80.在一种可能的实现方式,设定频段包括呼吸频段和心跳频段。其中,呼吸频段具体是指0.1hz~0.6hz;心跳频段具体是指0.8hz~4hz。
81.在一种可能的实现方式,时域变换是指逆快速傅里叶变换。具体地,假设频域中第k个频点对应的频域信号x(k),若该第k个频点属于设定频段,则对设定频段中各频点对应的频域信号进行逆快速傅里叶变换等时域变换,得到对应于设定频段的时域信号。例如,设定频段为呼吸频段,对应的时域信号为呼吸信号xb(n),或者,设定频段为心跳频段,对应的时域信号为心跳信号xh(n),其中,n表示时域信号中向量的个数。
82.现以姿态为睡姿,对第一目标特征和第二目标特征举例说明如下:
83.在一种可能的实现方式,第一目标特征包括但不限于:呼吸频段能量、心跳频段能量、呼吸频段和心跳频段之间的能量比、呼吸频段峰值信噪比、心跳频段峰值信噪比、呼吸频段和心跳频段之间的峰值信噪比比值、心跳频段不同峰值之间的比值、心跳频段不同峰值所对应频点之间的比值等频域特征。
84.频域特征具体如下:
85.1、呼吸频段能量:其中,k
b,s
表示呼吸频段的起始频点,k
b,e
表示呼吸频段的终止频点,x(k)表示呼吸频段中第k个频点对应的频域信号;
86.2、心跳频段能量:其中,k
h,s
表示心跳频段的起始频点,k
h,e
表示心跳频段的终止频点,x(k)表示心跳频段中第k个频点对应的频域信号;
87.3、呼吸频段和心跳频段之间的能量比:r
bh,e
=eb/eh;其中,eb表示呼吸频段能量,eh表示心跳频段能量;
88.4、呼吸频段峰值信噪比:sntb=|x(k
b,1
)|/m;k
b,1
表示呼吸频段中通过峰值搜索查找到的最大峰值所在的频点,x(k
b,1
)表示频点k
b,1
对应的频域信号,m表示噪底均值,是基于呼吸频段的终止频点k
b,e
之后的频点k
b,e
+1至频域中的最大频点ke之间各频点k所对应的频域信号x(k),具体可以按照下述计算公式计算这些频域信号峰值|x(k)|的平均值得到的:
89.5、心跳频段峰值信噪比:snrh=|x(k
h,1
)|/m;k
h,1
表示心跳频段中通过峰值搜索查找到的最大峰值所在的频点,x(k
h,1
)表示频点k
h,1
对应的频域信号,m表示噪底均值,是基于心跳频段的终止频点k
h,e
之后的频点k
h,e
+1至频域中的最大频点ke之间各频点k所对应的频域信号x(k),可按照下述计算公式计算这些频域信号峰值|x(k)|的平均值得到的:
90.6、呼吸频段和心跳频段之间的峰值信噪比比值:r
bh,snr
=snrb/snrh;其中,snrb表示呼吸频段的峰值信噪比,snrh表示心跳频段的峰值信噪比;
91.7、心跳频段最高峰与次高峰之间的比值:r
h,12
=|x(k
h,1
)|/|x(k
h,2
)|;
92.8、心跳频段最高峰与次高峰所对应频点之间的比值:r
h,k12
=k
h,1
/k
h,2
;其中,k
h,1
表示心跳频段中最大峰值所在的频点,k
h,2
表示心跳频段中第二大峰值所在的频点。
93.在一种可能的实现方式,第二目标特征包括但不限于:呼吸平均峰值、心跳平均峰值、呼吸和心跳之间的平均峰值比值、呼吸波形平均对称比、呼吸率波动性、心率波动性等时域特征。
94.时域特征具体如下:
95.1、呼吸平均峰值:在呼吸信号xb(n)中,通过峰值搜索查找到所有波峰n
b,peak
(m),m=1,...,n
b,peak
,n
b,peak
表示呼吸信号xb(n)中所有波峰的数量;按照下述计算公式计算得到呼吸平均峰值
96.2、心跳平均峰值:在心跳信号xh(n)中,通过峰值搜索查找到所有波峰n
h,peak
(m),m=1,...,n
h,peak
,n
h,peak
表示心跳信号xh(n)中所有波峰的数量;按照下述计算公式计算得到心跳平均峰值
97.3、呼吸和心跳之间的平均峰值比值:r
bh,p
=m
b,peak
/m
h,peak
;其中,m
b,peak
表示呼吸平均峰值,m
h,peak
表示心跳平均峰值;
98.4、呼吸波形平均对称比:在呼吸信号xb(n)中,通过峰值搜索查找到所有波谷n
b,valley
(m),m=1,...,n
b,valley
,n
b,valley
(m)表示呼吸信号xb(n)中所有波谷的数量;按照下述计算公式计算得到波谷到波峰之间的时间差:
99.n
valley,peak
(m)=n
b,valley
(m)-n
b,peak
(m),m=1,...,min(n
b,valley
,n
b,peak
);
100.按照下述计算公式计算得到波峰到波谷之间的时间差:
101.n
peak,valley
(m)=n
b,peak
(m+1)-n
b,valley
(m),m=1,...,min(n
b,valley
,n
b,peak
);
102.基于上述时间差,按照下述计算公式计算得到呼吸波形平均对称比:
103.r
b,symm
=mean(n
valley,peak
(m)/n
peak,valley
(m));
104.5、呼吸率波动性:在呼吸信号xb(n)中,计算得到相邻波峰之间的时间差n
b,peak
(m+
1)-n
b,peak
(m)、以及计算得到相邻波谷之间的时间差n
b,valley
(m+1)-n
b,valley
(m);
105.基于上述时间差,按照下述计算公式计算得到呼吸率波动性:
[0106][0107]
6、心率波动性:在心跳信号xh(n)中,通过峰值搜索查找到所有波谷n
h,valley
(m),m=1,...,n
h,valley
,n
h,valley
表示心跳信号xh(n)中所有波谷的数量;在心跳信号中,计算得到相邻波峰之间的时间差n
h,peak
(m+1)-n
h,peak
(m)、以及计算得到相邻波谷之间的时间差n
h,valley
(m+1)-n
h,valley
(m);
[0108]
基于上述时间差,按照下述计算公式计算得到心率波动性:
[0109][0110]
当然,在其他实施例中,不局限于上述频域特征和时域特征,还可以是其他有利于姿态识别的时频域特征,例如,可以是功率谱或者高阶谱中的频域特征,还可以是其他有效的波形特征,此处并非构成具体限定。
[0111]
步骤370,根据第一目标特征和第二目标特征,对目标对象的姿态进行识别,得到姿态识别结果。
[0112]
其中,姿态识别结果,用于指示目标对象的姿态类别。在一种可能的实现方式,若姿态为睡姿,则姿态类别包括平躺、左侧躺、右侧躺、仰躺、俯躺。
[0113]
在一种可能的实现方式,姿态识别是调用姿态识别模型实现的。当然,在其他实施例中,姿态识别也可以通过姿态识别算法实现,例如,姿态识别算法可以是指主成分分析(principal component analysis,pca)算法。
[0114]
图3展示了姿态识别过程在一个实施例中的方法流程图,如图3所示,具体而言,步骤370可以包括以下步骤:
[0115]
步骤371,将第一目标特征与第二目标特征进行融合,得到目标联合特征。
[0116]
其中,融合可以是将第一目标特征与第二目标特征相加,具体地,目标联合特征=第一目标特征+第二目标特征;还可以是将第一目标特征与第二目标特征进行拼接,具体地,目标联合特征=[第一目标特征,第二目标特征],此处并未加以限定。
[0117]
以拼接为例进行说明,基于步骤350中涉及的8个频域特征和6个时域特征,目标联合特征f可以表示如下:
[0118]
f=[eb,eh,r
bh,e
,snrb,snrh,r
bh,snr
,r
h,12
,r
b,k12
,m
b,peak
,m
h,peak
,r
bh,p
,r
b,symm
,wb,wh]。
[0119]
步骤373,将目标联合特征输入姿态识别模型进行姿态类别预测,得到姿态识别结果。
[0120]
其中,姿态类别预测,是指计算目标联合特征属于不同姿态类别的概率。
[0121]
以姿态为睡姿举例来说,姿态类别包括平躺、左侧躺、右侧躺,假设目标联合特征属于平躺的概率为p1,属于左侧躺的概率为p2,属于右侧躺的概率为p3,假设p1最大,则预测结果为目标联合特征属于平躺。进一步地,若p1>=0.8(设定决策条件),则将预测结果
作为姿态识别结果,即姿态识别结果指示目标对象的姿态类别为平躺。
[0122]
应当说明的是,设定决策条件是为了防止姿态类别误识别而设置的,以此进一步地提高姿态识别的准确率,该设定决策条件可以根据应用场景的实际需要灵活地设置,此处并未加以限定。该设定决策条件可以认为是一种是否拒绝将预测结果作为姿态识别结果的拒识准则,以前述例子来说,如果p1<0.8,则拒绝将预测结果识别为姿态识别结果。
[0123]
在根据姿态识别结果的指示确定目标对象的姿态类别之后,便可基于目标对象的姿态类别,为目标对象提供相应的智能服务。
[0124]
在一个应用场景,通知设备执行与姿态类别对应的动作。例如,若用户的姿态类别为平躺,便可在用户平躺时间超过设定时长(例如20分钟),由网关发送启动指令至加湿器,以此控制加湿器开启,避免用户因长时间平躺容易打呼而导致嗓子干燥等。
[0125]
通过上述过程,利用第一目标特征和第二目标特征,即目标对象在检测区域中的姿态在时频域中的不同表达,综合预测目标对象的姿态,能够得到较高的识别准确率。
[0126]
请参阅图4,在一示例性实施例中,步骤330之前,该方法还可以包括以下步骤:
[0127]
步骤410,确定检测区域中的目标对象是否静止。
[0128]
可以理解,若姿态为睡姿,该睡姿即是指睡眠姿势,当目标对象进入睡眠状态,是没有明显的动作的,为此,在进行姿态识别之前,可以检测目标对象在检测区域中是否静止。
[0129]
若检测到目标对象在检测区域中静止,表示目标对象没有明显的动作,即目标对象进入睡眠状态,此时,方才对该目标对象进行姿态识别,即进入步骤430执行。
[0130]
反之,若检测到目标对象在检测区域中并非静止,则表示目标对象并未进入睡眠状态,此时便没必要对该目标对象进行姿态识别。
[0131]
此种方式下,仅针对检测区域中静止的目标对象方才进行姿态识别,有利于降低电子设备的任务处理量,进而有利于提高电子设备的处理效率。
[0132]
在一种可能的实现方式,如图5所示,检测过程可以包括以下步骤:
[0133]
步骤411,基于设定窗长的滑动窗,从多个回波信号中,获取与设定窗长数量相匹配的回波信号。
[0134]
其中,多个回波信号是检测设备在定位过程中发射的多个雷达信号经目标对象反射形成的。
[0135]
仍以人体传感器为例,对于该人体传感器内配置的毫米波雷达而言,该毫米波雷达的发射天线在每个时间周期可向目标对象发射多个毫米波信号(即雷达信号),相应地,该毫米波雷达便能够通过接收天线接收到该多个毫米波信号经由目标对象反射形成的多个回波信号。
[0136]
由上可知,步骤411所涉及的多个回波信号,可以是同一个时间周期的多个时间上连续的回波信号,还可以是指不同时间周期的多个时间上连续的回波信号,此处并未加以限定。
[0137]
图6展示了滑动窗移动的示意图。在图6中,假设滑动窗401的设定窗长为3,那么,对于多个回波信号402而言,基于滑动窗401的设定窗长,便可从多个回波信号402中获取到数量相匹配的3个回波信号403。
[0138]
步骤413,对获取到的回波信号进行频谱分析,得到多个距离数据。
[0139]
其中,距离数据用于指示检测区域中目标对象与检测设备之间的径向距离。
[0140]
具体而言,频谱分析,是指对回波信号进行混频、快速傅里叶变换、求模等处理,便能够得到位置数据。
[0141]
如前所述,对于保持姿态的目标对象而言,位置数据包括但不限于:目标对象在检测区域中的姿态、目标对象在检测区域中与检测设备之间的径向距离。由此,距离数据可从位置数据中提取得到,例如,目标对象在检测区域中的位置数据,表示为其中,ρ
*
表示目标对象在检测区域中与检测设备之间的径向距离,θ
*
表示目标对象在检测区域中用于指示姿态的水平角,表示目标对象在检测区域中用于指示姿态的俯仰角。那么,从该位置数据中可以提取得到距离数据,表示为θ
*
。
[0142]
步骤415,根据多个距离数据,确定检测区域中的目标对象是否静止。
[0143]
具体地,若多个距离数据所指示的径向距离一致,则确定检测区域中的目标对象静止。
[0144]
反之,在多个距离数据中,若至少存在一个距离数据所指示的径向距离与其他距离数据所指示的径向距离不一致,则确定检测区域中的目标对象并非静止,此时,控制滑动窗在多个回波信号中继续滑动。
[0145]
继续参阅图6,对于前2个回波信号,得到的距离数据所指示的径向距离为a,从第3个回波信号开始,得到的距离数据所指示的径向距离为b,那么,对于滑动窗401所获取到的前3个回波信号而言,确定检测区域中的目标对象并非静止,则控制滑动窗401从径向距离不一致的距离数据所对应的回波信号403开始继续滑动,即滑动窗401更新为滑动窗401’。
[0146]
步骤430,基于对检测区域中静止的目标对象进行的定位,得到与目标对象在检测区域中姿态相关的目标数据。
[0147]
在检测到目标对象在检测区域中静止,便可通过对静止的目标对象进行的定位,得到该目标对象在检测区域中的位置数据,进而由该位置数据提取得到目标数据。如前所述,目标对象在检测区域中的位置数据,表示为则该目标对象在检测区域中姿态相关的目标数据,表示为在一种可能的实现方式,目标数据通过目标对象在检测区域中用于指示姿态的俯仰角描述,可以进一步地表示为其中,n表示目标数据中的向量个数。
[0148]
步骤450,对目标数据进行干扰消除预处理。
[0149]
其中,干扰消除预处理包括解卷绕处理、求差处理等。
[0150]
具体而言,解卷绕处理是指,当目标数据的相位值大于π或者小于-π时,通过将目标数据的相位值减2π或者加2π,使得目标数据的相位值始终保持在-π到π之间。
[0151]
求差处理是指,计算当前一个目标数据与后一个目标数据之间的差值,并将该差值作为处理后的目标数据。例如,处理后的目标数据表示为x(n),当前一个目标数据表示为后一个目标数据表示为则,
[0152]
当然,在其他实施例中,干扰消除预处理还可以通过高通滤波器、小波变换等算法实现,此处并非构成具体限定。
[0153]
那么,在完成干扰消除预处理之后,便能够对处理后的目标数据进行时频域特征提取,以得到第一目标特征和第二目标特征,即执行步骤350。
[0154]
由此,实现目标数据的干扰消除预处理,可以消除目标数据中的信号偏移,例如,毫米波雷达因非目标对象反射形成的回波信号而带来的多径干扰,从而有利于进一步地提高姿态识别的准确率。
[0155]
在一示例性实施例中,用于姿态识别的姿态识别模型是基于基础模型训练得到的,该基础模型可以是机器学习模型,也可以是深度学习模型,包括但不限于:长短期记忆(lstm,long short-term memory)网络、门控循环单元(gru,gate recurrent unit)网络、长期依赖(long-term dependencies)网络、svm(support vector machine,支持向量机)、cnn(convolutional neural networks,卷积神经网络)、rnn(recurrent neural network,循环神经网络)等网络中的一种或者任意组合。
[0156]
在一种可能的实现方式,姿态识别模型是基于基础模型训练得到的,具体是指:根据训练集中样本联合特征及其对应的样本标签,对基础模型进行模型训练,得到姿态识别模型。其中,样本标签用于指示为对应的样本联合特征所属样本标注的姿态类别。
[0157]
在此说明的是,样本联合特征的提取过程与前述目标联合特征的提取过程基本一致,此处不重复描述。
[0158]
请参阅图7,在一示例性实施例中,模型训练过程可以包括以下步骤:
[0159]
步骤510,将训练集中的当前一个样本联合特征输入基础模型,通过基础模型对样本联合特征进行姿态识别,得到姿态预测结果。
[0160]
其中,对样本联合特征进行姿态识别过程中,具体可以采用前向传播对输入的样本联合特征进行处理。前向传播是根据样本联合特征对该样本联合特征所属样本的姿态类别进行预测的过程,相应地,输出结果用于指示样本联合特征所属样本预测的姿态类别。
[0161]
步骤530,基于姿态预测结果与当前一个样本联合特征对应的样本标签之间的差异,得到对应的损失值。
[0162]
具体地,计算姿态预测结果与样本标签之间的差异过程中,具体可以通过反向传播计算,得到各层的损失值。
[0163]
其中,反向传播是根据各层的输出结果与样本标签之间的差异计算各层的损失值的过程。
[0164]
在一种可能的实现方式,反向传播计算是指采用损失函数,根据各层的输出结果与样本标签之间的差异计算各层的损失值。该损失函数可以是均方误差损失函数、交叉熵损失函数、回归损失函数等等,此处并未加以限定。
[0165]
步骤550,根据损失值调整基础模型中各模型参数的梯度并继续进行训练,直到各模型参数的梯度满足设定收敛条件,则由基础模型训练得到姿态识别模型。
[0166]
其中,各模型参数在基础模型开始进行模型训练时进行了初始化,并在随后的模型训练过程中不断更新,在参数更新时,具体可以根据损失值计算基础模型中各层模型参数的梯度,并基于各梯度对模型参数进行更新,以便于得到训练好的姿态识别模型。该初始化可以是随机初始化、正交初始化、零初始化中的任意一种,此处不作具体限定。
[0167]
若各模型参数的梯度满足设定收敛条件,则基于更新后的各模型参数得到训练好的姿态识别模型。
[0168]
反之,若各模型参数的梯度不满足设定收敛条件,则继续将训练集中的下一个样本联合特征输入基础模型进行训练处理,直到各模型参数的梯度满足设定收敛条件,则由
基础模型训练得到训练好的姿态识别模型。
[0169]
其中,设定收敛条件,可以是指各模型参数的梯度不再变化,也可以是指迭代次数达到迭代阈值,还可以是所有批次样本完成训练,该设定收敛条件可以根据应用场景的实际需要灵活地设置,此处并未加以限定。应当说明的是,为了充分达到训练的效率,增加各模型参数收敛的稳定性,可以将所有样本划分为若干个批次,以通过样本分批训练的方式,实现长短期记忆网络的调参。
[0170]
在一种可能的实现方式,采用adam(adaptive momentum,自适应运动估计)算法更新各模型参数。
[0171]
在各模型参数更新后,则返回步骤510,将训练集中的后一个样本联合特征输入长短期记忆网络,继续关于长短期记忆网络的模型训练。
[0172]
在完成模型训练之后,姿态识别模型便具备了姿态识别的能力,能够根据目标联合特征对目标对象的姿态进行识别。
[0173]
在一示例性实施例中,姿态为睡姿,姿态识别结果用于指示目标对象在检测区域中的睡姿。
[0174]
由于睡姿是一种具有连续性的姿态,以长短期记忆网络作为基础模型进行姿态识别模型的训练和预测,有利于提升睡姿识别的准确性。
[0175]
其中,长短期记忆网络包括多层,每一层包括一个lstm单元,各lstm单元包括遗忘门、输入门、tanh层、输出层。
[0176]
具体地,遗忘门f
t
用于根据第t个lstm单元的输入x
t
和第t-1个lstm单元的隐藏层状态h
t-1
,确定从第t-1个lstm单元的单元状态c
t-1
中丢弃部分信息;输入门i
t
用于根据第t个lstm单元的输入x
t
和第t-1个lstm单元的隐藏层状态h
t-1
,确定从第t-1个lstm单元的单元状态c
t-1
中存储部分信息;tanh层用于确定可以增加至第t个lstm单元的单元状态c
t
的候选值由此,通过遗忘门f
t
、输入门i
t
、以及tanh层,便可将第t-1个lstm单元的单元状态c
t-1
更新为第t个lstm单元的单元状态c
t
,计算公式如(1)所示:
[0177][0178]
其中,σ(
·
)表示sigmoid函数,wf、wi和wc分别是第t个lstm单元中遗忘门f
t
、输入门i
t
和单元状态更新的权重,bf、bi和bc则是相对应的偏置。
[0179]
进一步地,输出层用于根据上述输出结果,输出第t个lstm单元的输出o
t
和隐藏层状态h
t
,计算公式如(2)所示:
[0180][0181]
其中,σ(
·
)表示sigmoid函数,wo和bo是第t个lstm单元中输出门的权重和偏置。
[0182]
值得一提的是,本实施例中,当姿态为睡姿,姿态类别至少包括平躺、左侧躺、右侧躺三种,那么,区别于二分类的标准长短期记忆网络,本实施例中的长短期记忆网络,实质上在标准长短期记忆网络中额外增加了一个线性层,以通过将标准长短期记忆网络中最后
一层(假设包含t个lstm单元,则最后一层为第t个lstm单元)的输出o
t
输入该线性层,计算得到该线性层的输出结果,即od=softmax(wd·ot
+bd),其中,wd和bd分别为该线性层的权重和偏置。
[0183]
由此,基于线性层输出的概率最大的od,便能够识别出目标对象在检测区域中是哪种睡姿。
[0184]
现结合图8,对以长短期记忆网络作为基础模型训练得到的姿态识别模型所进行的睡姿识别过程作以下详细地说明:
[0185]
训练过程:
[0186]
第一步,构建长短期记忆网络的训练集和测试集。
[0187]
其中,通过采集不同睡姿下的样本数据,并根据步骤310至步骤330得到样本联合特征,同步进行样本标签的标注,由此形成比例为4:1的训练集和测试集。在一种可能的实现方式,样本标签至少包括平躺(0)、左侧躺(1)和右侧躺(2)。
[0188]
第二步,初始化长短期记忆网络中各层(也可以认为是各lstm单元)的模型参数。在一种可能的实现方式,模型参数的初始化包括:权重采用正交初始化,偏置采用0初始化。
[0189]
第三步,前向传播计算长短期记忆网络中各层(也可以认为是各lstm单元)的输出。
[0190]
具体地,将第t-1个lstm单元的输出作为第t个lstm单元的输入,并计算第t个lstm单元的输出,直至最后一层线性层完成计算为止。
[0191]
第四步,选择交叉熵作为长短期记忆网络的损失函数,通过反向传播分别计算各层的损失值。
[0192]
第五步,根据各层损失值计算长短期记忆网络中各模型参数的梯度,并在各模型参数的梯度不满足设定收敛条件时,通过优化算法完成模型参数的更新。
[0193]
在一种可能的实现方式,优化算法包括adam算法。
[0194]
第六步,在各模型参数的梯度不满足设定收敛条件时,不断进行第一步至第五步的迭代,直到长短期记忆网络中各模型参数的梯度满足设定收敛条件,由长短期记忆网络得到姿态识别模型。
[0195]
为了充分达到训练的效率,在一种可能的实现方式,增加各模型参数收敛的稳定性,采用分批训练的方式,即在一轮训练中(表示全部样本被训练一次),将全部样本进行分批,判断各模型参数的梯度是否满足设定收敛条件,以此进行下一轮训练。
[0196]
预测过程:
[0197]
如图8所示,基于由长短期记忆网络训练得到的姿态识别模型所进行的姿态识别过程,可以包括以下步骤:
[0198]
步骤3731,将目标联合特征输入姿态识别模型的第一层,得到第一层的输出结果。
[0199]
步骤3733,将第一层的输出结果输入姿态识别模型的第二层,得到第二层的输出结果,直至得到姿态识别模型最后一层的输出结果。
[0200]
其中,输出结果用于指示目标联合特征所属目标对象的姿态类别。
[0201]
步骤3735,若最后一层的输出结果满足设定决策条件,则将最后一层的输出结果作为姿态识别结果。
[0202]
在上述实施例的作用下,实现了基于长短期记忆网络的姿态识别,对于具有连续
性的姿态检测过程而言具有更好的泛化能力,从而能够充分地保证姿态识别的准确率。
[0203]
在一示例性实施例,步骤370之后,该方法还可以包括以下步骤:
[0204]
根据姿态识别结果指示的姿态类别、第一目标特征、和/或第二目标特征,为目标对象在不同姿态下的生命体征进行可信度配置。
[0205]
如前所述,若姿态为睡姿,不同睡姿下检测到的目标对象的生命体征的准确性不一样,那么,基于该生命体征进行的睡眠状态判断和睡眠阶段分析等便会有所偏差,因此,本实施例中,在得到姿态识别结果所指示的姿态类别之后,便会结合第一目标特征和第二目标特征,配置目标对象在不同姿态下的生命体征的可信度,以此辅助用户进行更有效的信息分析。
[0206]
以姿态为睡姿,生命体征包括呼吸率、心率为例,对目标对象在不同睡姿下的呼吸率、心率进行可信度配置的过程说明如下:
[0207]
在一种可能的实现方式,根据姿态识别结果指示的睡姿,为目标对象在不同睡姿下的呼吸率、心率进行可信度配置。
[0208]
表1基于姿态类别配置的可信度
[0209][0210][0211]
从表1可以看出,睡姿为平躺时,呼吸率和心率的可信度最高。
[0212]
在一种可能的实现方式,根据姿态识别结果指示的睡姿和设定频段的峰值信噪比(第一目标特征),为目标对象在不同睡姿下的呼吸率、心率进行可信度配置。
[0213]
首先,将设定频段的峰值信噪比划分为高信噪比、中信噪比、低信噪比。
[0214]
假设τ
bl,snr
为呼吸频段的信噪比下限阈值,τ
bh,snr
为呼吸频段的信噪比上限阈值,那么,对于第一目标特征中的呼吸频段峰值信噪比snrb而言,若snri≤τ
bl,snr
,则视为低信噪比,若τ
bl,snr
<snrb<τ
bh,snr
,则视为中信噪比,若snrb≥τ
bh,snr
,则视为高信噪比。
[0215]
同理,假设r
hlsnr
为心跳频段的信噪比下限阈值,τ
hh,snr
为心跳频段的信噪比上限阈值,那么,对于第一目标特征中的心跳频段峰值信噪比snrh而言,若snrh≤τ
hl,snr
,则视为低信噪比,若τ
hl,snr
<snrh<τ
hh,snr
,则视为中信噪比,若snrh≥τ
hh,snr
,则视为高信噪比。
[0216]
由此,便可结合睡姿、高信噪比、中信噪比、低信噪比,进行呼吸率和心率的可信度的配置。
[0217]
表2基于睡姿和呼吸频段峰值信噪比配置的呼吸率可信度
[0218][0219]
从表2可以看出,睡姿为平躺时,呼吸率在呼吸频段峰值信噪比为高信噪比时的可信度最高。
[0220]
表3基于睡姿和心跳频段峰值信噪比配置的心率可信度
[0221][0222][0223]
从表3可以看出,睡姿为平躺时,心率在心跳频段峰值信噪比为高信噪比时的可信度最高。
[0224]
那么,在确定目标对象在不同睡姿下的生命体征的可信度之后,便可基于该可信度,更加准确地分析用户的睡眠状态、睡眠阶段等。
[0225]
具体而言,在一种可能的实现方式,睡眠阶段的分析过程可以包括以下步骤:基于姿态识别结果指示的睡姿,对目标对象进行生命体征检测,得到目标对象的生命体征数据;根据生命体征数据指示的目标对象的生命体征、以及为目标对象在睡姿下的生命体征所配置的可信度,确定睡眠分期结果;通知设备执行与睡眠分期结果指示的睡眠阶段对应的动作。
[0226]
其中,生命体征数据用于指示目标对象的生命体征,例如呼吸率和心率等。睡眠分期结果用于指示目标对象的睡眠阶段。
[0227]
在一种可能的实施方式,睡眠阶段包括深睡阶段、浅睡阶段。应当理解,深睡阶段表示目标对象的睡眠状态为熟睡状态;浅睡阶段表示目标对象的睡眠状态为浅眠状态。
[0228]
在根据睡眠分期结果的指示确定目标对象的睡眠阶段之后,便可基于目标对象的睡眠阶段,为目标对象提供相应的智能服务。
[0229]
在一个应用场景,通知设备执行与睡眠阶段对应的动作。例如,若用户的睡眠阶段为浅睡阶段,则由网关发送控制指令至智能灯或者智能音箱,来控制智能灯调节智能灯的亮度,或者,控制智能音箱播放舒缓的音乐,以使用户能够快速进入深睡阶段,从而提高用户的睡眠质量。
[0230]
又譬如,在唤醒闹钟响起之前,根据用户的不同睡眠阶段,由网关发送相应的控制指令至闹钟,以控制闹钟播放不同的铃声,和/或,由网关发送相应的控制指令至智能灯,控制智能灯开启并调节不同的亮度,将用户唤醒。
[0231]
通过上述实施例的配合,实现了目标对象在不同睡姿下的生命体征的可信度的配
置,能够为分析用户的睡眠状态、睡眠阶段提供更加准确的数据依据,从而极大地提高了智能服务的可信度,有利于提升用户体验。
[0232]
下述为本技术装置实施例,可以用于执行本技术所涉及的姿态识别方法。对于本技术装置实施例中未披露的细节,请参照本技术所涉及的姿态识别方法的方法实施例。
[0233]
请参阅图9,本技术实施例中提供了一种姿态识别装置900,包括但不限于:数据获取模块910、特征提取模块950以及姿态识别模块970。
[0234]
其中,数据获取模块910,用于基于对目标对象进行的定位,得到与目标对象在检测区域中姿态方位相关的目标数据。
[0235]
特征提取模块950,用于对目标数据进行时频域特征提取,得到第一目标特征和第二目标特征;第一目标特征是对目标对象在检测区域中姿态的频域表达,第二目标特征是对目标对象在检测区域中姿态的时域表达。
[0236]
姿态识别模块970,用于根据第一目标特征和第二目标特征,对目标对象的姿态进行识别,得到姿态识别结果。
[0237]
在一示例性实施例中,所述特征提取模块包括:频域变换单元,用于对所述目标数据进行频域变换,得到所述目标数据在频域中的多个频域信号,各频域信号分别与所述频域中的一个频点对应;时域变换单元,用于由设定频段中频点对应的频域信号得到第一目标特征,并通过对设定频段中频点对应的频域信号进行的时域变换,得到第二目标特征。
[0238]
在一示例性实施例中,所述姿态识别模块,包括:特征融合单元,用于将所述第一目标特征与所述第二目标特征进行融合,得到目标联合特征;姿态预测单元,用于将所述目标联合特征输入姿态识别模型进行姿态类别预测,得到所述姿态识别结果。
[0239]
在一示例性实施例中,所述装置还包括:模型训练模块,用于根据训练集中样本联合特征及其对应的样本标签,对基础模型进行模型训练,得到所述姿态识别模型,所述样本标签用于指示为对应的样本联合特征所属样本标注的姿态类别;所述模型训练模块,包括:样本输入单元,用于将所述训练集中的当前一个样本联合特征输入所述基础模型,通过所述基础模型对所述样本联合特征进行姿态识别,得到姿态预测结果;损失计算单元,用于基于所述姿态预测结果与当前一个样本联合特征对应的样本标签,通过反向传播计算,得到对应的损失值;收敛单元,用于根据所述损失值调整所述基础模型中各模型参数的梯度并继续进行训练,直到各模型参数的梯度满足设定收敛条件,则由所述基础模型训练得到所述姿态识别模型。
[0240]
在一示例性实施例中,所述装置还包括:信号获取模块,用于基于设定窗长的滑动窗,从多个回波信号中,获取与所述设定窗长数量相匹配的回波信号;多个回波信号是检测设备在定位过程中发射的多个雷达信号,经所述目标对象反射形成的;频谱分析模块,用于对获取到的回波信号进行频谱分析,得到多个距离数据,所述距离数据用于指示所述检测区域中所述目标对象与检测设备之间的径向距离;静止检测模块,用于根据多个所述距离数据,确定所述检测区域中的所述目标对象是否静止;若为否,则控制所述滑动窗在多个回波信号中继续滑动。
[0241]
在一示例性实施例中,所述姿态为睡姿,所述姿态识别结果用于指示所述目标对象在所述检测区域中的睡姿。
[0242]
在一示例性实施例中,所述装置还包括:第一自动控制模块,用于通知设备执行与
所述姿态识别结果指示的睡姿对应的动作。
[0243]
在一示例性实施例中,所述装置还包括:体征检测模块,用于基于所述姿态识别结果指示的睡姿,对所述目标对象进行生命体征检测,得到所述目标对象的生命体征数据,所述生命体征数据用于指示所述目标对象的生命体征;睡眠分期模块,用于根据所述生命体征数据指示的所述目标对象的生命体征、以及为所述目标对象在所述睡姿下的生命体征所配置的可信度,确定睡眠分期结果;第二自动控制模块,用于通知设备执行与所述睡眠分期结果指示的睡眠阶段对应的动作。
[0244]
在一示例性实施例中,所述装置还包括:配置模块,用于根据所述姿态识别结果指示的睡姿、所述第一目标特征、和/或所述第二目标特征,为所述目标对象在所述睡姿下的生命体征进行可信度配置。
[0245]
需要说明的是,上述实施例所提供的姿态识别装置在进行姿态识别时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即姿态识别装置的内部结构将划分为不同的功能模块,以完成以上描述的全部或者部分功能。
[0246]
另外,上述实施例所提供的姿态识别装置与姿态识别方法的实施例属于同一构思,其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。
[0247]
图10根据一示例性实施例示出的一种电子设备的结构示意。该电子设备适用于图1所示出实施环境的服务器端170。
[0248]
需要说明的是,该电子设备只是一个适配于本技术的示例,不能认为是提供了对本技术的使用范围的任何限制。该电子设备也不能解释为需要依赖于或者必须具有图10示出的示例性的电子设备2000中的一个或者多个组件。
[0249]
电子设备2000的硬件结构可因配置或者性能的不同而产生较大的差异,如图10所示,电子设备2000包括:电源210、接口230、至少一存储器250、以及至少一中央处理器(cpu,central processing units)270。
[0250]
具体地,电源210用于为电子设备2000上的各硬件设备提供工作电压。
[0251]
接口230包括至少一有线或无线网络接口231,用于与外部设备交互。例如,进行图1所示出实施环境中智能设备130与服务器端170之间的交互。
[0252]
当然,在其余本技术适配的示例中,接口230还可以进一步包括至少一串并转换接口233、至少一输入输出接口235以及至少一usb接口237等,如图10所示,在此并非对此构成具体限定。
[0253]
存储器250作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源包括操作系统251、应用程序253及数据255等,存储方式可以是短暂存储或者永久存储。
[0254]
其中,操作系统251用于管理与控制电子设备2000上的各硬件设备以及应用程序253,以实现中央处理器270对存储器250中海量数据255的运算与处理,其可以是windows servertm、mac os xtm、unixtm、linuxtm、freebsdtm等。
[0255]
应用程序253是基于操作系统251之上完成至少一项特定工作的计算机程序,其可以包括至少一模块(图10未示出),每个模块都可以分别包含有对电子设备2000的计算机程
序。例如,姿态识别装置可视为部署于电子设备2000的应用程序253。
[0256]
数据255可以是存储于磁盘中的照片、图片等,还可以是目标数据等,存储于存储器250中。
[0257]
中央处理器270可以包括一个或多个以上的处理器,并设置为通过至少一通信总线与存储器250通信,以读取存储器250中存储的计算机程序,进而实现对存储器250中海量数据255的运算与处理。例如,通过中央处理器270读取存储器250中存储的一系列计算机程序的形式来完成姿态识别方法。
[0258]
此外,通过硬件电路或者硬件电路结合软件也能同样实现本技术,因此,实现本技术并不限于任何特定硬件电路、软件以及两者的组合。
[0259]
请参阅图11,本技术实施例中提供了一种电子设备4000,该电子设备400可以包括:
[0260]
在图11中,该电子设备4000包括至少一个处理器4001、至少一条通信总线4002以及至少一个存储器4003。
[0261]
其中,处理器4001和存储器4003相连,如通过通信总线4002相连。可选地,电子设备4000还可以包括收发器4004,收发器4004可以用于该电子设备与其他电子设备之间的数据交互,如数据的发送和/或数据的接收等。需要说明的是,实际应用中收发器4004不限于一个,该电子设备4000的结构并不构成对本技术实施例的限定。
[0262]
处理器4001可以是cpu(central processing unit,中央处理器),通用处理器,dsp(digital signal processor,数据信号处理器),asic(application specific integrated circuit,专用集成电路),fpga(field programmable gate array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等。
[0263]
通信总线4002可包括一通路,在上述组件之间传送信息。通信总线4002可以是pci(peripheral component interconnect,外设部件互连标准)总线或eisa(extended industry standard architecture,扩展工业标准结构)总线等。通信总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图11中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0264]
存储器4003可以是rom(read only memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,ram(random access memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是eeprom(electrically erasable programmable read only memory,电可擦可编程只读存储器)、cd-rom(compact disc read only memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
[0265]
存储器4003上存储有计算机程序,处理器4001通过通信总线4002读取存储器4003中存储的计算机程序。
[0266]
该计算机程序被处理器4001执行时实现上述各实施例中的姿态识别方法。
[0267]
此外,本技术实施例中提供了一种存储介质,该存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述各实施例中的姿态识别方法。
[0268]
本技术实施例中提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在存储介质中。计算机设备的处理器从存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行上述各实施例中的姿态识别方法。
[0269]
与相关技术相比,联合呼吸和心跳等生命体征的时频域表达,来综合地预测目标对象的睡姿,具有较高的睡姿识别准确率,同时利用毫米波雷达便能够精准地识别不同睡姿,而无需增加其他传感器;使用长短期记忆网络进行的睡姿识别,具有更好的泛化能力,进一步有利于提高睡姿识别的准确率;此外,基于目标对象在不同睡姿下的生命体征所配置的可信度,辅助用户分析睡眠状态、睡眠阶段等,有利于提高分析的准确性。
[0270]
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0271]
以上所述仅是本技术的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。
技术特征:
1.一种姿态识别方法,其特征在于,包括:基于对目标对象进行的定位,得到与所述目标对象在检测区域中姿态相关的目标数据;对所述目标数据进行时频域特征提取,得到第一目标特征和第二目标特征;所述第一目标特征是对所述目标对象在检测区域中姿态的频域表达,所述第二目标特征是对所述目标对象在检测区域中姿态的时域表达;根据所述第一目标特征和所述第二目标特征,对所述目标对象的姿态进行识别,得到姿态识别结果。2.如权利要求1所述的方法,其特征在于,所述对所述目标数据进行时频域特征提取,得到第一目标特征和第二目标特征,包括:对所述目标数据进行频域变换,得到所述目标数据在频域中的多个频域信号,各频域信号分别与所述频域中的各频点对应;对设定频段中各频点对应的频域信号进行频域特征提取,得到第一目标特征;对设定频段中各频点对应的频域信号进行时域变换,得到第二目标特征。3.如权利要求1所述的方法,其特征在于,所述根据所述第一目标特征和所述第二目标特征,对所述目标对象的姿态进行识别,得到姿态识别结果,包括:将所述第一目标特征与所述第二目标特征进行融合,得到目标联合特征;将所述目标联合特征输入姿态识别模型进行姿态类别预测,得到所述姿态识别结果。4.如权利要求3所述的方法,其特征在于,所述方法还包括:根据训练集中样本联合特征及其对应的样本标签,对基础模型进行模型训练,得到所述姿态识别模型,所述样本标签用于指示为对应的样本联合特征所属样本标注的姿态类别;所述根据训练集中样本联合特征及其对应的样本标签,对基础模型进行模型训练,得到所述姿态识别模型,包括:将所述训练集中的当前一个样本联合特征输入所述基础模型,通过所述基础模型对所述样本联合特征进行姿态识别,得到姿态预测结果;基于所述姿态预测结果与当前一个样本联合特征对应的样本标签之间的差异,得到对应的损失值;根据所述损失值调整所述基础模型中各模型参数的梯度并继续进行训练,直到各模型参数的梯度满足设定收敛条件,则由所述基础模型训练得到所述姿态识别模型。5.如权利要求1所述的方法,其特征在于,所述基于对目标对象进行的定位,得到与所述目标对象在检测区域中姿态相关的目标数据之前,所述方法还包括:基于设定窗长的滑动窗,从多个回波信号中,获取与所述设定窗长数量相匹配的回波信号;多个回波信号是检测设备在定位过程中发射的多个雷达信号,经所述目标对象反射形成的;对获取到的回波信号进行频谱分析,得到多个距离数据,所述距离数据用于指示所述检测区域中所述目标对象与检测设备之间的径向距离;根据多个所述距离数据,确定所述检测区域中的所述目标对象是否静止;若为否,则控制所述滑动窗在多个回波信号中继续滑动。6.如权利要求1至5任一项所述的方法,其特征在于,所述姿态为睡姿,所述姿态识别结
果用于指示所述目标对象在所述检测区域中的睡姿。7.如权利要求6所述的方法,其特征在于,所述方法还包括:通知设备执行与所述姿态识别结果指示的睡姿对应的动作。8.如权利要求6所述的方法,其特征在于,所述方法还包括:基于所述姿态识别结果指示的睡姿,对所述目标对象进行生命体征检测,得到所述目标对象的生命体征数据,所述生命体征数据用于指示所述目标对象的生命体征;根据所述生命体征数据指示的所述目标对象的生命体征、以及为所述目标对象在所述睡姿下的生命体征所配置的可信度,确定睡眠分期结果;通知设备执行与所述睡眠分期结果指示的睡眠阶段对应的动作。9.如权利要求8所述的方法,其特征在于,所述根据所述生命体征数据指示的所述目标对象的生命体征、以及为所述目标对象在不同睡姿下的生命体征所配置的可信度,确定睡眠分期结果之前,所述方法还包括:根据所述姿态识别结果指示的睡姿、所述第一目标特征、和/或所述第二目标特征,为所述目标对象在所述睡姿下的生命体征进行可信度配置。10.一种姿态识别装置,其特征在于,包括:数据获取模块,用于基于对目标对象进行的定位,得到与所述目标对象在检测区域中姿态相关的目标数据;特征提取模块,用于对所述目标数据进行时频域特征提取,得到第一目标特征和第二目标特征;所述第一目标特征是对所述目标对象在检测区域中姿态的频域表达,所述第二目标特征是对所述目标对象在检测区域中姿态的时域表达;姿态识别模块,用于根据所述第一目标特征和所述第二目标特征,对所述目标对象的姿态进行识别,得到姿态识别结果。11.一种电子设备,其特征在于,包括:至少一个处理器、至少一个存储器、以及至少一条通信总线,其中,所述存储器上存储有计算机程序,所述处理器通过所述通信总线读取所述存储器中的所述计算机程序;所述计算机程序被所述处理器执行时实现权利要求1至9中任一项所述的姿态识别方法。12.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的姿态识别方法。
技术总结
本申请提供了一种姿态识别方法、装置、电子设备及存储介质,涉及计算机技术领域。其中,该方法包括:基于对目标对象进行的定位,得到与所述目标对象在检测区域中姿态相关的目标数据;对所述目标数据进行时频域特征提取,得到第一目标特征和第二目标特征;所述第一目标特征是对所述目标对象在检测区域中姿态的频域表达,所述第二目标特征是对所述目标对象在检测区域中姿态的时域表达;根据所述第一目标特征和所述第二目标特征,对所述目标对象的姿态进行识别,得到姿态识别结果。本申请解决了相关技术中姿态识别的准确率不高的问题。相关技术中姿态识别的准确率不高的问题。相关技术中姿态识别的准确率不高的问题。
技术研发人员:曾昭泽 宋志龙 杨景 姚沁 刘莹胜
受保护的技术使用者:深圳绿米联创科技有限公司
技术研发日:2022.09.08
技术公布日:2023/8/24
版权声明
本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
飞行汽车 https://www.autovtol.com/
