人体姿态检测方法、检测装置、家电设备和可读存储介质与流程

未命名 08-13 阅读:113 评论:0


1.本发明涉及智能检测技术领域,具体而言,涉及一种人体姿态检测方法、人体姿态检测装置、家电设备和可读存储介质。


背景技术:

2.相关技术中,居家监测设备主要是采用摄像头、穿戴式设备等,这些方案适用的场景具有局限性,例如,对于用户洗澡时出现跌倒情形的检测,穿戴式设备会出现忘穿戴、洗澡时不方便等情况,而采用摄像头监控时又会对客户的隐私造成很大的侵犯。


技术实现要素:

3.本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
4.为此,本发明的一个方面在于提出了一种人体姿态检测方法。
5.本发明的另一个方面在于提出了一种人体姿态检测装置。
6.本发明的再一个方面在于提出了一种家电设备。
7.本发明的又一个方面在于提出了一种可读存储介质。
8.有鉴于此,根据本发明的一个方面,提出了一种人体姿态检测方法,包括:通过雷达装置采集人体的点云数据,以及获取雷达装置的安装位置数据,其中点云数据包括人体上多个点的多维运动数据;根据点云数据和雷达装置的安装位置数据,确定人体的姿态。
9.在该技术方案中,雷达装置可以为毫米波雷达,安装在人体活动区域,能够通过发射天线向外发射雷达信号。
10.控制雷达装置发送雷达信号,该雷达信号经人体反射,雷达装置采集反射信号后,基于该反射信号得到人体的点云数据。以及,获取雷达装置的安装位置数据。其中,点云数据为在以雷达装置的安装位置的中心点为原点的第一坐标系下的数据集合,点云数据包括该人体的多个骨骼点的多维度运动数据,运动数据可以包括x方向的位置、y方向的位置、z方向的位置、x方向的速度、y方向的速度、z方向的速度、x方向的加速度、y方向的加速度、z方向的加速度、反射信号的信噪比等。
11.进一步地,通过雷达装置捕捉到的人体的点云数据以及雷达装置的安装位置数据,识别人体的姿态,能够确定出人体是异常姿态还是正常姿态。
12.本发明的技术方案中,利用雷达装置采集人体数据,能够避免相关技术中利用穿戴式设备会出现忘穿戴、洗澡时不方便等问题,方便采集数据。
13.另外,在进行人体姿态监测时,采集到的人体数据以点云形式出现,不会侵犯用户隐私,提高安全性。并且,利用雷达装置采集到的数据维度丰富,提高了姿态识别的准确度。
14.此外,结合雷达装置的安装位置数据,能够对人体的点云数据进行校正,使得无论雷达装置的安装位置如何,均能够基于人体的点云数据识别人体姿态,提高人体姿态识别方案的场景适用性。
15.根据本发明的上述人体姿态检测方法,还可以具有以下附加技术特征:
16.在上述技术方案中,通过雷达装置采集人体的点云数据,包括:通过雷达装置,采集人体的至少一组连续的预设数量的点云数据。
17.在该技术方案中,识别人体的姿态是将人体的动作划分为异常姿态和正常姿态,其中,异常姿态包含蹲下、躺下、摔倒等,这些异常动作的完成通常是在一个时间段内,而并非一个时间点。
18.所以,为了保证识别的准确性,需要采集至少一组连续的预设数量的点云数据,再由连续的预设数量的点云数据进行人体姿态的识别。例如,实时采集点云数据,在达到m个时,利用这m个连续的点云数据进行人体姿态的识别。
19.通过上述方式,实现利用采集的点云数据对连续动作的识别,提高对人体姿态的识别的准确性。
20.在上述任一技术方案中,根据点云数据和雷达装置的安装位置数据,确定人体的姿态,包括:根据雷达装置的安装位置数据,对点云数据进行坐标转换;根据坐标转换后的点云数据,确定人体的姿态。
21.在该技术方案中,雷达装置采集到的点云数据是相对于雷达装置的安装位置所采集的,也即,该点云数据的坐标数据是位于以雷达装置的安装位置的中心点为原点的第一坐标系下的坐标数据。但是,因为对于不同的使用场景,雷达装置的安装位置(例如安装高度)不同,因此不同场景的识别策略就不适用了。
22.为此,本发明的技术方案对采集到的点云数据进行坐标变换,由此使得训练好的识别策略可以泛化的应用到其他场景中去。
23.在上述任一技术方案中,根据雷达装置的安装位置数据,对点云数据进行坐标转换,包括:将第一坐标系下的点云数据,转换为第二坐标系下的点云数据;其中,第一坐标系为以雷达装置的安装位置的中心点为原点的坐标系,第二坐标系为以雷达装置在地面的投影区域的中心点为原点的坐标系。
24.在该技术方案中,对采集到的点云数据进行坐标变换,将其坐标变换为以雷达装置在地面的投影区域的中心点为原点的第二坐标系下的坐标,由此使得在第二坐标系下训练好的识别策略可以泛化的应用到其他场景中去。
25.通过上述方式,使得在不同场景下采集的点云数据,均可以利用在第二坐标系下训练好的识别策略实现人体姿态的识别,提高人体姿态识别的准确性和泛化性。
26.在上述任一技术方案中,根据坐标转换后点云数据,确定人体的姿态,包括:将坐标转换后的点云数据输入至姿态识别模型,输出异常姿态得分;基于异常姿态得分大于或等于第一阈值,确定人体的姿态为异常姿态;基于异常姿态得分小于第一阈值,确定人体的姿态为正常姿态。
27.在该技术方案中,预先训练有姿态识别模型,该姿态识别模型也即机器学习分类模型,用于识别人体的姿态是正常姿态还是异常姿态。
28.具体地,将点云数据输入至姿态识别模型后,经姿态识别模型计算会得到一个异常姿态得分。将该异常姿态得分与第一阈值进行比较,在异常姿态得分超过第一阈值的情况下,判定上一段时间人体所做的动作属于异常姿态,在异常姿态得分未超过第一阈值的情况下,判定上一段时间人体所做的动作属于正常姿态。
29.其中,第一阈值为预先设定的一个阈值,第一阈值的数值较大时,对异常姿态的分
类较为严格,需要得分较高才属于异常姿态;第一阈值的数值较小时,对异常姿态的分类则较为宽泛,使得得分较低的一些姿态也属于异常姿态。
30.本发明的技术方案,利用预先训练好的机器学习分类模型进行人体姿态的识别,提高了识别的准确性。
31.在上述任一技术方案中,第一阈值小于或等于第九阈值。
32.在该技术方案中,为了保证尽可能地减少漏检的情况,将第一阈值设得偏低,也即,使其小于或等于第九阈值。
33.在上述任一技术方案中,将坐标转换后的点云数据输入至姿态识别模型,输出异常姿态得分,包括:将坐标转换后的点云数据的多维运动数据中的至少两个进行组合,生成组合数据;将点云数据和组合数据输入至姿态识别模型,输出异常姿态得分;其中,多维运动数据包括以下至少两项:x方向的位置、y方向的位置、z方向的位置、x方向的速度、y方向的速度、z方向的速度、x方向的加速度、y方向的加速度、z方向的加速度,y方向为雷达装置至人体的水平方向,z方向为雷达装置的高度方向,x方向与y方向、z方向均垂直。
34.在该技术方案中,输入姿态识别模型中的人体的点云数据并非为单一数据,而是经过数据采集以及数据分析,对点云数据进行最优化选择的结果。
35.例如,点云数据的多维运动数据包括(x,y,z,v
x
,vy,vz,a
x
,ay,az),其中,x、y、z分别是x方向、y方向、z方向的位置,v
x
、vy、vz分别是x方向、y方向、z方向的速度,a
x
、ay、az分别是x方向、y方向、z方向的加速度。组合数据由点云数据的至少两个运动数据进行组合所得,例如,组合数据可以为v
x
、vy、vz这三个速度维度的两两组合平方和,或者为v
x
、vy、vz这三个速度维度均方和,或者为a
x
、ay、az这三个加速度维度均方和,或者为位置维度x、y、z的变化量等等。
36.将原始的点云数据和组合数据一起,输入至姿态识别模型,得到异常姿态得分。
37.通过上述方式,使得输入至姿态识别模型中的人体的点云数据并非为单一数据,从而提高识别效果。
38.需要说明的是,在对姿态识别模型进行数据训练时,同样利用点云数据和点云数据的组合数据进行训练,得到姿态识别模型,使得姿态识别模型的识别效果更加准确。
39.在上述任一技术方案中,将坐标转换后点云数据输入至姿态识别模型,输出异常姿态得分,包括:将坐标转换后的多组连续的预设数量的点云数据分别输入至姿态识别模型,输出多个异常姿态得分;基于异常姿态得分大于或等于第一阈值,确定人体的姿态为异常姿态,包括:确定大于或等于第一阈值的异常姿态得分的第一数量;基于第一数量大于第二阈值,确定人体的姿态为异常姿态。
40.在该技术方案中,因为雷达装置硬件的误差,在某一次分类识别的时候将某一次误差较大的数据分类成异常动作的可能性较大。为了减少这种误报,设计了窗口过滤算法,也即,只有当连续多次分类都将动作分类为异常的时候,才会最终确定其为异常姿态。
41.具体地,确定多组连续的预设数量的点云数据,将每组点云数据均输入至姿态识别模型,分别得到多个异常姿态得分。将多个异常姿态得分分别与第一阈值比较,确定超过第一阈值的异常姿态得分,并统计超过第一阈值的异常姿态得分的数量(也即第一数量)。在超过第一阈值的异常姿态得分的数量大于第二阈值的情况下,表明连续多次分类都将动作分类为异常,则最终确定人体的姿态为异常姿态。
42.通过上述方式,可以过滤掉绝大部分因误差导致的误报,提高识别的准确性。
43.在上述任一技术方案中,根据坐标转换后的点云数据,确定人体的姿态,包括:确定坐标转换后的t1个点云数据中的z方向的位置,t1为大于2的正整数,z方向为雷达装置的高度方向;分别计算第i个的z方向的位置与第1个的z方向的位置的差值,得到t1-1个差值,i大于1且小于或等于t1;确定小于或等于第三阈值的差值的第二数量;基于第二数量大于或等于第四阈值,确定人体的姿态为异常姿态。
44.在该技术方案中,限定对异常姿态识别的失效补偿方案,该失效补偿方案与利用姿态识别模型进行姿态识别的方案为并行方案,也即,二者互不影响。在利用姿态识别模型进行异常姿态识别时,同样进行该失效补偿方案,在利用姿态识别模型进行异常姿态识别和该失效补偿方案中的任一个确定人体姿态为异常时,人体即为异常姿态。
45.对异常姿态识别的失效补偿方案具体为,在雷达装置采集的至少一组连续的预设数量的人体的点云数据中,确定t1个点云数据,并确定该t1个点云数据的多维运动数据中的z方向的位置。进一步地,分别将第2个至第t1个z方向的位置与第1个z方向的位置做差,得到t1-1个位置差值。将t1-1个位置差值分别与第三阈值进行比较,确定超过第三阈值的位置差值,并统计超过第三阈值的位置差值的数量(也即第二数量)。在超过第三阈值的位置差值的数量大于第四阈值的情况下,表明人体在高度方向上持续一段时间内几乎静止,则判定人体的姿态为异常姿态。
46.本发明的技术方案中,通过限定对异常姿态识别的失效补偿方案,当姿态识别模型失效的时候依旧能够保证检测出人体异常姿态。
47.在上述任一技术方案中,在确定人体的姿态为异常姿态之后,该方法还包括:基于人体的姿态为异常姿态,根据点云数据判断人体的姿态是否为跌倒姿态;基于人体的姿态为跌倒姿态,发出警报信息。
48.在该技术方案中,限定了回归算法,其作用是在判定出异常姿态后,将人体的跌倒、蹲下、坐下、躺下、弯腰等具体的姿态区分出来。
49.因为人体做出异常姿态后,如跌倒、蹲下、坐下、躺下、弯腰后的点云特征有较为明显的区别,且这个阶段人体的动作幅度会在一段时间内维持不变,因此进入回归判断之后,回归算法会对每一帧的点云数据进行回归预测,其预测的是人体当前的具体姿态。
50.当判定出人体的姿态为跌倒时,发出警报信息。该警报信息可以为灯光、语音、文字、消息等信息。
51.通过上述方式,在识别人体跌倒时进行警报,使得其他人员能够及时知晓有人跌倒这一情况,及时采取措施,保证跌倒人员的安全。
52.当然,为了避免出现误判断的情况,利用多组点云数据判断出在一定时间内,跌倒的次数一定阈值时,则整个逻辑判断人体跌倒,输出警报。
53.需要说明的是,本发明的技术方案所采用的回归算法包括随机决策树森林、k-means聚类、logistic regression与最大熵模型等,回归算法输入的特征维度可以是原始的点云数据和点云数据的组合数据,也可以是单一的点云数据。
54.在上述任一技术方案中,在确定人体的姿态为异常姿态之后,该方法还包括:确定t2个点云数据中满足预设条件的点云数据的第三数量,t2为大于1的正整数;基于第三数量大于或等于第五阈值,确定人体的姿态为跌倒姿态,发出警报信息;其中,点云数据的多维
运动数据包括z方向的位置、x方向的速度、y方向的速度、z方向的速度,预设条件为x方向的速度小于第六阈值、y方向的速度小于第七阈值、z方向的速度小于第八阈值以及z方向的位置小于人体处于坐姿下的高度,y方向为雷达装置至人体的水平方向,z方向为雷达装置的高度方向,x方向与y方向、z方向均垂直。
55.在该技术方案中,限定对具体姿态识别的失效补偿方案,也即对回归判断的失效补偿方案,该失效补偿方案与利用回归算法进行具体姿态识别的方案为并行方案,也即,二者互不影响。在利用回归算法进行具体姿态识别时,同样进行该失效补偿方案,在利用回归算法进行具体姿态识别和该失效补偿方案中的任一个确定人体姿态为某一具体姿态时,人体即为该具体姿态。
56.另外,该失效补偿方案与异常姿态识别的方案也是并行方案,互不影响。
57.根据人体动作幅度,人体摔倒昏迷后几乎静止,x方向、y方向、z方向的动作幅度都很小。所以,在雷达装置采集的至少一组连续的预设数量的人体的点云数据中,确定t2个点云数据,将每个点云数据中x方向、y方向、z方向的速度分别与对应的阈值进行比较、以及将每个点云数据中z方向的位置与人体处于坐姿下的高度进行比较,当x方向、y方向、z方向的速度都小于对应的阈值,且z方向的位置小于人体处于坐姿下的高度时,记录该点云数据,当记录的点云数据的数量(也即第三数据)超过第五阈值时,表明用户在低于人体坐姿高度以下静止了一段时间,此时确定人体跌倒,发出警报信息。
58.其中,该警报信息可以为灯光、语音、文字、消息等信息。
59.通过上述方式,一方面,是当姿态识别模型或回归算法失效的时候,依旧能够保证检测出人体跌倒;另一方面,在识别人体跌倒时进行警报,使得其他人员能够及时知晓有人跌倒这一情况,及时采取措施,保证跌倒人员的安全。
60.根据本发明的另一个方面,提出了一种人体姿态检测装置,包括:采集模块,用于通过雷达装置采集人体的点云数据,以及获取雷达装置的安装位置数据,其中点云数据包括人体上多个点的多维运动数据;识别模块,用于根据点云数据和雷达装置的安装位置数据,确定人体的姿态。
61.在该技术方案中,雷达装置可以为毫米波雷达,安装在人体活动区域,能够通过发射天线向外发射雷达信号。
62.控制雷达装置发送雷达信号,该雷达信号经人体反射,雷达装置采集反射信号后,基于该反射信号得到人体的点云数据。以及,获取雷达装置的安装位置数据。其中,点云数据为在以雷达装置的安装位置的中心点为原点的第一坐标系下的数据集合,点云数据包括该人体的多个骨骼点的多维度运动数据,运动数据可以包括x方向的位置、y方向的位置、z方向的位置、x方向的速度、y方向的速度、z方向的速度、x方向的加速度、y方向的加速度、z方向的加速度、反射信号的信噪比等。
63.进一步地,通过雷达装置捕捉到的人体的点云数据以及雷达装置的安装位置数据,识别人体的姿态,能够确定出人体是异常姿态还是正常姿态。
64.本发明的技术方案中,利用雷达装置采集人体数据,能够避免相关技术中利用穿戴式设备会出现忘穿戴、洗澡时不方便等问题,方便采集数据。
65.另外,在进行人体姿态监测时,采集到的人体数据以点云形式出现,不会侵犯用户隐私,提高安全性。并且,利用雷达装置采集到的数据维度丰富,提高了姿态识别的准确度。
66.此外,结合雷达装置的安装位置数据,能够对人体的点云数据进行校正,使得无论雷达装置的安装位置如何,均能够基于人体的点云数据识别人体姿态,提高人体姿态识别方案的场景适用性。
67.根据本发明的再一个方面,提出了一种家电设备,包括:雷达装置;存储器,存储有程序或指令;处理器,处理器执行程序或指令时实现如上述任一技术方案的人体姿态检测方法的步骤。
68.本发明提供的家电设备包括雷达装置、存储器以及处理器,程序或指令被处理器执行时实现如上述任一技术方案的人体姿态检测方法的步骤,因此该家电设备包括上述任一技术方案的人体姿态检测方法的全部有益效果。
69.根据本发明的上述家电设备,还可以具有以下附加技术特征:
70.在上述技术方案中,该家电设备还包括:语音装置,与处理器连接,语音装置用于基于人体的姿态为跌倒姿态,发出警报信息。
71.在该技术方案中,家电设备上安装有语音装置,在识别出人体的姿态为跌倒姿态时,语音装置发出警报信息。例如,当根据上述方法判定用户跌倒了,那么立即通过语音装置进行语音播报:“检测到您已经摔倒,是否需要向您的亲人寻求帮助”的信息。
72.通过上述方式,实现及时询问用户情况的目的,提高用户安全。
73.在上述任一技术方案中,该家电设备还包括:通信装置,与处理器连接,通信装置用于基于人体的姿态为跌倒姿态向与家电设备相关联的终端设备发送警报信息。
74.在该技术方案中,家电设备上安装有通信装置,在识别出人体的姿态为跌倒姿态时,通信装置向与家电设备关联的终端设备发送警报信息。例如,当根据上述方法判定用户跌倒了,那么立即通过通信装置向紧急联系人发出求救信息。
75.通过上述方式,实现及时将用户情况的发送给紧急联系人,提高用户安全。
76.根据本发明的又一个方面,提出了一种可读存储介质,其上存储有程序或指令,程序或指令被处理器执行时实现如上述任一技术方案的人体姿态检测方法的步骤。
77.本发明提供的可读存储介质,程序或指令被处理器执行时实现如上述任一技术方案的人体姿态检测方法的步骤,因此该可读存储介质包括上述任一技术方案的人体姿态检测方法的全部有益效果。
78.本发明的附加方面和优点将在下面的描述部分中变得明显,或通过本发明的实践了解到。
附图说明
79.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
80.图1示出了本发明实施例的人体姿态检测方法的流程示意图之一;
81.图2示出了本发明实施例的人体姿态检测方法的流程示意图之二;
82.图3示出了本发明实施例的人体姿态检测方法的流程示意图之三;
83.图4示出了本发明实施例的基于毫米波雷达与机器学习的人体姿态识别的整体框架的示意图;
84.图5示出了本发明实施例的坐标变换的示意图;
85.图6示出了本发明实施例的数据采集的示意图;
86.图7示出了本发明实施例的人体姿态检测装置的示意框图;
87.图8示出了本发明实施例的家电设备的示意框图之一;
88.图9示出了本发明实施例的家电设备的示意框图之二;
89.图10示出了本发明实施例的电热水器的示意图。
具体实施方式
90.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
91.需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
92.另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
93.在本发明中,除非另有明确的规定和限定,术语“连接”、“固定”等应做广义理解,例如,“固定”可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
94.另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
95.下面结合附图,通过具体的实施例及其应用场景对本技术实施例提供的人体姿态检测方法、人体姿态检测装置、家电设备和可读存储介质进行详细地说明。
96.实施例一
97.本发明实施例中,提出一种人体姿态检测方法,图1示出了本发明实施例的人体姿态检测方法的流程示意图之一。其中,该人体姿态检测方法包括:
98.步骤102,控制雷达装置,获取人体的点云数据,以及获取雷达装置的安装位置数据,其中该点云数据包括人体上多个点的多维运动数据;
99.步骤104,基于该点云数据和雷达装置的安装位置数据,识别人体的姿态。
100.在该技术方案中,雷达装置可以为毫米波雷达,安装在人体活动区域,能够通过发射天线向外发射雷达信号。
101.控制雷达装置发送雷达信号,该雷达信号经人体反射,雷达装置采集反射信号后,基于该反射信号得到人体的点云数据。以及,获取雷达装置的安装位置数据。其中,点云数据为在以雷达装置的安装位置的中心点为原点的第一坐标系下的数据集合,点云数据包括
该人体的多个骨骼点的多维度运动数据,运动数据可以包括x方向的位置、y方向的位置、z方向的位置、x方向的速度、y方向的速度、z方向的速度、x方向的加速度、y方向的加速度、z方向的加速度、反射信号的信噪比等。
102.进一步地,通过雷达装置捕捉到的人体的点云数据以及雷达装置的安装位置数据,识别人体的姿态,能够确定出人体是异常姿态还是正常姿态。
103.本发明的技术方案中,利用雷达装置采集人体数据,能够避免相关技术中利用穿戴式设备会出现忘穿戴、洗澡时不方便等问题,方便采集数据。另外,在进行人体姿态监测时,采集到的人体数据以点云形式出现,不会侵犯用户隐私,提高安全性。并且,利用雷达装置采集到的数据维度丰富,提高了姿态识别的准确度。
104.此外,结合雷达装置的安装位置数据,能够对人体的点云数据进行校正,使得无论雷达装置的安装位置如何,均能够基于人体的点云数据识别人体姿态,提高人体姿态识别方案的场景适用性。
105.实施例二
106.本发明实施例中,控制雷达装置,获取人体的点云数据的步骤,具体包括:控制雷达装置,获取至少一组连续的预设数量的人体的点云数据。
107.在该技术方案中,识别人体的姿态是将人体的动作划分为异常姿态和正常姿态,其中,异常姿态包含蹲下、躺下、摔倒等,这些异常动作的完成通常是在一个时间段内,而并非一个时间点。
108.所以,为了保证识别的准确性,需要采集至少一组连续的预设数量的点云数据,再由连续的预设数量的点云数据进行人体姿态的识别。例如,实时采集点云数据,在达到m个时,利用这m个连续的点云数据进行人体姿态的识别。
109.通过上述方式,实现利用采集的点云数据对连续动作的识别,提高对人体姿态的识别的准确性。
110.实施例三
111.在上述任一技术方案中,基于该点云数据和雷达装置的安装位置数据,识别人体的姿态的步骤,具体包括:根据雷达装置的安装位置数据,对点云数据进行坐标转换;根据坐标转换后的点云数据,确定人体的姿态。
112.在该技术方案中,雷达装置采集到的点云数据是相对于雷达装置的安装位置所采集的,也即,该点云数据的坐标数据是位于以雷达装置的安装位置的中心点为原点的第一坐标系下的坐标数据。但是,因为对于不同的使用场景,雷达装置的安装位置(例如安装高度)不同,因此不同场景的识别策略就不适用了。
113.为此,本发明的技术方案对采集到的点云数据进行坐标变换,由此使得训练好的识别策略可以泛化的应用到其他场景中去。
114.图2示出了本发明实施例的人体姿态检测方法的流程示意图之二。其中,该人体姿态检测方法包括:
115.步骤202,控制雷达装置,获取人体的点云数据,以及获取雷达装置的安装位置数据,其中该点云数据包括人体上多个点的多维运动数据;
116.步骤204,对处于与雷达装置的安装位置数据相关的第一坐标系下的点云数据进行坐标转换,得到处于第二坐标系下的点云数据;
117.步骤206,基于处于第二坐标系下的点云数据,识别人体的姿态。
118.其中,第一坐标系以雷达装置的安装位置的中心点为原点、以雷达装置至人体的水平方向为y方向,以雷达装置的高度方向为z方向,与y方向、z方向均垂直的方向为x方向,第二坐标系以雷达装置在地面的投影区域的中心点为原点、以雷达装置至人体的水平方向为y方向,以雷达装置的高度方向为z方向,与y方向、z方向均垂直的方向为x方向。
119.在该技术方案中,对采集到的点云数据进行坐标变换,将其坐标变换为以雷达装置在地面的投影区域的中心点为原点的第二坐标系下的坐标,由此使得在第二坐标系下训练好的识别策略可以泛化的应用到其他场景中去。
120.通过上述方式,使得在不同场景下采集的点云数据,均可以利用在第二坐标系下训练好的识别策略实现人体姿态的识别,提高人体姿态识别的准确性和泛化性。
121.实施例四
122.本发明实施例中,基于坐标转换后的点云数据,识别人体的姿态的步骤,具体包括:基于坐标转换后的点云数据以及姿态识别模型,识别人体的姿态。
123.在该技术方案中,预先训练有姿态识别模型,该姿态识别模型也即机器学习分类模型,用于识别人体的姿态是正常姿态还是异常姿态。
124.具体地,将采集到的点云数据输入至该姿态识别模型中,得到人体的姿态是正常姿态还是异常姿态的结果。
125.本发明的技术方案,利用预先训练好的机器学习分类模型进行人体姿态的识别,提高了识别的准确性。
126.实施例五
127.本发明实施例中,图3示出了本发明实施例的人体姿态检测方法的流程示意图之三。其中,该人体姿态检测方法包括:
128.步骤302,控制雷达装置,获取人体的点云数据,以及获取雷达装置的安装位置数据,其中该点云数据包括人体上多个点的多维运动数据;
129.步骤304,利用雷达装置的安装位置数据,对点云数据进行坐标转换,将坐标转换后的点云数据输入至姿态识别模型,得到人体的异常姿态得分;
130.步骤306,在该异常姿态得分超过或等于第一阈值的情况下,识别人体的姿态属于异常姿态,在该异常姿态得分未超过第一阈值的情况下,识别人体的姿态属于正常姿态。
131.在该技术方案中,将点云数据输入至姿态识别模型后,经姿态识别模型计算会得到一个异常姿态得分。将该异常姿态得分与第一阈值进行比较,在异常姿态得分超过第一阈值的情况下,判定上一段时间人体所做的动作属于异常姿态,在异常姿态得分未超过第一阈值的情况下,判定上一段时间人体所做的动作属于正常姿态。
132.其中,第一阈值为预先设定的一个阈值,第一阈值的数值较大时,对异常姿态的分类较为严格,需要得分较高才属于异常姿态;第一阈值的数值较小时,对异常姿态的分类则较为宽泛,使得得分较低的一些姿态也属于异常姿态。
133.本发明的技术方案,利用预先训练好的机器学习分类模型进行人体姿态的识别,提高了识别的准确性。
134.在该实施例中,第一阈值小于或等于第九阈值。
135.在该技术方案中,为了保证尽可能地减少漏检的情况,将第一阈值设得偏低,也
即,使其小于或等于第九阈值。
136.实施例六
137.本发明实施例中,将坐标转换后的点云数据输入至姿态识别模型,得到人体的异常姿态得分的步骤,具体包括:将坐标转换后的点云数据的多维运动数据中的至少两个进行组合,得到组合数据;把点云数据和组合数据一起输入至姿态识别模型,从而得到人体的异常姿态得分。
138.其中,多维运动数据包括以下至少两项:x方向的位置、y方向的位置、z方向的位置、x方向的速度、y方向的速度、z方向的速度、x方向的加速度、y方向的加速度、z方向的加速度,y方向为雷达装置至人体的水平方向,z方向为雷达装置的高度方向,x方向与y方向、z方向均垂直。
139.在该技术方案中,输入姿态识别模型中的人体的点云数据并非为单一数据,而是经过数据采集以及数据分析,对点云数据进行最优化选择的结果。
140.例如,点云数据的多维运动数据包括(x,y,z,v
x
,vy,vz,a
x
,ay,az),其中,x、y、z分别是x方向、y方向、z方向的位置,v
x
、vy、vz分别是x方向、y方向、z方向的速度,a
x
、ay、az分别是x方向、y方向、z方向的加速度。组合数据由点云数据的至少两个运动数据进行组合所得,例如,组合数据可以为v
x
、vy、vz这三个速度维度的两两组合平方和,或者为v
x
、vy、vz这三个速度维度均方和,或者为a
x
、ay、az这三个加速度维度均方和,或者为位置维度x、y、z的变化量等等。
141.将原始的点云数据和组合数据一起,输入至姿态识别模型,得到异常姿态得分。
142.通过上述方式,使得输入至姿态识别模型中的人体的点云数据并非为单一数据,从而提高识别效果。
143.需要说明的是,在对姿态识别模型进行数据训练时,同样利用点云数据和点云数据的组合数据进行训练,得到姿态识别模型,使得姿态识别模型的识别效果更加准确。
144.实施例七
145.本发明实施例中,将坐标转换后点云数据输入至姿态识别模型,得到人体的异常姿态得分的步骤,具体包括:将坐标转换后的多组连续的预设数量的点云数据依次输入至姿态识别模型,从而分别得到多个异常姿态得分;在该异常姿态得分超过或等于第一阈值的情况下,识别人体的姿态属于异常姿态的步骤,具体包括:将多个异常姿态得分分别与第一阈值比较,确定超过第一阈值的异常姿态得分,并统计超过第一阈值的异常姿态得分的第一数量;在第一数量大于第二阈值的情况下,判定人体的姿态为异常姿态。
146.在该技术方案中,因为雷达装置硬件的误差,在某一次分类识别的时候将某一次误差较大的数据分类成异常动作的可能性较大。为了减少这种误报,设计了窗口过滤算法,也即,只有当连续多次分类都将动作分类为异常的时候,才会最终确定其为异常姿态。
147.具体地,确定多组连续的预设数量的点云数据,将每组点云数据均输入至姿态识别模型,分别得到多个异常姿态得分。将多个异常姿态得分分别与第一阈值比较,确定超过第一阈值的异常姿态得分,并统计超过第一阈值的异常姿态得分的数量(也即第一数量)。在超过第一阈值的异常姿态得分的数量大于第二阈值的情况下,表明连续多次分类都将动作分类为异常,则最终确定人体的姿态为异常姿态。
148.通过上述方式,可以过滤掉绝大部分因误差导致的误报,提高识别的准确性。
149.实施例八
150.本发明实施例中,根据坐标转换后的点云数据,确定人体的姿态,包括:获取坐标转换后的t1个点云数据的z方向的位置,t1为正整数且大于2,z方向是雷达装置的高度方向;分别将第2个至第t1个z方向的位置与第1个z方向的位置做差,得到t1-1个位置差值;将t1-1个位置差值分别与第三阈值进行比较,确定超过第三阈值的位置差值,并统计超过第三阈值的位置差值的第二数量;在第二数量大于或等于第四阈值的情况下,识别人体的姿态为异常姿态。
151.在该技术方案中,限定对异常姿态识别的失效补偿方案,该失效补偿方案与利用姿态识别模型进行姿态识别的方案为并行方案,也即,二者互不影响。在利用姿态识别模型进行异常姿态识别时,同样进行该失效补偿方案,在利用姿态识别模型进行异常姿态识别和该失效补偿方案中的任一个确定人体姿态为异常时,人体即为异常姿态。
152.对异常姿态识别的失效补偿方案具体为,在雷达装置采集的至少一组连续的预设数量的人体的点云数据中,确定t1个点云数据,并确定该t1个点云数据的多维运动数据中的z方向的位置。进一步地,分别将第2个至第t1个z方向的位置与第1个z方向的位置做差,得到t1-1个位置差值。将t1-1个位置差值分别与第三阈值进行比较,确定超过第三阈值的位置差值,并统计超过第三阈值的位置差值的数量(也即第二数量)。在超过第三阈值的位置差值的数量大于第四阈值的情况下,表明人体在高度方向上持续一段时间内几乎静止,则判定人体的姿态为异常姿态。
153.本发明的技术方案中,通过限定对异常姿态识别的失效补偿方案,当姿态识别模型失效的时候依旧能够保证检测出人体异常姿态。
154.实施例九
155.本发明实施例中,在确定人体的姿态为异常姿态之后,该方法还包括:在确定人体的姿态为异常姿态的情况下,继续根据点云数据识别人体的姿态是否为跌倒姿态;在识别出人体的姿态为跌倒姿态的情况下,发出警报信息。
156.在该技术方案中,限定了回归算法,其作用是在判定出异常姿态后,将人体的跌倒、蹲下、坐下、躺下、弯腰等具体的姿态区分出来。
157.因为人体做出异常姿态后,如跌倒、蹲下、坐下、躺下、弯腰后的点云特征有较为明显的区别,且这个阶段人体的动作幅度会在一段时间内维持不变,因此进入回归判断之后,回归算法会对每一帧的点云数据进行回归预测,其预测的是人体当前的具体姿态。
158.当判定出人体的姿态为跌倒时,发出警报信息。该警报信息可以为灯光、语音、文字、消息等信息。
159.通过上述方式,在识别人体跌倒时进行警报,使得其他人员能够及时知晓有人跌倒这一情况,及时采取措施,保证跌倒人员的安全。
160.当然,为了避免出现误判断的情况,利用多组点云数据判断出在一定时间内,跌倒的次数一定阈值时,则整个逻辑判断人体跌倒,输出警报。
161.需要说明的是,本发明的技术方案所采用的回归算法包括随机决策树森林、k-means聚类、logistic regression与最大熵模型等,回归算法输入的特征维度可以是原始的点云数据和点云数据的组合数据,也可以是单一的点云数据。
162.实施例十
163.本发明实施例中,在确定人体的姿态为异常姿态之后,该方法还包括:获取t2个点云数据中满足预设条件的点云数据的第三数量,t2为大于1的正整数;在第三数量大于或等于第五阈值的情况下,识别出人体的姿态为跌倒姿态,发出警报信息。
164.其中,点云数据的多维运动数据为x方向的位置、y方向的位置、z方向的位置、x方向的速度、y方向的速度、z方向的速度,预设条件为x方向的速度小于第六阈值、y方向的速度小于第七阈值、z方向的速度小于第八阈值并且z方向的位置小于人体处于坐姿下的高度,y方向为雷达装置至人体的水平方向,z方向为雷达装置的高度方向,x方向与y方向、z方向均垂直。
165.在该技术方案中,限定对具体姿态识别的失效补偿方案,也即对回归判断的失效补偿方案,该失效补偿方案与利用回归算法进行具体姿态识别的方案为并行方案,也即,二者互不影响。在利用回归算法进行具体姿态识别时,同样进行该失效补偿方案,在利用回归算法进行具体姿态识别和该失效补偿方案中的任一个确定人体姿态为某一具体姿态时,人体即为该具体姿态。
166.另外,该失效补偿方案与异常姿态识别的方案也是并行方案,互不影响。
167.根据人体动作幅度,人体摔倒昏迷后几乎静止,x方向、y方向、z方向的动作幅度都很小。所以,在雷达装置采集的至少一组连续的预设数量的人体的点云数据中,确定t2个点云数据,将每个点云数据中x方向、y方向、z方向的速度分别与对应的阈值进行比较、以及将每个点云数据中z方向的位置与人体处于坐姿下的高度进行比较,当x方向、y方向、z方向的速度都小于对应的阈值,且z方向的位置小于人体处于坐姿下的高度时,记录该点云数据,当记录的点云数据的数量(也即第三数据)超过第五阈值时,表明用户在低于人体坐姿高度以下静止了一段时间,此时确定人体跌倒,发出警报信息。
168.其中,该警报信息可以为灯光、语音、文字、消息等信息。
169.通过上述方式,一方面,是当姿态识别模型或回归算法失效的时候,依旧能够保证检测出人体跌倒;另一方面,在识别人体跌倒时进行警报,使得其他人员能够及时知晓有人跌倒这一情况,及时采取措施,保证跌倒人员的安全。
170.实施例十一
171.本发明实施例中,基于毫米波雷达与机器学习的人体姿态识别的整体框架如图4所示。由毫米波雷达数据采集、跟踪算法、数据转换、分类算法、窗口过滤算法、回归算法以及失效补偿算法组成。
172.采用多发多收的毫米波雷达,毫米波雷达可以采集运动或微动目标的n个点的多个维度的运动数据,每个点包含(x,y,z,v,snr)这五个维度的信息,x、y、z是点的位置坐标,v是点的速度,snr是毫米波雷达采集信号的信噪比。
173.对于跟踪算法,可以选用任意常用的毫米波雷达跟踪算法,如cfar、卡尔曼滤波等算法,此跟踪算法的作用是跟踪到运动的目标人体,用一个框将人体的主要点云框在一起,并计算出人体的相关运动维度信息。
174.因为对于不同的使用场景,毫米波雷达的安装位置不同,得到的特征维度信息x、y、z、v
x
、vy、vz、a
x
、ay、az(其中,x、y、z是位置信息,v
x
、vy、vz是速度信息,a
x
、ay、az是加速度信息)是相对于毫米波雷达所在位置的坐标系,因此不同场景的分类策略就不适用了。所以需要对特征维度信息进行一个数据变换,如图5所示,将其坐标变换为以雷达地面投影点为原
点的直角坐标系,也即,将x
wywzw
坐标系转换为x
tytzt
坐标系,其中,h为毫米波雷达所在位置的高度,θ为毫米波雷达所在位置的水平角度。那么基于以雷达地面投影点为原点的直角坐标系训练好的机器学习分类策略就可以泛化的应用到其他场景中去。
175.对于分类算法,分类算法的作用是将人体的动作划分为异常与正常,其中异常包含蹲下、躺下、摔倒,和视频一样,这些动作的完成通常由很多帧点云数据连续组成。毫米波雷达每秒可以采集n帧的人体点云数据,对每一帧的点云数据(x,y,z,v
x
,vy,vz,a
x
,ay,az)都做数据转换,获得统一的相对地面投影点为原点的特征数据。其中,数据转换公式为:
[0176][0177]
其中,feature为相对地面投影点为原点的特征数据,为数据转换矩阵。
[0178]
然后如图6所示,将每一帧数据填充到大小为s帧的滑窗中去,再将s帧的滑窗在大小为m帧的窗口上滑动填充。
[0179]
在每一次m帧窗口填满之后,将其中的数据矩阵取出来,交给分类算法去判定这m帧的时间内的动作是属于正常姿态还是属于异常姿态。分类算法的选用可以采用传统的机器学习分类方法,例如,svm支持向量机、决策树、朴素贝叶斯、bp神经网络等。
[0180]
值得注意的是,输入分类算法中的人体点云数据非单一数据,而是经过数据采集以及数据分析,对多种组合进行最优化选择的结果。如果不进行优化组合,分类的效果将不会很好。组合数据由(x,y,z,v
x
,vy,vz,a
x
,ay,az)组合而来,例如,组合数据为速度维度v
x
、vy、vz的两两组合平方和,或者v
x
、vy、vz均方和,或者加速度维度a
x
、ay、az均方和,或者位置维度x、y、z的变化量。选取原始的点云数据及组合数据共f维,那么输入至分类算法的矩阵大小为[f
×
9,m]。经分类算法计算后会得到一个结果值result,当result》thd1时(thd1为设定的阈值,较大时分类较为严格,较小时则较为宽泛),判定上一段时间人体所做的动作属于跌倒、蹲下、躺下等异常动作。
[0181]
需要说明的是,为了保证减少漏检的情况,将分类的阈值设得偏低。另外,可以对训练集中的数据做同样的组合处理,从而训练得到分类器中的分类矩阵。
[0182]
因为雷达硬件的误差,因此在某一次分类的时候将某一次误差较大的计算分类成异常动作的可能性增大了。为了减少这种误报,本发明实施例设计了窗口过滤算法,只有当连续多次分类都将动作分类为异常的时候,才会进入到下一步的回归判断阶段。因此可以过滤掉绝大部分因误差导致的误报。
[0183]
对于回归算法,其作用是将跌倒、蹲下、坐下、弯腰捡东西等动作区分出来,这个判定在分类器之后,相较于分类器,因为人体做出异常动作之后,如蹲下、坐下、跌倒、躺下后的空间位置与点云特征有较为明显的区别,且这个阶段人体的动作幅度会在一段时间内维持不变,因此进入回归判断之后,回归算法会对每一帧的点云数据进行回归预测,其预测的是人体当前的状态。在一定时间内,(回归算法预测的跌倒帧/时间内的总帧)》thd2时,则整
个逻辑判断人体跌倒,输出警报。
[0184]
可以选用任意常用的回归算法,例如,随机决策树森林、k-means聚类、logistic regression与最大熵模型等,输入的特征维度可以是组合数据,也可以是单一的原始点云数据。
[0185]
对于失效补偿算法,失效补偿的运行是与分类器、回归器并行运作,而非串行,雷达采集的每一帧数据同样会传输给补偿算法,它的作用是当分类器失效的时候依旧能够保证检测出人体跌倒。其包括失效补偿算法1和失效补偿算法2,失效补偿算法1为根据人体重心所在高度,每收集t帧数据进行一次判定,当这t1帧的后(t1-1)帧的每一帧与第1帧的z位置坐标的差值小于thd3时,计数器cnt加1,当cnt/t1》thd4时失效补偿判定成功。这个判定成功等同于分类器第一次分类异常成功,之后进入回归预测,相当于取代分类器的作用。
[0186]
失效补偿算法2为,由于根据人体动作幅度,人体摔倒昏迷后几乎静止,x、y、z方向的动作幅度都很小,所以收集t2帧数据,当x、y、z方向的速度值都小于thd5且z方向的位置高度低于人体坐着的高度thd6时,计数器cnt加1,当cnt/t》thd7时,直接跳过回归预测,识别为摔倒,发出警报。
[0187]
实施例十二
[0188]
本发明实施例中,该人体姿态检测方法包括:
[0189]
(1)雷达开机,每一秒都在场景中捕捉n次数据,每次捕捉称为一帧。
[0190]
(2)人体走入雷达的工作场景,雷达的跟踪算法捕捉到运动的人体,记录人体每秒的运动信息(也即点云数据)。
[0191]
(3)将人体的运动信息进行数据矩阵变换之后,将其(x,y,z,v
x
,vy,vz,a
x
,ay,az)的特征信息进行组合取舍,构建一定时间内的人体连续运动数据矩阵,将其输入分类器。
[0192]
(4)分类器根据提前训练好的模型对输入的数据进行分类,将人体这段时间的动作分为正常与异常。
[0193]
(5)用连续窗口清洗掉误差导致的误报,进入回归模型。
[0194]
(6)回归模型对雷达的每一帧都进行回归预测,其预测的是人体当前的状态,是跌倒、躺下、蹲下或者坐下。当计数器/总帧数大于某个阈值时,则判定其跌倒,输出警报。
[0195]
(7)失效补偿机制与分类器并行工作,对分类为正常的情况,失效补偿机制仍旧会做一次严格的跌倒判断。判定成功时,根据判定逻辑的不同进行不同的后续操作。
[0196]
实施例十三
[0197]
本发明实施例中,提出了一种人体姿态检测装置,如图7所示,该人体姿态检测装置700包括:采集模块702和识别模块704,其中,采集模块702能够控制雷达装置,获取人体的点云数据,以及获取雷达装置的安装位置数据,其中该点云数据包括人体上多个点的多维运动数据,识别模块704能够基于该点云数据和雷达装置的安装位置数据,识别人体的姿态。
[0198]
在该技术方案中,雷达装置可以为毫米波雷达,安装在人体活动区域,能够通过发射天线向外发射雷达信号。
[0199]
控制雷达装置发送雷达信号,该雷达信号经人体反射,雷达装置采集反射信号后,基于该反射信号得到人体的点云数据。以及,获取雷达装置的安装位置数据。其中,点云数据为在以雷达装置的安装位置的中心点为原点的第一坐标系下的数据集合,点云数据包括
该人体的多个骨骼点的多维度运动数据,运动数据可以包括x方向的位置、y方向的位置、z方向的位置、x方向的速度、y方向的速度、z方向的速度、x方向的加速度、y方向的加速度、z方向的加速度、反射信号的信噪比等。
[0200]
进一步地,通过雷达装置捕捉到的人体的点云数据以及雷达装置的安装位置数据,识别人体的姿态,能够确定出人体是异常姿态还是正常姿态。
[0201]
本发明的技术方案中,利用雷达装置采集人体数据,能够避免相关技术中利用穿戴式设备会出现忘穿戴、洗澡时不方便等问题,方便采集数据。另外,在进行人体姿态监测时,采集到的人体数据以点云形式出现,不会侵犯用户隐私,提高安全性。并且,利用雷达装置采集到的数据维度丰富,提高了姿态识别的准确度。
[0202]
此外,结合雷达装置的安装位置数据,能够对人体的点云数据进行校正,使得无论雷达装置的安装位置如何,均能够基于人体的点云数据识别人体姿态,提高人体姿态识别方案的场景适用性。
[0203]
采集模块702和识别模块704还能够分别对应实现上述人体姿态检测方法的步骤。
[0204]
实施例十四
[0205]
本发明实施例中,提出了一种家电设备,如图8所示,该家电设备800包括:雷达装置802、存储器804和处理器806。
[0206]
其中,存储器804和处理器806可以通过总线或者其它方式连接。处理器806可包括一个或多个处理单元,处理器806可以为中央处理器(central processing unit,cpu)、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field programmable gate array,fpga)等芯片,处理器806执行存储器804存储的程序或指令时实现如上述任一技术方案的人体姿态检测方法的步骤。
[0207]
本发明提供的家电设备800包括雷达装置802、存储器804以及处理器806,程序或指令被处理器806执行时实现如上述任一技术方案的人体姿态检测方法的步骤,因此该家电设备800包括上述任一技术方案的人体姿态检测方法的全部有益效果。
[0208]
在上述技术方案中,该家电设备还包括:语音装置,与处理器连接,语音装置用于基于人体的姿态为跌倒姿态,发出警报信息。
[0209]
在该技术方案中,家电设备上安装有语音装置,在识别出人体的姿态为跌倒姿态时,语音装置发出警报信息。例如,当根据上述方法判定用户跌倒了,那么立即通过语音装置进行语音播报:“检测到您已经摔倒,是否需要向您的亲人寻求帮助”的信息。
[0210]
通过上述方式,实现及时询问用户情况的目的,提高用户安全。
[0211]
在上述任一技术方案中,该家电设备还包括:通信装置,与处理器连接,通信装置用于基于人体的姿态为跌倒姿态向与家电设备相关联的终端设备发送警报信息。
[0212]
在该技术方案中,家电设备上安装有通信装置,在识别出人体的姿态为跌倒姿态时,通信装置向与家电设备关联的终端设备发送警报信息。例如,当根据上述方法判定用户跌倒了,那么立即通过通信装置向紧急联系人发出求救信息。
[0213]
通过上述方式,实现及时将用户情况的发送给紧急联系人,提高用户安全。
[0214]
实施例十五
[0215]
本发明实施例中,提出了一种家电设备,如图9所示,该家电设备900包括:雷达装
置902、如上述技术方案的人体姿态检测装置700。
[0216]
本发明提供的家电设备900包括雷达装置902以及如上述技术方案的人体姿态检测装置700,因此该家电设备900包括上述技术方案的人体姿态检测装置的全部有益效果。
[0217]
实施例十六
[0218]
本发明实施例中,基于毫米波雷达数据采集和机器学习算法,构建了一种动作分类、状态回归、失效补偿相结合的人体姿态检测方法,该方法可应用于智能家居场景中的家电设备。
[0219]
例如,该家电设备为浴室中的电热水器,能够对老人洗澡过程中的行为动作进行监测,如图10所示,电热水器包括控制模块1002、毫米波雷达1004、语音模块1006和通信模块1008,控制模块1002能够进行跟踪算法、数据转换、分类算法、窗口过滤算法、回归算法以及失效补偿算法等。
[0220]
电热水器工作,毫米波雷达1004开机,老人进入浴室,毫米波雷达1004对其进行跟踪。当根据上述方法判定老人跌倒了,那么立即通过语音模块1006进行语音播报:“检测到您已经摔倒,是否需要向您的亲人寻求帮助”,当老人说不用,不需要,没事等包含“没,不”等关键词的语句时,报警取消,继续监测,并将这次误报的数据上传至数据库共后续优化改进。
[0221]
当老人发出肯定包含“好”等关键词,或者一定时间没有回应,或者呻吟等声音时,将通过通信模块1008向提前预留的紧急联系人发出求救信息。
[0222]
在跌倒检测之外,还可加入检测心率与呼吸等功能,同样采取分类和回归的策略逻辑对老人的健康状况做一个预测与提示。
[0223]
实施例十七
[0224]
本发明实施例中,提出了一种可读存储介质,其上存储有程序或指令,程序或指令被处理器执行时实现如上述任一技术方案的人体姿态检测方法的步骤。
[0225]
其中,可读存储介质包括只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等。
[0226]
本发明提供的可读存储介质,程序或指令被处理器执行时实现如上述任一技术方案的人体姿态检测方法的步骤,因此该可读存储介质包括上述任一技术方案的人体姿态检测方法的全部有益效果。
[0227]
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

技术特征:
1.一种人体姿态检测方法,其特征在于,包括:通过雷达装置采集人体的点云数据,以及获取所述雷达装置的安装位置数据,其中所述点云数据包括所述人体上多个点的多维运动数据;根据所述点云数据和所述雷达装置的安装位置数据,确定所述人体的姿态。2.根据权利要求1所述的方法,其特征在于,所述通过雷达装置采集人体的点云数据,包括:通过所述雷达装置,采集所述人体的至少一组连续的预设数量的所述点云数据。3.根据权利要求1所述的方法,其特征在于,所述根据所述点云数据和所述雷达装置的安装位置数据,确定所述人体的姿态,包括:根据所述雷达装置的安装位置数据,对所述点云数据进行坐标转换;根据坐标转换后的所述点云数据,确定所述人体的姿态。4.根据权利要求3所述的方法,其特征在于,所述根据所述雷达装置的安装位置数据,对所述点云数据进行坐标转换,包括:将第一坐标系下的所述点云数据,转换为第二坐标系下的所述点云数据;其中,所述第一坐标系为以所述雷达装置的安装位置的中心点为原点的坐标系,所述第二坐标系为以所述雷达装置在地面的投影区域的中心点为原点的坐标系。5.根据权利要求3所述的方法,其特征在于,所述根据坐标转换后的所述点云数据,确定所述人体的姿态,包括:将坐标转换后的所述点云数据输入至姿态识别模型,输出异常姿态得分;基于所述异常姿态得分大于或等于第一阈值,确定所述人体的姿态为异常姿态;基于所述异常姿态得分小于所述第一阈值,确定所述人体的姿态为正常姿态。6.根据权利要求5所述的方法,其特征在于,所述将坐标转换后的所述点云数据输入至姿态识别模型,输出异常姿态得分,包括:将坐标转换后的所述点云数据的多维运动数据中的至少两个进行组合,生成组合数据;将所述点云数据和所述组合数据输入至所述姿态识别模型,输出所述异常姿态得分;其中,所述多维运动数据包括以下至少两项:x方向的位置、y方向的位置、z方向的位置、x方向的速度、y方向的速度、z方向的速度、x方向的加速度、y方向的加速度、z方向的加速度,所述y方向为所述雷达装置至所述人体的水平方向,所述z方向为所述雷达装置的高度方向,所述x方向与所述y方向、所述z方向均垂直。7.根据权利要求5所述的方法,其特征在于,所述将坐标转换后的所述点云数据输入至姿态识别模型,输出异常姿态得分,包括:将坐标转换后的多组连续的预设数量的所述点云数据分别输入至所述姿态识别模型,输出多个所述异常姿态得分;所述基于所述异常姿态得分大于或等于第一阈值,确定所述人体的姿态为异常姿态,包括:确定大于或等于第一阈值的所述异常姿态得分的第一数量;基于所述第一数量大于第二阈值,确定所述人体的姿态为异常姿态。8.根据权利要求3所述的方法,其特征在于,所述根据坐标转换后的所述点云数据,确
定所述人体的姿态,包括:确定坐标转换后的t1个所述点云数据中的z方向的位置,t1为大于2的正整数,所述z方向为所述雷达装置的高度方向;分别计算第i个的z方向的位置与第1个的z方向的位置的差值,得到t1-1个差值,i大于1且小于或等于t1;确定小于或等于第三阈值的差值的第二数量;基于所述第二数量大于或等于第四阈值,确定所述人体的姿态为异常姿态。9.根据权利要求5或8所述的方法,其特征在于,在所述确定所述人体的姿态为异常姿态之后,还包括:基于所述人体的姿态为异常姿态,根据所述点云数据判断所述人体的姿态是否为跌倒姿态;基于所述人体的姿态为跌倒姿态,发出警报信息。10.根据权利要求5或8所述的方法,其特征在于,在所述确定所述人体的姿态为异常姿态之后,还包括:确定t2个所述点云数据中满足预设条件的点云数据的第三数量,t2为大于1的正整数;基于所述第三数量大于或等于第五阈值,确定所述人体的姿态为跌倒姿态,发出警报信息;其中,所述点云数据的多维运动数据包括z方向的位置、所述x方向的速度、所述y方向的速度、所述z方向的速度,所述预设条件为所述x方向的速度小于第六阈值、所述y方向的速度小于第七阈值、所述z方向的速度小于第八阈值以及所述z方向的位置小于所述人体处于坐姿下的高度,所述y方向为所述雷达装置至所述人体的水平方向,所述z方向为所述雷达装置的高度方向,所述x方向与所述y方向、所述z方向均垂直。11.一种人体姿态检测装置,其特征在于,包括:采集模块,用于通过雷达装置采集人体的点云数据,以及获取所述雷达装置的安装位置数据,其中所述点云数据包括所述人体上多个点的运动数据;识别模块,用于根据所述点云数据和所述雷达装置的安装位置数据,确定所述人体的姿态。12.一种家电设备,其特征在于,包括:雷达装置;存储器,存储有程序或指令;处理器,所述处理器执行所述程序或指令时实现如权利要求1至10中任一项所述的人体姿态检测方法的步骤。13.根据权利要求12所述的家电设备,其特征在于,还包括:语音装置,与所述处理器连接,所述语音装置用于基于人体的姿态为跌倒姿态,发出警报信息。14.根据权利要求12所述的家电设备,其特征在于,还包括:通信装置,与所述处理器连接,所述通信装置用于基于人体的姿态为跌倒姿态向与所述家电设备相关联的终端设备发送警报信息。15.一种可读存储介质,其上存储有程序或指令,其特征在于,所述程序或指令被处理
器执行时实现如权利要求1至10中任一项所述的人体姿态检测方法的步骤。

技术总结
本发明提出了一种人体姿态检测方法、检测装置、家电设备和可读存储介质,其中,该人体姿态检测方法包括:通过雷达装置采集人体的点云数据,以及获取雷达装置的安装位置数据,其中点云数据包括人体上多个点的多维运动数据;根据点云数据和雷达装置的安装位置数据,确定人体的姿态。本发明的技术方案中,在进行人体姿态监测时,采集到的人体数据以点云形式出现,不会侵犯用户隐私,提高安全性。并且,结合雷达装置的安装位置数据,能够对人体的点云数据进行校正,使得无论雷达装置的安装位置如何,均能够基于人体的点云数据识别人体姿态,提高人体姿态识别方案的场景适用性。体姿态识别方案的场景适用性。体姿态识别方案的场景适用性。


技术研发人员:唐幼之 陈蔚 魏中科 张力潇
受保护的技术使用者:芜湖美的厨卫电器制造有限公司
技术研发日:2022.01.26
技术公布日:2023/8/9
版权声明

本文仅代表作者观点,不代表航空之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

飞行汽车 https://www.autovtol.com/

分享:

扫一扫在手机阅读、分享本文

相关推荐