一种跌倒检测方法、装置、电子设备和存储介质与流程

1.本发明涉及跌倒识别技术领域，尤其涉及一种跌倒检测方法、装置、电子设备和存储介质。


背景技术：

2.随着人们对老人生命健康问题的关注度提高，室内人体跌倒检测已成为一个研究热点。目前的跌倒检测方法主要采用基于红外热成像或者基于信道状态信息(channel state information，csi)等技术实现室内人体的跌倒检测，但是上述方法存在以下问题：
3.(1)基于红外热成像技术的跌倒检测方法易受到周围环境温度变化以及光照变换的影响，导致人体跌倒检测的准确度较低；
4.(2)基于csi技术的跌倒检测方法易受到同频干扰的影响，假如室内存在强大的wifi同频信号干扰将使得获取到的wifi csi信息发生失真，进而导致人体跌倒检测的准确度降低；
5.(3)需要气压计、传感器、毫米波雷达等硬件设备实现跌倒检测，成本较高。


技术实现要素：

6.本发明提供了一种跌倒检测方法、装置、电子设备和存储介质，以根据热成像模块撷取的红外线热图像确定待测目标的第一速度，根据射频收发模块接收的无线网络封包数据确定待测目标的第二速度以及网络封包吞吐量，进而根据第一速度、第二速度以及网络封包吞吐量综合确定待测目标的跌倒状态的检测结果，提高了跌倒检测结果的准确性，降低了跌倒检测的成本。
7.根据本发明的一方面，提供了一种跌倒检测方法，应用于跌倒检测系统，跌倒检测系统包括热成像模块、射频收发模块以及无线接入点模块，该方法包括：
8.根据热成像模块撷取待测目标在预设时间内的红外线热图像，根据红外线热图像确定待测目标的第一速度；
9.根据射频收发模块采集无线接入点模块在预设时间内传输的无线网络封包数据，根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度；
10.根据第一速度、第二速度以及网络封包吞吐量生成并确定待测目标的跌倒状态的检测结果。
11.根据本发明的另一方面，提供了一种跌倒检测装置，应用于跌倒检测系统，跌倒检测系统包括热成像模块、射频收发模块以及无线接入点模块，该装置包括：
12.第一速度确定模块，用于根据热成像模块撷取待测目标在预设时间内的红外线热图像，根据红外线热图像确定待测目标的第一速度；
13.网络封包吞吐量及第二速度确定模块，用于根据射频收发模块采集无线接入点模块在预设时间内传输的无线网络封包数据，根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度；
14.跌倒检测模块，用于根据第一速度、第二速度以及网络封包吞吐量生成并确定待测目标的跌倒状态的检测结果。
15.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
16.至少一个处理器；以及
17.与所述至少一个处理器通信连接的存储器；其中，
18.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的跌倒检测方法。
19.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的跌倒检测方法。
20.本发明实施例的技术方案，通过根据热成像模块撷取待测目标在预设时间内的红外线热图像，根据红外线热图像确定待测目标的第一速度，根据射频收发模块采集无线接入点模块在预设时间内传输的无线网络封包数据，根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度，根据第一速度、第二速度以及网络封包吞吐量生成并确定待测目标的跌倒状态的检测结果。本发明实施例通过根据红外线热图像确定待测目标的第一速度，以及根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度，进而结合第一速度、第二速度以及网络封包吞吐量去综合确定待测目标的跌倒检测结果，提高了跌倒检测结果的准确性，降低了跌倒检测的成本。
21.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是根据本发明实施例一提供的一种跌倒检测方法的流程图；
24.图2是根据本发明实施例二提供的一种跌倒检测方法的流程图；
25.图3是根据本发明实施例三提供的一种跌倒检测系统的示例图；
26.图4是根据本发明实施例三提供的一种跌倒检测方法的流程示例图；
27.图5是根据本发明实施例三提供的一种跌倒检测方法的流程图；
28.图6是根据本发明实施例三提供的一种红外线热图像的示意图；
29.图7是根据本发明实施例三提供的一种红外线热图像中心点的示意图；
30.图8是根据本发明实施例三提供的一种正常检测的示意图；
31.图9是根据本发明实施例三提供的一种跌倒检测的示意图；
32.图10是根据本发明实施例三提供的另一种跌倒检测的示意图；
33.图11是根据本发明实施例三提供的另一种跌倒检测方法的流程图；
34.图12是根据本发明实施例四提供的一种跌倒检测装置的结构示意图；
35.图13是实现本发明实施例的跌倒检测方法的电子设备的结构示意图；
36.图14是根据本发明实施例五提供的一种跌倒检测设备的结构示意图。
具体实施方式
37.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
38.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
39.实施例一
40.图1为本发明实施例一提供了一种跌倒检测方法的流程图，本实施例可适用于人体的跌倒检测的情况，该方法可以由跌倒检测装置来执行，该跌倒检测装置可以采用硬件和/或软件的形式实现，该跌倒检测装置可配置于电子设备中，例如跌倒检测设备等。如图1所示，本实施例一提供的一种跌倒检测方法，应用于跌倒检测系统，该跌倒检测系统包括热成像模块、射频收发模块以及无线接入点模块，具体包括如下步骤：
41.s110、根据热成像模块撷取待测目标在预设时间内的红外线热图像，根据红外线热图像确定待测目标的第一速度。
42.其中，待测目标可以理解为待检测跌倒状态的目标，待测目标可以包括但不限于老人、儿童等，待测目标可以位于某个空间内，例如居家室内、办公室、车库等。热成像模块可以是指对物体散发出的红外线进行感光成像的功能模块，热成像模块可以包括各类热成像仪、热成像相机等。红外线热图像可以是指由热成像模块接收和记录的物体发射的热辐射能而形成的图像，不同物体或同一物体的不同部位通常具有不同的热辐射特性。第一速度可以理解为利用待测目标的红外线热图像确定的待测目标速度。预设时间可以是指预先配置的采集待测目标信息的时间，预设时间可以设置为2秒或者3秒等，本发明实施例对此不进行限制。
43.在本发明实施例中，可以在预设时间内调用热成像模块撷取待测目标的红外线热图像，并根据该红外线热图像去确定待测目标的第一速度，其中，根据红外线热图像确定待测目标的第一速度的方式可以包括但不限于以下几种：可以将撷取的红外线热图像输入至已经训练好的深度学习网络模型中，将模型的输出结果作为待测目标的第一速度；可以将撷取的红外线热图像与预先存储的标准红外线热图像进行对比，标定出红外线热图像中人体热区的中心点，进而根据中心点在预设时间内的移动距离去确定待测目标的第一速度。
44.s120、根据射频收发模块采集无线接入点模块在预设时间内传输的无线网络封包
数据，根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度。
45.其中，无线接入点(access point，ap)模块可以是指用于发送无线网络封包数据的设备，无线接入点可以包括安装有无线网卡的计算机设备、具有无线通信功能的智能终端或者其他类型的无线ap设备等，无线ap模块的数量可以为一个或者多个。射频(radio frequency，rf)收发模块可以是指用于收发、处理无线网络封包数据的功能模块，rf收发模块可以包括rf前端电路、rf收发电路以及rf处理器等功能单元，rf收发模块的数量可以为一个或者多个。无线网络封包数据可以是指由无线ap模块发送并由rf收发模块接收到的数据，无线网络封包数据可以包括：散射电场数据、接收电场数据、信道状态信息(csi)等。网络封包吞吐量可以是指在某段时间内利用rf收发模块接收到的无线网络封包数据的数据量。第二速度可以理解为利用无线网络封包数据确定的待测目标速度。
46.在本发明实施例中，可以调用rf收发模块在预设时间内持续采集由无线ap模块发送的无线网络封包数据，将无线网络封包数据的数据量作为网络封包吞吐量，以及根据无线网络封包数据确定待测目标的第二速度，其中，根据无线网络封包数据确定待测目标的第二速度的方式可以为：可以先从无线网络封包数据中提取出与待测目标速度有关的特征信息，再将该特征信息输入至已经训练好的深度学习网络模型中，进而根据模型的输出结果去确定待测目标的第二速度。根据无线网络封包数据确定待测目标的第二速度的方式还可以为：根据无线网络封包数据确定csi功率响应的自相关函数，再根据预先配置的自相关函数与第二速度的对应关系，例如可以根据csi功率响应的自相关函数的第一局部谷值的位置去确定待测目标的第二速度。
47.s130、根据第一速度、第二速度以及网络封包吞吐量生成并确定待测目标的跌倒状态的检测结果。
48.在本发明实施例中，由于当待测目标处于跌倒状态时，rf收发模块接收的无线网络封包数据的网络封包吞吐量会出现由低变高的情况，因此，可以结合第一速度、第二速度以及网络封包吞吐量去综合确定待测目标的跌倒检测结果，例如，若第一速度和第二速度均大于预先配置的待测目标最大速度阈值，且射频收发模块在预设时间内采集的无线网络封包数据的网络封包吞吐量的变化情况为由低到高，则确定检测结果为待测目标处于跌倒状态。进一步地，当确定检测结果为待测目标处于跌倒状态时，还可以触发蜂鸣器、显示屏等设备发出报警声音、显示警示文字等报警提示信息以提示有跌倒事件发生。进一步，若第一速度和/或第二速度小于预先配置的待测目标最大速度阈值，且射频收发模块在预设时间内采集的无线网络封包数据的网络封包吞吐量的变化情况为由低到高，则确定检测结果为待测目标处于坐下或蹲下状态，即非跌倒状态。
49.本发明实施例的技术方案，通过根据热成像模块撷取待测目标在预设时间内的红外线热图像，根据红外线热图像确定待测目标的第一速度，根据射频收发模块采集无线接入点模块在预设时间内传输的无线网络封包数据，根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度，根据第一速度、第二速度以及网络封包吞吐量生成并确定待测目标的跌倒状态的检测结果。本发明实施例通过根据红外线热图像确定待测目标的第一速度，以及根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度，进而结合第一速度、第二速度以及网络封包吞吐量去综合确定待测目标的跌倒检测结果，提高了跌倒检测结果的准确性，降低了跌倒检测的成本。
50.实施例二
51.图2为本发明实施例二提供的一种跌倒检测方法的流程图，基于上述实施方式进一步进行优化与扩展，并可以与上述实施方式中各个可选技术方案结合。如图2所示，本实施例二提供的一种跌倒检测方法，具体包括如下步骤：
52.s210、将热成像模块撷取的红外线热图像与预设标准红外线热图像进行比对，确定红外线热图像的中心点。
53.其中，预设标准红外线热图像可以是指针对待测目标预先撷取并存储的标准红外线热图像，预设标准红外线热图像可以用于标定出撷取的待测目标红外线热图像的中心点，预设标准红外线热图像可以预先存储于各种存储设备、本地或者远程服务器的数据库等位置。中心点可以包括红外线热图像的两条对角线的交点、红外线热图像中待测目标的前胸或者腹部位置等。
54.在本发明实施例中，可以调用热成像模块在预设时间(例如不限于2秒或3秒等)内撷取多张待测目标的红外线热图像，由于待测目标的温度相较于周围环境温度较高，故可以将采集的红外线热图像进行边缘剔除处理，保留只包含待测目标红色高温热区的矩形区域，再将处理后的红外线热图像与预先配置的预设标准红外线热图像进行比对，进而标定出红外线热图像的中心点，其中，中心点可以包括但不限于红外线热图像的两条对角线的交点、红外线热图像中待测目标的前胸或者腹部位置等，预设标准红外线热图像可以位于各种存储设备、本地或者远程服务器的数据库等存储位置，本发明实施例对此不进行限制。
55.s220、将预设时间内红外线热图像的中心点的移动距离与预设时间的比值作为第一速度。
56.在本发明实施例中，可以利用预设时间内采集的红外线热图像的中心点的移动距离去确定待测目标的第一移动速度，即将预设时间内红外线热图像的中心点的移动距离与预设时间的比值作为第一速度。
57.s230、将射频收发模块在预设时间内获取的无线网络封包数据的数据量作为网络封包吞吐量。
58.在本发明实施例中，可以调用rf收发模块在预设时间内持续采集由无线ap模块发送的无线网络封包数据，并将无线网络封包数据的数据量作为网络封包吞吐量。需要理解的是，若待测目标在预设时间内一直保持同一状态，则获取的网络封包吞吐量会基本保持不变；若待测目标在预设时间内出现坐下、蹲下、跌倒等状态时，则获取的网络封包吞吐量会出现由低变高的情况，因此，利用网络封包吞吐量在预设时间内的高低变化，可以用来辅助判断待测目标的状态。
59.s240、确定射频收发模块接收的无线网络封包数据中的接收电场总功率和信道状态信息。
60.其中，信道状态信息(csi)可以是指用来估计一条通信链路的信道特征，csi可以描述信号在传输过程的衰弱信息，例如信号散射、环境衰弱、距离衰减等信息。
61.在本发明实施例中，可以在rf收发模块接收的无线网络封包数据中提取所需的接收电场总功率和信道状态信息，其中，接收电场总功率可以表示为散射电场幅值的平方，csi可以表示为无线ap模块的发送信号与射频收发模块的接收信号的比值。
62.s250、将接收电场总功率与高斯白噪声功率之和作为信道状态信息的功率响应。
63.在本发明实施例中，可以将csi功率响应确定为接收电场总功率与高斯白噪声功率之和，其中，高斯白噪声服从均值为零、恒定方差的高斯分布。
64.s260、确定信道状态信息的功率响应对应的自相关函数。
65.其中，自相关函数(autocorrelation function，acf)可以是指一个信号在其不同时间点的互相关，自相关函数可以用来表征一个信号经过类似于反射、折射等其他情况的延时后的副本信号与原信号的相似程度。
66.在本发明实施例中，假设csi功率响应为p(t,f)，则其对应的acf可以表示为：
67.ac{p(t,f)}＝cov[p(t,f),p(t-τ,f)]
ꢀꢀꢀ
(1)
[0068]
其中，ac{
·
}表示csi功率响应p(t,f)的自相关函数acf，cov[
·
]表示卷积运算，τ表示时间延迟，t表示时间，f表示中心频率。
[0069]
进一步地，在上述发明实施例的基础上，csi功率响应的自相关函数可以用公式表示如下：
[0070][0071]
其中，表示信道状态信息的功率响应对应的自相关函数，t表示预设时间，ω1和ω2表示比例因子，e
jξ
表示跌倒检测系统接收的第j个散射物体在x、y和z轴方向上的散射电场，表示散射电场对应的自相关函数。
[0072]
s270、将自相关函数的第一局部谷值的横坐标作为空间距离，空间距离为待测目标在预设时间内的移动距离，且空间距离单位以波长为单位。
[0073]
其中，第一局部谷值可以是指自相关函数的第一个局部最小值(谷值)。空间距离可以是指待测目标在预设时间内的移动距离，且空间距离以波长为单位，空间距离可以是波长与波数的函数，因此空间距离与第二速度有关。
[0074]
在本发明实施例中，可以将待测目标在预设时间内的移动距离作为空间距离，其中，该空间距离以波长为单位，且是波长与波数的函数，因此空间距离与第二速度有关，空间距离可以由csi功率响应的自相关函数的第一局部谷值对应的横坐标进行确定。
[0075]
s280、将空间距离与预设时间的比值作为第二速度。
[0076]
s290、若第一速度和第二速度均大于预设速度阈值，且网络封包吞吐量的变化为由低到高，则确定检测结果为待测目标处于跌倒状态。
[0077]
其中，预设速度阈值可以是指预先配置的待测目标的速度阈值，预设速度阈值可以设置为0.8米/秒、1米/秒等。
[0078]
在本发明实施例中，可以结合第一速度、第二速度以及网络封包吞吐量去确定待测目标的跌倒检测结果，即若第一速度和第二速度均大于预先配置的预设速度阈值，且射频收发模块在预设时间内采集的无线网络封包数据的网络封包吞吐量的变化情况为由低到高，则确定检测结果为待测目标处于跌倒状态。进一步，若第一速度和/或第二速度小于预先配置的预设速度阈值，且射频收发模块在预设时间内采集的无线网络封包数据的网络封包吞吐量的变化情况为由低到高，则确定检测结果为待测目标处于坐下或蹲下状态。
[0079]
进一步地，在上述发明实施例的基础上，本实施例二提供的一种跌倒检测方法，还包括：
[0080]
若第一速度和第二速度均大于预设速度阈值，且网络封包吞吐量的变化不是由低到高，则对预设速度阈值进行修正。
[0081]
在本发明实施例中，当出现第一速度和第二速度均大于预设速度阈值，且网络封包吞吐量的变化不是由低到高的情况时，说明此前预先配置的预设速度阈值已不再准确，此时需要重新观察待测目标的移动速度以实现对预设速度阈值进行修正。
[0082]
进一步地，在上述发明实施例的基础上，本实施例二提供的一种跌倒检测方法，还包括：
[0083]
在检测结果为待测目标处于跌倒状态时，控制蜂鸣器发出报警声音。
[0084]
在本发明实施例中，当确定检测结果为待测目标处于跌倒状态时，电子设备可以控制蜂鸣器发出报警声音以提示有跌倒事件发生。需要理解的是，在检测结果为待测目标处于跌倒状态时，控制蜂鸣器发出报警声音仅作为示例，实际应用中还可以选择触发警示灯、屏幕警示文字等报警方式，本发明实施例对此不进行限制。
[0085]
本发明实施例的技术方案，通过将热成像模块撷取的红外线热图像与预设标准红外线热图像进行比对，确定红外线热图像的中心点，将预设时间内红外线热图像的中心点的移动距离与预设时间的比值作为第一速度，将射频收发模块在预设时间内获取的无线网络封包数据的数据量作为网络封包吞吐量，确定射频收发模块接收的无线网络封包数据中的接收电场总功率和信道状态信息，将接收电场总功率与高斯白噪声功率之和作为信道状态信息的功率响应，确定信道状态信息的功率响应对应的自相关函数，将自相关函数的第一局部谷值的横坐标作为空间距离，空间距离为待测目标在预设时间内的移动距离，且空间距离单位以波长为单位，将空间距离与预设时间的比值作为第二速度，若第一速度和第二速度均大于预设速度阈值，且网络封包吞吐量的变化为由低到高，则确定检测结果为待测目标处于跌倒状态。本发明实施例通过根据红外线热图像的中心点的移动距离确定待测目标的第一速度，根据无线网络封包数据确定网络封包吞吐量以及根据csi功率响应的自相关函数去待测目标的第二速度，进而结合第一速度、第二速度以及网络封包吞吐量去综合确定待测目标的跌倒检测结果，提高了跌倒检测结果的准确性，降低了跌倒检测的成本。
[0086]
实施例三
[0087]
图3为本发明实施例三提供的一种跌倒检测系统的示例图。如图3所示，该跌倒检测系统包括：无线接入点模块31、热成像模块32、射频收发模块33、处理器34、存储器35以及蜂鸣器36。其中，
[0088]
无线接入点模块31用于发射无线网络封包数据；
[0089]
热成像模块32用于撷取待测目标的红外线热图像，并将红外线热图像发送至处理器；
[0090]
射频收发模块33用于采集无线接入点模块传输的无线网络封包数据，并将无线网络封包数据发送至处理器；
[0091]
处理器34用于接收红外线热图像，并根据红外线热图像确定待测目标的第一速度；接收无线网络封包数据，并根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度；根据第一速度、第二速度以及网络封包吞吐量生成并确定待测目标的跌倒状态的检测结果；
[0092]
存储器35用于存储待测目标的预设标准红外线热图像；
[0093]
蜂鸣器36用于在检测结果为待测目标处于跌倒状态时，发出报警声音。
[0094]
基于以上跌倒检测系统，图4为本发明实施例三提供的一种跌倒检测方法的流程示例图。如图4所示，跌倒检测方法的流程主要包括：(1)红外镜头(lens)模块撷取待测目标的红外线热图像，根据红外线热图像确定待测目标的第一速度；(2)rf前端电路收发电磁波，根据收发的电磁波确定第二速度以及网络封包吞吐量；(3)根据第一速度、第二速度以及网络封包吞吐量生成并确定是否发生跌倒事件。
[0095]
基于以上跌倒检测系统，图5为本发明实施例三提供的一种跌倒检测方法的流程图，本实施例在上述实施例的基础上，提供了一种跌倒检测方法的一个实施方式，能够根据热成像模块撷取的红外线热图像确定待测目标的第一速度，根据射频收发模块接收的无线网络封包数据确定第二速度以及网络封包吞吐量，进而根据第一速度、第二速度以及网络封包吞吐量生成并确定待测目标的跌倒状态的检测结果。如图5所示，本发明实施例三提供的一种跌倒检测方法，具体包括如下步骤：
[0096]
s310、根据热成像模块撷取的红外线热图像确定待测目标的第一速度。
[0097]
在本发明实施例中，可以利用热成像模块撷取如图6所示的待测目标的红外线热图像，再将撷取的红外线热图像与存储器中的预设标准红外线热图像进行比对以找出红外线热图像的中心点，具体原理是：因为人体在红外线热图像中形成的热区相较于周围环境温度较高(假设在室内)，故在红外线热图像中去除背景热图以找到如图7所示的待测目标的人体热区，其中，人体热区的宽度为w，高度为h，将由w
×
h构成的长方形区域的两条对角线的交点标定为红外线热图像的中心点，最后将预设时间内红外线热图像的中心点的移动距离与预设时间的比值作为第一速度v1。通过第一速度可以在一定程度上判断出待测目标处于正常行走、跌倒、站立不动、蹲下等状态，示例性的，若第一速度小于预设速度阈值，则表明待测目标处于正常行走或站立不动或蹲下等状态，而非跌倒状态；由于人体跌倒会产生一个加速度，因此若第一速度大于预设速度阈值，则表明待测目标可能处于跌倒状态。
[0098]
s320、根据射频收发模块接收的无线网络封包数据确定待测目标的第二速度以及网络封包吞吐量。
[0099]
在本发明实施例中，如图4所示，待测目标处于无线ap模块与红外镜头(lens)模块以及rf前端电路之间的可视范围(line of sight，los)内，rf前端电路可以持续接收到由无线ap模块发送的电磁波信号以及csi。下面介绍通过电磁波信号以及csi确定待测目标的第二速度的过程。
[0100]
由于待测目标处于无线ap模块与rf前端电路之间的可视范围内，因此，无线ap模块发送的电磁波信号会由于待测目标而发生散射，经多路径传播后由rf前端电路接收到的电磁波散射电场表示如下：
[0101][0102]
式中，表示rf前端电路接收到的在时间t且操作在中心频率为f的第j个散射物体的散射电场；表示角频谱(angular spectrum)；表示有方向性的波数；表示第j个散射物体的速度。
[0103]
散射电场的自相关函数(acf)表示如下：
[0104][0105]
将电场按照三维的观点拆解成第j个散射物体的x轴成份、y轴成份和z轴成份，则公式(4)可以拆解如下：
[0106][0107][0108]
其中，和分别表示第j个散射物体的电场x轴成份和y轴成份，表示第j个散射物体的电场z轴成份。
[0109]
假设待测目标在时间t内的移动距离d＝vjt，波数为λ表示波长，且假设距离d的单位为λ，则对于公式(5)和(6)带入空间参数后的空间acf(spatial acf)可以表示如下：
[0110][0111][0112]
其中，和分别表示第j个散射物体的电场x轴成份和y轴成份的空间acf，表示第j个散射物体的电场z轴成份的空间acf。
[0113]
基于电场的叠加原理，假设若rf前端电路接收到的散射电场为
[0114][0115]
式中，表示环境中静态散射体的集合，θ表示环境中动态散射体的集合，表示第l个静态散射物体的接收电场，表示第κ个动态散射物体的接收电场。
[0116]
则由rf前端电路接收到的csi功率响应可以表示如下：
[0117][0118]
式中，p(t,f)表示csi功率响应，c(t,f)表示rf前端电路在时间t且操作在中心频率为f的接收到的子载波上的csi，|c(t,f)|2表示csi大小的平方，υ(t,f)表示接收电场总功率，w(t,f)表示加性高斯白噪声(additive white gaussian noise，awgn)，且其服从均值为零、恒定方差的高斯分布，即w(t,f)～n(0,σ
w2
)。其中，c(t,f)还可以表示如下：
[0119][0120]
式中，t(t,f)表示在时间t且操作在中心频率为f经由子载波的发送信号(由无线ap模块发送的)，r(t,f)表示在时间t且操作在中心频率为f经由子载波的接收信号(由rf前端电路接收的)。
[0121]
公式(10)可以改写为：
[0122][0123]
则csi功率响应p(t,f)的自相关函数表示如下：
[0124][0125]
式中，ac{
·
}表示csi功率响应p(t,f)的自相关函数acf，cov[
·
]表示卷积运算，符号表示自相关函数，δ(τ)表示狄拉克δ函数(dirac delta function)。
[0126]
由公式(13)可以得到接收电场的功率方差为：
[0127][0128]
综上，csi功率响应p(t,f)的自相关函数acf可以表示如下：
[0129][0130]
式中，ω1和ω2表示比例因子。
[0131]
公式(8)是csi功率响应的自相关函数acf在在第j个散射物体的电场z轴成份的空间acf特解，若公式(8)想要取得最大值或最小值，则公式(8)应满足：
[0132][0133]
令则方程(16)可以改写为：
[0134][0135]
若方程(17)成立，则需满足：
[0136]
或{sin c(2πd)-cos(2πd)}＝0。
[0137]
可以看出，前一方程的解为d趋向无穷大，不符合实际条件，舍去；后一方程的第一个解为第一个谷值函数的特解，即解为第j个散射物体在z轴上的acf特解。
[0138]
综上确定出待测目标的第二速度v2＝∑vj，式中，∑vj表示是第j个散射物体在x、y、z三轴的散射电磁场估算出来的速度分量之总和，且z轴是移动方向轴。
[0139]
下面介绍通过电磁波信号确定网络封包吞吐量的过程。
[0140]
如图8所示，由于待测目标处于无线ap与跌倒检测设备的rf前端电路之间的可视范围内，rf前端电路可以持续接收网络封包吞吐量(例如tcp或udp吞吐量)，无线ap发射出的电磁波会因为待测目标的阻碍而导致电磁波发生反射、散射、多路径衰耗等现象，因此在正常情况下rf前端电路接收到的网络封包吞吐量会相对较低，但当待测目标发生跌倒事件时，如图9所示，由于待测目标对电磁波的阻碍情况突然减小，因此rf前端电路接收到的网络封包吞吐量会突然由低变高，借此来辅助判断待测目标是否发生跌倒。为了扩大跌倒检测范围，可以在预设空间(例如室内)内设置多个跌倒检测系统，跌倒检测系统包括无线接入点模块(发射端)和跌倒检测设备(接收端)，如图10所示，以两个无线接入点模块(无线ap1和无线ap2)和两个跌倒检测设备(跌倒检测主设备和跌倒检测从设备)为例，跌倒检测主设备与无线ap2建立通信链路，跌倒检测从设备与无线ap1建立通信链路，同时为了避免同频干扰带来的影响，无线ap1可以采用wlan 2.4g进行联机，无线ap2可以采用wlan 5g进行联机。
[0141]
s330、根据第一速度、第二速度以及网络封包吞吐量生成并确定待测目标的跌倒状态的检测结果。
[0142]
在本发明实施例中，若第一速度和第二速度均大于预先配置的预设速度阈值vw，
且网络封包吞吐量的变化情况为由低到高，则确定检测结果为待测目标处于跌倒状态，同时可以控制蜂鸣器发出报警声音以提示有跌倒事件发生。进一步地，若第一速度和/或第二速度小于预先配置的预设速度阈值vw，且射频收发模块在预设时间内采集的无线网络封包数据的网络封包吞吐量的变化情况为由低到高，则确定检测结果为待测目标处于坐下或蹲下状态；同时，当出现第一速度和第二速度均大于预设速度阈值vw，且网络封包吞吐量的变化不是由低到高的情况时，说明此前预先配置的预设速度阈值已不再准确，此时需要重新观察待测目标的移动速度以实现对预设速度阈值进行修正。
[0143]
图11为本发明实施例三提供的另一种跌倒检测方法的流程图。如图11所示，该跌倒检测方法是对图5所示的跌倒检测方法的进一步细化，具体实施过程与上述过程类似，此处不再赘述。
[0144]
本发明实施例的技术方案，通过根据热成像模块撷取的红外线热图像确定待测目标的第一速度，根据射频收发模块接收的无线网络封包数据确定待测目标的第二速度以及网络封包吞吐量，根据第一速度、第二速度以及网络封包吞吐量生成确定待测目标的跌倒状态的检测结果。本发明实施例可以提高跌倒检测结果的准确性，降低待测目标跌倒检测的成本，同时运算复杂较低即检测效率较高。
[0145]
实施例四
[0146]
图12为本发明实施例四提供的一种跌倒检测装置的结构示意图。如图12所示，该装置应用于跌倒检测系统，跌倒检测系统包括热成像模块、射频收发模块以及无线接入点模块，该装置包括：
[0147]
第一速度确定模块41，用于根据热成像模块撷取待测目标在预设时间内的红外线热图像，根据红外线热图像确定待测目标的第一速度。
[0148]
网络封包吞吐量及第二速度确定模块42，用于根据射频收发模块采集无线接入点模块在预设时间内传输的无线网络封包数据，根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度。
[0149]
跌倒检测模块43，用于根据第一速度、第二速度以及网络封包吞吐量生成并确定待测目标的跌倒状态的检测结果。
[0150]
本发明实施例的技术方案，通过第一速度确定模块根据热成像模块撷取待测目标在预设时间内的红外线热图像，根据红外线热图像确定待测目标的第一速度，网络封包吞吐量及第二速度确定模块根据射频收发模块采集无线接入点模块在预设时间内传输的无线网络封包数据，根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度，跌倒检测模块根据第一速度、第二速度以及网络封包吞吐量生成并确定待测目标的跌倒状态的检测结果。本发明实施例通过根据红外线热图像确定待测目标的第一速度，以及根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度，进而结合第一速度、第二速度以及网络封包吞吐量去综合确定待测目标的跌倒检测结果，提高了跌倒检测结果的准确性，降低了跌倒检测的成本。
[0151]
进一步地，在上述发明实施例的基础上，第一速度确定模块41包括：
[0152]
中心点确定单元，用于将热成像模块撷取的红外线热图像与预设标准红外线热图像进行比对，确定红外线热图像的中心点。
[0153]
第一速度确定单元，用于将预设时间内红外线热图像的中心点的移动距离与预设
时间的比值作为第一速度。
[0154]
进一步地，在上述发明实施例的基础上，网络封包吞吐量及第二速度确定模块42包括：
[0155]
网络封包吞吐量确定单元，用于将射频收发模块在预设时间内获取的无线网络封包数据的数据量作为网络封包吞吐量。
[0156]
接收数据确定单元，用于确定射频收发模块接收的无线网络封包数据中的接收电场总功率和信道状态信息。
[0157]
功率响应确定单元，用于将接收电场总功率与高斯白噪声功率之和作为信道状态信息的功率响应。
[0158]
自相关函数确定单元，用于确定信道状态信息的功率响应对应的自相关函数。
[0159]
空间距离确定单元，用于将自相关函数的第一局部谷值的横坐标作为空间距离，空间距离为待测目标在预设时间内的移动距离，且空间距离单位以波长为单位。
[0160]
第二速度确定单元，用于将空间距离与预设时间的比值作为第二速度。
[0161]
进一步地，在上述发明实施例的基础上，信道状态信息的功率响应对应的自相关函数表示如下：
[0162][0163]
其中，表示信道状态信息的功率响应对应的自相关函数，t表示预设时间，ω1和ω2表示比例因子，e
jξ
表示跌倒检测系统接收的第j个散射物体在x、y和z轴方向上的散射电场，表示散射电场对应的自相关函数。
[0164]
进一步地，在上述发明实施例的基础上，跌倒检测模块43包括：
[0165]
跌倒状态确定单元，用于若第一速度和第二速度均大于预设速度阈值，且网络封包吞吐量的变化为由低到高，则确定检测结果为待测目标处于跌倒状态。
[0166]
进一步地，在上述发明实施例的基础上，该装置还包括：
[0167]
阈值修正模块，用于若第一速度和第二速度均大于预设速度阈值，且网络封包吞吐量的变化不是由低到高，则对预设速度阈值进行修正。
[0168]
进一步地，在上述发明实施例的基础上，该装置还包括：
[0169]
报警模块，用于在检测结果为待测目标处于跌倒状态时，控制蜂鸣器发出报警声音。
[0170]
本发明实施例所提供的跌倒检测装置可执行本发明任意实施例所提供的跌倒检测方法，具备执行方法相应的功能模块和有益效果。
[0171]
实施例五
[0172]
图13示出了可以用来实施本发明的实施例的电子设备50的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0173]
如图13所示，电子设备50包括至少一个处理器51，以及与至少一个处理器51通信连接的存储器，如只读存储器(rom)52、随机访问存储器(ram)53等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器51可以根据存储在只读存储器(rom)52中的计算机程序或者从存储单元58加载到随机访问存储器(ram)53中的计算机程序，来执行各种适当的动作和处理。在ram 53中，还可存储电子设备50操作所需的各种程序和数据。处理器51、rom 52以及ram 53通过总线54彼此相连。输入/输出(i/o)接口55也连接至总线54。
[0174]
电子设备50中的多个部件连接至i/o接口55，包括：输入单元56，例如键盘、鼠标等；输出单元57，例如各种类型的显示器、扬声器等；存储单元58，例如磁盘、光盘等；以及通信单元59，例如网卡、调制解调器、无线通信收发机等。通信单元59允许电子设备50通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0175]
处理器51可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器51的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器51执行上文所描述的各个方法和处理，例如跌倒检测方法。
[0176]
在一些实施例中，跌倒检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元58。在一些实施例中，计算机程序的部分或者全部可以经由rom 52和/或通信单元59而被载入和/或安装到电子设备50上。当计算机程序加载到ram 53并由处理器51执行时，可以执行上文描述的跌倒检测方法的一个或多个步骤。备选地，在其他实施例中，处理器51可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行跌倒检测方法。
[0177]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0178]
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0179]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电
气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0180]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0181]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0182]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0183]
图14是本发明实施例五提供的一种跌倒检测设备的结构示意图。如图14所示，该跌倒检测设备包括：热成像模块61、热成像处理器62、射频收发模块63、射频处理器64、存储器65、决策处理器66以及蜂鸣器67。其中，热成像模块61用于采集待测目标的红外线热图像，并将红外线热图像发送至热成像处理器，其中，热成像模块61可以包括lens模组和cmos传感器；
[0184]
热成像处理器62用于接收红外线热图像，并根据红外线热图像确定待测目标的第一速度；
[0185]
射频收发模块63用于采集无线接入点模块传输的无线网络封包数据，并将无线网络封包数据发送至射频处理器，其中，射频收发模块63可以包括rf前端电路和rf收发电路；
[0186]
射频处理器64用于接收无线网络封包数据，并根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度；
[0187]
存储器65用于存储待测目标的预设标准红外线热图像；
[0188]
决策处理器66用于根据第一速度、第二速度以及网络封包吞吐量生成确定待测目标的跌倒状态的检测结果；
[0189]
蜂鸣器67用于在检测结果为待测目标处于跌倒状态时，发出报警声音。
[0190]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0191]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种跌倒检测方法，其特征在于，所述跌倒检测方法应用于跌倒检测系统，所述跌倒检测系统包括热成像模块、射频收发模块以及无线接入点模块，所述跌倒检测方法包括：根据所述热成像模块撷取待测目标在预设时间内的红外线热图像，根据所述红外线热图像确定所述待测目标的第一速度；根据所述射频收发模块采集所述无线接入点模块在所述预设时间内传输的无线网络封包数据，根据所述无线网络封包数据确定网络封包吞吐量以及所述待测目标的第二速度；根据所述第一速度、所述第二速度以及所述网络封包吞吐量生成并确定所述待测目标的跌倒状态的检测结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述热成像模块撷取待测目标在预设时间内的红外线热图像，根据所述红外线热图像确定所述待测目标的第一速度，包括：将所述热成像模块撷取的所述红外线热图像与预设标准红外线热图像进行比对，确定所述红外线热图像的中心点；将所述预设时间内所述红外线热图像的所述中心点的移动距离与所述预设时间的比值作为所述第一速度。3.根据权利要求1所述的方法，其特征在于，所述根据所述射频收发模块采集所述无线接入点模块在所述预设时间内传输的无线网络封包数据，根据所述无线网络封包数据确定网络封包吞吐量以及所述待测目标的第二速度，包括：将所述射频收发模块在所述预设时间内获取的所述无线网络封包数据的数据量作为所述网络封包吞吐量；确定所述射频收发模块接收的所述无线网络封包数据中的接收电场总功率和信道状态信息；将所述接收电场总功率与高斯白噪声功率之和作为所述信道状态信息的功率响应；确定所述信道状态信息的功率响应对应的自相关函数；将所述自相关函数的第一局部谷值的横坐标作为空间距离，所述空间距离为所述待测目标在所述预设时间内的移动距离，且所述空间距离单位以波长为单位；将所述空间距离与所述预设时间的比值作为所述第二速度。4.根据权利要求3所述的方法，其特征在于，所述信道状态信息的功率响应对应的自相关函数表示如下：其中，表示所述信道状态信息的功率响应对应的自相关函数，t表示所述预设时间，ω1和ω2表示比例因子，e
jξ
表示所述跌倒检测系统接收的第j个散射物体在x、y和z轴方向上的散射电场，表示所述散射电场对应的自相关函数。5.根据权利要求1所述的方法，其特征在于，所述根据所述第一速度、所述第二速度以及所述网络封包吞吐量生成并确定所述待测目标的跌倒状态的检测结果，包括：若所述第一速度和所述第二速度均大于预设速度阈值，且所述网络封包吞吐量的变化为由低到高，则确定所述检测结果为所述待测目标处于跌倒状态。
6.根据权利要求5所述的方法，其特征在于，还包括：若所述第一速度和所述第二速度均大于所述预设速度阈值，且所述网络封包吞吐量的变化不是由低到高，则对所述预设速度阈值进行修正。7.根据权利要求1所述的方法，其特征在于，还包括：在所述检测结果为所述待测目标处于跌倒状态时，控制蜂鸣器发出报警声音。8.一种跌倒检测装置，其特征在于，所述跌倒检测装置应用于跌倒检测系统，所述跌倒检测系统包括热成像模块、射频收发模块以及无线接入点模块，所述跌倒检测装置包括：第一速度确定模块，用于根据所述热成像模块撷取待测目标在预设时间内的红外线热图像，根据所述红外线热图像确定所述待测目标的第一速度；网络封包吞吐量及第二速度确定模块，用于根据所述射频收发模块采集所述无线接入点模块在所述预设时间内传输的无线网络封包数据，根据所述无线网络封包数据确定网络封包吞吐量以及所述待测目标的第二速度；跌倒检测模块，用于根据所述第一速度、所述第二速度以及所述网络封包吞吐量生成并确定所述待测目标的跌倒状态的检测结果。9.一种电子设备，其特征在于，所述电子设备包括：热成像模块、射频收发模块；至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的跌倒检测方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的跌倒检测方法。

技术总结
本发明公开了一种跌倒检测方法、装置、电子设备和存储介质。该方法应用于跌倒检测系统，跌倒检测系统包括热成像模块、射频收发模块以及无线接入点模块，包括：根据热成像模块撷取待测目标在预设时间内的红外线热图像，根据红外线热图像确定待测目标的第一速度，根据射频收发模块采集无线接入点模块在预设时间内传输的无线网络封包数据，根据无线网络封包数据确定网络封包吞吐量以及待测目标的第二速度，根据第一速度、第二速度以及网络封包吞吐量生成并确定待测目标的跌倒状态的检测结果。根据红外线热图像和无线网络封包数据确定待测目标的速度和网络封包吞吐量，结合速度和网络封包吞吐量确定跌倒检测结果，跌倒检测结果更准确，成本更低。成本更低。成本更低。


技术研发人员：王冠雄
受保护的技术使用者：立讯精密工业股份有限公司
技术研发日：2023.07.18
技术公布日：2023/10/11