独居群体的室内人员活动实时监测与预警系统及方法

1.本发明室内人员活动监控技术领域，具体涉及一种针对独居群体的室内人员活动实时监测与预警系统和方法。


背景技术：

2.随着物联网技术的迅速发展，室内人员动作识别已经成为构建以人为中心的万物互联系统的关键因素，在智能家居方面有着广泛的应用前景。此外，考虑到孤寡老人为代表的独居人群数量日益增多，及时对发生的意外做出报警也显得尤为重要。
3.当前人体动作感知技术主要分为两大类：一类是基于传感器的方式，如利用加速度传感器获取加速度信号；另一类是基于非接触式的方式，如视频图像或电磁波信号等。基于传感器的动作识别方法获取数据简单且精度高，但需要时刻佩戴相关感知设备并定时更换电池或为设备充电，难以大规模推广。基于计算机视觉的方法多通过摄像头获取室内图像或视频信息，这种方法最为直观但存在隐私和视线要求等问题。基于电磁波的活动感知方法又基于专用的雷达信号、uwb信号和wifi信号等。雷达或uwb信号往往需要在室内部署专业设备，成本较高；而wifi信号成本低、易于部署、不依赖视觉，成为物联网的下一个研究热点，但其对环境变化十分敏感泛化能力差。


技术实现要素：

4.为了解决上述问题，本发明提供了一种针对独居群体的室内人员活动实时监测和预警系统和方法，通过将基于wifi的无线局域网与室内摄像头结合，以解决现有监控系统准确度有限和存在的隐私问题，在降低成本、减少干扰的同时扩大监控范围，增强系统鲁棒性。
5.一种针对独居群体的室内人员活动实时监测与预警系统，包括：
6.数据采集模块，输出端与人员身份识别模块的输入端连接，用于采集用户信息数据，所述用户信息数据包括住户的视频图像、wifi物理层数据和用户电子设备的无线信号访问数据；
7.人员身份识别模块，输出端与隐私区域人员行为感知模块以及公共区域人员行为感知模块的输入端连接；利用视频图像和电子设备的无线信号访问数据，对进入室内的人员进行身份识别，判断人员属于室内常驻成员还是外来人员；
8.隐私区域的人员行为感知模块，用于对身份识别模块得到的不同人员进行室内隐私区域的行为感知，得到隐私区域内的是否存在和人员动作感知信息；
9.公共区域的人员行为感知模块，用于对身份识别模块得到的不同身份人员进行室内公共区域的行为感知，得到室内公共区域内的人员数量、位置和人员动作感知信息；
10.预警展示模块，输入端与隐私区域的人员行为感知模块以及公共区域的人员行为感知模块连接；用于根据人员身份识别模块得到的身份信息和人员行为感知模块得到的人员动作感知信息，实现针对外来人员的安防预警、针对危险动作的人员健康预警以及室内
人员行为感知信息的可视化显示。
11.一种针对独居群体的室内人员活动实时监测与预警方法，包括以下步骤：
12.s1、数据采集：采集用户信息数据，所述用户信息数据包括室内人员的视频图像、wifi物理层数据和用户电子设备的无线信号访问数据；
13.s2、数据处理：对s1采集到的用户信息数据进行预处理，得到用户视频图像关键帧和滤波后的电子设备的无线信号访问数据；
14.s3、人员身份识别：根据s2得到的用户视频图像关键帧和滤波后的电子设备的无线信号访问数据，对进入室内的人员进行身份识别，判断室内人员类别，人员类别为外来人员和常驻人员；
15.s4、人员行为感知：对从s3得到的不同类别人员进行公共区域的全场景人员行为感知和隐私区域在内的全场景人员行为感知；
16.s5、人员健康及安防预警和可视化展示：根据s3得到的人员类别和s4得到的全场景人员行为感知结果中的人员动作感知信息判断常驻人员是否存在危险动作，若存在则发出预警。
17.与现有技术相比，本发明至少具有以下有益的技术效果：
18.本发明所述的系统基于计算机视觉和无线局域网，对室内进行实时监测和预警，实现室内人员身份识别、公共区域和隐私区域的人员行为感知，并基于身份识别和人员行为进行安防及健康预警，即对外来人员和危险动作进行预警，和可视化展示功能，即将室内不同区域的人员行为感知信息在可视化平台进行展示。
19.本发明系统与其他集成各种传感器的安防系统相比，只需部署摄像头并搭建无线局域网，结构简单，易于操作，旨在构建一个非接触式的实时监测与预警系统，通过摄像头和搭建无线局域网的路由器设备进行数据采集。系统所包含的相关产品设备如摄像头、路由器、无线网卡等在市场上已经过多次升级迭代，技术成熟度高、稳定性强，不需要依赖专业传感器或信号发射与接收设备，经济成本低。
20.本发明所述的方法与其他只采用摄像头的监测系统相比，本发明创新性的利用无所不在的wifi构建室内无线局域网，将其与摄像头结合建立起全方位、无死角的实时监测与预警系统。对于客厅等可能多人存在的公共区域，利用摄像头获取视频图像进行监测预警；而对于卧室等不适合布置摄像头的隐私区域，则通过路由器搭建无线局域网进行监测预警。本发明提供了一种新的监测预警系统结构和联合摄像头与路由器的智能人员身份识别与行为感知方法，实现对独居人员的实时监测与健康预警，针对性强，具有实际应用优势。
21.进一步的，本系统利用上述方法通过中央处理器对摄像头系统与路由系统采集的实时视频图像信息和wifi数据进行分析处理，自动对标定状态和危险动作进行预警，并在可视化平台动态更新展示监测结果，相比于传统的监控系统更加实时与智能。
22.进一步的，针对wifi数据易受到目标生物学特征和环境影响的特点，本系统采用了一种基于信道状态信息的tcn-svm集成迁移模型。为解决以往动作识别神经网络模型鲁棒性差、性能不稳定的缺点，该模型借助时间卷积网络预训练模型和传统机器学习svm分类模型，将迁移学习与集成学习相互结合，仅需少量样本即可在新环境中获得较高的识别准确率，利用路由器系统采集到的wifi数据，对人员进行无接触式的可跨场景的行为感知。此
外，基于摄像头系统采集到的视频图像可以实现对人员的身份与动作识别。
附图说明
23.图1为本发明的室内人员身份识别和行为感知的非接触式监测与预警系统示意图；
24.图2为本发明的室内人员身份识别和行为感知的非接触式监测与预警系统中信息流图；
25.图3为数据采集模块流程图；
26.图4为数据预处理模块的流程图；
27.图5为人员身份识别模块的流程图；
28.图6为公共区域的人员行为感知模块的流程图；
29.图7为隐私区域的人员行为感知模块的流程图；
30.图8为人员健康及安防预警和可视化展示模块的流程图；
31.图9为人员存在感知子模块的动作起止区间检测模型流程图；
32.图10为隐私区域的人员动作识别子模块的tcn-svm集成迁移神经网络算法流程图；
具体实施方式
33.下面结合附图和具体实施方式对本发明进行详细说明。
34.参照图1，本发明提供室内人员身份识别和行为感知的非接触式监测与预警系统，包括数据采集模块、数据预处理模块、人员身份识别模块、隐私区域与公共区域的人员行为感知模块、人员健康及安防预警和可视化展示模块。
35.其中数据采集模块的输出端连接数据预处理模块输入端，数据预处理模块的输出端连接人员身份识别模块的输入端，人员身份识别模块的输出端连接隐私区域人员行为感知模块、公共区域人员行为感知模块和人员健康及安防预警模块的输入端，隐私区域人员行为感知模块和公共区域人员行为感知模块的输出端连接人员健康及安防预警和可视化展示模块的输入端，人员健康及安防预警和可视化展示模块的输出为相关预警信息、公共区域内的实时监控视频以及包括公共区域和隐私区域在内的全场景实时人员行为感知信息，全场景实时人员行为感知信息包括公共区域人员位置、数量、动作感知信息和隐私区域人员存在、动作感知信息，其中动作感知信息为人员动作或行为，例如静坐、站立、睡觉、行走、下蹲、摔倒等。
36.数据采集模块，包括预先布置在室内用于进行数据采集的若干台路由器和摄像头。考虑到全场景覆盖和保护隐私的特性，在公共区域内合理布置摄像头构成智能摄像头系统，在包括公共区域和隐私区域内的全场景合理布置路由器构成智能路由系统。通过摄像头系统采集住户的视频图像信息，通过路由器系统采集wifi物理层数据(信道状态信息)和用户电子设备的无线信号访问数据(mac地址)。
37.数据预处理模块，用于对数据采集模块获取的用户信息数据进行预处理，包括视频数据预处理模块和wifi物理层数据预处理模块。视频数据预处理模块通过在视频图像的图像序列中提取关键帧消除冗余，wifi物理层数据预处理模块通过对wifi物理层数据和用
户电子设备的无线信号访问数据的嘈杂信号进行滤波来最小化环境噪声的干扰，在降低计算复杂度的同时提高系统性能。
38.人员身份识别模块，利用数据预处理模块得到的用户视频图像的关键帧和电子设备的无线信号访问数据，对进入室内的人员进行身份识别。其中，包括基于摄像头采集的用户视频图像数据获取人脸信息，并与系统内已存储的室内常驻成员人脸信息进行比对；基于路由器采集的电子设备mac地址，与系统内已存储电子设备mac地址进行比对。根据比对结果，判断人员属于室内常驻成员还是外来人员。
39.公共区域的人员行为感知模块，用于对身份识别模块得到的不同身份人员进行室内公共区域的行为感知，其人员信息数据来自于摄像头。基于数据预处理模块得到的用户视频图像预处理数据，采用计算机视觉领域的目标检测(例如faster r-cnn)和动作识别算法(双流卷积神经网络)，得到室内公共区域内的人员数量、位置和动作感知信息(例如行走、站立、静坐等)。
40.隐私区域的人员行为感知模块，用于对身份识别模块得到的不同人员进行室内隐私区域的行为感知，包括人员存在感知子模块和人员动作识别子模块。基于数据预处理模块得到的wifi物理层预处理数据，通过人员存在感知子模块判断室内当前隐私区域内是否有人员存在，通过人员动作子识别模块识别人员动作并对人员存在感知子模块的人员动作感知信息进行更新。
41.其中人员存在感知子模块，基于wifi物理层预处理数据采用滑动方差法判断环境有无人员存在并检测动作起止区间。人员动作识别子模块根据人员存在感知模块得到的动作起止区间，采用本发明提出的tcn-svm集成迁移神经网络识别人员的动作感知信息。
42.人员健康及安防预警和可视化展示模块，用于根据人员身份识别模块得到的身份信息和人员行为感知模块得到的动作感知信息，实现针对外来人员的安防预警、针对危险动作的人员健康预警以及室内人员行为感知信息的可视化显示。人员健康及安防预警和可视化模块包括人员健康及安防预警子模块，和人员行为感知可视化展示子模块。通过人员健康及安防预警子模块，实时对进入室内的外来人员进行安防预警和常驻人员的危险动作进行健康预警。通过人员行为感知可视化展示子模块，根据公共区域和隐私区域的行为感知模块得到全场景内人员的行为感知信息，在可视化平台上定时对公共区域内人员的数量、位置、动作感知信息和隐私区域内人员的存在和动作感知信息进行更新，实现实时监控及人员行为感知信息可视化展示。
43.请参阅图2所示，室内人员身份识别和行为感知的非接触式监测与预警系统的信息流为：依次经过数据采集模块111、中央服务器处理单元112、人员健康及安防预警和可视化展示模块113。数据采集模块111由智能路由系统和智能摄像头系统组成，用于采集室内人员的视频图像信息、wifi物理层数据(信道状态信息)和电子设备的无线信号访问数据(mac地址)。中央服务器处理单元112包括人员身份识别模块、数据处理模块、公共区域和隐私区域的人员行为感知模块，处理单元112对采集到的数据进行处理得到人员身份和行为感知数据。人员健康及安防预警和可视化展示模块113对外来人员和危险动作进行预警、进行实时监控和人员感知信息可视化展示。
44.一种非接触式监测与预警方法，包括以下步骤：
45.s1、数据采集：智能摄像头系统采集人员的视频图像信息，智能路由器系统采集
wifi物理层数据(信道状态信息)和用户电子设备的无线信号访问数据(mac地址)；
46.s2、数据处理：对s1采集到的用户信息数据进行预处理，用户信息数据包括视频数据和wifi物理层数据和用户电子设备的无线信号访问数据，得到用户视频图像关键帧和滤波后的电子设备的无线信号访问数据；
47.s3、人员身份识别：根据s2得到的用户视频图像关键帧和滤波后的电子设备的无线信号访问数据，对进入室内的人员进行身份识别，判断室内人员类别，人员类别为外来人员和常驻人员；
48.s4、人员行为感知：对从s3得到的不同类别人员进行包括公共区域和隐私区域在内的全场景人员行为感知；
49.s5、人员健康及安防预警和可视化展示：根据s3得到的人员类别和s4得到的全场景人员行为感知结果中的动作感知信息判断常驻人员是否存在危险动作，若存在则发出预警。
50.请参阅图3所示，s1中，数据采集模块获取数据的过程，包括以下步骤：
51.s001)、智能路由系统数据采集，通过对室内隐私区域合理布点，按照最小化信号反射和衍射的原则组成智能路由系统。智能路由系统由路由器和搭载无线网卡的电脑终端组成，路由器负责发射wifi信号组成无线局域网，而无线网卡则负责接收wifi物理层数据即信道状态信息和用户电子设备的无线信号访问数据即mac地址，并依靠搭载无线网卡的电脑终端传输至中央服务器。
52.s002)、智能摄像头数据采集，通过对室内公共区域合理布点，按照最大化视野的原则组成智能摄像头系统。摄像头接入系统后，均会有与其相对应的ip访问地址，中央服务器通过对应ip地址访问摄像头获取实时视频图像数据。
53.请参阅图4所示，数据处理模块的用户信息数据预处理过程，包括以下步骤：
54.s101)、视频数据预处理子模块基于光流法分析图像序列中像素在时间域上的变化以及相邻帧之间的相关性，对数据采集模块获得的视频图像信息进行关键帧提取。
55.s102)、wifi物理层数据预处理子模块采用巴特沃斯低通滤波器在频率对wifi物理层数据进行滤波减少环境噪声干扰。频率的上限截至频率为80hz,已知人体四肢运动速度最高约为5m/s(例如人体发生跌倒行为)，根据多普勒公式：
[0056][0057]
带入速度数据可知，对于工作在2.4ghz的路由器，波长为0.125m，则截止频率为80hz。因此选择巴特沃斯低通滤波器过滤由外界环境所带来的高于80hz的高频噪声。
[0058]
请参阅图5所示，身份识别模块的室内人员身份识别过程，包括以下步骤：
[0059]
s201)、基于特征脸的人脸识别：基于特征脸算法，对数据处理模块得到的视频图像关键帧进行识别得到室内人员的人脸特征向量矩阵。
[0060]
s202)、中央服务器的人员信息数据库搭建，为室内常驻人员创建人员信息数据库，该数据库选取室内常驻人员的人脸特征向量和随身携带的电子设备mac地址作为字段。其中，基于s201从图像关键帧提取人脸特征向量矩阵，用eigfi表示第i个人的人脸特征向量矩阵；基于无线网卡接收的无线信号访问数据得到人员随身携带的电子设备mac地址，用maci表示第i个人的电子设备mac地址。
[0061]
s203)、人员身份判定：通过对采集到的人员人脸特征向量矩阵和电子设备mac地址与人员信息数据库的比较结果进行分析，判断其是外来人员还是常驻人员。只有当该人员的人脸特征向量与电子设备mac地址都与数据库记录匹配时，判定为常驻人员；否则判定为外来人员。
[0062]
请参阅图6所示，公共区域的人员行为感知模块的人员行为感知过程，包括以下步骤：
[0063]
s301)、目标检测，基于数据处理模块得到的视频图像关键帧，采用基于深度学习的目标检测算法(如yolov3，fast r-cnn)，得到人员的目标边界框列表，其包括边界框的中心点坐标及长度与宽度。根据目标检测框的位置与数量，获取公共区域内的人员位置与数量感知信息。
[0064]
s302)、基于2d卷积的动作识别算法，根据s301从视频图像关键帧中提取的目标边界框，采用基于2d卷积的动作识别算法(如双流卷积神经网络模型)对边界框内的人员进行动作识别，获取公共区域内的人员动作感知信息。其中基于2d动作识别算法的神经网络模型针对每帧图像各自用一个图像分类模型得到帧级别的特征，然后用平均汇合法从帧级别特征得到视频级别特征，最后经过一个全连接层和softmax激活函数进行动作分类预测，获取公共区域内的人员动作感知信息，例如静坐、站立、睡觉、行走、下蹲、摔倒。
[0065]
请参阅图7所示，隐私区域的人员行为感知模块的人员行为感知过程，包括以下步骤：
[0066]
s401)、人员存在感知子模块，基于数据处理模块得到的wifi物理层预处理数据，采用动作起止区间检测模型，获取wifi物理层预处理数据中与动作相关的起止区间，即根据数据波动范围和动作阈值将其划分为多个区间，区间为动态区间或静态区间，如果出现动态区间则判断隐私区域内有人员存在，静态区间则可能存在无人和有人但保持静止两种情况，需要通过s402进一步判断。
[0067]
s402)、人员动作感知子模块，基于s401得到的动作起止区间内动态区间和静态区间，通过tcn-svm集成迁移模型获取动态区间和静态区间内的人员动作感知信息(例如静坐、站立、睡觉、行走、下蹲、摔倒)，并根据静态区间内的人员动作感知信息，在隐私区域wifi物理层预处理数据不存在波动的情况下判断是否有人员存在，更新人员存在感知信息。
[0068]
请参阅图8所示，人员健康及安防预警和可视化展示模块的预警和可视化过程，包括以下步骤：
[0069]
s501)、人员健康及安防预警子模块，对进入室内的外来人员进行安防预警和常驻人员的危险动作进行健康预警。根据人员身份识别模块得到的身份信息判断是否存在外来人员，如果出现则进行安防预警；根据公共区域和隐私区域人员行为感知模块得到的人员行为类别，实现对危险动作(如摔倒)进行报警。
[0070]
s502)、可视化展示子模块，对实时监控及全场景人员行为感知信息实现可视化展示。针对公共区域，基于智能摄像头系统显示实时监控信息，基于公共区域的人员行为感知模块得到的行为感知信息，以文字形式展示区域内人员的数量、位置及动作感知信息。针对隐私区域，基于隐私区域的人员行为感知模块得到的行为感知信息，以文字形式展示区域内人员存在和动作感知信息。
[0071]
请参阅图9所示，训练人员存在感知子模块的动作起止区间检测模型，包括离线训练阶段和在线检测阶段：
[0072]
其中离线训练阶段包括以下步骤：
[0073]
s40101)、基于数据处理模块得到的wifi物理层预处理数据，提取幅度滑动方差作为有效区分出环境变化的特征向量，每个动作的持续的时间内，幅度滑动方差都具有大的波动；当动作完成时幅度滑动方差的值变小且趋于平稳，与无动作静止时的滑动方差相似。如果使用1个天线作为发射端,接收端为1个天线的智能路由系统采集数据，设滑动区间为m,步长为n，那么提取的幅度滑动方差如下：
[0074][0075]
其中，信道状态信息csi是对wifi物理层信道状态的估计，从wifi物理层预处理数据中提取的csi矩阵c由一组时间采样点下的幅度信息组成，大小为t
×1×1×
30，按时间获取的数据包可以表示为一系列的csi矩阵c：
[0076]
c＝[a1,a2,
…at
]
ꢀꢀꢀ
(3)
[0077]
t为数据包长度，每个时间采样点下的csi均包含着30个子载波的无线状态信息，第j个时间采样点下的csi幅度信息aj可以表示为：
[0078][0079]
表示第j个时间采样点在第i个子载波下的幅度信息。通过对csi矩阵c中的幅度信息计算滑动方差，使得t个时间采样点缩短为(t-m)/n+1个窗口，其中第i个窗口的幅度滑动方差信息为：
[0080][0081][0082]
s40102)、基于s40101得到的幅度滑动方差信息，利用pca正交原理减少载波序列维度实现降维，减少特征数量提取关键信息，pca降维后的特征向量如下：
[0083][0084]
第i个幅度滑动方差的pca数据降维结果为：
[0085][0086]
即
[0087]
其中yd为30个子载波的协方差矩阵中最大特征值所对应特征向量，为第i个窗口的幅度滑动方差信息。为在第1个子载波上所对应的基系数，为在第2个子载波上所对应的基系数，为在第30个子载波上所对应的基系数；
[0088]
s40103)、构建指纹库，基于s40102得到的pca降维后的特征向量，依据实际活动起止时间手动设置阈值，使一组特征向量对应一个动作阈值，由此建立信号阈值指纹库。判断新输入的wifi物理层预处理数据的阈值时，把pca降维后的特征向量拿去匹配一个信号阈
值指纹库中的特征向量，得到该新输入的wifi物理层预处理数据的动作阈值，这个过程可以看作一个模式识别的问题。
[0089]
在线检测阶段，包括以下步骤：
[0090]
基于数据预处理模块得到的wifi物理层预处理数据，提取对应的pca数据降维结果作为特征向量，并把特征向量代入最邻近规则分类(k-nearest-neighbors，knn)模型，与信号阈值指纹库中的特征向量进行k近邻匹配，确定动作阈值。根据数据波动范围和动作阈值，将其划分为多个区间，区间为动态区间或与静态区间。
[0091]
请参阅图10所示，人员动作识别子模块的tcn-svm集成迁移模型，包括离线训练阶段和在线检测阶段：
[0092]
1)其中离线训练阶段包括以下步骤：
[0093]
s40201)、tcn+softmax预训练网络模型，针对wifi数据易受到目标生物学特征和环境影响的特点，解决在新的环境中采集数万至十几万条wifi数据并对网络重新训练才能保证模型的正常工作的问题，本发明在传统的机器学习模型基础上引入了深度迁移学习网络模型tcn+softmax增强系统鲁棒性。在预先设定的类型较为常见且通用的室内隐私场所下(卧室、厨房、卫生间)，利用智能路由器系统采集大量wifi物理层数据，根据实际动作类别为数据添加动作标签构建数据集，使用交叉熵损失函数作为目标函数，得到tcn+softmax预训练网络模型。而后通过tcn+softmax预训练网络模型的时间卷积层tcn对基于s401得到的动态区间和静态区间内的信号数据提取相关隐层特征。假设区间内信号数据长度为t，得到其特征向量y
pre
为：
[0094]ypre
＝[y
pre-1
,y
pre-2
,
…
,y
pre-t
] (10)
[0095]
其中，y
pre-i
为时间卷积层tcn提取的第i个隐层特征，i∈(1,2，
…
，t)。
[0096]
s40202)、提取动态区间和静态区间内信号数据的特征，特征包括pca降维结果、短时傅里叶变换stft结果和离散小波变换dwt结果，通过手动设计表征无线信号的特征，提出了用pca降维结果、短时傅里叶变换stft结果和离散小波变换dwt结果与预训练模型时间卷积层tcn提取的特征向量y
pre
共同作为训练svm分类模型的特征向量，进一步增强系统鲁棒性。
[0097]
pca降维的计算方法可类比s40102，基于基s401得到的动态区间和静态区间内的wifi物理层预处理数据，计算动态区间和静态区间内信号数据降维后的结果cr如下：
[0098]cr
＝[f1,f2,
…ft
] (11)
[0099][0100]
其中yi为30个子载波的协方差矩阵中最大特征值所对应特征向量，ai为第i个时间采样点下包含着30个子载波的csi幅度信息。
[0101]
短时傅里叶变换stft的计算方法如下：
[0102][0103]
设滑动区间为m,步长为n,则窗函数中心点向量为：
[0104]
τ＝[τ1,τ2,
…
,τ
(t-m)/n+1
]
ꢀꢀꢀꢀꢀꢀ
τk＝τ
k-1
+n (14)
[0105]
其中，w(i-τ)表示中心为τ的窗函数，fi为第i个时间采样点下的pca降维后的csi幅度信息。s(ω,τ)是一个二维矩阵，维度为(m/2+1,(t-m)/n+1)，代表了在不同位置对信号
加窗分段并进行fft后的结果序列。
[0106]
离散小波变换dwt的计算方法如下：
[0107][0108][0109]
表示尺度和位置参数都按2的幂选取的小波基，尺度a对应于频率，平移量b对应于时间。fi表示第i个时间采样点下的pca降维后的csi幅度信息。di表示第i个时间采样点下的pca降维后数据的小波变换结果，表示第i个时间采样点在第j层小波分解下的csi幅度信息，d(a,b)表示对信号进行小波a层分解后的结果，维度为(a,t)。
[0110]
s40203)、tcn+svm迁移神经网络训练，本发明所提出的tcn+svm迁移神经网络集成模型结构为：tcn隐藏层+svm分类器，损失函数为用于最大间隔分类的hinge loss，输入为s401得到的动作起止区间内动态区间和静态区间内信号数据提取的pca降维结果、短时傅里叶变换stft结果和离散小波变换dwt结果与预训练模型时间卷积层tcn提取的特征y
pre
特征，输出为区间内信号数据的动作感知信息(例如静坐、站立、睡觉、行走、下蹲、摔倒)，通过梯度下降优化训练模型参数得到本发明提出的tcn+svm迁移神经网络模型。
[0111]
2)在线定位阶段，包括以下步骤：
[0112]
基于人员感知模块得到的动作起止区间内信号，提取对应的特征向量，将特征向量带入s40203)得到的tcn+svm迁移神经网络模型中，得到室内人员的动作感知信息。
[0113]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0114]
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0115]
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所
附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种针对独居群体的室内人员活动实时监测与预警系统，其特征在于，包括：数据采集模块，输出端与人员身份识别模块的输入端连接，用于采集用户信息数据，所述用户信息数据包括住户的视频图像、wifi物理层数据和用户电子设备的无线信号访问数据；人员身份识别模块，输出端与隐私区域人员行为感知模块以及公共区域人员行为感知模块的输入端连接；利用视频图像和电子设备的无线信号访问数据，对进入室内的人员进行身份识别，判断人员属于室内常驻成员还是外来人员；隐私区域的人员行为感知模块，用于对身份识别模块得到的不同人员进行室内隐私区域的行为感知，得到隐私区域内的是否存在和人员动作感知信息；公共区域的人员行为感知模块，用于对身份识别模块得到的不同身份人员进行室内公共区域的行为感知，得到室内公共区域内的人员数量、位置和人员动作感知信息；预警展示模块，输入端与隐私区域的人员行为感知模块以及公共区域的人员行为感知模块连接；用于根据人员身份识别模块得到的身份信息和人员行为感知模块得到的人员动作感知信息，实现针对外来人员的安防预警、针对危险动作的人员健康预警以及室内人员行为感知信息的可视化显示。2.根据权利要求1所述的一种针对独居群体的室内人员活动实时监测与预警系统，其特征在于，数据采集模块和人员身份识别模块之间设置有数据预处理模块，所述数据预处理模块用于对数据采集模块获取的用户信息数据进行预处理，包括在视频图像的图像序列中提取关键帧消除冗余，对wifi物理层数据和用户电子设备的无线信号访问数据的嘈杂信号进行滤波。3.根据权利要求1所述的一种针对独居群体的室内人员活动实时监测与预警系统，其特征在于，所述隐私区域的人员行为感知模块包括人员存在感知子模块和人员动作识别子模块，所述人员存在感知子模块用于判断环境有无人员存在并检测动作起止区间；所述人员动作识别子模块根据人员感知模块得到的动作起止区间，识别人员的人员动作感知信息。4.一种针对独居群体的室内人员活动实时监测与预警方法，其特征在于，包括以下步骤：s1、数据采集：采集用户信息数据，所述用户信息数据包括室内人员的视频图像、wifi物理层数据和用户电子设备的无线信号访问数据；s2、数据处理：对s1采集到的用户信息数据进行预处理，得到用户视频图像关键帧和滤波后的电子设备的无线信号访问数据；s3、人员身份识别：根据s2得到的用户视频图像关键帧和滤波后的电子设备的无线信号访问数据，对进入室内的人员进行身份识别，判断室内人员类别，人员类别为外来人员和常驻人员；s4、人员行为感知：对从s3得到的不同类别人员进行公共区域的全场景人员行为感知和隐私区域在内的全场景人员行为感知；s5、人员健康及安防预警和可视化展示：根据s3得到的人员类别和s4得到的全场景人员行为感知结果中的人员动作感知信息判断常驻人员是否存在危险动作，若存在则发出预警。
5.根据权利要求4所述的一种针对独居群体的室内人员活动实时监测与预警方法，其特征在于，所述s2包括以下步骤：s2.1、基于光流法分析图像序列中像素在时间域上的变化以及相邻帧之间的相关性，对视频图像进行关键帧提取；s2.2、采用巴特沃斯低通滤波器在频率对wifi物理层数据进行滤波。6.根据权利要求4所述的一种针对独居群体的室内人员活动实时监测与预警方法，其特征在于，所述s3包括以下步骤：s3.1、为室内常驻人员创建人员信息数据库，该数据库选取室内常驻人员的人脸特征向量和随身携带的电子设备mac地址作为字段；s3.2、对数据处理模块得到的视频图像关键帧进行识别得到室内人员的人脸特征向量矩阵；s3.3、对采集到的人员人脸特征向量矩阵和电子设备mac地址与人员信息数据库的比较结果进行分析，判断其是外来人员还是常驻人员。7.根据权利要求4所述的一种针对独居群体的室内人员活动实时监测与预警方法，其特征在于，所述s4中，公共区域的全场景人员行为感知包括以下步骤：s4a1、目标检测，基于视频图像关键帧，采用基于深度学习的目标检测算法得到人员的目标边界框列表，根据目标检测框的位置与数量，获取公共区域内的人员位置与数量感知信息；s4a2、基于2d卷积的动作识别算法，根据s4.1从视频图像关键帧中提取的目标边界框，采用基于2d卷积的动作识别算法对边界框内的人员进行动作识别，获取公共区域内的人员人员动作感知信息。8.根据权利要求4所述的一种针对独居群体的室内人员活动实时监测与预警方法，其特征在于，所述s4中，隐私区域的全场景人员行为感知包括以下步骤：s4b1、基于wifi物理层预处理数据，采用动作起止区间检测模型，获取wifi物理层预处理数据中与动作相关的起止区间，根据wifi物理层预处理数据波动范围和动作阈值将其划分为多个区间，区间为动态区间或静态区间；s4b2、若s4b1划分出动态区间则判断隐私区域内有人员存在，静态区间则存在无人和有人但保持静止两种情况，需要通过s402进一步判断；s4b3、基于s4b1得到的动作起止区间内动态区间和静态区间，通过tcn-svm集成迁移模型获取动态区间和静态区间内的人员动作感知信息，并根据静态区间内的人员动作感知信息，在隐私区域wifi物理层预处理数据不存在波动的情况下判断是否有人员存在，更新人员存在感知信息。9.根据权利要求8所述的一种针对独居群体的室内人员活动实时监测与预警方法，其特征在于，所述s4b1包括以下步骤：s4b11、基于wifi物理层预处理数据，提取幅度滑动方差作为区分出环境变化的特征向量；s4b12、基于s40101得到的幅度滑动方差，利用pca正交原理减少载波序列维度实现降维，减少特征数量提取关键信息，得到的pca降维后的特征向量；s4b13、构建指纹库，基于s40102得到的pca降维后的特征向量，依据实际活动起止时间
设置阈值，使一组特征向量对应一个动作阈值，由此建立信号阈值指纹库；判断新输入的wifi物理层预处理数据的阈值时，把pca降维后的特征向量拿去匹配一个信号阈值指纹库中的特征向量，得到该新输入的wifi物理层预处理数据的动作阈值；s4b14、基于wifi物理层预处理数据，提取对应的pca数据降维结果作为特征向量，并把特征向量代入最邻近规则分类模型，与信号阈值指纹库中的特征向量进行k近邻匹配，确定动作阈值，根据数据波动范围和动作阈值，将其划分为多个区间，区间为动态区间或与静态区间。10.根据权利要求8所述的一种针对独居群体的室内人员活动实时监测与预警方法，其特征在于，所述s4b2中，通过tcn-svm集成迁移模型获取动态区间和静态区间内的人员动作感知信息，并根据静态区间内的人员动作感知信息的过程，包括以下步骤：s4b21、在室内隐私区域，采集wifi物理层数据，根据实际动作类别为wifi物理层数据添加动作标签构建数据集，使用交叉熵损失函数作为目标函数，得到tcn+softmax预训练网络模型；通过tcn+softmax预训练网络模型的时间卷积层tcn对动态区间和静态区间内的信号数据提取隐层特征，得到其特征向量y
pre
；s4b22、提取动态区间和静态区间内信号数据的pca降维结果、短时傅里叶变换stft结果和离散小波变换dwt结果；s4b23、所述tcn+svm迁移神经网络集成模型结构为：tcn隐藏层+svm分类器，损失函数为用于最大间隔分类的hinge loss，输入为动作起止区间内动态区间和静态区间内信号数据提取的pca降维结果、短时傅里叶变换stft结果和离散小波变换dwt结果与预训练模型时间卷积层tcn提取的特征向量y
pre
特征，输出为区间内信号数据的人员动作感知信息，通过梯度下降优化训练模型参数得到本发明提出的tcn+svm迁移神经网络模型；s4b24、基于人员感知模块得到的动作起止区间内信号，提取对应的特征向量，将特征向量带入tcn+svm迁移神经网络模型中，得到室内人员的人员动作感知信息。

技术总结
本发明公开了一种独居群体的室内人员活动实时监测与预警系统及方法，所述预警系统包括数据采集模块、数据预处理模块、人员身份识别模块、隐私区域与公共区域的人员行为感知模块、人员健康及安防预警和可视化展示模块。其中数据采集模块的输出端连接数据预处理模块输入端，数据预处理模块的输出端连接人员身份识别模块的输入端，人员身份识别模块的输出端连接隐私区域人员行为感知模块、公共区域人员行为感知模块和人员健康及安防预警模块的输入端，隐私区域人员行为感知模块和公共区域人员行为感知模块的输出端连接人员健康及安防预警和可视化展示模块的输入端，能够实现室内人员身份识别、公共区域和隐私区域的人员行为感知，并进行预警。并进行预警。并进行预警。


技术研发人员：徐占伯 吕兆鹤 赵国梁 吴江 管晓宏
受保护的技术使用者：西安交通大学
技术研发日：2022.11.30
技术公布日：2023/7/12