基于深度学习和数字分身的居家老人行为监测方法及系统

1.本发明涉及居家养老技术领域，更具体的说是涉及基于深度学习和数字分身的居家老人行为监测方法及系统。


背景技术：

3.为了在保护隐私情况下对居家老年人日常健康状态进行监测，发现问题及时预警和急救，保障老年人生命健康安全，提高生活质量和幸福感，解除子女后顾之忧，推出了居家老人异常行为姿态监测平台。通过mediapipe对视频流逐帧分析检测，提取出老人姿态骨架，将骨架传输至unity平台所创建的虚拟人物形象中实现老人的数字分身，充分保护老年人的尊严与隐私；通过深度学习算法对老人姿态骨架进行分类，识别出老人异常或危险动作，实时向居家老人异常行为姿态监测平台进行反馈，及时且准确地对危险动作发出警报，护理人员可以及时查看并快速做出响应前往救助，极大程度地降低了事故恶化的风险，保障了老人生命健康安全。
4.因此，提出基于深度学习和数字分身的居家老人行为监测方法及系统，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了基于深度学习和数字分身的居家老人行为监测方法及系统，来解决现有技术中存在的问题。
6.为了实现上述目的，本发明提供如下技术方案：
7.基于深度学习和数字分身的居家老人行为监测方法，包括以下步骤：
8.s1、利用mediapipe提取老人日常生活视频流进行识别与检测并提取人体关键点，构成人体姿态骨架；
9.s2、将s1中的关键点及姿态骨架，实时传入unity平台构建的虚拟人物中，使得老人以数字分身的虚拟人物形象行走于居家老人异常行为姿态监测平台的屏幕中；
10.s3、将s1中的关键点及姿态骨架，实时传入cnn+lstm深度学习算法中，输出六分类中置信度最高的姿态并确认其是否为危险动作。
11.可选的，s3中的六分类具体为：站立、坐下、摔倒、行走、攀高、捂胸口六类日常行为姿态。
12.可选的，s3中的确认其是否为危险动作具体为：
13.s31、当不是危险动作时，继续对老人日常生活视频流进行识别与检测；
14.s32、当是危险动作时，确认其置信度是否在设定的姿态置信度区间。
15.可选的，s32中的姿态置信度区间为0.875-1。
16.可选的，s32中的当是危险动作时，确认其置信度是否在设定的姿态置信度区间的具体内容为：
17.当其置信度处于设定的姿态置信度区间之外时，则认为危险动作不成立，继续对
老人日常生活视频流进行识别与检测；
18.当其置信度处于设定的姿态置信度区间之内时，则确定为危险动作，及时向居家老人异常行为姿态监测平台进行反馈，平台接收到反馈则及时进行报警，并通知护理人员前去查看。
19.可选的，当平台的报警被平台使用者已经确认接收到时，则平台进行初始化重新对老人日常生活视频流进行识别与检测。
20.可选的，利用mediapipe算法与unity平台进行老人姿态的识别与数字分身。
21.可选的，利用cnn算法对关键点进行精简提取与分类。
22.可选的，利用lstm算法对老人日常生活视频流中的帧序列发生情况进行预测。
23.基于深度学习和数字分身的居家老人行为监测系统，应用上述任一项的基于深度学习和数字分身的居家老人行为监测方法，包括依次连接的姿态骨架构建模块、行为姿态监测模块、确认危险动作模块；其中，
24.姿态骨架构建模块：利用mediapipe提取老人日常生活视频流进行识别与检测并提取人体关键点，构成人体姿态骨架；
25.行为姿态监测模块：将姿态骨架构建模块中的关键点及姿态骨架，实时传入unity平台构建的虚拟人物中，使得老人以数字分身的虚拟人物形象行走于居家老人异常行为姿态监测平台的屏幕中；
26.确认危险动作模块：将姿态骨架构建模块中的关键点及姿态骨架，实时传入cnn+lstm深度学习算法中，输出六分类中置信度最高的姿态并确认其是否为危险动作。
27.经由上述的技术方案可知，与现有技术相比，本发明公开提供了基于深度学习和数字分身的居家老人行为监测方法及系统，其有益效果为：
28.1)通过采用老人姿态识别算法与unity相结合，能够实现以虚拟人物代替老人真实形象，在居家老人异常行为姿态监测平台中进行呈现，从而保护了老人的尊严与隐私；
29.2)另外通过采用cnn+lstm深度学习算法，能够实现对老人姿态更加精准的六分类问题，能够及时且准确地识别出老人异常或危险动作，实时向居家老人异常行为姿态监测平台进行反馈报警，护理人员可以及时查看并快速做出响应前往救助，极大程度地降低了事故恶化的风险，充分保障了居家老人的生命健康安全。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
31.图1为本发明提供的基于深度学习和数字分身的居家老人行为监测方法的流程图；
32.图2为本发明提供的基于深度学习和数字分身的居家老人行为监测系统的结构图；
33.图3为本发明提供的基于深度学习和数字分身的居家老人行为监测方法及系统的设计结构示意图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.参见图1所示，本发明公开了基于深度学习和数字分身的居家老人行为监测方法，包括以下步骤：
36.s1、利用mediapipe提取老人日常生活视频流进行识别与检测并提取人体关键点，构成人体姿态骨架；
37.s2、将s1中的关键点及姿态骨架，实时传入unity平台构建的虚拟人物中，使得老人以数字分身的虚拟人物形象行走于居家老人异常行为姿态监测平台的屏幕中；
38.s3、将s1中的关键点及姿态骨架，实时传入cnn+lstm深度学习算法中，输出六分类中置信度最高的姿态并确认其是否为危险动作。
39.具体的，根据关键点连线所构建的姿态骨架，计算出相关动作的置信度，并采用基于cnn+lstm的深度学习算法对老人行为进行姿态识别，识别精度超越传统机器学习算法和传统深度学习算法；当平台识别到老人发生异常行为姿态时，可以及时且准确地在平台上发出预警。
40.进一步的，s3中的六分类具体为：站立、坐下、摔倒、行走、攀高、捂胸口六类日常行为姿态。
41.进一步的，s3中的确认其是否为危险动作具体为：
42.s31、当不是危险动作时，继续对老人日常生活视频流进行识别与检测；
43.s32、当是危险动作时，确认其置信度是否在设定的姿态置信度区间。
44.进一步的，s32中的姿态置信度区间为0.875-1。
45.进一步的，s32中的当是危险动作时，确认其置信度是否在设定的姿态置信度区间的具体内容为：
46.当其置信度处于设定的姿态置信度区间之外时，则认为危险动作不成立，继续对老人日常生活视频流进行识别与检测；
47.当其置信度处于设定的姿态置信度区间之内时，则确定为危险动作，及时向居家老人异常行为姿态监测平台进行反馈，平台接收到反馈则及时进行报警，并通知护理人员前去查看。
48.进一步的，当平台的报警被平台使用者已经确认接收到时，则平台进行初始化重新对老人日常生活视频流进行识别与检测。
49.进一步的，利用mediapipe算法与unity平台进行老人姿态的识别与数字分身。
50.进一步的，利用cnn算法对关键点进行精简提取与分类。
51.进一步的，利用lstm算法对老人日常生活视频流中的帧序列发生情况进行预测。
52.具体的，用于解决长序列在训练的过程中可能出现的梯度消失与梯度爆炸的问题。
53.与图1所述的方法相对应，本发明还提供了基于深度学习和数字分身的居家老人行为监测系统，用于对图1中方法的具体实现，其结构示意图参见图2所示，包括依次连接的
姿态骨架构建模块、行为姿态监测模块、确认危险动作模块；其中，
54.姿态骨架构建模块：利用mediapipe提取老人日常生活视频流进行识别与检测并提取人体关键点，构成人体姿态骨架；
55.行为姿态监测模块：将姿态骨架构建模块中的关键点及姿态骨架，实时传入unity平台构建的虚拟人物中，使得老人以数字分身的虚拟人物形象行走于居家老人异常行为姿态监测平台的屏幕中；
56.确认危险动作模块：将姿态骨架构建模块中的关键点及姿态骨架，实时传入cnn+lstm深度学习算法中，输出六分类中置信度最高的姿态并确认其是否为危险动作。
57.在一个具体实施例中，参见图3所示，数字分身是以老人日常生活行为视频流为输入，使用mediapipe对rgb视频流进行逐帧处理，通过提取老人身体33个关键点按照规定的方式进行点与点之间的连线，创建x，y，z三个坐标系，其中z表示2d坐标深度，从而提取出老人骨架的基本3d姿态。将基本姿态传输到unity平台中建模成型的虚拟人之上，使用c#脚本进行驱动，从而在家老人异常行为姿态监测平台上进行老人数字分身的实时展示。
58.老人姿态的识别与分类采用的算法有赖于老人相关数据集的训练，由于当下缺乏老人相关姿态识别图像视频数据集，因此，本研究自创一个针对于老年人的数据集，数据集分为六类，分别是“站立、坐下、摔倒、行走、攀高、捂胸口”。在采集数据集之后，为了提高模型训练的精准度，对于图像来说，首先对其进行数据集预处理，通过初步筛选，提取出姿态关键点被严重遮挡的图像，对提取出的不合格图像进行删除，之后重新整合数据集从而完成数据集的预处理；对于视频来说，先将其转为json格式，再将其逐帧拆分，每个测试用例由45帧的序列组成，重叠大小为36帧，进而重复对于图像预处理的步骤。在采用cnn+lstm算法对数据集进行训练的过程中，设定训练集占比64％，验证集占比16％，测试集占比20％；经过实验得出16：4：5的比例会产生更高的准确度。
59.cnn+lstm深度学习模型训练，采用按时分布的方式，通过设定cnn卷积层16个过滤器，每个窗口大小为3进行第一层关键点卷积，输出更精简的数据在第二层batchnormalization进行第一次普通数据的标准化，接下来进入第三层dropout设置为0.5，即正则化，防止以0.5的速率发生过拟合现象，之后再次标准化，通过flatten卷积层过渡到全连接层，之后进行lstm层的优化从而降低梯度消失与梯度爆炸问题，lstm大小为20个单元，偏差设为true以便可以返回到每个节点的输出，最后从输出层输出进行正反向传播，产生训练模型的效果。
60.在一般情况下，居家老人异常行为姿态监测平台识别到老人出现危险动作之后将比对置信度是否处于所设置的姿态置信度区间0.875-1之内，如在则表示确实该动作事件发生，在平台发出警报；如不在则表示该动作可能为六分类中没有顾及到的动作，不属于六分类当中的危险动作，不触发报警。假设x是一个向量，表示神经网络的原始输出分数，置信度公式定义为：
[0061][0062]
其中zi表示第i个类别的分数，c是类别数，softmax(zi)是将zi转换为概率分布后，第i个类别的预测概率。
[0063]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0064]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.基于深度学习和数字分身的居家老人行为监测方法，其特征在于，包括以下步骤：s1、利用mediapipe提取老人日常生活视频流进行识别与检测并提取人体关键点，构成人体姿态骨架；s2、将s1中的关键点及姿态骨架，实时传入unity平台构建的虚拟人物中，使得老人以数字分身的虚拟人物形象行走于居家老人异常行为姿态监测平台的屏幕中；s3、将s1中的关键点及姿态骨架，实时传入cnn+lstm深度学习算法中，输出六分类中置信度最高的姿态并确认其是否为危险动作。2.根据权利要求1所述的基于深度学习和数字分身的居家老人行为监测方法，其特征在于，s3中的六分类具体为：站立、坐下、摔倒、行走、攀高、捂胸口六类日常行为姿态。3.根据权利要求1所述的基于深度学习和数字分身的居家老人行为监测方法，其特征在于，s3中的确认其是否为危险动作具体为：s31、当不是危险动作时，继续对老人日常生活视频流进行识别与检测；s32、当是危险动作时，确认其置信度是否在设定的姿态置信度区间。4.根据权利要求3所述的基于深度学习和数字分身的居家老人行为监测方法，其特征在于，s32中的姿态置信度区间为0.875-1。5.根据权利要求3所述的基于深度学习和数字分身的居家老人行为监测方法，其特征在于，s32中的当是危险动作时，确认其置信度是否在设定的姿态置信度区间的具体内容为：当其置信度处于设定的姿态置信度区间之外时，则认为危险动作不成立，继续对老人日常生活视频流进行识别与检测；当其置信度处于设定的姿态置信度区间之内时，则确定为危险动作，及时向居家老人异常行为姿态监测平台进行反馈，平台接收到反馈则及时进行报警，并通知护理人员前去查看。6.根据权利要求5所述的基于深度学习和数字分身的居家老人行为监测方法，其特征在于，当平台的报警被平台使用者已经确认接收到时，则平台进行初始化重新对老人日常生活视频流进行识别与检测。7.根据权利要求1所述的基于深度学习和数字分身的居家老人行为监测方法，其特征在于，利用mediapipe算法与unity平台进行老人姿态的识别与数字分身。8.根据权利要求1所述的基于深度学习和数字分身的居家老人行为监测方法，其特征在于，利用cnn算法对关键点进行精简提取与分类。9.根据权利要求1所述的基于深度学习和数字分身的居家老人行为监测方法，其特征在于，利用lstm算法对老人日常生活视频流中的帧序列发生情况进行预测。10.基于深度学习和数字分身的居家老人行为监测系统，其特征在于应用权利要求1-9任一项所述的基于深度学习和数字分身的居家老人行为监测方法，包括依次连接的姿态骨架构建模块、行为姿态监测模块、确认危险动作模块；其中，姿态骨架构建模块：利用mediapipe提取老人日常生活视频流进行识别与检测并提取人体关键点，构成人体姿态骨架；行为姿态监测模块：将姿态骨架构建模块中的关键点及姿态骨架，实时传入unity平台构建的虚拟人物中，使得老人以数字分身的虚拟人物形象行走于居家老人异常行为姿态监
测平台的屏幕中；确认危险动作模块：将姿态骨架构建模块中的关键点及姿态骨架，实时传入cnn+lstm深度学习算法中，输出六分类中置信度最高的姿态并确认其是否为危险动作。

技术总结
本发明公开了基于深度学习和数字分身的居家老人行为监测方法及系统，应用于居家养老技术领域。包括以下步骤：S1、利用mediapipe提取老人日常生活视频流进行识别与检测并提取人体关键点，构成人体姿态骨架；S2、将关键点及姿态骨架，实时传入unity平台构建的虚拟人物中，使得老人以数字分身的虚拟人物形象行走于居家老人异常行为姿态监测平台的屏幕中；S3、将关键点及姿态骨架，实时传入CNN+LSTM深度学习算法中，输出六分类中置信度最高的姿态并确认其是否为危险动作。本发明通过深度学习算法实现对居家老人日常行为姿态的实时检测与分类，以数字分身虚拟人的角色进行展示，有效保护老年人的尊严与隐私。护老年人的尊严与隐私。护老年人的尊严与隐私。


技术研发人员：曹祥红 王鑫雨 李晨旭 耿鑫 王永东 郭佳雯
受保护的技术使用者：郑州轻工业大学
技术研发日：2023.04.27
技术公布日：2023/7/22