一种老年人行为安全监控系统

1.本技术涉及视频分析领域，具体涉及一种老年人行为安全监控系统。


背景技术：

2.根据第七次人口普查数据显示，我国65岁及以上人口已经占总人口的13.5％，空巢化、少子化等养老问题逐渐凸显，传统的养老模式已经无法满足人们日益增长的物质和精神需求。
3.中国专利cn111798160a针对传统的养老机构存在着经营管理理念落后等问题，公开了一种养老服务系统，其通过综合管理平台、智能端以及服务端相互协调配合，一起为老人提供服务，大大节约了人力成本、增加了服务效力，但未能实现对视频信息进行分析，无法对危险行为进行识别报警。
4.中国专利cn106788546a针对传统的养老机构硬件设施存在短板等问题，公开了一种养老服务系统，包括综合管理信息系统、移动终端、固定终端和室外监护系统，提高养老安全保障，有效降低政府及老年管理机构的风险，但未能实现建立信息库，进行人脸识别判断人员信息，无法对外来人员进行识别报警。
5.因此，目前需要一种能够对视频信息进行分析，再通过人脸识别技术判断是否为需要监控的老年人的养老服务系统，克服现有养老服务系统中无法对危险行为进行识别报警以及无法对外来人员进行识别报警的问题，提高养老服务业人员的工作效率，减少服务管理人员的工作量，为老年人提供安全放心的优质服务保障。


技术实现要素：

6.本技术通过基于图神经网络以及自注意力机制(self-attention)改良的骨架生成技术来对视频信息进行分析，再通过人脸识别技术判断是否为需要监控的老年人，提高了监控的准确性。
7.为实现上述目的，本技术提供了一种老年人行为安全监控系统，包括：管理模块、监控模块、中控模块、显示模块、报警模块和终端模块；
8.所述管理模块用于对所述老年人行为安全监控系统各模块进行协调控制；
9.所述监控模块用于对老年人的行为进行监控，并将监控信息传输至所述中控模块；
10.所述中控模块用于对所述监控信息进行分析，得到分析结果；
11.当所述分析结果为有危险时，将现场视频画面通过显示模块进行投屏显示；
12.当所述分析结果为有危险时，所述报警模块进行报警；
13.当所述分析结果为有危险时，所述终端模块用于远程接收预警。
14.优选的，所述监控模块包括：生活区监控单元、娱乐区监控单元和休闲区监控单元；所述生活区监控单元、所述娱乐区监控单元和所述休闲区监控单元均由若干高清摄像头组成。
15.优选的，所述中控模块包括：存储单元、流媒体单元、行为分析单元和人脸识别单元；
16.所述存储单元用于存储用户信息；
17.所述流媒体单元用于对接收到的所述监控信息进行转码和储存；
18.所述行为分析单元用于对所述所述监控信息进行分析，得到所述分析结果；
19.所述人脸识别单元用于识别所述监控信息中的人员是否为需要进行安全监控的用户。
20.优选的，所述流媒体单元的工作流程包括：将所述监控模块传输来的所述监控信息进行转码和记录，并且将所述监控信息传入到所述行为分析单元。
21.优选的，所述行为分析单元的工作流程包括：在接收到所述流媒体单元传输来的所述监控信息之后，采用图神经网络骨骼识别技术和骨骼勾勒技术对所述监控信息进行识别和判断，得到所述分析结果。
22.优选的，所述人脸识别单元的工作流程包括：当所述分析结果为有危险时，所述人脸识别单元通过基于cnn和亮度均衡的人脸活体检测识别算法，使用基于p-net，r-net，o-net三个cnn进行级联的mtcnn算法，实现对人脸的精准定位并将检测出的人脸边界框按指定倍数裁剪人脸，接下来使用亮度均衡对人脸图像不同亮度区域进行亮度补偿，最后使用卷积神经网络提取数据特征并进行分类，将识别出的人脸信息与所述用户信息进行比对，判断是否为需要进行安全监控的人员。
23.优选的，所述显示模块包括：显示装置和主界面；
24.所述显示装置用于当所述分析结果为有危险时，显示现场画面；
25.所述主界面用于显示最近的预警记录信息。
26.优选的，所述管理模块包括：管理客户端和值班岗客户端；
27.所述管理客户端用于管理人员查看危险区域监控、设置报警时间和地点范围；
28.所述值班岗客户端用于值班人员接收取消报警、获取报警人员信息。
29.与现有技术相比，本技术的有益效果如下：
30.本技术可以主动对视频信息进行智能分析，在危险行为发生之前自动识别，并完成预警；同时可以进行7
×
24全天候视频自动智能分析，无需值班人员监视监视器，只在发生预警情况下通过声音报警及语音提示值班人员完成预警处理。本技术的监控模块通过同一网络摄像机进行分析，因此无需对原有监控系统和前端设备进行变动，设备安装简单、灵活。本技术通过在监控中心通过中心管理平台软件可实现监控系统的统一调度和集中控制管理，可方便地在远端实现对前端智能设备的控制和参数配置及版本升级；还可以通过客户端软件监控。此外，还可以对视频监控中的画面进行实时分析，识别可疑行为，并产生报警事件记录，事后按照事件进行检索查询方便快捷。
附图说明
31.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
32.图1为本技术实施例的系统结构示意图；
33.图2为本技术实施例的动作定义示意图；
34.图3为本技术实施例的系统规则示意图；
35.图4为本技术实施例的系统技术原理示意图。
具体实施方式
36.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
37.为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本技术作进一步详细的说明。
38.实施例一
39.如图1所示，为本实施例的系统结构示意图，包括：管理模块、监控模块、中控模块、显示模块、报警模块和终端模块。其中，管理模块用于对所述老年人行为安全监控系统各模块进行协调控制；监控模块用于对老年人的行为进行监控，并将监控信息传输至中控模块；中控模块用于对监控信息进行分析，得到分析结果；当分析结果为有危险时，将现场视频画面通过显示模块进行投屏显示；当分析结果为有危险时，报警模块进行报警；当分析结果为有危险时，终端模块用于远程接收预警。监控模块包括：生活区监控单元、娱乐区监控单元和休闲区监控单元；生活区监控单元、娱乐区监控单元和休闲区监控单元均由若干高清摄像头组成。
40.其中，监控模块包括：生活区监控单元、娱乐区监控单元和休闲区监控单元；生活区监控单元、娱乐区监控单元和休闲区监控单元均由若干高清摄像头组成。
41.而中控模块包括：存储单元、流媒体单元、行为分析单元和人脸识别单元；存储单元用于存储用户信息；流媒体单元用于对接收到的监控信息进行转码和储存；行为分析单元用于对监控信息进行分析，得到分析结果；人脸识别单元用于识别监控信息中的人员是否为需要进行安全监控的用户。
42.显示模块包括：显示装置和主界面；显示装置用于当分析结果为有危险时，显示现场画面；主界面用于显示最近的预警记录信息。
43.管理模块包括：管理客户端和值班岗客户端；管理客户端是指管理层人员电子设备上的客户端，具有高于值班岗客户端的客户端权限，可以实时查看危险区域监控、协调各岗位工作、设置报警时间和地点范围等功能；值班岗客户端是指当天值班人员值班岗电子设备上的客户端，具有较低的客户端权限，可以接收取消报警、获取报警人员信息等功能，也可以根据实时情况，向管理客户端寻求相关权限的开放，以保证工作的顺利进行和人员健康。
44.在本实施例中，流媒体单元的工作流程包括：将监控模块传输来的监控信息进行转码和记录，并且将监控信息传入到行为分析单元。
45.行为分析单元的工作流程包括：在接收到流媒体单元传输来的监控信息之后，采用图神经网络骨骼识别技术和骨骼勾勒技术对监控信息进行识别和判断，得到分析结果。
46.人脸识别单元的工作流程包括：当分析结果为有危险时，人脸识别单元通过基于cnn和亮度均衡的人脸活体检测识别算法，使用基于p-net，r-net，o-net三个cnn进行级联的mtcnn算法，实现对人脸的精准定位并将检测出的人脸边界框按指定倍数裁剪人脸，接下来使用亮度均衡对人脸图像不同亮度区域进行亮度补偿，最后使用卷积神经网络提取数据特征并进行分类，将识别出的人脸信息与用户信息进行比对，判断是否为需要进行安全监控的人员。
47.如图2所示，在本实施例中定义了四大类动作，分别为肢体动作、骨骼动作、时间动作和人数动作。其中，肢体动作中包含：求救、打架、卧倒；骨骼动作包含：闯入、攀爬、警戒；时间动作包含：离岗、睡岗、缺岗、徘徊、滞留；人数动作：聚众、尾随。
48.如图3所示，本系统在识别规则设定方面采取灵敏度、区域、时间、标记四类进行分类。灵敏度越高，识别规则要求越低，误报会增加；设置有效区域，在有效区域内才会出发系统报警；可以根据时间要求进行自定义设定方案，不设时间时全天24小时监测；系统配备标记功能，系统在触发预警后标记目标人物，触发预警后可自动设定目标标记或骨架标记。并通过门禁系统，智慧平台，背景音乐，智能求助四种方法进行联防联动，保证老年人的安全。
49.实施例二
50.下面将结合本实施例，详细说明本技术如何解决生活中的技术问题。
51.如图4所示，在本实施例中，整体系统采用的技术原理是基于图卷积神经网络和自注意力机制优化的3d人体姿态估计技术，通过实时分析视频流，在视频流中首先利用活体检测算法来判断视频中目标是否为活人，若为活人，先通过改良后的图神经网络(gcn)提取特征，并提取人体全局特征点的特征序列，再通过自注意力模块聚合邻接节点信息，具体过程如下所示：
52.(1)特征提取与模型结构
53.首先通过图卷积神经网络捕获局部结构并学习连接特征。通过提出一个两阶段的图卷积神经网络模型，以更好地学习语义信息。特征提取模型分为编码器和解码器，其编码器的功能是在给定的人体3d关节位置随时间变化的情况下估计人体骨架边的状态，其可以表示为：
54.通过将人体的动作特征和结构特征进行融合，然后同时学习融合信息，可使得模型的全局提取能力进一步加强。其动作特征和结构特征可分别定义为：
[0055][0056][0057]
其中，x
t
表示第t帧的3d关节位置，以此得到了第t帧的3d动作关节位置信息和3d结构信息
[0058]
在动作定义中使用作为图卷积核，其中表示动作信息的可学习权重，在结构定义中使用和捕获边缘权重和特征重要性；其中l表示多项式阶数，l表示自定义参数，当l＝1时，模型会退化为通用的空间图卷积操作，表示第p个分图的图
转移矩阵，与通用的图卷积定义相同。
[0059]
最后通过加权得到输出的特征如下：
[0060]
x
out
＝lr(x
struc
+λx
act
)
[0061]
其中λ表示一个超参数，它权衡了结构特征和动作特征的重要性，然后通过使用leaky relu(lr)激活函数不仅可以避免神经元失活的现象产生，同时也可以加快模型的收敛速度。
[0062]
然后由经过图卷积神经网络提取后的特征图信息进行展平后，分别乘以权重矩阵wi得到特征序列q，k，v，其中qi，ki，vi代表第i个人体特征点的特征序列，该自注意力模块可以自适应地关注与其最相关的图像特征。
[0063]
通过解码器将关键点和输入图像之间的关系进行映射，解码器中有n个相同的层，每层由自注意力、交叉注意力和前馈神经网络(ffn)组成。特征序列qi，ki，vi依次通过这些模块并生成新的特征序列作为下一层的输入。自注意力和前馈神经网络(ffn)的类型分别是多头自注意力模块和多层感知机。在修正后的多尺度多头注意力(fmsda)中，每个特征序列通过给定参考点周围的采样偏移量来学习采样信息；然后通过注意机制对采样的特征进行汇总以更新特征序列。具体而言，修正后的多头注意力函数可以写成：
[0064][0065]
其中，zq表示第q个特征向量，其可以通过将之前得到的q，k，v三个特征向量拼接而成：
[0066]zq
＝concat(qq，kq，vq)
[0067]
其可以通过串联多个注意机制来模拟输入和输出之间的不同关系，这样使得每个注意力机制都可以专注于输入的不同方面，从而使输入的特征得以融合，增强了网络的泛化能力。
[0068]
而和分别表示第q个参考点偏移量和来自gcn的第c个特征映射；headi表示第i个注意力头。c、m、s分别表示解码器中使用的特征图通道数、注意力头的个数和每个通道的特征图上的采样点个数a
i,c,q,s
和δp
i,c,q,s
分别表示第i个头、第c个通道、第q个特征序列和第s个采样点的注意力权重和采样偏移量；将特征向量zq送入多层感知机得到注意力权重a
i,c,q,s
，表示通过双线性插值在特征图xc上采样位于偏移量值为的特征向量。
[0069]
(2)模型训练
[0070]
之后通过步骤(1)描述的基于注意力机制所产生的特征向量更新这个预测，生成一个改进的估计(μq，bq)。采用最大似然估计优化模型参数，使观测到的真值μg的概率最大。因此总体的损失函数可以被定义为：
[0071][0072]
其中θq和φq分别是解码器和流模型的参数，流模型被用来反映输出对真值的偏
离。代表一个概率分布，通过使用φq(x丨i)反映真值在输入图像i上且当条件是位置等于x时的概率，最后在均值为0的拉普拉斯分布的基础上，通过将变换为x，得到分布p
θ，φ
(x丨i)，之后采用极大似然估计可以得到该损失函数。
[0073]
(3)模型输出：由步骤(1)得到了模型的特征序列，自注意力层按照步骤(2)进行训练，最后经过一层多层感知机得到预测结果的概率分布向量，概率值最大的类别即为预测值，也就是异常动作。
[0074]
判定为异常动作后立即调用同步视频流在显示模块进行预警，并同步调用事件前后的视频流，类似于活体检测算法，通过基于cnn和亮度均衡的人脸活体检测识别算法，使用基于p-net，r-net，o-net三个cnn进行级联的mtcnn算法，实现对人脸的精准定位并将检测出的人脸边界框按指定倍数裁剪人脸，接下来使用亮度均衡对人脸图像不同亮度区域进行亮度补偿，最后使用卷积神经网络提取数据特征并进行分类，将识别出的人脸信息上传至人脸识别单元，并与存储单元中的用户信息相结合来判断当事人的身份，若存储单元中含有此人的信息，则将此人的位置信息以及身份发送给值班客户端与管理客户端，值班客户端用于让值班人员知晓预警信息并及时对预警信息进行处理，而管理客户端则作为一个二次保障，管理客户端的信息接受人员可以在值班客户端的信息无人接受或者接收后无法及时做出行动时及时对预警信息进行处理，并且对值班客户端的人员也起到一种监督作用；若人脸识别技术无法识别出此人，则将该人定义为“外来人员”，将位置信息发送给值班客户端以及管理客户端。
[0075]
本实施例使用的是基于cnn和亮度均衡的活体检测算法技术，通过卷积神经网络和亮度均衡结合的方法，使用基于p-net，r-net，o-net三个cnn进行级联的mtcnn算法，实现对人体的精准定位并将检测出的人体边界框按指定倍数裁剪，接下来使用亮度均衡对人体图像不同亮度区域进行亮度补充，最后使用卷积神经网络提取数据特征分类，根据所提取的外观形状特征包括人体的大小、侧影轮廓、颜色等以及运动特征包括轨迹、方向、速度和加速度等，进行特征融合从而判断视频中目标为活人。当有人接近安全监控系统所划定的危险区域时，流媒体单元会对此时间段的录像进行记录，并且将视频流传入到行为行为分析单元中进行活体算法判断是否为活人。此算法所建立好的模型可以对视频流进行快速反应，实现迅速判断，为安全系统的及时报警奠定了基础，并且还可以避免一些非人体因素而引起的报警，使得安全系统报警更加准确。
[0076]
以上所述的实施例仅是对本技术优选方式进行的描述，并非对本技术的范围进行限定，在不脱离本技术设计精神的前提下，本领域普通技术人员对本技术的技术方案做出的各种变形和改进，均应落入本技术权利要求书确定的保护范围内。

技术特征：
1.一种老年人行为安全监控系统，其特征在于，包括：管理模块、监控模块、中控模块、显示模块、报警模块和终端模块；所述监控模块用于对老年人的行为进行监控，并将监控信息传输至所述中控模块；所述中控模块用于对所述监控信息进行分析，得到分析结果；当所述分析结果为有危险时，将现场视频画面通过显示模块进行投屏显示；当所述分析结果为有危险时，所述报警模块进行报警；当所述分析结果为有危险时，所述终端模块用于远程接收预警。2.根据权利要求1所述的老年人行为安全监控系统，其特征在于，所述监控模块包括：生活区监控单元、娱乐区监控单元和休闲区监控单元；所述生活区监控单元、所述娱乐区监控单元和所述休闲区监控单元均由若干高清摄像头组成。3.根据权利要求1所述的老年人行为安全监控系统，其特征在于，所述中控模块包括：存储单元、流媒体单元、行为分析单元和人脸识别单元；所述存储单元用于存储用户信息；所述流媒体单元用于对接收到的所述监控信息进行转码和储存；所述行为分析单元用于对所述所述监控信息进行分析，得到所述分析结果；所述人脸识别单元用于识别所述监控信息中的人员是否为需要进行安全监控的用户。4.根据权利要求3所述的老年人行为安全监控系统，其特征在于，所述流媒体单元的工作流程包括：将所述监控模块传输来的所述监控信息进行转码和记录，并且将所述监控信息传入到所述行为分析单元。5.根据权利要求4所述的老年人行为安全监控系统，其特征在于，所述行为分析单元的工作流程包括：在接收到所述流媒体单元传输来的所述监控信息之后，采用图神经网络骨骼识别技术和骨骼勾勒技术对所述监控信息进行识别和判断，得到所述分析结果。6.根据权利要求5所述的老年人行为安全监控系统，其特征在于，所述人脸识别单元的工作流程包括：当所述分析结果为有危险时，所述人脸识别单元通过基于cnn和亮度均衡的人脸活体检测识别算法，使用基于p-net，r-net，o-net三个cnn进行级联的mtcnn算法，实现对人脸的精准定位并将检测出的人脸边界框按指定倍数裁剪人脸，接下来使用亮度均衡对人脸图像不同亮度区域进行亮度补偿，最后使用卷积神经网络提取数据特征并进行分类，将识别出的人脸信息与所述用户信息进行比对，判断是否为需要进行安全监控的人员。7.根据权利要求1所述的老年人行为安全监控系统，其特征在于，所述显示模块包括：显示装置和主界面；所述显示装置用于当所述分析结果为有危险时，显示现场画面；所述主界面用于显示最近的预警记录信息。8.根据权利要求1所述的老年人行为安全监控系统，其特征在于，所述管理模块包括：管理客户端和值班岗客户端；所述管理客户端用于管理人员查看危险区域监控、设置报警时间和地点范围；所述值班岗客户端用于值班人员接收取消报警、获取报警人员信息。

技术总结
本申请公开了一种老年人行为安全监控系统，包括：管理模块、监控模块、中控模块、显示模块、报警模块和终端模块；监控模块用于对老年人的行为进行监控，并将监控信息传输至中控模块；中控模块用于对监控信息进行分析，得到分析结果；当分析结果为有危险时，将现场视频画面通过显示模块进行投屏显示；当分析结果为有危险时，报警模块进行报警；当分析结果为有危险时，终端模块用于远程接收预警。本申请可以主动对视频信息进行智能分析，在危险行为发生之前自动识别，并完成预警；同时可以进行7


技术研发人员：崔嘉慧 黄腾骏 刘东叙 赵晓欢 牛思源 陆嘉怡 胡云瀚 江正帅 武广润
受保护的技术使用者：山东大学
技术研发日：2023.02.03
技术公布日：2023/6/12