基于婴幼儿睡姿的智能识别提醒方法、装置及设备与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于婴幼儿睡姿的智能识别提醒方法、装置及设备。


背景技术：

2.随着各种智能终端的发展与普及，智能看护设备的应用也越来越广泛，逐渐成为人们生活的一部分。目前，在针对婴幼儿的智能看护领域中，有些婴幼儿在睡眠场景下会无意识地向下趴着睡，这种“趴睡”姿势会导致口鼻被压迫，然而部分婴幼儿的力量有限，对肢体和肌肉的控制能力不足，无法自行纠正睡姿，容易出现窒息等危险情况。
3.现有中国专利cn109886137a提供了一种婴幼儿睡姿检测方法、装置及计算机可读存储介质，所述方法包括：获取婴幼儿睡眠状态的基于可见光的视频图像；通过三层卷积神经网络对所述视频图像处理，判断所述视频图像中是否存在人脸目标；若不存在人脸目标，则将异常信息发送至所述移动终端；当人体目标与安全休息区的边界距离小于预设值时，则发出风险提示信息。上述方法通过三层卷积的深度学习算法虽然能识别婴幼儿口鼻是否被遮挡，但婴幼儿是否会发生窒息取决于婴幼儿口鼻是否持续被遮挡，当婴幼儿翻身，口鼻不被遮挡时，上述专利提供的方案还是会误报警，打扰用户休息。
4.为此，如何在婴幼儿处于不良睡姿时，及时、准确地向用户发出安全提醒消息，在防止婴幼儿发生窒息的同时，避免用户被勿打扰是亟待解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种基于婴幼儿睡姿的智能识别提醒方法，用以解决现有技术中在婴幼儿处于不良睡姿时，无法及时、准确地向用户发出安全提醒消息的问题。
6.本发明采用的技术方案是：
7.第一方面，本发明提供了一种基于婴幼儿睡姿的智能识别提醒方法，其特征在于，所述方法包括：
8.s1：获取婴幼儿睡眠场景下实时的视频流，将所述视频流分解为多帧图像；
9.s2：将所述多帧图像输入预设的婴幼儿脸部遮挡判断模型中，提取出所述多帧图像中婴幼儿脸部被遮挡的多帧目标图像；
10.s3：当检测到连续的多帧目标图像时，将连续的各帧所述目标图像输入预设的呼吸检测模型中，得出连续的各帧所述目标图像对应的婴幼儿呼吸状态信息；
11.s4：依据所述婴幼儿呼吸状态信息，当检测到婴幼儿呼吸状态异常时，认为婴幼儿处于危险睡姿，向用户发出安全提醒。
12.优选地，所述s2包括：
13.s21：获取所述实时的视频流分解得出的多帧图像；
14.s22：将所述多帧图像输入预设的婴幼儿脸部关键点检测模型中，提取未检测到婴幼儿脸部关键点的图像作为所述目标图像，其中，所述脸部关键点至少包括：鼻子和嘴巴。
15.优选地，所述s3包括：
16.s31：确定各所述目标图像出现的初始时间点，并获取预设的时长；
17.s32：当在所述初始时间点之后且在预设时长范围外时，通过所述婴幼儿脸部遮挡判断模型检测出的均为目标图像时，确定最后一帧所述目标图像出现的终止时间点；
18.s33:将所述初始时间点和终止时间点之间的多帧目标图像作为连续的各所述目标图像输入预设的呼吸检测模型中，得出连续的各所述目标图像对应的婴幼儿呼吸状态信息。
19.优选地，所述s33包括：
20.s331：依据连续的各所述目标图像，对婴幼儿的呼吸运动所对应的图像数据进行数据增强，从而建立表征婴幼儿呼吸运动对应的局部区域的目标拉普拉斯金字塔图像；
21.s332：根据所述目标拉普拉斯金字塔图像和连续的各所述目标图像，得出所述婴幼儿呼吸状态信息。
22.优选地，所述s331包括：
23.s3311：根据连续的各所述目标图像，建立与连续的各所述目标图像对应的高斯金字塔，其中，每一高斯金字塔的级数预先设定；
24.s3312：根据所述高斯金字塔的每一级中各像素点的像素值筛选对应的连续的各所述目标图像的像素点，得到属于微弱运动的各目标像素点；
25.s3313：根据各所述目标像素点，建立对应的各层拉普拉斯金字塔；
26.s3314：根据各层所述拉普拉斯金字塔，得到所述目标拉普拉斯金字塔图像。
27.优选地，所述s332包括：
28.s3321：将所述目标拉普拉斯金字塔图像与连续的各所述目标图像进行叠加，得到对微弱运动的图像数据进行数据增强的目标视频；
29.s3322：根据所述目标视频的视频时长和微弱运动的运动次数，得到所述目标视频对应的微弱运动的运动频率；
30.s3323：将所述运动频率与预设的婴幼儿标准呼吸频率进行对比，得到所述婴幼儿呼吸状态信息。
31.优选地，其特征在于，所述s4包括：
32.s41：获取所述婴幼儿呼吸状态信息，其中所述婴幼儿呼吸状态信息包括：正常、急促或无呼吸；
33.s42：当所述婴幼儿呼吸状态信息为急促或无呼吸时，认为婴幼儿呼吸异常，向用户发出安全提醒。
34.第二方面，本发明提供了一种基于婴幼儿睡姿的智能识别提醒装置，所述装置包括：
35.图像获取模块，用于获取婴幼儿睡眠场景下实时的视频流，将所述视频流分解为多帧图像；
36.目标图像提取模块，用于将所述多帧图像输入预设的婴幼儿脸部遮挡判断模型中，提取出所述多帧图像中婴幼儿脸部被遮挡的多帧目标图像；
37.呼吸状态识别模块，用于当检测到连续的多帧目标图像时，将连续的各所述目标图像输入预设的呼吸检测模型中，得出连续的各所述目标图像对应的婴幼儿呼吸状态信
息；
38.安全提醒模块，用于依据所述婴幼儿呼吸状态信息，当检测到婴幼儿呼吸状态异常时，认为婴幼儿处于危险睡姿，向用户发出安全提醒。
39.第三方面，本发明实施例还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
40.第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。
41.综上所述，本发明的有益效果如下：
42.本发明提供的基于婴幼儿睡姿的智能识别提醒方法、装置及设备，所述方法包括：获取婴幼儿睡眠场景下实时的视频流，将所述视频流分解为多帧图像；将所述多帧图像输入预设的婴幼儿脸部遮挡判断模型中，提取出所述多帧图像中婴幼儿脸部被遮挡的多帧目标图像；当检测到连续的多帧目标图像时，将连续的各所述目标图像输入预设的呼吸检测模型中，得出连续的各所述目标图像对应的婴幼儿呼吸状态信息；依据所述婴幼儿呼吸状态信息，当检测到婴幼儿呼吸状态异常时，认为婴幼儿处于危险睡姿，向用户发出安全提醒。一方面，由于婴幼儿脸部被遮挡是一个动态持续性的过程，通过提取连续的多帧目标图像进行呼吸检测，提升了对婴幼儿脸部遮挡判断的准确性；另一方面，婴幼儿脸部被遮挡判断成功之后，进一步利用呼吸检测模型，得出婴幼儿的呼吸状态信息，脸部遮挡判断与呼吸检测结合的方式，进一步降低婴幼儿发生窒息的概率，有利于婴幼儿的身心健康成长，也避免了危险睡姿被误检，防止用户被误报警信息所干扰，进而提升了用户的看护体验。
附图说明
43.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
44.图1为本发明实施例1中基于婴幼儿睡姿的智能识别提醒方法的整体工作的流程示意图；
45.图2为本发明实施例1中对婴幼儿脸部进行遮挡判断的流程示意图；
46.图3为本发明实施例1中对婴幼儿呼吸进行检测的流程示意图；
47.图4为本发明实施例1中确定婴幼儿呼吸状态信息的流程示意图；
48.图5为本发明实施例1中提取目标拉普拉斯金字塔图像的流程示意图；
49.图6为本发明实施例1中依据呼吸频率确定呼吸状态的流程示意图；
50.图7为本发明实施例1中向用户发出安全提醒的流程示意图；
51.图8为本发明实施例2中基于婴幼儿睡姿的智能识别提醒装置的结构框图；
52.图9为本发明实施例3中电子设备的结构示意图。
具体实施方式
53.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，
诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
54.实施例1
55.请参见图1，本发明实施例1公开了一种基于婴幼儿睡姿的智能识别提醒方法，所述方法包括：
56.s1：获取婴幼儿睡眠场景下实时的视频流，将所述视频流分解为多帧图像；
57.具体地，由于婴幼儿的睡眠时间较长且不固定，无论是在白天和夜晚均有可能处于睡眠状态，获取摄像头采集的实时视频流，所述视频流包括白天基于可见光的视频流和夜间基于红外光的视频流，能够对婴幼儿的睡眠状态实现二十四小时的有效看护，再将获取的视频流分解为多帧图像输入下一程序中。
58.s2：将所述多帧图像输入预设的婴幼儿脸部遮挡判断模型中，提取出所述多帧图像中婴幼儿脸部被遮挡的多帧目标图像；
59.具体地，通过预设的婴幼儿脸部遮挡判断模型，对输入的多帧图像中婴幼儿脸部是否被遮挡进行判断，将婴幼儿脸部被判断为遮挡的图像作为目标图像提取出来，其中，所述婴幼儿脸部被遮挡是指婴幼儿口、鼻被遮挡，此时口、鼻作为人的呼吸系统的一部分，婴幼儿极易发生窒息，需要对所述目标图像进行进一步分析和处理，防止婴幼儿发生窒息。
60.在一实施例中，请参见图2，所述s2包括：
61.s21：获取所述实时的视频流分解得出的多帧图像；
62.s22：将所述多帧图像输入预设的婴幼儿脸部关键点检测模型中，提取未检测到婴幼儿脸部关键点的图像作为所述目标图像，其中，所述脸部关键点至少包括：鼻子和嘴巴。
63.具体地，获取大量睡眠场景下婴幼儿脸部处于不同角度(30
°
，45
°
和60
°
等)的训练图像数据，在实际睡眠场景下，婴幼儿可能因为仰卧、侧卧和趴卧等不同的睡姿导致脸部的朝向不同，将不同角度的大量训练图像数据作为训练的基础，有效地提升了对婴幼儿脸部特征信息的识别准确度。预先标注出训练图像数据中的鼻子和嘴巴关键点，将经过标注的图像数据作为深度学习模型训练的基础，构建一个基于yolov6s结构的目标检测模型，由于yolov6s具有检测精度高，速度快的特点，能够提升识别效率和精度。通过预先构建的基于yolov6s结构的目标检测模型，预先定义一个loss指标，将所述多帧图像输入所述目标检测模型中进行依次检测，得出的所述loss指标越大，代表多帧图像与目标检测模型中的特征信息越不拟合，将与目标检测模型拟合程度较低的图像作为未检测到婴幼儿脸部关键点的
图像提取出来作为所述目标图像。
64.s3：当检测到连续的多帧目标图像时，将连续的各帧所述目标图像输入预设的呼吸检测模型中，得出连续的各帧所述目标图像对应的婴幼儿呼吸状态信息；
65.具体地，当婴幼儿口、鼻等在持续一段时间内被一直遮挡，才会发生窒息的危险情况，为了避免用户在婴幼儿未发生窒息时被报警信息勿打扰，因此，只在检测到多帧连续的目标图像时，将连续的各所述目标图像输入预设的呼吸检测模型中，得出连续的各所述目标图像对应的婴幼儿呼吸状态信息。
66.在一实施例中，请参见图3，所述s3包括：
67.s31：确定各所述目标图像出现的初始时间点，并获取预设的时长；
68.具体地，例如获取提取出的一帧目标图像所对应的初始时间点为t1，并获取预设的时长，系统根据婴幼儿常见发生窒息的情况设置一个初步的预设时长，用户也可根据实际需要对所述预设时长进行调整，这里以预设时长为3分钟为例。预设时长设置的越长，则安全警报发出的越不及时，但对用户的干扰会减少；预设时长设置的越短，则安全警报发出更及时，但对用户的干扰可能性越大。
69.s32：当在所述初始时间点之后且在预设时长范围外时，通过所述婴幼儿脸部遮挡判断模型检测出的均为目标图像时，确定最后一帧所述目标图像出现的终止时间点；
70.具体地，当在所述初始时间点t1之后大于或等于3分钟内的所有帧图像均为目标图像时，将最后一帧所述目标图像出现的时间点作为终止时间点t2。
71.s33:将所述初始时间点和终止时间点之间的多帧目标图像作为连续的各所述目标图像输入预设的呼吸检测模型中，得出连续的各所述目标图像对应的婴幼儿呼吸状态信息。
72.具体地，通过将所述t1和t2之间的所有目标图像输入预设的呼吸检测模型中，得出连续的各所述目标图像对应的婴幼儿呼吸状态信息。由于输入的图像是连续的，从而能够保证婴幼儿的状态是处于持续的脸部被遮挡状态的，同时将脸部遮挡与呼吸检测相结合，进一步降低婴幼儿发生窒息的概率，有利于婴幼儿的身心健康成长。
73.在一实施例中，请参见图4，所述s33包括：
74.s331：依据连续的各所述目标图像，对婴幼儿的呼吸运动所对应的图像数据进行数据增强，从而建立表征婴幼儿呼吸运动对应的局部区域的目标拉普拉斯金字塔图像；
75.具体地，对婴幼儿睡眠视频中的呼吸运动对应的图像数据进行数据增强，具体为放大呼吸运动引起的图像区域各像素点的位置偏移距离，从而建立呼吸运动的图像区域对应的拉普拉斯金字塔图像，拉普拉斯金字塔图像的层级不同，其具有不同的空间频率以及信噪比，层级越少空间频率越低，优选建立的拉普拉斯金字塔图像为3-6层。
76.在一实施例中，请参见图5，所述s331包括：
77.s3311：根据连续的各所述目标图像，建立与连续的各所述目标图像对应的高斯金字塔，其中，每一高斯金字塔的级数预先设定；
78.s3312：根据所述高斯金字塔的每一级中各像素点的像素值筛选对应的连续的各所述目标图像的像素点，得到属于微弱运动的各目标像素点；
79.具体地，将高斯金字塔图像中的像素点的像素值记为第一像素值，将原图中各像素点的像素值记为第二像素值；将各第一像素值分别与各第二像素值进行对比，得到任一
第一像素值与各第二像素值的像素值差值，然后将各像素值差值与像素值阈值进行对比，将小于像素值阈值的像素值差值对应的第二像素值记为目标像素值，目标像素值对应的像素点即为目标像素点，通过该方法筛选出所有目标像素点，这些目标像素点不直接进行拉普拉斯变化来建立拉普拉斯金字塔图像，因为这些目标像素点可以看着是均匀变化的，因此直接进行拉普拉斯变化会导致拉普拉斯金字塔图像出现孔洞，即拉普拉斯变化后该区域梯度会消失，影响呼吸检测的准确性。请参见图4，图4为输入信号的构成，输入信号分解为墙边缘、纹理和平滑分量，强边缘为表征图像整体轮廓的突出像素值的各像素点，纹理为与强边缘中各像素点对应的像素值差异小的各像素点，即表征强边缘中各像素点对应图像区域细节的各像素点，平滑分量用于对图像进行低频分量增强、高频分量削弱，来实现图像的平滑处理,拉普拉斯需要进行两次求导，若直接进行拉普拉斯变换会将会导致在颜色均匀变化或者渐变区域处理结果为0，这些区域处理后的图像变为孔洞或消失，这将影响呼吸监测的准确性。
80.s3313：根据各所述目标像素点，建立对应的各层拉普拉斯金字塔；
81.具体地，在得到各目标像素点后，利用高斯函数具体地，在得到各目标像素点后，利用高斯函数对各目标像素点进行调整，使得微弱运动的图像中各像素点的像素值呈现非均匀变化或非渐变变化，避免建立的拉普拉斯金字塔图像中微弱运动存在孔洞或梯度消失，请参见图5，图5中分别对f取-2、-1、2和4，使得微弱运动区域的像素值变换呈非渐变变化或均匀变化，从而避免在进行拉普拉斯变换后该区域的像素值归零，导致该区域图像消失，在完成一层高斯金字塔图像后生成一幅新的图像，然后将这幅新图像转化为对应的一层拉普拉斯金字塔图像，重复该操作，最终得到目标拉普拉斯金字塔图像；通过该方式可以避免拉普拉斯变化导致呼吸运动对应的图像出现孔洞或消失的现象，保证呼吸运动数据的完整性。
82.s3314：根据各层所述拉普拉斯金字塔，得到所述目标拉普拉斯金字塔图像。具体地，获取各层拉普拉斯金字塔；利用公式地，获取各层拉普拉斯金字塔；利用公式对各层所述拉普拉斯金字塔进行放大和叠加处理，得到所述婴幼儿睡眠视频中微弱运动的所述目标拉普拉斯金字塔图像；其中，i(x,t)为在t时刻像素点的亮度，δ(t)为t时刻对应像素点相较于上一时刻的位移距离，α为放大系数，f(x)为像素点x的像素值。针对生成的新的每一层局部拉普拉斯金字塔，根据同一时间同像素点亮度不变原理，有如下公式：
83.i(x,t)＝f(x+δ(t))
84.则根据亮度不变原理，有：
85.i(x,t)＝f(x+(1+α)δ(t))
86.考虑到睡眠呼吸运动属于低频运动，在低频段进行低通滤波，因此用一阶泰勒级数展开为：
[0087][0088]
令：
[0089]
[0090]
b(x,t)为视频通道中的空间点位置为x，时间为t时的对应的呼吸信号对应的图像亮度变化信号。
[0091]
经过放大和叠加后得到：
[0092][0093]
再把放大后的拉普拉斯金字塔图像与原图进行叠加，就可以得到不同尺度下的金字塔图像，再将这些金子塔图像进行重建，即可得到我们需要的放大视频；通过对呼吸运动进行放大，有利于增加呼吸运动的辨识速度和准确性，从而保证检测的准确性。
[0094]
s332：根据所述目标拉普拉斯金字塔图像和连续的各所述目标图像，得出所述婴幼儿呼吸状态信息。
[0095]
在一实施例中，请参见图6，所述s332包括：
[0096]
s3321：将所述目标拉普拉斯金字塔图像与连续的各所述目标图像进行叠加，得到对微弱运动的图像数据进行数据增强的目标视频；
[0097]
s3322：根据所述目标视频的视频时长和微弱运动的运动次数，得到所述目标视频对应的微弱运动的运动频率；
[0098]
s3323：将所述运动频率与预设的婴幼儿标准呼吸频率进行对比，得到所述婴幼儿呼吸状态信息。
[0099]
具体地，微弱运动包括呼吸引起的运动、婴幼儿手部微动、头发部分的飘动等，对目标视频的微弱运动对应的波段进行研究，来确定微弱运动对应的运动频率，具体是根据目标视频的视频时长和运动次数，得到运动频率；将运动频率与婴幼儿的呼吸频率进行对比，得到所述婴幼儿呼吸状态信息。
[0100]
s4：依据所述婴幼儿呼吸状态信息，当检测到婴幼儿呼吸状态异常时，认为婴幼儿处于危险睡姿，向用户发出安全提醒。
[0101]
在一实施例中，请参见图7，所述s4包括：
[0102]
s41：获取所述婴幼儿呼吸状态信息，其中所述婴幼儿呼吸状态信息包括：正常、急促或无呼吸；
[0103]
s42：当所述婴幼儿呼吸状态信息为急促或无呼吸时，认为婴幼儿呼吸异常，向用户发出安全提醒。
[0104]
具体地，进一步的可以根据运动频率来确定呼吸状态，呼吸状态包括正常、急促和无呼吸；正常成人的呼吸频率是16-20次/分，儿童是30-40次/分。新生儿呼吸频率40-45次/分,根据这个数据，设定婴儿的呼吸频率区间大概为30-45次/分这个区间范围内；根据上述呼吸频率，将每段婴幼儿睡眠的视频时长设置为20秒，即每次对20秒视频的波段进行研究，在20秒视频中对应的呼吸次数为10-15次，若微弱运动的次数为10-15次，则认为是婴幼儿呼吸引起的微弱运动，否则，认为是其他动作引起的微弱运动，为了提高检测准确性，可以是进行多次检测后，综合输出结果来判断当前呼吸状态；如：以连续三个研究波段的输出结果来判断，若其对应的频率不在10-15次这个范围内，则认为该频率不是婴儿呼吸对应的频率，立即向用户发出报警信息；若在这个范围内，则认为是婴儿呼吸频率。通过呼吸检测的方式，进一步提升了危险睡姿检测的准确度，降低婴幼儿发生窒息的概率，有利于婴幼儿的身心健康成长，也避免了危险睡姿被误检，防止用户被误报警信息所干扰，进而提升了用户的看护体验。
[0105]
实施例2
[0106]
请参见图8，本发明实施例2还提供了一种基于婴幼儿睡姿的智能识别提醒装置，所述装置包括：
[0107]
图像获取模块，用于获取婴幼儿睡眠场景下实时的视频流，将所述视频流分解为多帧图像；
[0108]
目标图像提取模块，用于将所述多帧图像输入预设的婴幼儿脸部遮挡判断模型中，提取出所述多帧图像中婴幼儿脸部被遮挡的多帧目标图像；
[0109]
呼吸状态识别模块，用于当检测到连续的多帧目标图像时，将连续的各所述目标图像输入预设的呼吸检测模型中，得出连续的各所述目标图像对应的婴幼儿呼吸状态信息；
[0110]
安全提醒模块，用于依据所述婴幼儿呼吸状态信息，当检测到婴幼儿呼吸状态异常时，认为婴幼儿处于危险睡姿，向用户发出安全提醒。
[0111]
具体地，采用本发明实施例2的基于婴幼儿睡姿的智能识别提醒装置，所述装置包括：图像获取模块，用于获取婴幼儿睡眠场景下实时的视频流，将所述视频流分解为多帧图像；目标图像提取模块，用于将所述多帧图像输入预设的婴幼儿脸部遮挡判断模型中，提取出所述多帧图像中婴幼儿脸部被遮挡的多帧目标图像；呼吸状态识别模块，用于当检测到连续的多帧目标图像时，将连续的各所述目标图像输入预设的呼吸检测模型中，得出连续的各所述目标图像对应的婴幼儿呼吸状态信息；安全提醒模块，用于依据所述婴幼儿呼吸状态信息，当检测到婴幼儿呼吸状态异常时，认为婴幼儿处于危险睡姿，向用户发出安全提醒。一方面，由于婴幼儿脸部被遮挡是一个动态持续性的过程，通过提取连续的多帧目标图像进行呼吸检测，提升了对婴幼儿脸部遮挡判断的准确性；另一方面，婴幼儿脸部被遮挡判断成功之后，进一步利用呼吸检测模型，得出婴幼儿的呼吸状态信息，脸部遮挡判断与呼吸检测结合的方式，进一步降低婴幼儿发生窒息的概率，有利于婴幼儿的身心健康成长，也避免了危险睡姿被误检，防止用户被误报警信息所干扰，进而提升了用户的看护体验。
[0112]
实施例3
[0113]
另外，结合图1描述的本发明实施例1的基于婴幼儿睡姿的智能识别提醒方法可以由电子设备来实现。图9示出了本发明实施例3提供的电子设备的硬件结构示意图。
[0114]
电子设备可以包括处理器以及存储有计算机程序指令的存储器。
[0115]
具体地，上述处理器可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，asic)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
[0116]
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。
[0117]
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种基于婴幼儿睡姿的智能识别提醒方法。
[0118]
在一个示例中，电子设备还可包括通信接口和总线。其中，如图9所示，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
[0119]
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
[0120]
实施例4
[0121]
另外，结合上述实施例1中的基于婴幼儿睡姿的智能识别提醒方法，本发明实施例4还可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于婴幼儿睡姿的智能识别提醒方法。
[0122]
综上所述，本发明实施例提供了一种基于婴幼儿睡姿的智能识别提醒方法、装置及设备。
[0123]
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
[0124]
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
[0125]
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
[0126]
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于婴幼儿睡姿的智能识别提醒方法，其特征在于，所述方法包括：s1：获取婴幼儿睡眠场景下实时的视频流，将所述视频流分解为多帧图像；s2：将所述多帧图像输入预设的婴幼儿脸部遮挡判断模型中，提取出所述多帧图像中婴幼儿脸部被遮挡的多帧目标图像；s3：当检测到连续的多帧目标图像时，将连续的各帧所述目标图像输入预设的呼吸检测模型中，得出连续的各帧所述目标图像对应的婴幼儿呼吸状态信息；s4：依据所述婴幼儿呼吸状态信息，当检测到婴幼儿呼吸状态异常时，认为婴幼儿处于危险睡姿，向用户发出安全提醒。2.根据权利要求1所述的基于婴幼儿睡姿的智能识别提醒方法，其特征在于，所述s2包括：s21：获取所述实时的视频流分解得出的多帧图像；s22：将所述多帧图像输入预设的婴幼儿脸部关键点检测模型中，提取未检测到婴幼儿脸部关键点的图像作为所述目标图像，其中，所述脸部关键点至少包括：鼻子和嘴巴。3.根据权利要求1所述的基于婴幼儿睡姿的智能识别提醒方法，其特征在于，所述s3包括：s31：确定各所述目标图像出现的初始时间点，并获取预设时长；s32：当在所述初始时间点之后且在预设时长范围外时，通过所述婴幼儿脸部遮挡判断模型检测出的均为目标图像时，确定最后一帧所述目标图像出现的终止时间点；s33:将所述初始时间点和终止时间点之间的多帧目标图像作为连续的各所述目标图像输入预设的呼吸检测模型中，得出连续的各帧所述目标图像对应的婴幼儿呼吸状态信息。4.根据权利要求3所述的基于婴幼儿睡姿的智能识别提醒方法，其特征在于，所述s33包括：s331：依据连续的各帧所述目标图像，对婴幼儿的呼吸运动所对应的图像数据进行数据增强，从而建立表征婴幼儿呼吸运动对应的局部区域的目标拉普拉斯金字塔图像；s332：根据所述目标拉普拉斯金字塔图像和连续的各帧所述目标图像，得出所述婴幼儿呼吸状态信息。5.根据权利要求4所述的基于婴幼儿睡姿的智能识别提醒方法，其特征在于，所述s331包括：s3311：根据连续的各帧所述目标图像，建立与连续的各帧所述目标图像对应的高斯金字塔，其中，每一高斯金字塔的级数预先设定；s3312：根据所述高斯金字塔的每一级中各像素点的像素值筛选对应的连续的各帧所述目标图像的像素点，得到属于微弱运动的各目标像素点；s3313：根据各所述目标像素点，建立对应的各层拉普拉斯金字塔；s3314：根据各层所述拉普拉斯金字塔，得到所述目标拉普拉斯金字塔图像。6.根据权利要求5所述的基于婴幼儿睡姿的智能识别提醒方法，其特征在于，所述s332包括：s3321：将所述目标拉普拉斯金字塔图像与连续的各帧所述目标图像进行叠加，得到对微弱运动的图像数据进行数据增强的目标视频；
s3322：根据所述目标视频的视频时长和微弱运动的运动次数，得到所述目标视频对应的微弱运动的运动频率；s3323：将所述运动频率与预设的婴幼儿标准呼吸频率进行对比，得到所述婴幼儿呼吸状态信息。7.根据权利要求1所述的基于婴幼儿睡姿的智能识别提醒方法，其特征在于，所述s4包括：s41：获取所述婴幼儿呼吸状态信息，其中所述婴幼儿呼吸状态信息包括：正常、急促或无呼吸；s42：当所述婴幼儿呼吸状态信息为急促或无呼吸时，认为婴幼儿呼吸异常，向用户发出安全提醒。8.一种基于婴幼儿睡姿的智能识别提醒装置，其特征在于，所述装置包括：图像获取模块，用于获取婴幼儿睡眠场景下实时的视频流，将所述视频流分解为多帧图像；目标图像提取模块，用于将所述多帧图像输入预设的婴幼儿脸部遮挡判断模型中，提取出所述多帧图像中婴幼儿脸部被遮挡的多帧目标图像；呼吸状态识别模块，用于当检测到连续的多帧目标图像时，将连续的各所述目标图像输入预设的呼吸检测模型中，得出连续的各所述目标图像对应的婴幼儿呼吸状态信息；安全提醒模块，用于依据所述婴幼儿呼吸状态信息，当检测到婴幼儿呼吸状态异常时，认为婴幼儿处于危险睡姿，向用户发出安全提醒。9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。10.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。

技术总结
本发明涉及图像处理技术领域，解决了现有技术中在婴幼儿处于不良睡姿时，无法及时、准确地向用户发出安全提醒消息的问题，提供了一种基于婴幼儿睡姿的智能识别提醒方法、装置及设备。该方法包括：获取婴幼儿睡眠场景下实时的视频流并分解为多帧图像；将所述多帧图像输入预设的婴幼儿脸部遮挡判断模型中，提取出婴幼儿脸部被遮挡的多帧目标图像；将连续的各所述目标图像输入预设的呼吸检测模型中，得出连续的各所述目标图像对应的婴幼儿呼吸状态信息；依据所述婴幼儿呼吸状态信息，当检测到婴幼儿呼吸状态异常时，认为婴幼儿处于危险睡姿，向用户发出安全提醒。本发明降低婴幼儿发生窒息的概率，也避免了用户被误报警信息所干扰。扰。扰。


技术研发人员：陈辉 熊章 张智 张青军 杜沛力
受保护的技术使用者：武汉星巡智能科技有限公司
技术研发日：2023.03.20
技术公布日：2023/7/6