车内滞留生命体的监控方法、装置、设备和存储介质与流程

1.本发明涉及汽车安全保护技术领域，特别是涉及一种车内滞留生命体的监控方法、装置、设备和存储介质。


背景技术：

2.随着汽车的不断普及，车内安全事故也越来越多。例如，由于驾驶员离开车辆时，忘记车内还存在其他生命体，例如儿童、宠物等，导致生命体滞留在封闭车辆内。随着时间推移，车内如二氧化碳等对生命体具有不良作用的气体聚集、或车内温度升高等使得车内环境恶劣，可能会威胁到车内滞留生命体的生命安全。
3.若能在驾驶员离开车辆后准确监测出车内存在滞留生命体，将有助于及时介入安全保护措施，减小滞留生命体发生安全事故的可能性。因此，如何提高监测车内存在滞留生命体的准确性，成为亟待解决的技术问题。


技术实现要素：

4.本发明主要解决的技术问题是提供一种车内滞留生命体的监控方法、装置、设备和计算机可读存储介质，能够提高监测车内存在滞留生命体的准确性。
5.为解决上述技术问题，本技术采用的一个技术方案是：提供一种车内滞留生命体的监控方法，所述方法包括：获取车辆在动力关闭且车门上锁状态下的车内图像；基于车内图像进行目标检测，得到目标检测结果；响应于目标检测结果包括未知分类区域，向目标对象的终端设备发送警示信息；其中，警示信息用于提示目标对象确定车辆内是否存在滞留生命体，警示信息至少包括车内图像中位于未知分类区域的图像数据。
6.其中，在目标检测结果包括未知分类区域的情况下，向目标对象的终端设备发送警示信息之前，方法还包括：判断未知分类区域内是否存在活动物体；向目标对象的终端设备发送警示信息，包括：响应于未知分类区域内存在活动物体，向终端设备发送警示信息。
7.其中，判断未知分类区域内是否存在活动物体，包括：确定相邻两帧车内图像中未知分类区域的状态参数，状态参数包括未知分类区域的位置信息和尺寸信息中的至少一者；基于相邻两帧车内图像中未知分类区域的状态参数，确定未知分类区域内是否存在活动物体。
8.其中，方法还包括：响应于确定车辆内存在滞留生命体，判断滞留生命体是否处于活动状态；响应于滞留生命体处于活动状态，基于滞留生命体的属性参数，与滞留生命体进行交互；其中，属性参数包括物种、年龄中至少一者。
9.其中，基于滞留生命体的属性参数，与滞留生命体进行交互，包括：响应于滞留生命体的物种为非人类，或者滞留生命体的物种为人类且年龄小于或等于预设年龄阈值，播放第一多媒体数据，其中，第一多媒体数据用于安抚滞留生命体的情绪。
10.其中，基于滞留生命体的属性参数，与滞留生命体进行交互，包括：响应于滞留生命体的物种为人类且年龄大于预设年龄阈值，播放预设问题，其中，预设问题用于验证滞留
生命体的智力水平；基于滞留生命体对预设问题的回答内容，与滞留生命体进行交互。
11.其中，基于滞留生命体对预设问题的回答内容，与滞留生命体进行交互，包括：响应于回答内容与预设问题的预设答案一致，播放第二多媒体数据，其中，第二多媒体数据用于引导滞留生命体对车门进行解锁；响应于未接收到回答内容，或回答内容与预设问题的预设答案不一致，播放第一多媒体数据。
12.其中，方法还包括：响应于确定车内存在滞留生命体，执行以下操作中的至少一者：响应于车内温度大于预设温度阈值，控制空调启动；响应于车内光照强度小于预设光照强度阈值，控制车内灯光设备开启；控制后排车窗下降至预设开度阈值；发送定位信息至终端设备；控制车内香氛设备启动。
13.其中，确定车内存在滞留生命体，包括：基于目标检测结果，确定存在滞留生命体；或者，接收到终端设备发送的反馈信息，反馈信息指示车内存在滞留生命体。
14.其中，方法还包括：接收终端设备发送的远程控制指令，远程控制指令用于指示执行以下操作中的至少一者：控制空调启动、开启车内灯光设备、控制后排车窗下降至预设开度阈值。
15.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种车内滞留生命体的监控装置，该装置包括：获取模块，用于获取车辆在动力关闭且车门上锁状态下的车内图像；目标检测模块，用于基于车内图像进行目标检测，得到目标检测结果；发送模块，用于响应于目标检测结果包括未知分类区域，向目标对象的终端设备发送警示信息；其中，警示信息用于提示目标对象确定车辆内是否存在滞留生命体，警示信息至少包括车内图像中位于未知分类区域的图像数据。
16.其中，车内滞留生命体的监控装置还包括第一判断模块。在目标检测结果包括未知分类区域的情况下，向目标对象的终端设备发送警示信息之前，第一判断模块用于判断未知分类区域内是否存在活动物体。发送模块用于响应于未知分类区域内存在活动物体，向终端设备发送警示信息。
17.其中，第一判断模块用于确定相邻两帧车内图像中未知分类区域的状态参数，状态参数包括未知分类区域的位置信息和尺寸信息中的至少一者；基于相邻两帧车内图像中未知分类区域的状态参数，确定未知分类区域内是否存在活动物体。
18.其中，车内滞留生命体的监控装置还包括第二判断模块和交互模块。第二判断模块用于响应于确定车辆内存在滞留生命体，判断滞留生命体是否处于活动状态。交互模块用于响应于滞留生命体处于活动状态，基于滞留生命体的属性参数，与滞留生命体进行交互；其中，属性参数包括物种、年龄中至少一者。
19.其中，交互模块用于响应于滞留生命体的物种为非人类，或者滞留生命体的物种为人类且年龄小于或等于预设年龄阈值，播放第一多媒体数据，其中，第一多媒体数据用于安抚滞留生命体的情绪。
20.其中，交互模块用于响应于滞留生命体的物种为人类且年龄大于预设年龄阈值，播放预设问题，其中，预设问题用于验证滞留生命体的智力水平；基于滞留生命体对预设问题的回答内容，与滞留生命体进行交互。
21.其中，交互模块用于响应于回答内容与预设问题的预设答案一致，播放第二多媒体数据，其中，第二多媒体数据用于引导滞留生命体对车门进行解锁；响应于未接收到回答
内容，或回答内容与预设问题的预设答案不一致，播放第一多媒体数据。
22.其中，车内滞留生命体的监控装置还包括控制模块。控制模块用于响应于确定车内存在滞留生命体，执行以下操作中的至少一者：响应于车内温度大于预设温度阈值，控制空调启动；响应于车内光照强度小于预设光照强度阈值，控制车内灯光设备开启；控制后排车窗下降至预设开度阈值；发送定位信息至终端设备；控制车内香氛设备启动。
23.其中，车内滞留生命体的监控装置还包括确定模块，确定模块用于基于目标检测结果，确定存在滞留生命体。或者，车内滞留生命体的监控装置还包括接收模块，接收模块用于接收终端设备发送的反馈信息，反馈信息指示车内存在滞留生命体。
24.其中，接收模块还用于接收终端设备发送的远程控制指令，远程控制指令用于指示控制模块执行以下操作中的至少一者：控制空调启动、开启车内灯光设备、控制后排车窗下降至预设开度阈值。
25.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种电子设备，包括相互耦接的存储器和处理器，存储器存储有程序指令；处理器用于执行存储器中存储的程序指令，以实现上述车内滞留生命体的监控方法。
26.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，程序指令能够被处理器执行以实现上述车内滞留生命体的监控方法。
27.以上方案，获取车辆在动力关闭且车门上锁状态下的车内图像，并基于车内图像进行目标检测，得到目标检测结果。当目标检测结果包括未知分类区域，即通过目标检测无法确定出车内存在滞留生命体时，向目标对象的终端设备发送警示信息，警示信息至少包括车内图像中位于未知分类区域的图像数据，以便于目标对象确定车内是否存在滞留生命体。该方式能够在通过目标检测无法确定车内存在滞留生命体时，进一步通过目标对象确定车内是否存在滞留生命体，提高了监测车内存在滞留生命体的准确性。
附图说明
28.图1是本技术提供的车内滞留生命体的监控方法一实施例的流程示意图；
29.图2是本技术提供的车内滞留生命体的监控方法另一实施例的流程示意图；
30.图3是本技术提供的目标轨迹跟踪的原理示意图；
31.图4是本技术提供的车内滞留生命体的监控系统一实施例的框架示意图；
32.图5是本技术提供的车内滞留生命体的监控装置一实施例的框架示意图；
33.图6是本技术提供的电子设备一实施例的框架示意图；
34.图7是本技术提供的计算机可读存储介质一实施例的框架示意图。
具体实施方式
35.为使本技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本技术进一步详细说明。
36.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
37.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关
系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。“若干”表示至少一个。本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
38.请参阅图1，图1是本技术提供的车内滞留生命体的监控方法一实施例的流程示意图。该方法可以由车辆控制器执行，示例性地，车辆控制器可以是整车控制器或者其他控制器等，本实施例对此不作具体限定。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：
39.s11：获取车辆在动力关闭且车门上锁状态下的车内图像。
40.当检测到车辆动力关闭且车门上锁时，确定驾驶员下车离开车辆。
41.在一实施方式中，车辆内部安装有图像检测设备。当检测到车辆动力关闭且车门上锁时，控制图像检测设备开启，并获取图像检测设备采集的车内图像。
42.s12：基于车内图像进行目标检测，得到目标检测结果。
43.具体地，将车内图像输入目标检测模型，利用目标检测模型对车内图像进行目标检测，得到目标检测结果。示例性地，目标检测结果可包括若干目标检测框区域，以及各目标检测框区域的分类信息、位置信息等。
44.在一示例中，可通过若干样本图像对目标检测模型进行训练，使得目标检测模型可以对车内静态常驻物体进行识别和分类。示例性地，车内静态常驻物体包括座椅、抱枕等。该示例中，当车内出现除前述车内静态常驻物体之外的其他目标时，目标检测模型无法对其进行分类。
45.在另一示例中，可通过若干样本图像对目标检测模型进行训练，使得目标检测模型可以对常见的生命体以及前述车内静态常驻物体进行识别和分类。示例性地，常见的生命体可以是宠物、儿童、大人等。该示例中，当车内存在生命体且生命体被车内静态常驻物体部分遮挡时，例如，位于车内后排的生命体被前排座椅部分遮挡时，目标检测模型可能无法识别分类出生命体。
46.本实施例中，目标检测模型可以是r-cnn(region based convolutional neural network，基于区域的卷积神经网络)、faster r-cnn、yolo(you only look once，一种实时物体检测算法)等，对此不作具体限定。
47.s13：响应于目标检测结果包括未知分类区域，向目标对象的终端设备发送警示信息。
48.其中，警示信息用于提示目标对象确定车辆内是否存在滞留生命体，警示信息至少包括车内图像中位于未知分类区域的图像数据。需要说明的是，本实施例中的未知分类区域指目标检测无法对检测框内的目标进行分类的区域。
49.在一实施方式中，在目标检测结果包括未知分类区域的情况下，直接向目标对象的终端设备发送警示信息，以便于目标对象基于警示信息，确定车辆内是否存在滞留生命体。
50.在另一实施方式中，在目标检测结果包括未知分类区域的情况下，先判断未知分
类区域内是否存在活动物体。当未知分类区域内存在活动物体时，确定车内存在异常。此时，再向目标对象的终端设备发送警示信息。
51.示例性地，目标对象可以是车主、与车主存在血缘关系的人、与车主存在朋友关系的人、负责生命安全或紧急事务的相关部门中的至少一者。目标对象的终端设备可以是手机、电脑、平板、可穿戴智能设备等，本实施例对此不作具体限定。
52.本实施例中，获取车辆在动力关闭且车门上锁状态下的车内图像，并基于车内图像进行目标检测，得到目标检测结果。当目标检测结果包括未知分类区域，即通过目标检测无法确定出车内存在滞留生命体时，向目标对象的终端设备发送警示信息，警示信息至少包括车内图像中位于未知分类区域的图像数据，以便于目标对象确定车内是否存在滞留生命体。该方式能够在通过目标检测无法确定车内存在滞留生命体时，进一步通过目标对象确定车内是否存在滞留生命体，提高了监测车内存在滞留生命体的准确性。
53.请参阅图2，图2是本技术提供的车内滞留生命体的监控方法另一实施例的流程示意图，该方法可由前述的车辆控制器执行。如图2所示，该方法包括如下步骤：
54.s21：获取车辆在动力关闭且车门上锁状态下的车内图像。
55.s22：基于车内图像进行目标检测，得到目标检测结果。
56.步骤s21和步骤s22的相关内容，可分别参照前述步骤s11和步骤s12，在此不再赘述。
57.s23：响应于目标检测结果包括未知分类区域，判断未知分类区域内是否存在活动物体。
58.在目标检测结果包括未知分类区域的情况下，若未知分类区域内存在活动物体时，确定车内存在异常；在目标检测结果包括未知分类区域的情况下，若未知分类区域内不存在活动物体时，确定车内不存在异常。
59.本实施例中，判断未知分类区域内是否存在活动物体，包括：确定相邻两帧车内图像中未知分类区域的状态参数；基于相邻两帧车内图像中未知分类区域的状态参数，确定未知分类区域内是否存在活动物体。其中，未知分类区域的状态参数包括未知分类区域的位置信息和尺寸信息中的至少一者。示例性地，未知分类区域的位置信息包括未知分类区域内目标中心的水平像素坐标、垂直像素坐标、水平像素坐标变化速率以及垂直像素坐标变化率。未知分类区域的尺寸信息包括未知分类区域的面积、面积变化率以及长宽比。
60.在一实施方式中，基于目标跟踪算法对未知分类区域的目标进行轨迹跟踪，以确定相邻两帧车内图像中未知分类区域的状态参数。
61.具体地，请参阅图3，图3是本技术提供的目标轨迹跟踪的原理示意图。如图3所示，将通过目标检测得到的未知分类区域输入至轨迹跟踪框架，使用线性恒速模型来估计每个未知分类区域中目标的帧间位移，每个目标的状态建模为：其中，u、v、s、r、和分别表示未知分类区域内目标中心的水平像素坐标、垂直像素坐标、未知分类区域的面积、未知分类区域的长宽比、未知分类区域内目标中心的水平像素坐标变化速率、垂直像素坐标变化率以及未知分类区域的面积变化率。一方面，结合线性恒速模型以及当前帧车内图像中未知分类区域的状态参数，采用卡尔曼(kalman)滤波器预测得到下一帧车内图像中的预测未知分类区域(滤波器预测框)，另一方面，采用目标检测算法检测
得到下一帧车内图像中的测量未知分类区域(目标检测框)，计算预测未知分类区域与测量未知分类区域之间的iou(intersection over union，交并比)距离，并得到代价矩阵，并基于代价矩阵对当前帧车内图像中的目标和下一帧车内图像中的目标进行匈牙利(hungarian)匹配；若匹配成功，则结合预测未知分类区域和测量未知分类区域，利用卡尔曼滤波算法进行更新，得到下一帧车内图像中的未知分类区域的最优估计，从而得到下一帧车内图像中的未知分类区域的状态参数。若未匹配成功，可能是目标进入或离开图像，需要相应地创建目标轨迹以及轨迹对应的轨迹标识，或者，删除目标轨迹以及轨迹标识。
62.在一实施方式中，当相邻两帧车内图像中未知分类区域的状态参数满足预设条件时，确定未知分类区域内存在活动物体；当相邻两帧车内图像中未知分类区域的状态参数不满足预设条件时，确定未知分类区域内不存在活动物体。预设条件包括相邻两帧车内图像的状态参数之间的差值绝对值大于预设差值阈值。例如，当前帧车内图像的目标中心的水平像素坐标与下一帧车内图像的目标中心的水平像素坐标之间的差值绝对值大于预设差值阈值。需要说明的是，当状态参数包括多个时，各状态参数对应的预设差值阈值根据实际需要进行设定，各状态参数对应的预设差值阈值可以各不相同。
63.s24：响应于未知分类区域内存在活动物体，向目标对象的终端设备发送警示信息。
64.其中，警示信息用于提示目标对象确定车辆内是否存在滞留生命体，警示信息至少包括车内图像中位于未知分类区域的图像数据。
65.进一步地，在向目标对象的终端设备发送警示信息后，还包括：接收到终端设备发送的反馈信息，反馈信息指示车内存在滞留生命体。也即是，当目标对象的终端设备接收到警示信息，且目标对象基于警示信息确定车内存在滞留生命体后，可以通过终端设备向车辆控制器发送反馈信息，车辆控制器接收到反馈信息后，确定车内存在滞留生命体。
66.本实施例中，一方面，可以通过对车内图像进行目标检测，得到目标检测结果，当滞留生命体不存在遮挡或者滞留生命体存在遮挡但不影响对滞留生命体的识别分类时，可以直接基于目标检测结果，确定车内存在滞留生命体。另一方面，当目标检测结果包括未知分类区域且未知分类区域内存在异常的活动物体时，由于通过目标检测已无法确定车内是否存在滞留生命体，通过向目标对象的终端设备发送警示信息，可以进一步通过目标对象确定车内是否存在异常物体，提高了监测车内存在滞留生命体的准确性。
67.可选地，本实施例中，当确定车辆内存在滞留生命体时，滞留生命体的监控方法还包括：判断滞留生命体是否处于活动状态；当滞留生命体处于活动状态时，基于滞留生命体的属性参数，与滞留生命体进行交互。其中，属性参数包括物种、年龄中至少一者。
68.在一实施方式中，判断滞留生命体是否处于活动状态包括：确定相邻两帧车辆图像中滞留生命体区域的状态参数；基于相邻两帧车内图像中滞留生命体区域的状态参数，确定滞留生命体是否处于活动状态。其中，滞留生命体区域的状态参数包括滞留生命体区域的位置信息和尺寸信息中的至少一者。相关内容可参考前述步骤s23，在此省略详细描述。
69.在一实施方式中，基于滞留生命体的属性参数，与滞留生命体进行交互，包括：响应于滞留生命体的物种为非人类，或者滞留生命体的物种为人类且年龄小于或等于预设年龄阈值，播放第一多媒体数据。其中，第一多媒体数据用于安抚滞留生命体的情绪。
70.当滞留生命体为人类，且滞留生命体的年龄小于或等于预设年龄阈值时，认为滞留生命体的年龄较小，不具备自救能力。当滞留生命体为人类，且滞留生命体的年龄大于预设年龄阈值时，认为滞留生命体的年龄较大，可能具备自救能力。示例性地，预设年龄阈值根据实际情况进行设定。滞留生命体的年龄可通过前述目标检测算法检测得到，或者，当滞留生命体通过目标对象远程确定时，目标对象还可以通过终端设备向车辆控制器反馈滞留生命体的年龄信息。第一多媒体数据可以为预先设置的音乐、动画片或者语音等，本实施例对此不作具体限定。
71.在另一实施方式中，基于滞留生命体的属性参数，与滞留生命体进行交互，包括：响应于滞留生命体的物种为人类且年龄大于预设年龄阈值，播放预设问题；基于滞留生命体对预设问题的回答内容，与滞留生命体进行交互。其中，预设问题用于验证滞留生命体的智力水平。预设问题根据实际需求进行设定。
72.具体地，基于滞留生命体对预设问题的回答内容，与滞留生命体进行交互，包括：当滞留生命体的回答内容与预设问题的预设答案一致时，确定滞留生命体的智力水平较高，可以通过语音交互引导的方式进行自救，此时可以播放第二多媒体数据，第二多媒体数据用于引导滞留生命体对车门进行解锁；当未接收到滞留生命体的回答内容，或者滞留生命体的回答内容与预设问题的预设答案不一致时，确定滞留生命体的智力水平较低，不能通过语音交互引导的方式进行自救，此时可以播放第一多媒体数据，以安抚滞留生命体的情绪。
73.可选地，本实施例中在播放第二多媒体数据之前，还包括：播放第三多媒体数据，第三多媒体数据用于引导滞留生命体凑近图像检测设备拍摄图像。在获取到滞留生命体的图像后，将滞留生命体的图像作为记录存储在存储单元中，以便于后续目标对象调取查看。
74.本实施例中，当确定车辆内存在滞留生命体且滞留生命体处于运动状态时，认为滞留生命体可能处于焦急、害怕、恐慌的状态。此时，通过播放第一多媒体数据可以对滞留生命体的情绪进行安抚，可以使滞留生命体安静下来，减小滞留生命体因乱动导致的磕碰风险，进一步保护滞留生命体在车内的安全。通过播放第二多媒体数据可以引导滞留生命体进行解锁车门进行自救，进一步保证滞留生命体的生命安全。
75.请参阅图4，图4是本技术提供的车内滞留生命体的监控系统一实施例的框架示意图。如图4所示，车内滞留生命体的监控系统包括图像检测设备501、温度传感器502、光照强度传感器503、定位设备504、空调505、车窗506、门锁507、车内灯光设备508、香氛设备509、报警模块510、语言交互模块511、车辆控制器512以及供电模块513。其中，图像检测设备501用于检测车内图像；温度传感器502用于检测车内温度；光照强度传感器503用于检测车内光照强度；定位设备504用于获取滞留生命体所在车辆的定位信息；报警模块510用于在确定车辆内存在滞留生命体时，向目标对象的终端设备发送警示信息以及车辆的定位信息等；语言交互模块511用于与滞留生命体进行语音交互；供电模块513用于为监控系统中的各设备或模块进行供电，示例性地，供电模块513可以是太阳能光伏板或蓄电池。
76.可选地，本实施例中，当确定车辆内存在滞留生命体时，车内滞留生命体的监控方法还包括执行以下操作中的至少一者：响应于车内温度大于预设温度阈值，控制空调启动；响应于车内光照强度小于预设光照强度阈值，控制车内灯光设备开启；控制后排车窗下降至预设开度阈值；发送定位信息至目标对象的终端设备；控制车内香氛设备启动。
77.当确定车辆内存在滞留生命体时，若车内温度大于预设温度阈值，可能会威胁到滞留生命体的生命安全，此时可控制空调启动，以降低车内温度。预设温度阈值可根据实际需要进行设定。
78.当确定车辆内存在滞留生命体时，考虑到当车辆停在地下车库或者其他光照强度较低的地方时，车内可能处于黑暗状态，此时滞留生命体可能会紧张害怕。若车内光照强度小于预设光照强度阈值，控制车内灯光开启，一方面可以缓解滞留生命体紧张、害怕的情绪，另一方面，车内灯光开启后可能会引起周围人注意，当滞留生命体存在生命安全时，周围人可以观察到滞留生命体的情况，及时施救。预设光照强度阈值可根据实际需要进行设定。
79.当确定车辆内存在滞留生命体时，控制后排车窗下降至预设开度阈值，一方面，可以对车内进行通风，提升车内空气质量，另一方面，可以防止儿童丢失。预设开度阈值根据实际情况进行设定。
80.当确定车辆内存在滞留生命体时，发送定位信息至目标对象的终端设备，可便于目标对象快速找到并解救滞留生命体。
81.当确定车辆内存在滞留生命体时，控制车内香氛设备启动，可以去除车内异味，消灭杀菌，改善车内空气环境。
82.可选地，本实施例中，当目标对象基于前述警示信息确定车辆内存在滞留生命体时，可以采取远程施救措施，以保证车辆滞留生命体的生命安全。此时，滞留生命体的监控方法还包括：接收终端设备发送的远程控制指令，远程控制指令用于指示执行以下操作中的至少一者：控制空调启动、开启车内灯光设备、控制后排车窗下降至预设开度阈值。
83.请参阅图5，图5是本技术提供的车内滞留生命体的监控装置一实施例的框架示意图。本实施方式中，车内滞留生命体的监控装置50包括：获取模块51、目标检测模块52和发送模块53。其中，获取模块51，用于获取车辆在动力关闭且车门上锁状态下的车内图像。目标检测模块52用于基于车内图像进行目标检测，得到目标检测结果。发送模块53用于响应于目标检测结果包括未知分类区域，向目标对象的终端设备发送警示信息。其中，警示信息用于提示目标对象确定车辆内是否存在滞留生命体，警示信息至少包括车内图像中位于未知分类区域的图像数据。
84.可选地，车内滞留生命体的监控装置50还包括第一判断模块54。在目标检测结果包括未知分类区域的情况下，向目标对象的终端设备发送警示信息之前，第一判断模块54用于判断未知分类区域内是否存在活动物体。发送模块53用于响应于未知分类区域内存在活动物体，向终端设备发送警示信息。
85.可选地，第一判断模块54用于确定相邻两帧车内图像中未知分类区域的状态参数，状态参数包括未知分类区域的位置信息和尺寸信息中的至少一者；基于相邻两帧车内图像中未知分类区域的状态参数，确定未知分类区域内是否存在活动物体。
86.可选地，车内滞留生命体的监控装置50还包括第二判断模块55和交互模块56。第二判断模块55用于响应于确定车辆内存在滞留生命体，判断滞留生命体是否处于活动状态。交互模块56用于响应于滞留生命体处于活动状态，基于滞留生命体的属性参数，与滞留生命体进行交互；其中，属性参数包括物种、年龄中至少一者。
87.可选地，交互模块56用于响应于滞留生命体的物种为非人类，或者滞留生命体的
物种为人类且年龄小于或等于预设年龄阈值，播放第一多媒体数据，其中，第一多媒体数据用于安抚滞留生命体的情绪。
88.可选地，交互模块56用于响应于滞留生命体的物种为人类且年龄大于预设年龄阈值，播放预设问题，其中，预设问题用于验证滞留生命体的智力水平；基于滞留生命体对预设问题的回答内容，与滞留生命体进行交互。
89.可选地，交互模块56用于响应于回答内容与预设问题的预设答案一致，播放第二多媒体数据，其中，第二多媒体数据用于引导滞留生命体对车门进行解锁；响应于未接收到回答内容，或回答内容与预设问题的预设答案不一致，播放第一多媒体数据。
90.可选地，车内滞留生命体的监控装置50还包括控制模块57。控制模块57用于响应于确定车内存在滞留生命体，执行以下操作中的至少一者：响应于车内温度大于预设温度阈值，控制空调启动；响应于车内光照强度小于预设光照强度阈值，控制车内灯光设备开启；控制后排车窗下降至预设开度阈值；发送定位信息至终端设备；控制车内香氛设备启动。
91.可选地，车内滞留生命体的监控装置50还包括确定模块58，确定模块58用于基于目标检测结果，确定存在滞留生命体。或者，车内滞留生命体的监控装置50还包括接收模块59，接收模块59用于接收终端设备发送的反馈信息，反馈信息指示车内存在滞留生命体。
92.可选地，接收模块59还用于接收终端设备发送的远程控制指令，远程控制指令用于指示控制模块57执行以下操作中的至少一者：控制空调启动、开启车内灯光设备、控制后排车窗下降至预设开度阈值。
93.需要说明的是，本实施方式的装置可以执行上述方法中的步骤，相关内容的详细说明请参见上述方法部分，在此不再赘叙。
94.请参阅图6，图6是本技术提供的电子设备一实施例的框架示意图。本实施方式中，电子设备60包括存储器61和处理器62。
95.处理器62还可以称为cpu(central processing unit，中央处理单元)。处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器62也可以是任何常规的处理器62等。
96.电子设备60中的存储器61用于存储处理器62运行所需的程序指令。
97.处理器62用于执行程序指令以实现本技术中的车内滞留生命体的监控方法。
98.请参阅图7，图7是本技术提供的计算机可读存储介质一实施例的框架示意图。本技术实施例的计算机可读存储介质70存储有程序指令71，该程序指令71被执行时实现本技术提供的车内滞留生命体的监控方法。其中，该程序指令71可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质70中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质70包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
99.以上方案，获取车辆在动力关闭且车门上锁状态下的车内图像，并基于车内图像
进行目标检测，得到目标检测结果。当目标检测结果包括未知分类区域，即通过目标检测无法确定出车内存在滞留生命体时，向目标对象的终端设备发送警示信息，警示信息至少包括车内图像中位于未知分类区域的图像数据，以便于目标对象确定车内是否存在滞留生命体。该方式能够在通过目标检测无法确定车内存在滞留生命体时，进一步通过目标对象确定车内是否存在滞留生命体，提高了监测车内存在滞留生命体的准确性。
100.在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
101.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
102.在本技术所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
103.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
104.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
105.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
106.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种车内滞留生命体的监控方法，其特征在于，所述方法包括：获取车辆在动力关闭且车门上锁状态下的车内图像；基于所述车内图像进行目标检测，得到目标检测结果；响应于所述目标检测结果包括未知分类区域，向目标对象的终端设备发送警示信息；其中，所述警示信息用于提示所述目标对象确定所述车辆内是否存在滞留生命体，所述警示信息至少包括所述车内图像中位于所述未知分类区域的图像数据。2.根据权利要求1所述的方法，其特征在于，在所述目标检测结果包括所述未知分类区域的情况下，所述向目标对象的终端设备发送警示信息之前，所述方法还包括：判断所述未知分类区域内是否存在活动物体；所述向目标对象的终端设备发送警示信息，包括：响应于所述未知分类区域内存在所述活动物体，向所述终端设备发送所述警示信息。3.根据权利要求2所述的方法，其特征在于，所述判断所述未知分类区域内是否存在活动物体，包括：确定相邻两帧所述车内图像中所述未知分类区域的状态参数，所述状态参数包括所述未知分类区域的位置信息和尺寸信息中的至少一者；基于相邻两帧所述车内图像中所述未知分类区域的状态参数，确定所述未知分类区域内是否存在活动物体。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于确定所述车辆内存在所述滞留生命体，判断所述滞留生命体是否处于活动状态；响应于所述滞留生命体处于活动状态，基于所述滞留生命体的属性参数，与所述滞留生命体进行交互；其中，所述属性参数包括物种、年龄中至少一者。5.根据权利要求4所述的方法，其特征在于，所述基于所述滞留生命体的属性参数，与所述滞留生命体进行交互，包括：响应于所述滞留生命体的物种为非人类，或者所述滞留生命体的物种为人类且年龄小于或等于预设年龄阈值，播放第一多媒体数据，其中，所述第一多媒体数据用于安抚所述滞留生命体的情绪。6.根据权利要求4所述的方法，其特征在于，所述基于所述滞留生命体的属性参数，与所述滞留生命体进行交互，包括：响应于所述滞留生命体的物种为人类且年龄大于预设年龄阈值，播放预设问题，其中，所述预设问题用于验证所述滞留生命体的智力水平；基于所述滞留生命体对所述预设问题的回答内容，与所述滞留生命体进行交互。7.根据权利要求6所述的方法，其特征在于，所述基于所述滞留生命体对所述预设问题的回答内容，与所述滞留生命体进行交互，包括：响应于所述回答内容与所述预设问题的预设答案一致，播放第二多媒体数据，其中，所述第二多媒体数据用于引导所述滞留生命体对车门进行解锁；响应于未接收到所述回答内容，或所述回答内容与所述预设问题的预设答案不一致，播放第一多媒体数据。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于确定所述车内存在所述滞留生命体，执行以下操作中的至少一者：响应于车内温度大于预设温度阈值，控制空调启动；响应于车内光照强度小于预设光照强度阈值，控制车内灯光设备开启；控制后排车窗下降至预设开度阈值；发送定位信息至所述终端设备；控制车内香氛设备启动。9.根据权利要求4至6任一项所述的方法，其特征在于，所述确定所述车内存在所述滞留生命体，包括：基于所述目标检测结果，确定存在所述滞留生命体；或者，接收到所述终端设备发送的反馈信息，所述反馈信息指示所述车内存在所述滞留生命体。10.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收所述终端设备发送的远程控制指令，所述远程控制指令用于指示执行以下操作中的至少一者：控制空调启动、开启车内灯光设备、控制后排车窗下降至预设开度阈值。11.一种车内滞留生命体的监控装置，其特征在于，所述装置包括：获取模块，用于获取车辆在动力关闭且车门上锁状态下的车内图像；目标检测模块，用于基于所述车内图像进行目标检测，得到目标检测结果；发送模块，用于响应于所述目标检测结果包括未知分类区域，向目标对象的终端设备发送警示信息；其中，所述警示信息用于提示所述目标对象确定所述车辆内是否存在滞留生命体，所述警示信息至少包括所述车内图像中位于所述未知分类区域的图像数据。12.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器存储有程序指令；所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1-10任一项所述的方法。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，所述程序指令能够被处理器执行以实现权利要求1-10任一项所述的方法。

技术总结
本发明公开了一种车内滞留生命体的监控方法、装置、设备和存储介质，车内滞留生命体的监控方法包括：获取车辆在动力关闭且车门上锁状态下的车内图像；基于车内图像进行目标检测，得到目标检测结果；响应于目标检测结果包括未知分类区域，向目标对象的终端设备发送警示信息；其中，警示信息用于提示目标对象确定车辆内是否存在滞留生命体，警示信息至少包括车内图像中位于未知分类区域的图像数据。通过上述方式，能够在通过目标检测无法确定车内存在滞留生命体时，进一步通过目标对象确定车内是否存在滞留生命体，提高了监测车内存在滞留生命体的准确性。生命体的准确性。生命体的准确性。


技术研发人员：李浩蓁 瞿康洁 张事业 苏荔 朱悦宁 张潞宽 任小静 芦雅薇
受保护的技术使用者：浙江零跑科技股份有限公司
技术研发日：2023.05.19
技术公布日：2023/10/8