危险行为预警方法及装置与流程

1.本技术涉及信息处理的计算机视觉技术领域，特别涉及一种危险行为预警方法及装置。


背景技术：

2.现如今对行人落水危险行为的预警主要是基于安全警告牌，或管理人员实时对监控进行查看以实现对行人落水危险行为的预警。部分水库或水资源管理区域是通过在水体边缘设置红外报警器或围栏振动报警器等来实现对行人下水前的预警。但这类预警方式不仅预警效率低下，还会浪费过多人工成本或其他成本。


技术实现要素：

3.本技术实施例提供了一种危险行为预警方法及装置，对目标对象进行识别以确定其位置特征和行为特征，并据此确定目标对象的落水危险等级，从而生成对应的预警方式，有利于提高对落水危险行为的预警的效率。
4.第一方面，本技术实施例提供了一种危险行为预警方法，该方法应用于水体监控预警，该方法包括：
5.获取目标视频，目标视频是针对水体及水体周围环境进行视频采集得到的；
6.对目标视频进行目标对象检测，确定目标视频中是否存在目标对象；
7.若确定目标视频中存在目标对象，则对目标视频中的目标对象进行识别，以得到目标对象的识别结果，识别结果用于表征目标对象的位置特征及行为特征；
8.根据目标对象的识别结果确定目标对象的落水危险等级，并根据落水危险等级确定落水危险等级对应的预警方式。
9.可以看出，本技术实施例中，对针对水体及其周围环境进行视频采集得到的目标视频进行目标对象检测，在确定该目标视频中存在目标对象的情况下，对目标对象进行识别，得到目标对象的识别结果，并根据该识别结果确定目标对象的落水危险等级，从而根据该危险等级确定对应的预警方式。采用前述方法，不仅可以对落水危险行为进行预警，还有利于提高对落水危险行为的预警的效率。
10.在一个可行的实施例中，在对目标视频中的目标对象进行识别之前，该方法还包括：获取训练视频集合，训练视频集合包括多个训练样本，多个训练样本中每个训练样本包括训练视频及训练视频对应的标签，训练视频中存在目标对象及水体，训练视频对应的标签用于表征训练视频中目标对象对应的位置特征及行为特征；根据训练视频集合对双流卷积神经网络模型进行训练，得到行为识别模型；对目标视频中的目标对象进行识别，以得到目标对象的识别结果，包括：将目标视频输入行为识别模型中进行处理，以得到目标对象的识别结果。
11.在本技术实施例中，通过进行双流卷积神经网络模型的训练来确定行为识别模型，可以提高对目标对象进行识别的准确性。
12.在一个可行的实施例中，目标对象的识别结果包括目标对象的位置信息和行为信息，根据目标对象的识别结果确定目标对象的落水危险等级，包括：在根据目标对象的位置信息确定目标对象位于第一区域时，确定目标对象的落水危险等级为第一危险等级，第一区域用于表征水体的区域；在根据目标对象的位置信息确定目标对象位于第二区域或第三区域时，根据目标对象的行为信息确定目标对象的落水危险等级，第二区域用于表征水体周围环境中靠近水体的区域，第三区域用于表征水体周围环境中远离水体的区域。
13.在本技术实施例中，在目标对象位于第一区域时，确定目标对象的落水危险等级为第一危险等级，在目标对象位于第二区域或第三区域时，需要根据目标对象的行为信息确定目标对象的落水危险等级。这样可以提高对危险等级确定的准确率，进而提高危险行为预警的可靠性。
14.在一个可行的实施例中，目标对象的行为信息包括多个第一目标行为，多个第一目标行为是对多个目标子视频中的目标对象进行行为识别得到的，多个第一目标行为与多个目标子视频对应，多个目标子视频属于目标视频，且多个目标子视频之间没有交集，根据目标对象的行为信息确定目标对象的落水危险等级，包括：
15.从多个第一目标行为获取多个第二目标行为，多个第二目标行为为多个第一目标行为中属于多个第三目标行为中的行为；多个第三目标行为是预先设定的目标对象从水体周围环境进入水体前所作出的行为；计算得到多个第二目标行为的数量与多个第三目标行为的数量的比例；在比例大于预设比例的情况下，若确定第二目标行为之间的顺序与第二目标行为在多个第三目标行为中的顺序对应，则确定目标对象的落水危险等级为第二危险等级，第二危险等级的严重性低于第一危险等级。
16.在本技术实施例中，在确定多个第二目标行为的数量与多个第三目标行为的数量的比例大于预设比例，且第二目标行为之间的顺序与第二目标行为在多个第三目标行为中的顺序对应的情况下，将目标对象的落水危险等级确定为第二危险等级。这样可以提高对目标对象的危险行为预警的准确率，从而降低对目标对象的危险行为预警的误报率。
17.在一个可行的实施例中，对目标视频中的目标对象进行识别，得到目标对象的识别结果中的目标对象的行为信息，包括：从目标视频中获取多个目标子视频，多个目标子视频之间的视频时长相同；对每个目标子视频中的多个单帧图像进行行为特征提取，以得到多个单帧图像对应的多个行为特征向量；根据多个单帧图像对应的多个行为特征向量确定每个目标子视频对应的第一目标行为。
18.在本技术实施例中，根据多个单帧图像中存在的多个行为特征共同确定第一目标行为，可以提高对目标视频中目标对象的行为识别的准确率。
19.在一个可行的实施例中，目标对象的行为信息包括目标对象在第二区域和第三区域之间移动的次数；根据目标对象的行为信息确定目标对象的落水危险等级，包括：在目标对象在第二区域和第三区域之间移动的次数小于预设次数时，确定目标对象的落水危险等级为第二危险等级，第二危险等级的严重性低于第一危险等级；在目标对象在第二区域和第三区域之间移动的次数大于或等于预设次数时，确定目标对象的落水危险等级为第三危险等级，第三危险等级的严重性低于第二危险等级。
20.在本技术实施例中，根据目标对象在第二区域和第三区域之间移动的次数与预设次数之间的大小关系确定目标对象的落水危险等级，可以提高对目标对象的落水危险等级
确定的准确率，从而提高对危险行为预警的准确率。
21.在一个可行的实施例中，行为信息包括目标对象下水的概率，根据目标对象的行为信息确定目标对象的落水危险等级，包括：在根据目标对象的位置信息确定目标对象位于第二区域时，确定目标对象下水的概率是否大于预设概率；若确定目标对象下水的概率大于预设概率，则确定目标对象的落水危险等级为第二危险等级，第二危险等级的严重性低于第一危险等级；若确定目标对象下水的概率小于或等于预设概率，则确定目标对象的落水危险等级为第四危险等级，第四危险等级的严重性低于第二危险等级；在根据目标对象的位置信息确定目标对象位于第三区域，且确定目标对象下水的概率大于预设概率时，确定目标对象的落水危险等级为第三危险等级，第三危险等级的严重性低于第二危险等级，且高于第三危险等级。
22.在本技术实施例中，在目标对象位于第二区域时，若确定目标对象下水的概率大于预设概率，则确定目标对象的落水危险等级为第二危险等级，若确定目标对象下水的概率小于或等于预设概率，则确定目标对象的落水危险等级为第四危险等级；在目标对象位于第三区域，且确定目标对象下水的概率大于预设概率时，确定目标对象的落水危险等级为第三危险等级。采用前述方法，通过结合目标对象所处区域与目标对象的行为特征来确定目标对象是否会存在下水行为，提高对目标对象的落水危险等级确定的准确率，从而提高对危险行为预警的准确率。
23.第二方面，本技术实施例提供了一种危险行为预警装置，该装置应用于水体监控预警，装置包括：
24.获取单元，用于获取目标视频，目标视频是针对水体及水体周围环境进行视频采集得到的；
25.确定单元，用于对目标视频进行目标对象检测，确定目标视频中是否存在目标对象；
26.若确定目标视频中存在目标对象，识别单元，用于对目标视频中的目标对象进行识别，以得到目标对象的识别结果，识别结果用于表征目标对象的位置特征及行为特征；
27.确定单元，还用于根据目标对象的识别结果确定目标对象的落水危险等级，并根据落水危险等级确定落水危险等级对应的预警方式。
28.第三方面，本技术实施例提供了一种电子装置，该装置包括处理器、存储器、通信接口，处理器、存储器和通信接口相互连接，并且完成相互间的通信工作，存储器上存储有可执行程序代码，通信接口用于进行无线通信，处理器用于调取存储器上存储的可执行程序代码，执行例如第一方面任一方法中所描述的部分或全部的步骤。
29.第四方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有电子数据，电子数据在被处理器执行时，用于执行电子数据以实现本技术实施例第一方面所描述的部分或全部步骤。
30.第五方面，本技术实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本技术实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
附图说明
31.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1为本技术实施例提供的一种危险行为预警系统的结构示意图；
33.图2为本技术实施例提供的一种危险行为预警方法的流程示意图；
34.图3为本技术实施例提供的一种水体区域的结构示意图；
35.图4a是本技术实施例提供的一种危险行为预警装置的功能单元组成框图；
36.图4b是本技术实施例提供的另一种危险行为预警装置的功能单元组成框图；
37.图5是本技术实施例提供的一种电子装置的结构框图。
具体实施方式
38.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
39.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤的过程、方法、系统、产品或设备没有限定于已列出的步骤，而是可选地还包括没有列出的步骤，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤。
40.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
41.请参阅图1，图1为本技术实施例提供的一种危险行为预警系统的结构示意图，如图1所示，该危险行为预警系统100包括视频采集模块101、目标检测模块102、行为识别模块103、预警模块104及用户界面模块105。
42.其中，视频采集模块101用于实时采集视频数据，目标检测模块102用于实时检测视频画面中的目标对象，行为识别模块103用于对检测到的目标对象进行识别确定目标对象的识别结果，该识别结果用于表征目标对象的位置特征及行为特征，预警模块104用于根据识别结果判断目标对象的落水危险等级，并在目标对象存在落水危险的情况下及时发出预警信号，用户界面模块105用于展示视频采集模块采集的视频数据、实时识别结果及针对目标对象的相关预警信息，示例性地，相关预警信息可以是针对目标对象的落水危险等级，以及对应的预警方式，预警方式可以包括通过报警器向目标对象进行预警或者通过管理人员的终端设备向管理人员的预警。
43.基于此，本技术实施例提供了一种危险行为预警方法，下面结合附图对本技术实施例进行详细说明。
44.请参阅图2，图2为本技术实施例提供的一种危险行为预警方法的流程示意图，该危险行为预警方法应用于水体监控预警，如图2所示，该方法包括如下步骤：
45.步骤201，获取目标视频，该目标视频是针对水体及水体周围环境进行视频采集得到的。
46.其中，水体是河流、湖泊、沼泽、水库、地下水、冰川和海洋等“贮水体”的总称。示例性地，目标视频可以是通过摄像头，并在摄像头的摄像范围包括水体及水体周围环境的情况下采集得到的。
47.步骤202，对目标视频进行目标对象检测，确定目标视频中是否存在目标对象。
48.其中，对目标视频进行目标对象检测确定目标视频中是否存在目标对象可以是基于yolo算法、ssd算法或r-cnn算法来进行的。
49.步骤203，若确定目标视频中存在目标对象，则对目标视频中的目标对象进行识别，以得到目标对象的识别结果。
50.其中，识别结果用于表征目标对象的位置特征及行为特征。对目标对象进行识别确定目标对象的行为特征可以是基于双流卷积神经网络算法、3d卷积神经网络算法或长短时记忆网络算法等进行的。
51.在一个可行的实施例中，在对目标视频中的目标对象进行识别之前，该方法还包括：获取训练视频集合，训练视频集合包括多个训练样本，多个训练样本中每个训练样本包括训练视频及训练视频对应的标签，训练视频中存在目标对象及水体，训练视频对应的标签用于表征训练视频中目标对象对应的位置特征及行为特征；根据训练视频集合对双流卷积神经网络模型进行训练，得到行为识别模型；对目标视频中的目标对象进行识别，以得到目标对象的识别结果，包括：将目标视频输入行为识别模型中进行处理，以得到目标对象的识别结果。
52.其中，训练视频可以是包含各种天气、光照条件、地形、行人和车辆等的视频数据，使得模型能够更好的适应各种场景。且训练视频都是经过裁剪或压缩，符合模型输入要求的视频数据，例如训练视频的尺寸大小要求和存储大小要求。除训练视频之外，还可以获取与训练视频对应的测试视频，用于评估训练完成后的模型的性能，如模型的准确率、召回率等性能指标。
53.进行双流卷积神经网络模型训练时，需要进行空间流网络模型训练和时间流网络模型训练。其中，空间流网络模型训练是指根据训练视频中的单帧图像进行其中一个卷积神经网络模型的训练，用于捕捉场景中物体的空间信息；时间流网络模型训练是指确定训练视频中连续的单帧图像之间的光流信息，并根据该光流信息进行其中另一个卷积神经网络模型的训练，用于捕捉物体的运动信息。将空间流网络模型和时间流网络模型的输出结果进行结合，形成一个既包括空间信息又包括运动信息的表示，并将该表示通过一个全连接层输出，最终输出结果为识别结果。根据识别结果与训练视频对应的标签调整空间流网络模型和时间流网络模型中的参数，以得到训练的目的。
54.在本技术实施例中，通过进行双流卷积神经网络模型的训练来确定行为识别模型，可以提高对目标对象进行识别的准确性。
55.步骤204，根据目标对象的识别结果确定目标对象的落水危险等级，并根据落水危险等级确定落水危险等级对应的预警方式。
56.其中，该预警方式可以包括对目标对象的预警和对管理人员的预警。示例性地，该预警方式可以是通过目标对象附近的报警器向目标对象输出报警信号，或者通过管理人员的终端设备向管理人员发送报警信号等；而根据落水危险等级确定落水危险等级对应的预警方式可以是，第一危险等级对应通过目标对象附近的报警器向目标对象输出报警信号，且通过管理人员的终端设备向管理人员发送报警信号；第二危险等级对应通过目标对象附近的报警器向目标对象输出报警信号。即落水危险等级越高，对应的预警方式就越能保证目标对象的安全。
57.在一个可行的实施例中，目标对象的识别结果包括目标对象的位置信息和行为信息，根据目标对象的识别结果确定目标对象的落水危险等级，包括：在根据目标对象的位置信息确定目标对象位于第一区域时，确定目标对象的落水危险等级为第一危险等级，第一区域用于表征水体的区域；在根据目标对象的位置信息确定目标对象位于第二区域或第三区域时，根据目标对象的行为信息确定目标对象的落水危险等级，第二区域用于表征水体周围环境中靠近水体的区域，第三区域用于表征水体周围环境中远离水体的区域。
58.其中，第一区域、第二区域和第三区域的划分对于不同水体及水体的周围环境所设定的划分标准是不同的，并且针对不同的目标对象划分标准也会有所区别，第二区域和第三区域的划分主要是基于目标对象的可移动区域来进行划分的。示例性地，若目标对象为行人，对于水体周围环境中第二区域和第三区域的划分主要是基于水体周围环境中的行人可行驶区域来划分，具体可以是基于行人可行驶区域的面积，将行人可行驶区域中靠近水体的一半面积的区域确定为第二区域，另一半面积的区域确定为第三区域；若目标对象为车辆，对于水体周围环境中第二区域和第三区域的划分主要是基于水体周围环境中的车辆可行驶区域来划分；若目标对象为行人时，对于水体周围环境中第二区域和第三区域的划分主要是基于水体周围环境中的行人可行走区域来划分。其中，行人的可行走区域可以包括楼梯或其他不平坦地面，而车辆的可行驶区域一般是平坦地面。
59.示例性地，请参阅图3，图3为本技术实施例提供的一种水体区域的结构示意图，如图3所示，图3中包括采集的视频的单帧图像，该图像中包括水体及水体周围环境，图像中的第一区域301为水体的区域，而第一区域301左边包括行人可行驶区域，将行人可行驶区域划分为靠近水体的第二区域302以及远离水体的第三区域303。
60.当目标对象位于第一区域时，可以确定目标对象处于水中，这时目标对象存在的落水危险等级为第一危险等级，即最高危险等级。当目标对象位于第二区域或第三区域时，由于目标对象未处于水中，需要结合目标对象的行为信息来判断目标对象的落水危险等级。
61.在本技术实施例中，在目标对象位于第一区域时，确定目标对象的落水危险等级为第一危险等级，在目标对象位于第二区域或第三区域时，需要根据目标对象的行为信息确定目标对象的落水危险等级。这样可以提高对落水危险等级确定的准确率，进而提高危险行为预警的可靠性。
62.在一个可行的实施例中，目标对象的行为信息包括多个第一目标行为，多个第一目标行为是对多个目标子视频中的目标对象进行行为识别得到的，多个第一目标行为与多个目标子视频对应，多个目标子视频属于目标视频，且多个目标子视频之间没有交集，根据目标对象的行为信息确定目标对象的落水危险等级，包括：
63.从多个第一目标行为获取多个第二目标行为，多个第二目标行为为多个第一目标行为中属于多个第三目标行为中的行为；多个第三目标行为是预先设定的目标对象从水体周围环境进入水体前所作出的行为；计算得到多个第二目标行为的数量与多个第三目标行为的数量的比例；在比例大于预设比例的情况下，若确定多个第二目标行为之间的顺序与多个第二目标行为在多个第三目标行为中的顺序对应，则确定目标对象的落水危险等级为第二危险等级，第二危险等级的严重性低于第一危险等级。
64.其中，由于在目标对象位于第二区域或第三区域时，目标对象对应的落水危险等级需要根据其行为信息进行确定。本实施例通过对多个目标子视频中的目标对象进行行为识别，确定多个第一目标行为，并根据多个第一目标行为来确定目标对象的落水危险等级。具体地，确定多个第一目标行为中的多个第二目标行为，该多个第二目标行为为多个第一目标行为中属于多个第三目标行为中的行为，而第三目标行为是指预先设定的目标对象从水体周围环境进入水体前所作出的行为。
65.示例性地，在目标对象为行人的情况下，行人从水体周围环境进入水体前所做出的行为可以包括脱衣行为、穿衣行为、热身行为、下水行为，也就是上述多个第三目标行为包括脱衣行为、穿衣行为、热身行为、下水行为。假设预设比例为70％，若从多个第一目标行为中获取的多个第二目标行为包括脱衣行为、热身行为和下水行为，则可以确定多个第二目标行为的数量与多个第三目标行为的数量的比例为75％，能够确定该比例大于预设比例；在该比例大于预设比例的情况下，确定多个第二目标行为之间的顺序是否与多个第二目标行为在多个第三目标行为中的顺序对应。在多个第二目标行为中，热身行为在脱衣行为之后且在下水行为之前；在多个第三目标行为中，热身行为也是在脱衣行为之后且在下水行为之前，能够确定多个第二目标行为之间的顺序与多个第二目标行为在多个第三目标行为中的顺序对应；因此，确定目标对象的落水危险等级为第二危险等级。
66.通过多个第二目标行为的数量与多个第三目标行为的数量的比例可以确定目标对象是否初步具备下水条件。在该比例大于预设比例的情况下，确定该多个第二目标行为之间的顺序与第二目标行为在多个第三目标行为中的顺序是否对应。若该多个第二目标行为之间的顺序与第二目标行为在多个第三目标行为中的顺序对应，则说明目标对象具有下水条件，可能会发生下水行为。这时将其行为对应的落水危险等级确定为第二危险等级。
67.在本技术实施例中，在确定多个第二目标行为的数量与多个第三目标行为的数量的比例大于预设比例，且第二目标行为之间的顺序与第二目标行为在多个第三目标行为中的顺序对应的情况下，将目标对象的落水危险等级确定为第二危险等级。这样可以提高对目标对象的危险行为预警的准确率，从而降低对目标对象的危险行为预警的误报率。
68.在一个可行的实施例中，对目标视频中的目标对象进行识别，得到目标对象的识别结果中的目标对象的行为信息，包括：从目标视频中获取多个目标子视频，多个目标子视频之间的视频时长相同；对每个目标子视频中的多个单帧图像进行行为特征提取，以得到多个单帧图像对应的多个行为特征向量；根据多个单帧图像对应的多个行为特征向量确定每个目标子视频对应的第一目标行为。
69.其中，多个目标子视频可以是对目标视频进行等同时长拆分之后得到的，每个目标子视频中都包括多个单帧图像，每个单帧图像都对应一个行为特征，而根据多个单帧图像中存在的多个行为特征共同确定第一目标行为，可以提高对目标视频中目标对象的行为
识别的准确率。
70.在一个可行的实施例中，目标对象的行为信息包括目标对象在第二区域和第三区域之间移动的次数；根据目标对象的行为信息确定目标对象的落水危险等级，包括：在目标对象在第二区域和第三区域之间移动的次数小于预设次数时，确定目标对象的落水危险等级为第二危险等级，第二危险等级的严重性低于第一危险等级；在目标对象在第二区域和第三区域之间移动的次数大于或等于预设次数时，确定目标对象的落水危险等级为第三危险等级，第三危险等级的严重性低于第二危险等级。
71.其中，在目标对象位于第二区域或第三区域时，需要根据目标对象的行为信息来确定目标对象是否可能存在下水行为，从而确定目标对象的落水危险等级。由于水流对岸边的腐蚀，水体周围环境通常都不太规则。若目标对象在岸边正常前进时，会反复的在第二区域和第三区域之间进行移动。因此，本实施例通过对目标对象从第二区域到第三区域之间移动的次数来判断目标对象是否可能存在下水行为。示例性地，若目标对象为行人，当行人在岸边散步时，由于散步的方向不确定性，以及水体周围环境的不规则性，行人会在确定的第二区域和第三区域之间反复移动。
72.由于目标视频在一个时长范围之内，本实施例中所提到的目标对象在第二区域和第三区域之间的移动次数是属于在目标视频的时长范围内发生的移动次数。当目标对象在第二区域和第三区域之间的移动次数大于或等于预设次数，可以确定目标对象在正常前进，比如散步，因此目标对象在第二区域和第三区域之间的移动次数小于预设次数时，可以初步确定目标对象存在可能下水的风险。
73.在本技术实施例中，根据目标对象在第二区域和第三区域之间移动的次数与预设次数之间的大小关系确定目标对象的落水危险等级，可以提高对目标对象的落水危险等级确定的准确率，从而提高对危险行为预警的准确率。
74.在一个可行的实施例中，行为信息包括目标对象下水的概率，根据目标对象的行为信息确定目标对象的落水危险等级，包括：在根据目标对象的位置信息确定目标对象位于第二区域时，确定目标对象下水的概率是否大于预设概率；若确定目标对象下水的概率大于预设概率，则确定目标对象的落水危险等级为第二危险等级，第二危险等级的严重性低于第一危险等级；若确定目标对象下水的概率小于或等于预设概率，则确定目标对象的落水危险等级为第四危险等级，第四危险等级的严重性低于第二危险等级；在根据目标对象的位置信息确定目标对象位于第三区域，且确定目标对象下水的概率大于预设概率时，确定目标对象的落水危险等级为第三危险等级，第三危险等级的严重性低于第二危险等级，且高于第三危险等级。
75.其中，目标对象的行为信息包括目标对象下水的概率，而此概率可以是根据目标视频中目标对象的行为特征进行确定。示例性地，确定目标对象在目标视频中对应的多个行为特征中存在的预设下水行为特征，占该多个行为特征的比例来确定目标对象下水的概率，该比例越大，目标对象下水的概率越大。当目标对象下水的概率大于预设概率时，可以初步确定目标对象可能存在下水行为。由于第二区域是靠近水体的区域，而第三区域是远离水体的区域，在同等条件下，目标对象在第二区域发生下水行为的概率大于在第三区域发生下水行为的概率。而当目标对象下水的概率大于预设概率时，目标对象在第二区域时的危险等级的严重性也要高于目标对象在第三区域时的危险等级的严重性。
76.除此之外，当目标对象位于第三区域，且目标对象下水的概率大于预设概率时，还会对目标对象进行追踪，若在第二预设时间内目标对象由第三区域移动至第二区域，将目标对象的落水危险等级从第三危险等级调整为第二危险等级，并根据该第二危险等级确定对应的预警方式。同理，当目标对象位于第二区域，且目标对象下水的概率大于预设概率时，若在第二预设时间内目标对象由第二区域移动至第三区域，将目标对象的落水危险等级从第二危险等级调整为第三危险等级。
77.在本技术实施例中，在目标对象位于第二区域时，若确定目标对象下水的概率大于预设概率，则确定目标对象的落水危险等级为第二危险等级，若确定目标对象下水的概率小于或等于预设概率，则确定目标对象的落水危险等级为第四危险等级；在目标对象位于第三区域，且确定目标对象下水的概率大于预设概率时，确定目标对象的落水危险等级为第三危险等级。采用前述方法，通过结合目标对象所处区域与目标对象的行为特征来确定目标对象是否会存在下水行为，提高对目标对象的落水危险等级确定的准确率，从而提高对危险行为预警的准确率。
78.上述图1所示的危险行为预警系统可用于执行上述图2所示的危险行为预警方法。
79.可以看出，本技术实施例中，对针对水体及其周围环境进行视频采集得到的目标视频进行目标对象检测，在确定该目标视频中存在目标对象的情况下，对目标对象进行识别，得到目标对象的识别结果，并根据该识别结果确定目标对象的落水危险等级，从而根据该落水危险等级确定对应的预警信号。采用前述方法，不仅可以对落水危险行为进行预警，还有利于提高对落水危险行为的预警的效率。
80.与上述所示的实施例一致的，请参阅图4a，图4a是本技术实施例提供的一种危险行为预警装置的功能单元组成框图，应用于水体监控预警，如图4a所示，危险行为预警装置40包括：
81.获取单元401，用于获取目标视频，目标视频是针对水体及水体周围环境进行视频采集得到的；
82.确定单元402，用于对目标视频进行目标对象检测，确定目标视频中是否存在目标对象；
83.若确定目标视频中存在目标对象，识别单元403，用于对目标视频中的目标对象进行识别，以得到目标对象的识别结果，识别结果用于表征目标对象的位置特征及行为特征；
84.确定单元402，还用于根据目标对象的识别结果确定目标对象的落水危险等级，并根据落水危险等级确定落水危险等级对应的预警方式。
85.在一个可行的实施例中，识别单元403，用于对目标视频中的目标对象进行识别之前，该装置还包括：获取单元401，用于获取训练视频集合，训练视频集合包括多个训练样本，多个训练样本中每个训练样本包括训练视频及训练视频对应的标签，每个训练视频中存在目标对象及水体，训练视频对应的标签用于表征训练视频中目标对象对应的位置特征及行为特征；处理单元404，用于根据训练视频集合对双流卷积神经网络模型进行训练，得到行为识别模型；对目标视频中的目标对象进行识别，以得到目标对象的识别结果，包括：将目标视频输入行为识别模型中进行处理，以得到目标对象的识别结果。
86.在一个可行的实施例中，目标对象的识别结果包括目标对象的位置信息和行为信息，确定单元402，用于根据目标对象的识别结果确定目标对象的落水危险等级，包括：在根
据目标对象的位置信息确定目标对象位于第一区域时，确定目标对象的落水危险等级为第一危险等级，第一区域用于表征水体的区域；在根据目标对象的位置信息确定目标对象位于第二区域或第三区域时，根据目标对象的行为信息确定目标对象的落水危险等级，第二区域用于表征水体周围环境中靠近水体的区域，第三区域用于表征水体周围环境中远离水体的区域。
87.在一个可行的实施例中，目标对象的行为信息包括多个第一目标行为，多个第一目标行为是对多个目标子视频中的目标对象进行行为识别得到的，多个第一目标行为与多个目标子视频对应，多个目标子视频属于目标视频，且多个目标子视频之间没有交集，确定单元402，用于根据目标对象的行为信息确定目标对象的落水危险等级，包括：
88.从多个第一目标行为获取多个第二目标行为，多个第二目标行为为多个第一目标行为中属于多个第三目标行为中的行为；多个第三目标行为是预先设定的目标对象从水体周围环境进入水体前所作出的行为；计算得到多个第二目标行为的数量与多个第三目标行为的数量的比例；在比例大于预设比例的情况下，若确定第二目标行为之间的顺序与第二目标行为在多个第三目标行为中的顺序对应，则确定目标对象的落水危险等级为第二危险等级，第二危险等级的严重性低于第一危险等级。
89.在一个可行的实施例中，识别单元403，用于对目标视频中的目标对象进行识别，得到目标对象的识别结果中的目标对象的行为信息，包括：从目标视频中获取多个目标子视频，多个目标子视频之间的视频时长相同；对每个目标子视频中的多个单帧图像进行行为特征提取，以得到多个单帧图像对应的多个行为特征向量；根据多个单帧图像对应的多个行为特征向量确定每个目标子视频对应的第一目标行为。
90.在一个可行的实施例中，目标对象的行为信息包括目标对象在第二区域和第三区域之间移动的次数；确定单元402，用于根据目标对象的行为信息确定目标对象的落水危险等级，包括：在目标对象在第二区域和第三区域之间移动的次数小于预设次数时，确定目标对象的落水危险等级为第二危险等级，第二危险等级的严重性低于第一危险等级；在目标对象在第二区域和第三区域之间移动的次数大于或等于预设次数时，确定目标对象的落水危险等级为第三危险等级，第三危险等级的严重性低于第二危险等级。
91.在一个可行的实施例中，行为信息包括目标对象下水的概率，确定单元402，用于根据目标对象的行为信息确定目标对象的落水危险等级，包括：在根据目标对象的位置信息确定目标对象位于第二区域时，确定目标对象下水的概率是否大于预设概率；若确定目标对象下水的概率大于预设概率，则确定目标对象的落水危险等级为第二危险等级，第二危险等级的严重性低于第一危险等级；若确定目标对象下水的概率小于或等于预设概率，则确定目标对象的落水危险等级为第四危险等级，第四危险等级的严重性低于第二危险等级；在根据目标对象的位置信息确定目标对象位于第三区域，且确定目标对象下水的概率大于预设概率时，确定目标对象的落水危险等级为第三危险等级，第三危险等级的严重性低于第二危险等级，且高于第三危险等级。
92.可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本技术中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。
93.在采用集成的单元的情况下，如图4b所示，图4b是本技术实施例提供的另一种危险行为预警装置的功能单元组成框图。在图4b中，危险行为预警装置41包括：处理模块412
和通信模块411。处理模块412用于对危险行为预警装置的动作进行控制管理，例如，获取单元401、确定单元402、识别单元403和处理单元404的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块411用于支持危险行为预警装置与其他设备之间的交互。如图4b所示，危险行为预警装置41还可以包括存储模块413，存储模块413用于存储危险行为预警装置的程序代码和数据。
94.其中，处理模块412可以是处理器或控制器，例如可以是中央处理器(central processing unit，cpu)，通用处理器，数字信号处理器(digital signal processor，dsp)，asic，fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等等。通信模块411可以是收发器、rf电路或通信接口等。存储模块413可以是存储器。
95.其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述危险行为预警装置41均可执行上述图2所示的危险行为预警方法。
96.上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行计算机指令或计算机程序时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质。半导体介质可以是固态硬盘。
97.图5是本技术实施例提供的一种电子装置的结构框图。如图5所示，电子装置500可以包括一个或多个如下部件：处理器501、与处理器501耦合的存储器502，其中存储器502可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器501执行时实现如上述各实施例描述的方法。
98.处理器501可以包括一个或者多个处理核。处理器501利用各种接口和线路连接整个电子装置500内的各个部分，通过运行或执行存储在存储器502内的指令、程序、代码集或指令集，以及调用存储在存储器502内的数据，执行电子装置500的各种功能和处理数据。可选地，处理器501可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logicarray，pla)中的至少一种硬件形式来实现。处理器501可集成中央处理器(centralprocessing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。可以理解的是，上述调制解调器也可以不集成到处理器501中，单独通过一块通信芯片进行实现。
99.存储器502可以包括随机存储器(random access memory，ram)，也可以包括只读
存储器(read-only memory，rom)。存储器502可用于存储指令、程序、代码、代码集或指令集。存储器502可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子装置500在使用中所创建的数据等。
100.可以理解的是，电子装置500可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、wifi(wireless fidelity，无线保真)模块、扬声器、蓝牙模块、传感器等，在此不进行限定。
101.本技术实施例提供了一种计算机可读存储介质，其中，计算机可读存储介质中存储有程序数据，该程序数据在被处理器执行时，用于执行上述方法实施例中记载的任何一种危险行为预警方法的部分或全部步骤。
102.本技术实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种危险行为预警方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
103.需要说明的是，对于前述的任一种危险行为预警方法的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本技术所必须的。
104.尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现所公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
105.本领域普通技术人员可以理解上述任一种危险行为预警方法的方法实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-only memory，简称：rom)、随机存取器(英文：random access memory，简称：ram)、磁盘或光盘等。
106.以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术一种危险行为预警方法及装置的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术一种危险行为预警方法及装置的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。
107.本技术是参照本技术实施例的方法、硬件产品和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流
程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
108.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
109.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
110.可以理解的是，凡是被控制或者被配置以用于执行本技术一种危险行为预警方法的方法实施例所描述的流程图的处理方法的产品，如上述流程图的终端以及计算机程序产品，均属于本技术所描述的相关产品的范畴。
111.显然，本领域的技术人员可以对本技术提供的一种危险行为预警方法及装置进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种危险行为预警方法，其特征在于，所述方法应用于水体监控预警，所述方法包括：获取目标视频，所述目标视频是针对水体及水体周围环境进行视频采集得到的；对所述目标视频进行目标对象检测，确定所述目标视频中是否存在目标对象；若确定所述目标视频中存在所述目标对象，则对所述目标视频中的目标对象进行识别，以得到目标对象的识别结果，所述识别结果用于表征所述目标对象的位置特征及行为特征；根据所述目标对象的识别结果确定所述目标对象的落水危险等级，并根据所述落水危险等级确定所述落水危险等级对应的预警方式。2.根据权利要求1所述的方法，其特征在于，所述目标对象的识别结果包括目标对象的位置信息和行为信息，所述根据所述目标对象的识别结果确定所述目标对象的落水危险等级，包括：在根据所述目标对象的位置信息确定所述目标对象位于第一区域时，确定所述目标对象的落水危险等级为第一危险等级，所述第一区域用于表征水体的区域；在根据所述目标对象的位置信息确定所述目标对象位于第二区域或第三区域时，根据所述目标对象的行为信息确定所述目标对象的落水危险等级，所述第二区域用于表征水体周围环境中靠近水体的区域，所述第三区域用于表征水体周围环境中远离水体的区域。3.根据权利要求2所述的方法，其特征在于，所述目标对象的行为信息包括多个第一目标行为，所述多个第一目标行为是对多个目标子视频中的所述目标对象进行行为识别得到的，所述多个第一目标行为与所述多个目标子视频对应，所述多个目标子视频属于所述目标视频，且所述多个目标子视频之间没有交集，所述根据所述目标对象的行为信息确定所述目标对象的落水危险等级，包括：从所述多个第一目标行为获取多个第二目标行为，所述多个第二目标行为为所述多个第一目标行为中属于所述多个第三目标行为中的行为；所述多个第三目标行为是预先设定的所述目标对象从水体周围环境进入水体前所作出的行为；计算得到所述多个第二目标行为的数量与所述多个第三目标行为的数量的比例；在所述比例大于预设比例的情况下，若确定所述第二目标行为之间的顺序与所述第二目标行为在所述多个第三目标行为中的顺序对应，则确定所述目标对象的落水危险等级为第二危险等级，所述第二危险等级的严重性低于所述第一危险等级。4.根据权利要求3所述的方法，其特征在于，对所述目标视频中的目标对象进行识别，得到所述目标对象的识别结果中的所述目标对象的行为信息，包括：从所述目标视频中获取多个目标子视频，所述多个目标子视频之间的视频时长相同；对每个所述目标子视频中的多个单帧图像进行行为特征提取，以得到所述多个单帧图像对应的多个行为特征向量；根据所述多个单帧图像对应的多个行为特征向量确定每个所述目标子视频对应的第一目标行为。5.根据权利要求2所述的方法，其特征在于，所述目标对象的行为信息包括所述目标对象在所述第二区域和所述第三区域之间移动的次数；所述根据所述目标对象的行为信息确定所述目标对象的落水危险等级，包括：
在所述目标对象在所述第二区域和所述第三区域之间移动的次数小于预设次数时，确定所述目标对象的落水危险等级为第二危险等级，所述第二危险等级的严重性低于所述第一危险等级；在所述目标对象在所述第二区域和所述第三区域之间移动的次数大于或等于所述预设次数时，确定所述目标对象的落水危险等级为第三危险等级，所述第三危险等级的严重性低于所述第二危险等级。6.根据权利要求3所述的方法，其特征在于，所述行为信息包括所述目标对象下水的概率，所述根据所述目标对象的行为信息确定所述目标对象的落水危险等级，包括：在根据所述目标对象的位置信息确定所述目标对象位于第二区域时，确定所述目标对象下水的概率是否大于预设概率；若确定所述目标对象下水的概率大于所述预设概率，则确定所述目标对象的落水危险等级为第二危险等级，所述第二危险等级的严重性低于所述第一危险等级；若确定所述目标对象下水的概率小于或等于所述预设概率，则确定所述目标对象的落水危险等级为第四危险等级，所述第四危险等级的严重性低于所述第二危险等级；在根据所述目标对象的位置信息确定所述目标对象位于第三区域，且确定所述目标对象下水的概率大于所述预设概率时，确定所述目标对象的落水危险等级为第三危险等级，所述第三危险等级的严重性低于所述第二危险等级，且高于所述第四危险等级。7.根据权利要求1-6任一项所述的方法，其特征在于，在对所述目标视频中的目标对象进行识别之前，所述方法还包括：获取训练视频集合，所述训练视频集合包括多个训练样本，所述多个训练样本中每个训练样本包括训练视频及所述训练视频对应的标签，所述训练视频中存在所述目标对象及水体，所述训练视频对应的标签用于表征所述训练视频中目标对象对应的位置特征及行为特征；根据所述训练视频集合对双流卷积神经网络模型进行训练，得到行为识别模型；所述对所述目标视频中的目标对象进行识别，以得到目标对象的识别结果，包括：将所述目标视频输入所述行为识别模型中进行处理，以得到所述目标对象的识别结果。8.一种危险行为预警装置，其特征在于，所述装置应用于水体监控预警，所述装置包括：获取单元，用于获取目标视频，所述目标视频是针对水体及水体周围环境进行视频采集得到的；确定单元，用于对所述目标视频进行目标对象检测，确定所述目标视频中是否存在目标对象；若确定所述目标视频中存在所述目标对象，识别单元，用于对所述目标视频中的目标对象进行识别，以得到目标对象的识别结果，所述识别结果用于表征所述目标对象的位置特征及行为特征；所述确定单元，还用于根据所述目标对象的识别结果确定所述目标对象的落水危险等级，并根据所述落水危险等级确定所述落水危险等级对应的预警方式。9.一种电子装置，其特征在于，所述装置包括：
处理器、存储器、通信接口，所述处理器、所述存储器和所述通信接口相互连接，并且完成相互间的通信工作；所述存储器上存储有可执行程序代码，所述通信接口用于进行无线通信；所述处理器用于调取所述存储器上存储的所述可执行程序代码，执行如权利要求1-7任一项所述的方法。10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。

技术总结
本申请实施例提供了一种危险行为预警方法及装置，该方法包括：对针对水体及其周围环境进行视频采集得到的目标视频进行目标对象检测，在目标视频中存在目标对象的情况下，对目标对象进行识别，以得到目标对象的识别结果，并根据该识别结果确定目标对象的落水危险等级，从而根据该落水危险等级确定对应的预警方式。采用前述方法，可以对落水危险行为进行预警，从而避免目标对象发生落水的危险。从而避免目标对象发生落水的危险。从而避免目标对象发生落水的危险。


技术研发人员：饶田旺 饶海山
受保护的技术使用者：江西省宏旺科技有限公司
技术研发日：2023.05.26
技术公布日：2023/8/14