一种工作区域安全预警方法、装置及存储介质与流程

1.本发明涉及计算机视觉领域，尤其是一种工作区域安全预警方法、装置及存储介质。


背景技术：

2.日常生产作业中，由于工作人员未按照相关生产安全标准作业而产生的安全事故屡屡发生。而现今为了减少上述情况的发生，通常通过人工监控人为发现违规行为并进行提醒。然后，人工监控手段耗费人力、时间，并且容易出现漏检的情况。现今，出现了基于深度学习的计算机视觉技术实现告警功能，能实现一定程度的追踪。然而，目前特定的安全检测对应特定的安全检测算法，比如工作人员是否正确佩戴安全帽的违规告警就需要安全帽检测算法来支持；工作人员的工作服是否正常穿着的告警就需要工作服检测算法；是否在无烟区违规抽烟的告警就需要吸烟行为识别算法等，那么在告警多种生产安全标准的场景下，就需要多个不同类型安全检测算法一起工作。而且需要检查的生产安全标准的种类数目和被调用的安全检测算法的数量是成正比的，这些算法之间是相互单独，是分开训练、部署和维护的，使得多个安全检测算法协同工作的违规告警系统的训练、部署和维护相当繁杂，算法模块之间的推理计算不能共享，致使整个系统的算法推理耗时正比于被调用的算法数目，训练过程复杂耗时，同时实际检测时检测耗时长，效率低。


技术实现要素：

3.有鉴于此，为了解决上述技术问题的至少之一，本发明的目的是提供一种工作区域安全预警方法、装置、设备及存储介质，降低训练难度以及提高检测效率。
4.本发明实施例提供了一种工作区域安全预警方法，包括：
5.获取工作区域的至少一监控图像；
6.通过无预设候选检测框的目标检测模型对所述监控图像进行识别，得到目标位置区域，并根据所述目标位置区域确定至少一目标图像；所述目标位置区域为包括目标人员的区域；
7.将至少一所述目标图像输入至多属性分类网络模型，得到得分结果；所述得分结果包括若干个表征所述目标人员行为的属性以及每一属性对应的分数值；
8.根据所述分数值以及分数阈值集合，确定安全预警结果。
9.进一步，所述获取工作区域的至少一监控图像，包括：
10.获取工作区域的监控视频流；
11.采用跳帧策略对所述监控视频流进行分帧处理，得到若干帧所述监控图像。
12.进一步，所述目标检测模型通过以下步骤训练得到：
13.获取第一训练数据集；所述第一训练数据集包括第一真实值，所述第一真实值包括真实类别以及真实边框；
14.将所述第一训练数据集输入至pp-yoloe网络，得到检测位置区域；
15.根据所述检测位置区域的检测类别以及所述真实类别计算类别损失，以及根据所述检测位置区域的检测边框以及所述真实边框计算交并比损失；
16.根据所述类别损失、类别参数、所述交并比损失以及交并比参数进行加权求和，得到第一总损失；所述交并比参数大于所述类别参数；
17.根据所述第一总损失对所述pp-yoloe网络进行训练，得到目标检测模型。
18.进一步，所述根据所述第一总损失对所述pp-yoloe网络进行训练，得到目标检测模型，包括：
19.对所述pp-yoloe网络进行训练，直至连续预设次数的所述第一总损失相同，将连续预设次数中第一次的所述第一总损失对应的pp-yoloe网络作为目标检测模型。
20.进一步，所述根据所述目标位置区域确定至少一目标图像，包括：
21.根据所述目标位置区域从对应的监控图像中截取至少一候选图像；
22.将至少一所述候选图像调整为预设尺寸；
23.将预设尺寸的每一候选图像的通道值除以预设数值、减去均值参数后除以方差参数，得到至少一所述目标图像。
24.进一步，所述分数阈值集合中具有多个分数阈值，每一所述分数阈值对应一所述属性；
25.所述根据所述分数值以及分数阈值集合，确定安全预警结果，包括：
26.将每一属性对应的分数值与每一属性对应的分数阈值进行比较；
27.当任意一属性对应的分数值大于等于该属性对应的分数阈值，发出第一预警通知；
28.或者，将每一属性对应的分数值大于或等于每一属性对应的分数阈值的属性确定为目标属性，发送针对所述目标属性的第二预警通知；
29.或者，将每一属性对应的分数值大于或等于每一属性对应的分数阈值的属性确定为目标属性，进入告警判断流程以确定是否发送第三预警通知。
30.进一步，所述进入告警判断流程以确定是否发送第三预警通知，包括：
31.当确定存在所述目标属性，获取所述目标属性对应的监控图像的后预设数量帧的连续图像，并确定后预设数量帧的所述连续图像中所述目标属性的目标分数值；
32.确定所述目标分数值大于或等于所述目标属性的分数阈值的第一连续次数，当所述第一连续次数大于或等于告警阈值，发出第三预警通知；
33.或者，
34.确定所述目标分数值小于所述目标属性的分数阈值的第二连续次数，当所述第二连续次数大于或等于取消阈值，不发出第三预警通知和/或取消当前告警。
35.本发明实施例还提供一种工作区域安全预警装置，包括：
36.获取模块，用于获取工作区域的至少一监控图像；
37.确定模块，用于通过无预设候选检测框的目标检测模型对所述监控图像进行识别，得到目标位置区域，并根据所述目标位置区域确定至少一目标图像；所述目标位置区域为包括目标人员的区域；
38.得分模块，用于将至少一所述目标图像输入至多属性分类网络模型，得到得分结果；所述得分结果包括若干个表征所述目标人员行为的属性以及每一属性对应的分数值；
39.预警模块，用于根据所述分数值以及分数阈值集合，确定安全预警结果。
40.本发明实施例还提供一种工作区域安全预警装置，所述工作区域安全预警装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现所述方法。
41.本发明实施例还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现所述方法。
42.本发明的有益效果是：
43.通过获取工作区域的至少一监控图像，通过无预设候选检测框的目标检测模型对所述监控图像进行识别，得到目标位置区域，由于识别的是目标人员的区域，目标人员在监控图像中相对于安全帽、安全带等物品占有较大的范围，因此有利于降低目标检测模型的训练时间和训练难度；根据所述目标位置区域确定至少一目标图像；将至少一所述目标图像输入至多属性分类网络模型，得到得分结果，而所述得分结果包括若干个表征所述目标人员行为的属性以及每一属性对应的分数值，不需要针对多种属性分别设置一个对应的属性识别算法并单独训练，使用多属性分类网络模型相对现有技术有利于降低模型的部署以及训练的复杂度，并且提高检测的效率，根据所述分数值以及分数阈值集合，确定安全预警结果，有利于提高安全预警结果的确定效率。
44.为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
45.图1为本发明工作区域安全预警方法的步骤流程示意图。
具体实施方式
46.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
47.本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
48.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
49.如图1所示，本发明实施例提供一种工作区域安全预警方法，包括步骤s100-s400：
50.s100、获取工作区域的至少一监控图像。
51.可选地，工作区域为当前需要进行监控的区域，具体需要进行监控的领域可以根据需要进行调整，本发明实施例中以工作区域为工厂为例，不构成具体的限定。
52.可选地，s100包括步骤s110-s120：
53.s110、获取工作区域的监控视频流。
54.本发明实施例中，通过模拟摄像机、数字摄像机采集等方式得到工作区域的监控视频流。
55.s120、采用跳帧策略对监控视频流进行分帧处理，得到若干帧监控图像。
56.本发明实施例中，为了减轻后续模型计算资源的消耗频率，采用跳帧策略对监控视频流进行分帧处理，以获得若干帧的视频帧图像，即监控图像。例如，跳帧策略的跳帧数量可以为5，此时每间隔5帧获取一个视频帧图像，或者跳帧策略的跳帧数量可以为3，每间隔3帧获取一个视频帧图像，不作具体限定。
57.s200、通过无预设候选检测框的目标检测模型对监控图像进行识别，得到目标位置区域，并根据目标位置区域确定至少一目标图像；
58.本发明实施例中，将监控图像输入至无预设候选检测框的目标检测模型进行识别，从而得到目标位置区域。需要说明的是，目标位置区域为包括目标人员的区域，例如当工作区域为工厂时，目标人员即为工厂中工作的工作人员；当一个监控图像中包括一个或多个工作人员时，一个监控图像中的目标位置区域可以具有一个或者多个。
59.本发明实施例中，目标检测模型采用pp-yoloe模型，目标检测模型中的目标检测类别的数目参数设为1，表示该模型的检测目标只有一种类别(即工作人员的类别)。需要说明的是，pp-yoloe模型为基于yolov2的无预设候选检测框的网络结构，无预设候选检测框的网络结构主要是通过多个关键点(角点)或者通过中心点与对应的边界信息来表示目标的信息(如位置和大小)，因此不需要预先设定标注目标的候选检测框，而预设候选检测框的超参数是非常难调的，预设候选检测框的数量、大小、宽高比等超参数往往需要根据不同的被检测物体的情况来适应设计，非常费时，无预设候选检测框的网络结构能够直接对图像进行目标检测，更加省时和快捷；同时可以避免使用可变形卷积或者矩阵非极大抑制等特殊算子，从而降低计算的复杂度和对计算资源的要求，降低对硬件的性能要求，便于部署在各种硬件上。
60.可选地，目标检测模型通过步骤s201-s205训练得到：
61.s201、获取第一训练数据集。
62.可选地，第一训练数据集可以包括开源数据集(crowdhuman)以及工厂真实场景下工作人员的检测框数据集。其中，第一训练数据集中都标注有第一真实值，第一真实值包括真实类别以及真实边框。另外，第一训练数据集中的一部分可以分成训练数据以及验证数据，训练数据用于训练，验证数据用于检验训练的效果，例如分成训练集和验证集的比例为9：1。
63.s202、将第一训练数据集输入至pp-yoloe网络，得到检测位置区域。
64.s203、根据检测位置区域的检测类别以及真实类别计算类别损失，以及根据检测位置区域的检测边框以及真实边框计算交并比损失。
65.具体地，将第一训练数据集输入至pp-yoloe网络，pp-yoloe网络进行处理后输出
检测位置区域，检测位置区域具有对应的检测值，检测值包括检测类别以及检测边框。本发明实施例中，根据检测类别以及真实类别计算类别损失，以及根据检测边框以及真实边框计算交并比(iou)损失。
66.s204、根据类别损失、类别参数、交并比损失以及交并比参数进行加权求和，得到第一总损失。
67.本发明实施例中，为了得到训练效果更好、更准确的pp-yoloe网络，提高了损失函数的衡量度，将交并比参数设置为大于类别参数，例如包括但不限于类别参数为a，设置交并比参数为2.5a。具体地，根据类别损失、类别参数、交并比损失以及交并比参数进行加权求和，得到第一总损失loss：
68.loss＝类别损失
×
a+交并比损失
×
2.5a
69.s205、根据第一总损失对pp-yoloe网络进行训练，得到目标检测模型。
70.可选地，根据第一总损失对pp-yoloe网络进行训练，训练过程中初始学习率大小设置为0.001，采用带延迟的余弦退火策略调整学习率，同时可以设置模型训练遍历训练集的最大次数为50次，每训练遍历完训练集一次，对当前训练得到的模型在验证集上进行推理测试得到准确率，然后继续训练。准确率的计算即将验证集输入至当前训练得到的模型中得到一个检测结果，然后利用第一总损失的公式计算检测结果与验证集之间的第一总损失，此时的第一总损失相当于准确率，当第一总损失越小说明准确度越高。本发明实施例中，在训练时，当连续预设次数的第一总损失相同，即连续预设次数计算的准确率相同，例如预设次数包括但不限于3次，当连续3次的第一总损失相同，即连续3次的准确率不再提高时，视为模型训练已经收敛，将连续3次中第一次的第一总损失对应的pp-yoloe网络作为最终的目标检测模型。
71.可选地，步骤s200中根据目标位置区域确定至少一目标图像，包括步骤s210-s230：
72.s210、根据目标位置区域从对应的监控图像中截取至少一候选图像。
73.可选地，当确定目标位置区域后，从对应的监控图像中截取该目标位置区域的部分，从而得到至少一候选图像。
74.s220、将至少一候选图像调整为预设尺寸。
75.s230、将预设尺寸的每一候选图像的通道值除以预设数值、减去均值参数后除以方差参数，得到至少一目标图像。
76.需要说明的是，预设尺寸、预设数值、均值参数以及方差参数等的大小可以根据需要进行调整，不作具体限定。例如，将所有获取的候选图像调整为预设尺寸256
×
192，将256
×
192的每一候选图像的通道值(例如rgb三个通道数值)除以预设数值255、减去均值参数[0.485,0.456,0.406]后除以方差参数[0.229,0.224,0.225]，得到最终归一化值即至少一目标图像，然后可以将所有目标图像构成批量数据输入至多属性分类网络模型中。
[0077]
s300、将至少一目标图像输入至多属性分类网络模型，得到得分结果。
[0078]
需要说明的是，得分结果包括若干个表征目标人员行为的属性以及每一属性对应的分数值。可选地，属性包括但不限于不佩戴安全帽、不戴口罩、不佩戴安全带、不穿着工作服、不穿劳保鞋、玩手机、吸烟7种属性，因此多属性分类网络模型输出向量维度值是7，分数值用于表征属性的概率值(取值范围0-1之间)。可选地，多属性分类网络模型采用基于轻量
卷积神经网络pp-lcnet的多标签分类网络结构。其中，多属性分类网络模型可以通过获取第二训练数据集进行训练，第二训练数据集中融合开源数据集(peta，rap，pa-100k)以及工厂真实场景数据，第二训练数据集中的数据对涉及行为标注了属性标签，属性标签包括不佩戴安全帽、不戴口罩、不佩戴安全带、不穿着工作服、不穿劳保鞋、玩手机、吸烟等7种属性以及对应的分数，同时进行属性标签了规范化处理，工作人员剪切图像的左右翻转，属性标注不变。需要说明的是，7种属性标注规则如下：1)不佩戴安全帽，头部大部分被安全帽遮挡，未见大量头发，注意戴安全帽时的低头和抬头，由于监控摄像头拍摄角度问题，这里拍摄到的安全帽成像很小，不过应判断为佩戴安全帽，对于佩戴安全帽的情况，该属性的分数设置为0，对于不佩戴安全帽的情况，该属性的分数设置为1；2)不戴口罩，当口罩能遮挡住嘴鼻时，该属性的分数设置为0，反之，该属性的分数设置为1；3)不佩戴安全带，当能明显看到躯干部分有安全带时，该属性的分数设置为0，反之，属性的分数设置为1；4)不穿着工作服，这里工作服包括上衣和裤子，两者必须都是工作服装时，才能算作正确穿着工作服装此时属性的分数设置为0，反之，属性的分数设置为1，需要注意的是撸起袖子、上衣大面积敞开与手拿衣服都记作未正确穿着工作服；5)不穿劳保鞋，这里劳保鞋是黑色和黄色，鞋型比较大，有穿劳保鞋该属性的分数设置为0，反之，属性的分数设置为1；6)玩手机，手机在手上并靠近面部时，记作玩手机该属性的分数设置为1，反之，属性的分数设置为0；7)抽烟烟，手持烟头或者烟头靠近嘴边、烟头有零星火光的情况下，记作抽烟该属性的分数设置为1，反之，属性的分数设置为0。
[0079]
另外，多属性分类网络模型的训练阶段引入加权二值交叉熵损失(weighted bce loss)来平衡不同属性所对应权重差异，并且网络权重参数更新中引入指数移动平均(ema)策略提升模型效果和鲁棒，对第二训练数据集的样本进行过采样，平衡同一属性内正负样本采样次数和不同属性间的样本采样次数，缓解属性类别数据不均衡问题。比如，在工厂现场采集的数据集中，大部分工作人员都正确佩戴了安全帽，然而在开源的数据集中大部分人员是没有佩戴安全帽，所以对于安全帽这个属性，要从这两种数据集中进行合理采样来获得总的训练集，以构成第二训练数据集。
[0080]
类似地，第二训练数据集中可以划分为训练集以及验证集，比例可以为9：1，基于轻量卷积神经网络pp-lcnet的多标签分类网络结构(简称多标签分类网络)时，初始学习率大小设置为0.001，采用余弦退火策略调整学习率，多标签分类网络的训练遍历训练数集的最大次数为250次，每训练遍历完训练集一次，对当前训练得到的多标签分类网络在验证集上进行推理测试得到准确率，例如根据多标签分类网络结构的第二损失函数计算第二损失值，即准确率，设连续预设阈值次数为5次，当5次的验证集推理准确率不再提高时，视为模型训练已经收敛，取这连续5次中的第一次准确率对应的多标签分类网络作为最终的多属性分类网络模型。
[0081]
需要说明的是，本发明实施例中，采用两个独立的模型分别进行识别以及检测得分，主要是为了适应于对图像的不同要求，监控图像识别只需要看到更大像素范围的内容，只需要加工融合各个位置以及各种层次的特征来获得抽象的语义的特征，因此有利于降低对输入图像的要求。而检测具体的属性以及得分需要精确到像素点级别，需要更多的关注原始图片的高分辨率、位置相关的特征，目标检测模型识别得到目标位置区域后再输入至多属性分类网络模型进行检测，相对目标检测模型对整幅监控图像进行处理，有利于减少
多属性分类网络模型的数据处理量，有利于提高检测速度以及提高检测性能。
[0082]
s400、根据分数值以及分数阈值集合，确定安全预警结果。
[0083]
可选地，步骤s400包括步骤s410，以及s420-s440中的其中之一：
[0084]
s410、将每一属性对应的分数值与每一属性对应的分数阈值进行比较。
[0085]
需要说明的是，分数阈值集合中具有多个分数阈值，每一分数阈值对应一属性，例如不佩戴安全帽的属性对应一个分数阈值，因此不佩戴安全帽、不戴口罩、不佩戴安全带、不穿着工作服、不穿劳保鞋、玩手机、吸烟7种属性一共有7个分数阈值。
[0086]
s420、当任意一属性对应的分数值大于等于该属性对应的分数阈值，发出第一预警通知。
[0087]
具体地，当任意一属性对应的分数值大于等于该属性对应的分数阈值，发出第一预警通知。可选地，第一预警通知的方式包括但不限于通过扬声器播放、手机短信或者手机通话的形式，例如扬声器持续播放“请注意安全规范”，工作人员手机短信收到“请注意安全规范”的内容的信息或者手机通话收到“请注意安全规范”的提示音等，及时提醒工作人员注意行为规范，以保障工作安全。
[0088]
s430、将每一属性对应的分数值大于或等于每一属性对应的分数阈值的属性确定为目标属性，发送针对目标属性的第二预警通知。
[0089]
具体地，将每一属性对应的分数值大于或等于每一属性对应的分数阈值的属性确定为目标属性，然后仅发送针对目标属性的第二预警通知，可以提高针对性以便于相应的工作人员马上认识到具体哪种行为不规范，便于马上改进，效率高。例如以不佩戴安全帽的属性为例，假设不佩戴安全帽的分数值为0.6，不佩戴安全帽属性对应的分数阈值为0.5，此时扬声器持续播放：“请佩戴安全帽”或者“请勿拆下安全帽”，工作人员手机短信收到“请佩戴安全帽”或者“请勿拆下安全帽”的内容的信息或者手机通话收到“请佩戴安全帽”或者“请勿拆下安全帽”的提示音等，保障工作安全。
[0090]
s440、将每一属性对应的分数值大于或等于每一属性对应的分数阈值的属性确定为目标属性，进入告警判断流程以确定是否发送第三预警通知。
[0091]
类似地，第三预警通知可以通过扬声器、电话、短信等方式。
[0092]
可选地，步骤s440中进入告警判断流程以确定是否发送第三预警通知，包括步骤s4401，以及s4402或者s4403：
[0093]
s4401、当确定存在目标属性，获取目标属性对应的监控图像的后预设数量帧的连续图像，并确定后预设数量帧的连续图像中目标属性的目标分数值。
[0094]
以不佩戴安全帽该属性为例，假设存在目标属性不佩戴安全帽，不佩戴安全帽的分数值为0.6，不佩戴安全帽属性对应的分数阈值为0.5，假设得到不佩戴安全帽属性的监控图像为第1帧，假设预设数量帧为50帧，此时目标属性对应的监控图像即为第1帧的图像，此时获取第1帧的图像的后50帧的连续图像，将后50帧的连续图像根据步骤s200、s300得到后50帧的连续图像中不佩戴安全帽的属性的目标分数值。
[0095]
s4402、确定目标分数值大于或等于目标属性的分数阈值的第一连续次数，当第一连续次数大于或等于告警阈值，发出第三预警通知。
[0096]
可选地，告警阈值可以根据实际需要设定，例如告警阈值为30。具体地，以上述例子为例，如果目标分数值大于或等于目标属性的分数阈值的第一连续次数为40，即不佩戴
安全帽该行为维持了40帧，40大于30，此时发出第三预警通知；或者，第一连续次数为20，即不佩戴安全帽该行为维持了20帧，20小于30，此时说明工作人员不佩戴安全帽的行为维持了20帧，重新戴上了安全帽，此时不需要发出第三预警通知，降低误报率。
[0097]
s4403、确定目标分数值小于目标属性的分数阈值的第二连续次数，当第二连续次数大于或等于取消阈值，不发出第三预警通知和/或取消当前告警。
[0098]
可选地，取消阈值可以根据实际需要设定，例如取消阈值为20。具体地，以上述例子为例，如果目标分数值小于目标属性的分数阈值的第一连续次数为30，即佩戴安全帽的行为维持了30帧，30大于20，此时不发出第三预警通知，或者进一步，当当前存在第一预警通知、第二预警通知以及第三预警通知的至少之一时(即存在当前告警)，取消第一预警通知、第二预警通知以及第三预警通知中的至少之一，即取消当前告警。而当第二连续次数小于取消阈值，并且存在第一预警通知、第二预警通知以及第三预警通知的至少之一时，不取消第一预警通知、第二预警通知以及第三预警通知中的至少之一。
[0099]
相对于现有技术，本发明实施例的工作区域安全预警方法中，利用多属性分类网络模型，可以充分利用属性标签之间标签之间的相关性，当需要增加新的安全着装的属性行为时，只需要新增相应的属性标签数据进行训练即可输出满足新添加的属性识别模型，大大简化了识别、检测相关不规范行为的模型的训练、部署和维护，扩展维护更加方便。基于属性对应的分数值与每一属性对应的分数阈值的比较进行自动告警，方便快捷；同时，基于一系列连续帧的图像结合告警阈值、取消阈值判断是否发出告警或者取消告警，能在很大程度上降低误报率。
[0100]
本发明实施例还提供一种工作区域安全预警装置，包括：
[0101]
获取模块，用于获取工作区域的至少一监控图像；
[0102]
确定模块，用于通过无预设候选检测框的目标检测模型对监控图像进行识别，得到目标位置区域，并根据目标位置区域确定至少一目标图像；目标位置区域为包括目标人员的区域；
[0103]
得分模块，用于将至少一目标图像输入至多属性分类网络模型，得到得分结果；得分结果包括若干个表征目标人员行为的属性以及每一属性对应的分数值；
[0104]
预警模块，用于根据分数值以及分数阈值集合，确定安全预警结果。
[0105]
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同，不再赘述。
[0106]
本发明实施例还提供了另一种工作区域安全预警装置，该工作区域安全预警装置包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的工作区域安全预警方法。可选地，该工作区域安全预警装置包括但不限于手机、平板电脑、电脑及车载电脑等。
[0107]
上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同，不再赘述。
[0108]
本发明实施例还提供一种计算机可读存储介质，存储介质中存储有至少一条指
令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现前述实施例的工作区域安全预警方法。
[0109]
本发明实施例还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前述实施例的工作区域安全预警方法。
[0110]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0111]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0112]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0113]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0114]
以上，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。

技术特征：
1.一种工作区域安全预警方法，其特征在于，包括：获取工作区域的至少一监控图像；通过无预设候选检测框的目标检测模型对所述监控图像进行识别，得到目标位置区域，并根据所述目标位置区域确定至少一目标图像；所述目标位置区域为包括目标人员的区域；将至少一所述目标图像输入至多属性分类网络模型，得到得分结果；所述得分结果包括若干个表征所述目标人员行为的属性以及每一属性对应的分数值；根据所述分数值以及分数阈值集合，确定安全预警结果。2.根据权利要求1所述工作区域安全预警方法，其特征在于：所述获取工作区域的至少一监控图像，包括：获取工作区域的监控视频流；采用跳帧策略对所述监控视频流进行分帧处理，得到若干帧所述监控图像。3.根据权利要求1所述工作区域安全预警方法，其特征在于：所述目标检测模型通过以下步骤训练得到：获取第一训练数据集；所述第一训练数据集包括第一真实值，所述第一真实值包括真实类别以及真实边框；将所述第一训练数据集输入至pp-yoloe网络，得到检测位置区域；根据所述检测位置区域的检测类别以及所述真实类别计算类别损失，以及根据所述检测位置区域的检测边框以及所述真实边框计算交并比损失；根据所述类别损失、类别参数、所述交并比损失以及交并比参数进行加权求和，得到第一总损失；所述交并比参数大于所述类别参数；根据所述第一总损失对所述pp-yoloe网络进行训练，得到目标检测模型。4.根据权利要求3所述工作区域安全预警方法，其特征在于：所述根据所述第一总损失对所述pp-yoloe网络进行训练，得到目标检测模型，包括：对所述pp-yoloe网络进行训练，直至连续预设次数的所述第一总损失相同，将连续预设次数中第一次的所述第一总损失对应的pp-yoloe网络作为目标检测模型。5.根据权利要求1-4任一项所述工作区域安全预警方法，其特征在于：所述根据所述目标位置区域确定至少一目标图像，包括：根据所述目标位置区域从对应的监控图像中截取至少一候选图像；将至少一所述候选图像调整为预设尺寸；将预设尺寸的每一候选图像的通道值除以预设数值、减去均值参数后除以方差参数，得到至少一所述目标图像。6.根据权利要求1-4任一项所述工作区域安全预警方法，其特征在于：所述分数阈值集合中具有多个分数阈值，每一所述分数阈值对应一所述属性；所述根据所述分数值以及分数阈值集合，确定安全预警结果，包括：将每一属性对应的分数值与每一属性对应的分数阈值进行比较；当任意一属性对应的分数值大于等于该属性对应的分数阈值，发出第一预警通知；或者，将每一属性对应的分数值大于或等于每一属性对应的分数阈值的属性确定为目标属性，发送针对所述目标属性的第二预警通知；
或者，将每一属性对应的分数值大于或等于每一属性对应的分数阈值的属性确定为目标属性，进入告警判断流程以确定是否发送第三预警通知。7.根据权利要求6所述工作区域安全预警方法，其特征在于：所述进入告警判断流程以确定是否发送第三预警通知，包括：当确定存在所述目标属性，获取所述目标属性对应的监控图像的后预设数量帧的连续图像，并确定后预设数量帧的所述连续图像中所述目标属性的目标分数值；确定所述目标分数值大于或等于所述目标属性的分数阈值的第一连续次数，当所述第一连续次数大于或等于告警阈值，发出第三预警通知；或者，确定所述目标分数值小于所述目标属性的分数阈值的第二连续次数，当所述第二连续次数大于或等于取消阈值，不发出第三预警通知和/或取消当前告警。8.一种工作区域安全预警装置，其特征在于，包括：获取模块，用于获取工作区域的至少一监控图像；确定模块，用于通过无预设候选检测框的目标检测模型对所述监控图像进行识别，得到目标位置区域，并根据所述目标位置区域确定至少一目标图像；所述目标位置区域为包括目标人员的区域；得分模块，用于将至少一所述目标图像输入至多属性分类网络模型，得到得分结果；所述得分结果包括若干个表征所述目标人员行为的属性以及每一属性对应的分数值；预警模块，用于根据所述分数值以及分数阈值集合，确定安全预警结果。9.一种工作区域安全预警装置，其特征在于：所述工作区域安全预警装置包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7中任一项所述方法。10.一种计算机可读存储介质，其特征在于：所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7中任一项所述方法。

技术总结
本发明公开了一种工作区域安全预警方法、装置及存储介质，本发明通过获取工作区域的至少一监控图像，通过无预设候选检测框的目标检测模型对监控图像进行识别得到目标位置区域，识别的是目标人员的区域，相对于物品占有较大的范围，有利于降低目标检测模型的训练时间和训练难度；根据目标位置区域确定至少一目标图像，将至少一目标图像输入至多属性分类网络模型，得到包括若干个表征目标人员行为的属性以及每一属性对应的分数值的得分结果，不需要针对多种属性分别设置一个对应的属性识别算法并单独训练，降低模型的部署、训练的复杂度，并且提高检测的效率，根据分数值以及分数阈值集合确定安全预警结果，有利于提高安全预警结果的确定效率。的确定效率。的确定效率。


技术研发人员：刘修伟 宋志博 汪建 杨宇辉 阮颖群
受保护的技术使用者：广东亿迅科技有限公司
技术研发日：2023.04.10
技术公布日：2023/7/7