一种面向变电站场景的高精度违规行为检测方法及装置与流程

1.本发明涉及工业安全和劳动保护的技术领域，尤其涉及一种面向变电站场景的高精度违规行为检测方法及装置。


背景技术：

2.一些传统的违规行为识别方法，如高斯混合模型等，高斯混合模型容易过拟合，特别是当混合成分的数量较多时，模型更容易学习到数据中的噪声和异常值，而忽略掉真实的模式，这就使其在面临复杂的环境如变电站户外安全帽检测时表现结果较差，无法很好起到在变电站中安全帽检测的能力；方向梯度直方图(hog)描述子生成过程冗长，导致速度慢，实时性差，较难适应安全帽检测的变电站应用场景，同时其对光照、阴影等因素比较敏感，在户外场景的识别准确度有明显下降。梯度直方图是基于图像的局部梯度特征进行计算的，而这些特征受到光照、阴影等因素的影响比较大。因此，在面对安全帽户外检测时可能出现的高强度光照场景梯度直方图的效果会明显降低，无法准确的完成检测。
3.随着计算机硬件的发展，图形处理器(gpu)被大规模使用，计算速度大大提高，为大型的深度学习训练提供了保障。深度学习的方法在违规行为目标检测中成为主流方法，其中r-cnn算法及其改进的faster-r-cnn算法是基于区域提取的算法。r-cnn算法第一步是区域提取，第二步是特征计算和边界回归，但是区域提取需要占用大量的磁盘空间，并且在每个区域进行网络计算，大量重叠，浪费了资源。faster-r-cnn算法，构建roi池化层和多任务丢失层的解决方案faster-r-cnn算法采用添加其他rpn分支网络的方法将区域提取集成到深度网络中，提高了r-cnn算法的速度，但是计算复杂，难以满足实时视频的工程要求。
4.本发明提出了一种针对变电站场景的高精度违规行为检测算法，对采集到的数据集进行了标注，利用改进后的yolov7算法对模型进行训练，利用标注后的违规行为图片再对上述改进后的yolov7模型进行训练，提高了速度和精确度，更好地满足了实时监测的需求。


技术实现要素：

5.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
6.鉴于上述现有存在的问题，提出了本发明。
7.因此，本发明解决的技术问题是：
8.为解决上述技术问题，本发明提供如下技术方案：
9.第一方面，本发明实施例提供了一种面向变电站场景的高精度违规行为检测方法，包括：
10.采集违规行为图像，进行预处理，构建图像数据集；
11.对改进的目标检测模型输入所述图像数据集训练得到违规行为检测模型；
12.将所述模型接入监控系统，实现违规行为的实时检测。
13.作为本发明所述的面向变电站场景的高精度违规行为检测方法的一种优选方案，其中：所述违规行为包括未按照规定佩戴个人防护装备、未按照规定进行操作、操作不规范以及违反安全规定。
14.作为本发明所述的面向变电站场景的高精度违规行为检测方法的一种优选方案，其中：所述采集违规行为图像，包括：
15.通过网络收集和线下采集违规行为图像，并从所述违规行为图像中随机选取n张图像进行图像数据增强，构建所述图像数据集。
16.作为本发明所述的面向变电站场景的高精度违规行为检测方法的一种优选方案，其中：所述改进的目标检测模型，包括对原始目标检测进行信息融合优化、目标检测优化以及增添注意力机制；
17.所述信息融合优化包括，
18.基于原目标检测网络，在mpconv模块中分支的最大池化层后加上一个k＝1，s＝1的卷积；
19.在下分支k＝1，s＝1的卷积后连接一个k＝3，s＝2的卷积；
20.对最大池化层与1x1的卷积进行级联操作，通过选择局部最大值来学习图像的边缘信息和纹理信息；
21.另一个分支通过两个卷积级联来进一步提取图像的细节。
22.作为本发明所述的面向变电站场景的高精度违规行为检测方法的一种优选方案，其中：所述目标检测优化包括：
23.将一张sxs像素的图片分成四份同等大小的s/2xs/2的图片，对这些图片按照通道进行合并，将合并后的特征通过1x1卷积，得到一个s/2xs/2x1大小的特征。
24.作为本发明所述的面向变电站场景的高精度违规行为检测方法的一种优选方案，其中：述增添注意力机制，包括：
25.通过在所述卷积神经网络中设置acmix注意力模块，增加网络对小目标的注意力。
26.作为本发明所述的面向变电站场景的高精度违规行为检测方法的一种优选方案，其中：将所述图片数据集按划分为训练集、验证集和测试集，输入至改进后的目标检测模型中进行训练，得到所述违规行为检测模型。
27.第二方面，本发明实施例提供了一种面向变电站场景的高精度违规行为检测装置，包括：
28.图像采集模块，采集违规行为图像，进行预处理，构建图像数据集；
29.训练模块，对改进的目标检测模型输入所述图像数据集训练得到违规行为检测模型；
30.违规检测模块，将所述模型接入监控系统，实现违规行为的实时检测。
31.第三方面，本发明实施例提供了一种计算设备，包括：
32.存储器和处理器；
33.所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的面向变电站场景的高精度违规行为检测方法。
34.第四方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现所述面向变电站场景的高精度违规行为检测方法。
35.本发明的有益效果：本发明提供的一种面向变电站场景的高精度违规行为检测方法，通过对yolov7模型进行改进，把分立合并思想与卷积相结合，实现了对mpconv模块的改进，增强了图片中的细节信息提取能力，同时还加入了acmix注意力模块，提高了网络检测精度，同时也有效减少了小目标检测时的漏检、误检情况，提高了yolov7模型在实际应用中的检测性能。改进后的yolov7模型可以在不影响检测精度的情况下提高检测速度，适用于实时场景，并且可以对多种数据源进行处理，包括图像、视频等，以便于它们可以应用于不同的场景，有着很好的实用性。
附图说明
36.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
37.图1为本发明一个实施例所述的面向变电站场景的高精度违规行为检测方法的整体流程图；
38.图2为本发明一个实施例所述的面向变电站场景的高精度违规行为检测方法的装置示意图；
39.图3为本发明一个实施例所述的面向变电站场景的高精度违规行为检测方法的yolov7网络架构示意图；
40.图4为本发明一个实施例所述的面向变电站场景的高精度违规行为检测方法的mpconv模块的改进示意图；
41.图5为本发明一个实施例所述的面向变电站场景的高精度违规行为检测方法的acmix注意力模块结构示意图；
42.图6为本发明一个实施例所述的面向变电站场景的高精度违规行为检测方法的小目标结果检测对比图。
具体实施方式
43.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
44.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
45.其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指
同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
46.本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
47.同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
48.本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
49.实施例1
50.参照图1—5，为本发明的第一个实施例，该实施例提供了一种面向变电站场景的高精度违规行为检测方法，其特征在于，包括：
51.s100：采集违规行为图像，进行预处理，构建图像数据集；
52.更进一步的，违规行为包括未按照规定佩戴个人防护装备、未按照规定进行操作、操作不规范以及违反安全规定。
53.应说明的是，未按照规定佩戴个人防护装备包括，未佩戴安全帽、安全鞋、安全手套等；未按照规定进行操作包括，未按照规定开启或关闭开关、未按照规定接地等；操作不规范包括，不按照操作规程进行操作，违反操作规程等；违反安全规定包括，未按照规定进入限制区域、在限制区域吸烟、私自携带易燃易爆物品等。
54.更进一步的，采集违规行为图像，包括通过网络收集和线下采集违规行为图像，并从所述违规行为图像中随机选取n张图像进行图像数据增强，构建所述图像数据集。
55.s200：对改进的目标检测模型输入所述图像数据集训练得到违规行为检测模型；
56.更进一步的，改进的目标检测模型，包括对原始目标检测进行信息融合优化、目标检测优化以及增添注意力机制；
57.所述信息融合优化包括，
58.基于原目标检测网络，在mpconv模块中分支的最大池化层后加上一个k＝1，s＝1的卷积；
59.在下分支k＝1，s＝1的卷积后连接一个k＝3，s＝2的卷积；
60.对最大池化层与1x1的卷积进行级联操作，通过选择局部最大值来学习图像的边缘信息和纹理信息；
61.另一个分支通过两个卷积级联来进一步提取图像的细节。
62.应说明的是，本发明所用的目标检测模型为图3所示的yolov7模型，在原本的结构中选取卷积核k＝3，步长s＝2的卷积时，卷积过程将会损失一些细粒度，致使网络会进行一些低效率的特征表示学习。
63.更进一步的，目标检测优化包括：
64.将一张sxs像素的图片分成四份同等大小的s/2xs/2的图片，对这些图片按照通道进行合并，将合并后的特征通过1x1卷积，得到一个s/2xs/2x1大小的特征。
65.应说明的是，如图4所示，我们选择将neck结构中的mpconv模块替换为改进后的mpconv模块，来获取更多的特征信息。经过这些操作我们成功地使特征图尺寸减半，同时达到了不会在该过程中导致特征丢失的目的。
66.更进一步的，增添注意力机制，包括：
67.通过在所述卷积神经网络中设置acmix注意力模块，增加网络对小目标的注意力。
68.应说明的是，acmix注意力模块同时由卷积注意力模块和自注意力模块并行组合形成，既照顾了输入与输入之间的关系，又注重输出与输出之间的关系，可以有效的降低漏捡的概率，不仅增强了特征提取的能力，同时还为小目标检测作出贡献。
69.如图5所示，acmix原理如下：将h
×w×
c的特征通过3个1x1的卷积进行投影后分成n片，得到3xn个尺寸为的子特征。在上分支(内核为k的卷积部分),网络遵循传统卷积注意力机制，从局部感受野获取信息，随后特征进行移位、聚合和卷积处理,获得h
×w×
c的特征:对于下分支(自注意力部分)，网络遵循自注意力机制，兼顾全局并聚焦重点。3n个子特征对应的3个尺寸的特征图，通过移位、聚合、卷积处理获得h
×w×
c的特征。最后.将两条路径的输出进行concat操作，强度由两个可学习的标量αβ控制。
70.更进一步的，将所述图片数据集按划分为训练集、验证集和测试集，输入至改进后的目标检测模型中进行训练，得到所述违规行为检测模型。
71.应说明的是，将自主收集的自建数据集按8：1：1的比例随机划分为训练集、验证集和测试集进行训练，训练轮数设置为300轮，图片的尺寸特征统一设置为640*640。通过训练可以得到稳定运行的违规行为检测yolov7模型。
72.s300：将所述模型接入监控系统，实现违规行为的实时检测。
73.更进一步的，通过与监控系统相连接，本模型便可进入待机状态，随时对图片的输入进行检测，当图片输入至所述训练好的改进后的yolov7模型中，利用训练好的检测模型对违规行为进行检测，依据检测结果进行报警。
74.上述为本实施例的一种面向变电站场景的高精度违规行为检测方法的示意性方案。需要说明的是，该检测面向变电站场景的高精度违规行为检测装置的技术方案与上述的面向变电站场景的高精度违规行为检测方法的技术方案属于同一构思，本实施例中面向变电站场景的高精度违规行为检测装置的技术方案未详细描述的细节内容，均可以参见上述面向变电站场景的高精度违规行为检测方法的技术方案的描述。
75.图2是本发明提供的一种面向变电站场景的高精度违规行为检测装置结构示意图，本实施例可适用于面向变电站场景的高精度违规行为检测方法的情况。
76.参见图2，本实施例中面向变电站场景的高精度违规行为检测装置，包括：
77.图像采集模块101，采集违规行为图像，进行预处理，构建图像数据集；
78.训练模块201，对改进的目标检测模型输入所述图像数据集训练得到违规行为检测模型；
79.违规检测模块301，将所述模型接入监控系统，实现违规行为的实时检测。
80.本实施例还提供一种计算设备，适用于面向变电站场景的高精度违规行为检测方法的情况，包括：
81.存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的面向变电站场景的高精度违规行为检测方法。
82.该计算机设备可以是终端，该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
83.本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的实现面向变电站场景的高精度违规行为检测方法。
84.本实施例提出的存储介质与上述实施例提出的数据存储方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
85.实施例2
86.参照图6，为本发明的一个实施例，该实施例提供了一种面向变电站场景的高精度违规行为检测方法，为了验证本发明的有益效果，通过具体的实施方式以及实施效果进行科学论证。
87.图6中，图中共有12个检测目标，yolov7模型检测到11个，漏检一个：图6(a)中对安全帽产生了漏检，漏检部分为右侧第三个员工未检测出佩戴安全帽；图6(b)完成了全部目标的检测，提升了预测值的精确度。
88.为了对发明所提出的安全监控系统进行定量分析，引入目标检测评价指标，包括：检测精度(precision),召回率(recall)以及平均精度均值(map)。上述指标表达式如下：
[0089][0090][0091][0092]
其中，tp(truepositives)表示正确预测的样本数量，fp表示错误预测的样本数量,fn表示误把目标检测成其他目标的样本数量,ap表示想要检测的目标在不同召回率下的精度平均值。
[0093]
在采用了相同的硬件设备情况下，本文将我们的模型与yolov7网络模型进行对比试验，结果如表所示。
[0094]
检测算法map@0.5/％r％p％fpsyolov789.589.7390.1528.8ours93.2592.592.536.5
[0095]
由表中可以看出，改进之后算法的平均精度值达到了93.25％，相对于原网络模型高出了3.75％，同时本算法的检测精度和召回率也具有显著优势，总体来说本算法表现效果良好，改进方法优势获得证实。
[0096]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种面向变电站场景的高精度违规行为检测方法，其特征在于，包括：采集违规行为图像，进行预处理，构建图像数据集；对改进的目标检测模型输入所述图像数据集训练得到违规行为检测模型；将所述模型接入监控系统，实现违规行为的实时检测。2.如权利要求1所述的面向变电站场景的高精度违规行为检测方法，其特征在于：所述违规行为包括未按照规定佩戴个人防护装备、未按照规定进行操作、操作不规范以及违反安全规定。3.如权利要求2所述的面向变电站场景的高精度违规行为检测方法，其特征在于：所述采集违规行为图像，包括：通过网络收集和线下采集违规行为图像，并从所述违规行为图像中随机选取n张图像进行图像数据增强，构建所述图像数据集。4.如权利要求3所述的面向变电站场景的高精度违规行为检测方法，其特征在于：所述改进的目标检测模型，包括对原始目标检测进行信息融合优化、目标检测优化以及增添注意力机制；所述信息融合优化包括，基于原目标检测网络，在mpconv模块中分支的最大池化层后加上一个k＝1，s＝1的卷积；在下分支k＝1，s＝1的卷积后连接一个k＝3，s＝2的卷积；对最大池化层与1x1的卷积进行级联操作，通过选择局部最大值来学习图像的边缘信息和纹理信息；另一个分支通过两个卷积级联来进一步提取图像的细节。5.如权利要求4所述的面向变电站场景的高精度违规行为检测方法，其特征在于：所述目标检测优化包括：将一张sxs像素的图片分成四份同等大小的s/2xs/2的图片，对这些图片按照通道进行合并，将合并后的特征通过1x1卷积，得到一个s/2xs/2x1大小的特征。6.如权利要求5所述的面向变电站场景的高精度违规行为检测方法，其特征在于：所述增添注意力机制，包括：通过在所述卷积神经网络中设置acmix注意力模块，增加网络对小目标的注意力。7.如权利要求6所述的面向变电站场景的高精度违规行为检测方法，其特征在于：将所述图片数据集按划分为训练集、验证集和测试集，输入至改进后的目标检测模型中进行训练，得到所述违规行为检测模型。8.一种面向变电站场景的高精度违规行为检测装置，其特征在于，包括：图像采集模块(101)，采集违规行为图像，进行预处理，构建图像数据集；训练模块(201)，对改进的目标检测模型输入所述图像数据集训练得到违规行为检测模型；违规检测模块(301)，将所述模型接入监控系统，实现违规行为的实时检测。9.一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指
令，该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述面向变电站场景的高精度违规行为检测方法的步骤。10.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至7任意一项所述面向变电站场景的高精度违规行为检测方法的步骤。

技术总结
本发明属于工业安全和劳动保护的技术领域，公开了一种面向变电站场景的高精度违规行为检测方法及装置，包括采集违规行为图像，进行预处理，构建图像数据集；对改进的目标检测模型输入所述图像数据集训练得到违规行为检测模型；将所述模型接入监控系统，实现违规行为的实时检测。通过在YOLOv7模型框架下改进信息融合优化、目标检测优化以及增添注意力机制，在提高检测精度的同时，不影响算法的高效率，具有很好的实用性。具有很好的实用性。具有很好的实用性。


技术研发人员：李鑫卓 许逵 张历 张俊杰 李欣 陈沛龙 张锐锋 班国邦 冯光璐 孟令雯 陈敦辉 刘君 刘斌 张后谊 祝健杨 辛明勇 付胜军 范强 王宇 毛先胤 赵超 罗显跃
受保护的技术使用者：贵州电网有限责任公司
技术研发日：2023.05.29
技术公布日：2023/10/11