一种用于电网巡检和监控的边缘检测系统的制作方法

1.本发明涉及电网巡检软硬件技术领域，具体地说，涉及一种用于电网巡检和监控的边缘检测系统。


背景技术：

2.由于架空输电线路的覆盖区域广、穿越区域地形复杂并且自然环境恶劣，线路基础、杆塔、导地线、金具等受到外界侵害而出现缺陷和隐患，导致线路故障跳闸威胁电网的安全和稳定运行。为了掌握线路的运行状况和及时排除缺陷和隐患，供电企业每年要花费巨大的人力和物力资源进行巡线工作。现阶段运用最广泛的巡线方法是人工周期巡线，这种方法劳动强度大，而且耗时多、效率低下，有些线路受制于地形因素造成线路巡视异常困难。而无人机技术的发展为架空输电线路的巡线提供了新的移动平台。与常规人工巡检方法相比较，此项技术更为先进有效，可以成为保障线路安全运行的一种新的经济可行的手段。输电线路在电力系统当中起着至关重要的作用，输电线路的通畅运行，是保证供电系统运转的关键所在。而由于输电线路的工作环境差异很大，在长距离高压输电过程当中，输电线路需要暴露在户外，经受风吹日晒的考验，并且有鸟类等在线路上活动，其安全运行并不能得到有效的保障。正因为如此，对于输电线路的检测和维护是输电部门工作的一个重点问题，通过人工或自动机械电子设备的线路巡检过程，才能够对线路的运行状态进行检测和评估，并根据检测结果发现线路运行的故障和隐患，从而保证电力线路的安全有效运行，确保人们生产生活供电的稳定。
3.目前国内的高压输电线路多建设在田野、山川等远离交通主要干道的地方，通过无人机对输电线路进行高空拍摄时，复杂的背景图像将成为对目标识别跟踪要解决的首要问题，并且由于无人机是在空中拍摄，很容易受到光照强弱和大气湍流等天气状况的影响而使拍摄的目标存在模糊、抖动等其他干扰现象，使得到的视频图像质量不好，主要有：复杂背景引起的噪声的干扰、光照引起的过亮或过暗、无人机与目标的相对运动和运动的抖动造成的图像模糊等，这样会对后续的处理产生很大的影响。因此在进行目标的识别与跟踪之前进行必要的处理是至关重要的，例如：滤波去除干扰噪声、图像复原削弱光照和抖动的影响等。
4.无人机拥有空中视野良好，可监测范围广等优势，被广泛地应用于实际的目标检测任务中，由于无人机距离地面较远，任务中频繁出现小型目标检测效果不佳，虚检率和漏检率较高的情况；而无人机的整体重量和其续航时间具有直接关系，如何在不影响无人机续航的情况下，尽可能增加其运算处理的可能性，是目前行业内无法解决的问题，通常的手段是将数据回传至终端进行解析，但是这样往往导致故障或隐患的监测及时性受到影响，如何实时解析实现实时监控，是目前行业内需要解决的问题。巡检过程中产生的海量边缘数据，然而，对于这些海量的边缘数据无法做到快速响应、实时发现与定位风险隐患等问题，目前行业里存在着边缘数据的传输和计算、提高边缘数据感知与风险识别发现与响应困难的难题。如何在无人机巡检场景下提高边缘数据的进一步识别和响应，就亟须研究更
加轻量化的边缘智能终端设备应用。鉴于此，我们提出了一种用于电网巡检和监控的边缘检测系统。


技术实现要素：

5.本发明的目的在于提供一种用于电网巡检和监控的边缘检测系统，以解决上述背景技术中提出的问题。
6.为实现上述技术问题的解决，本发明提供了一种用于电网巡检和监控的边缘检测系统，包括：
7.硬件模块，包括图像采集设备、电源设备、数据传输设备，用于安装在无人机上或电力设施场景周围，为其他模块提供硬件支持、连接和电源支持；
8.数据处理模块，用于接收图像采集设备获取的图像数据，并进行处理，对图像数据进行图像识别和提取，提取图像中的主要信息数据，能基于所述主要信息数据组成的向量对目标物体进行区别划分；
9.算法模块，连接至数据处理模块和通信模块，用于对目标数据进行算法轻量化处理，能通过高效网络结构处理、模型剪枝处理、权值量化处理、知识蒸馏处理，轻量化数据体量，并对不同目标图像进行划分、分类和识别：能识别电力设施的目标，并进行风险识别智能检测，所述风险识别智能检测包括绝缘子自爆及破损检测，防震锤检测，线路异物监测，高压杆塔异物的检测、绝缘子与杆塔连接检测中的一种或多种组合，并将识别结果输送至通信模块；
10.通信模块，接收到算法模块的识别结果后，将数据结果传输至电力终端系统，通信包括有线传输或无线传输。
11.作为本技术方案的进一步改进，所述硬件模块用于安装在无人机上时，包括：轻量化无人机小脑和边缘应用程序，应用于无人机的巡检场景；此时所述通信模块为智能小站，通过通信模块和无人机小脑进行数据传输，智能小站以离线传输的方式连接至电网云平台，电网云平台连接至智能边缘管理平台，由智能边缘管理平台连接外部系统；
12.边缘应用程序与无人机小脑构成数据拉取，以控制无人机，且通过智能小站自组网络与智能小站进行网络连接并能进行数据传输；
13.所述硬件模块用于安装在电力设施场景周围时，包括：与图像采集硬件设备连接的轻量化智能终端，应用于变电站场景或作业现场场景，此时所述通信模块包括智能小站，通过内网传输的方式连接至电网云平台，由电网云平台接入智能边缘管理平台，由智能边缘管理平台连接外部系统；
14.边缘应用程序与轻量化智能总端构成数据拉取，以控制轻量化智能总端，且通过智能小站自组网络与智能小站进行网络连接并能进行数据传输。
15.作为本技术方案的进一步改进，当所述硬件模块用于安装在电力设施场景周围时，所述风险识别智能检测还包括：
16.安全帽佩戴检测、工作服穿戴检测、安全警示牌检测、危险区域入侵检测、危险区域逗留、验电接地未佩戴绝缘手套、无人扶梯、现场烟火检测、安全带检测、抽烟检测、打电话检测、未装护栏检测。
17.作为本技术方案的进一步改进，所述数据处理模块包括：
18.图像数据集处理，能将获取、收集到的图像信息数据化，并对每一幅图像赋予唯一对应的标签，对图像进行标注和注释并构成训练的数据训练集；
19.深度学习训练处理，使用卷积神经网络，将数据图像降维处理使其能够被训练，构建包括卷积层、池化层、全连接层组成的卷积网络，其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，通过若干个全连接层完成分类。
20.作为本技术方案的进一步改进，所述算法模块中，对不同目标图像的识别还包括目标图像数据集和识别模型，能对所述目标图像数据集的制作包括将图像信息数据化、对每一幅图像贴上对应的目标信息标签；
21.所述识别模型的使用包括，能将复杂的模型降低模型偏差、用大数据提升统计估计的准确度、用可扩展的梯度下降算法求解大规模优化问题；利用目标图像数据集的局部特征抽取的算法融入到了神经网络中，获得目标图像中局部数据的关联性的特征，构成用于训练的数据文件，使用卷积神经网络进行深度学习训练，卷积网络包括卷积层、池化层、全连接层，其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。
22.作为本技术方案的进一步改进，在所述算法模块中，能对图像目标数据中的小目标进行检测分析；
23.能根据coco数据集的定义建立一个无人机航拍数据集，针对以上小目标物体的数据进行采集和数据处理；采用标注软件对图像进行小目标物体进行标注，标注完后进行旋转、翻转、平移等方式进行数据扩增，获图像数据库；采用yolov5网络对数据进行训练，在训练开始时，更改yolov5特征提取网络的c3模块为se模块，并在模型的结构上添加se注意力机制，se模块能够对目标特征进行更加有效的提取；使用维度聚类方法设计合适的锚框，将广义交并比应用于网络的坐标损失函数中，替代原本的和方差损失，将yolov5网络4倍降采样特征图与经过上采样的8倍降采样特征图进行拼接，建立新的4倍降采样的目标检测层，获得小目标的检测数据；通过改进的yolov5网络能对图像目标数据中的输电线上的小目标进行检测分析，并且实现小目标的识别与检测，取得了良好的效果。
24.作为本技术方案的进一步改进，所述深度学习训练，包括自下上升非监督学习，采用无标定数据或有标定数据分层训练各层参数，进行特征学习，自顶向下的监督学习，通过带标签的数据训练，误差自顶向下传输，对网络进行微调，基于得到的各层参数进一步微调整个多层模型的参数。
25.作为本技术方案的进一步改进，还包括能对识别模型进行模型压缩，能使用精细模型的设计、模型裁剪或核的稀疏化进行模型压缩，所述模型裁剪为结构性剪枝：卷积核剪枝、通道剪枝和层级剪枝，只需改变网络中卷积核和特征通道的数目，所得到的模型就可以运行；
26.模型每一层的输出通过一个全局池化将特征图转换为一个长度为filter数量c的向量，对于n张图像可以得到一个n*c的矩阵，对于每一个filter，将它分为m个bin，统计每个bin的概率，然后计算它的熵值；利用熵值来判定filter的重要性，再对不重要的filter进行裁剪；
27.每裁剪完一层，均通过少数几个迭代来恢复部分的性能，当所有层都裁剪完之后，再通过较多的迭代来恢复整体的性能。
28.与现有技术相比，本发明的有益效果：
29.1.该用于电网巡检和监控的边缘检测系统中，基于电力终端产生的海量边缘数据，通过研制边缘智能终端解决了云、边、端协问题，同时对于这些海量的边缘数据能做到快速响应、实时发现与定位问题；通过软硬件轻量化的边缘计算智能终端设备研发后，应用于无人机巡检、作业现场、变电站固定场所视频监控等场景下提升电网的数据采集、分析和应用能力，做到作业现场的潜在风险、已知风险实时识别，快速响应，提前规避；
30.2.该用于电网巡检和监控的边缘检测系统中，在硬件方面，通过流水线设计、存储模式设计等手段进行硬件架构的创新，研究更加轻量化的边缘计算智能终端设备满足无人机巡检、变电站固定场所视频监控、作业现场视频监控三大应用场景，在系统软件方面，进行模型和算法创新，通过轻量化模型设计、矩阵分解、稀疏表示、量化计算来实现模型的微型化和计算加速，通过轻量化ai智能算法减少算力限制；可以解决：现场实时定位隐患位置并及时处理的问题；解决因无人机算力不足导致关键隐患的检测能力不佳的问题；通过超轻量化边缘计算智能终端的轻量化ai组件，解决当前为更好地确认隐患需反复飞而续航能力受限的问题。
附图说明
31.图1为本发明中示例性的作业现场场景用应用拓扑图；
32.图2为本发明中示例性的对图像目标数据中的小目标进行检测结构示意图；
33.图3为本发明中示例性的绝缘子自爆及破损进行检测中使用的se模块示意图；
34.图4为本发明中示例性的改进yolov5s网络对目标进行的特征提取网络图；
35.图5为本发明中示例性的unet网络结构图；
36.图6为本发明中示例性的对高压杆塔异物进行检测的unet网络模型结构图；
37.图7为本发明中示例性的中输电线的识别结构示意图；
38.图8为本发明中示例性的卷积网络结构示意图；
39.图9为本发明中示例性的绝缘子破损检测图像样张图；
40.图10为本发明中示例性的网络训练结果示意图；
41.图11为本发明中示例性的防震锤检测图像样张图；
42.图12为本发明中示例性的线路异物监测图像样张图；
43.图13为本发明中示例性的高压杆塔异物的检测图像样张图；
44.图14为本发明中示例性的安全帽识别检测示意图；
45.图15为本发明中示例性的验电接地未佩戴绝缘手套检测识别的示意图；
46.图16为本发明中示例性的无人扶梯识别效果示意图；
47.图17为本发明中示例性的现场烟火检测识别效果示意图；
48.图18为本发明中示例性的安全带检测识别效果示意图；
49.图19为本发明中示例性的抽烟检测识别效果示意图；
50.图20为本发明中示例性的打电话检测识别效果示意图；
51.图21为本发明中示例性的未装护栏检测效果示意图；
52.图22为本发明中示例性的模型裁剪方式示意图；
53.图23为本发明中示例性的针对mobilenet v1的model卷积核示意图；
54.图24为本发明中示例性的边缘ai算法逻辑框图。
具体实施方式
55.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
56.实施例1
57.如图1-图6所示，本实施例提供了一种用于电网巡检和监控的边缘检测系统，包括：
58.硬件模块，包括图像采集设备、电源设备、数据传输设备，用于安装在无人机上或电力设施场景周围，为其他模块提供硬件支持、连接和电源支持；
59.数据处理模块，用于接收图像采集设备获取的图像数据，并进行处理，对图像数据进行图像识别和提取，提取图像中的主要信息数据，能基于主要信息数据组成的向量对目标物体进行区别划分，将二维图像降为一维向量并通过支持向量机对所得到的不同目标图像进行划分、分类和识别，获得电力设施的目标识别后的目标数据；
60.算法模块，连接至数据处理模块和通信模块，用于对目标数据进行算法轻量化处理，能通过高效网络结构处理、模型剪枝处理、权值量化处理、知识蒸馏处理，轻量化数据体量，并对不同目标图像进行划分、分类和识别：能识别电力设施的目标，并进行风险识别智能检测，风险识别智能检测包括绝缘子自爆及破损检测，防震锤检测，线路异物监测，高压杆塔异物的检测、绝缘子与杆塔连接检测中的一种或多种组合，并将识别结果输送至通信模块；
61.通信模块，接收到算法模块的识别结果后，将数据结果传输至电力终端系统，通信包括有线传输或无线传输。
62.本实施例中，如图1，硬件模块用于安装在无人机上时，包括：轻量化无人机小脑和边缘应用程序，应用于无人机的巡检场景，此时通信模块为智能小站，通过图像模块和无人机小脑进行数据传输，智能小站以离线传输的方式连接至南网云平台，南网云平台连接至智能边缘管理平台，由智能边缘管理平台连接外部系统，边缘应用程序与无人机小脑构成数据拉取，以控制无人机，且通过智能小站自组网络与智能小站进行网络连接并能进行数据传输；
63.硬件模块用于安装在电力设施场景周围时，包括：与图像采集硬件设备连接的轻量化智能终端，应用于变电站场景或作业现场场景，通信模块包括智能小站，通过内网传输的方式连接至南网云平台，由南网云平台接入智能边缘管理平台，由智能边缘管理平台连接外部系统；边缘应用程序与轻量化智能总端构成数据拉取，以控制轻量化智能总端，且通过智能小站自组网络与智能小站进行网络连接并能进行数据传输。
64.进一步地，数据处理模块包括：图像数据集处理，能将获取、收集到的图像信息数据化，并对每一幅图像赋予唯一对应的标签，对图像进行标注和注释并构成训练的数据训练集；深度学习训练处理，使用卷积神经网络，将数据图像降维处理使其能够被训练，构建包括卷积层、池化层、全连接层组成的卷积网络，其中卷积层与池化层配合，组成多个卷积
组，逐层提取特征，通过若干个全连接层完成分类。
65.本实施例中，算法模块中，对不同目标图像的识别还包括目标图像数据集和识别模型，能对目标图像数据集的制作包括将图像信息数据化、对每一幅图像贴上对应的目标信息标签；识别模型的使用包括：能将复杂的模型降低模型偏差、用大数据提升统计估计的准确度、用可扩展的梯度下降算法求解大规模优化问题；利用目标图像数据集的局部特征抽取的算法融入到了神经网络中，获得目标图像中局部数据的关联性的特征，构成用于训练的数据文件，使用卷积神经网络进行深度学习训练，卷积网络包括卷积层、池化层、全连接层，其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类；
66.其中，高效网络结构处理包括：能在模型的训练阶段，结合深度可分离卷积对网络架构进行轻量化；深度可分离卷积针对每个输入通道采用不同的卷积核，就是说一个卷积核对应一个输入通道，这个过程产生的featuremap通道数和输入的通道数一样；
67.模型剪枝处理包括：能在训练的过程当中，对网络的通道维度进行剪枝；在模型进行bn进行网络归一化参数分布后，通过l1正则化对bn上可训练参数γ进行约束，使其趋于0，后续剔除输出为0的通道，减少训练参数，进行稀疏训练，达到对网络剪枝的目的；
68.权值量化处理包括：能在模型进行训练后，得出模型的格式为pt文件格式，其权重和相关参数的格式为float型；为了提高识别效率，需要转为onnx格式和终端支持的bin格式文件，在onnx格式模型文件转bin文件时，通过int8整型量化，使其网络权重和激活值的取值范围映射到(-127～128)，减少计算量，提升网络识别效率；
69.知识蒸馏处理包括：能使用一个大型预先训练的网络来训练一个更小的网络；一旦对一个繁琐笨重的网络模型进行了训练，就可以使用另外一种训练，将知识从繁琐的模型转移到更适合部署的小模型。
70.进一步地，在算法模块中，能对图像目标数据中的小目标进行检测分析，根据coco数据集的定义，小目标为32*32的物体，例如输电线上的螺栓、螺母等。为实现对以上目标的检测，方案如下：
71.①
首先建立一个无人机航拍数据集，针对以上小目标物体的数据进行采集和数据处理，共获得2000张数据；
72.②
采用labelimg标注软件对2000张图像进行螺栓、螺母进行标注，标注完后进行旋转、翻转、平移等方式进行数据扩增，共获得5000张图像数据；
73.③
采用yolov5网络对数据进行训练，在训练开始时，更改yolov5特征提取网络的c3模块为se模块，并在模型的结构上添加se注意力机制，se模块能够对目标特征进行更加有效的提取；
74.④
使用维度聚类方法设计合适的锚框，将广义交并比应用于网络的坐标损失函数中，替代原本的和方差损失，将yolov5网络4倍降采样特征图与经过上采样的8倍降采样特征图进行拼接，建立新的4倍降采样的目标检测层，获得小目标的检测数据；
75.⑤
对改进后的网络进行训练与测试，设置迭代次数为300次，学习率为0.001，批次大小为16，经过300次的训练，模型的训练误差和测试误差趋于稳定，并保存最佳的模型；
76.⑥
采用为精确率、召回率、map指标值对模型进行评价，精确率表示模型预测为正例的样本中，其中真实正例像素占预测为正例样本像素的比例，用此来评估预测正例像素
的准确度；召回率表示以真实样本为判断依据，真实正例的样本中，被预测正确的正例占总真实正例样本的比例，map为所有类别的平均精度。
77.通过改进的yolov5网络能对图像目标数据中的输电线上的小目标进行检测分析，并且实现小目标的识别与检测，如图2所示，取得了良好的效果。
78.进一步地，深度学习训练，包括自下上升非监督学习，采用无标定数据或有标定数据分层训练各层参数，进行特征学习，自顶向下的监督学习，通过带标签的数据训练，误差自顶向下传输，对网络进行微调，基于得到的各层参数进一步微调整个多层模型的参数；微调整个多层模型的参数还包括：能用无标定数据训练第一层，训练时先学习第一层的参数，由于模型能力的限制以及稀疏性约束，使得得到的模型能够学习到数据本身的结构，从而得到比输入更具有表示能力的特征；在学习得到第n-1层后，将n-1层的输出作为第n层的输入，训练第n层，由此分别得到各层的参数。
79.进一步地，系统还包括能对识别模型进行模型压缩，能使用精细模型的设计、模型裁剪或核的稀疏化进行模型压缩，模型裁剪为结构性剪枝：卷积核剪枝、通道剪枝和层级剪枝，只需改变网络中卷积核和特征通道的数目，所得到的模型就可以运行；模型每一层的输出通过一个全局池化将特征图转换为一个长度为filter数量c的向量，对于n张图像可以得到一个n*c的矩阵，对于每一个filter，将它分为m个bin，统计每个bin的概率，然后计算它的熵值；利用熵值来判定filter的重要性，再对不重要的filter进行裁剪；
80.第j个featuremap熵值的计算方式如下：
[0081][0082]
其中，m代表bin个数，pi为第i个概率；
[0083]
裁剪完一层，通过少数几个迭代来恢复部分的性能，当所有层都裁剪完之后，再通过较多的迭代来恢复整体的性能。
[0084]
本实施例中，在算法模块中，能对绝缘子自爆及破损进行检测分析，能收集巡检视频中获得的绝缘子图片，将这图片进行旋转、加噪、镜像操作进行扩充，将扩充完成的绝缘子图片作为真实绝缘子样本库；利用生成式对抗网络(gan)对得到的真实绝缘子样本库中的图片进行预处理，采用dcgan对图片进行扩充，将生成器和训练数据输入至判别器，然后通过dcgan把缺陷绝缘子图片与各种复杂背景融合，扩充缺陷绝缘子数据集得到绝缘子样本扩充库，将该数据划分为训练集和测试集，利用标注工具labellmg对选出的训练集进行标注，并保存标注完成后绝缘子图片的信息，得到样本数据；采用yolov5算法进行训练，针对缺陷绝缘子的不明显特征问题，提出改进yolov5s网络对目标进行检测，通过在特征提取网络头部添加se注意力机制，将原始的c3卷积模块替换为se模块，使得网络更关注目标特征，提高网络的特征提取能力；如图3所示的se模块；
[0085]
如图4所示，利用得到的样本数据对改进后的目标检测网络yolov5进行迭代训练，得到最佳的目标检测网络权重数据以及测试集的基准网络；利用得到的测试集的基准网络处理的测试集，得到绝缘子缺陷检测结果。
[0086]
优选地，在算法模块中，能对防震锤进行检测并识别；能对线路异物进行检测；能对高压杆塔异物进行检测；能对高压杆塔异物进行检测；能对绝缘子与杆塔连接进行检测。
[0087]
其中，针对高压杆塔异物检测，基于unet网络模型，通过预训练和重训练进行样本和网络参数的调整和优化；unet是基于fcn的一个语义分割网络，包括下采样和上采样；按照功能可以将左侧的一系列下采样操作称为encoder，将右侧的一系列上采样操作称为decoder；encoder部分采用卷积与最大池化层，获取低层次空间特征；decoder部分采用上采样和卷积层，用以恢复因上采样而损失的特征图的高层次抽象特征，相应的卷积之前采用连接的方法融合前后的不同特征信息；
[0088]
如图5所示，图中每个填色框表示一个多通道特征图(featuremap)，框顶上的数字表示通道数，框的左下角数字表示图像尺寸大小；空白框对应的是特征图的复制。箭头代表不同的操作，图中右下角最上方第一个箭头代表3
×
3的卷积操作，由于stride是1，padding策略是valid，因此每个该操作后，featuremap的大小会减2；第二个箭头表示对某一层特征图复制和剪切操作。如图6所示，因为unet网络中的每个卷积层获取到的特征图会连接到相对应的上采样层上，而在同一层卷积的最后一层要比上采样的第一层要大一些，则想要利用浅层特征，就要进行一些剪切；在最后一层，采用卷积核大小为1
×
1的进行卷积运算，并把每个具有64维的特征向量映射到输出层的网络中。
[0089]
实施例2
[0090]
如图7-图24所示，本实施例基于实施例1的系统，其能够实现以下现场识别功能：
[0091]
一、小目标检测分析
[0092]
无人机拥有空中视野良好，可监测范围广等优势，被广泛地应用于实际的目标检测任务中，由于无人机距离地面较远，任务中频繁出现小型目标检测效果不佳，虚检率和漏检率较高的情况。针对以上问题，提出一种改进的无人机对地小目标识别方法。基于yolov5卷积神经网络，首先建立一个无人机航拍数据集，并使用维度聚类方法设计合适的锚框，其次将广义交并比应用于网络的坐标损失函数中，替代原本的和方差损失，最后将yolov5网络4倍降采样特征图与经过上采样的8倍降采样特征图进行拼接，建立新的4倍降采样的目标检测层。
[0093]
二、输电线的判别
[0094]
经过上述过程的输电塔识别之后，结合hough直线检测的结果，将直线与输电塔进行连接，如果连接成功，则说明该直线为电力线的图像。如果连接失败，则该线条被判定为干扰目标从而被除去。输电线判别结果如图7所示。基于识别出的电力目标，进行风险识别智能检测，风险识别智能检测包括绝缘子自爆及破损检测，防震锤检测，线路异物监测，高压杆塔异物的检测、绝缘子与杆塔连接检测中的一种或多种组合。
[0095]
优选地，不同目标图像的识别还包括目标图像数据集和识别模型，目标图像数据集的制作包括将图像信息数据化、对每一幅图像贴上对应的目标信息标签；识别模型的使用包括，将复杂的模型降低模型偏差、用大数据提升统计估计的准确度、用可扩展的梯度下降算法求解大规模优化问题；利用目标图像数据集的局部特征抽取的算法融入到了神经网络中，获得目标图像中局部数据的关联性的特征，构成用于训练的数据文件，使用卷积神经网络进行深度学习训练，如图8，卷积网络包括卷积层、池化层、全连接层，其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。
[0096]
优选地，还包括对识别模型进行模型压缩，能使用精细模型的设计、模型裁剪或核的稀疏化进行模型压缩，模型裁剪，寻找一种有效的评判手段，来判断参数的重要性，将不
重要的connection或者filter进行裁剪来减少模型的冗余，同样也分为regular和irregular的方式。
[0097]
三、绝缘子自爆及破损检测
[0098]
步骤1、采集巡检视频，通过巡检视频获得绝缘子图片，如图9，将这些图片进行旋转、加噪、镜像操作进行扩充，将扩充完成的绝缘子图片作为真实绝缘子样本库；步骤2、利用生成式对抗网络gan对得到的真实绝缘子样本库中的图片进行预处理，把缺陷绝缘子图片与各种复杂背景融合，扩充缺陷绝缘子数据集得到绝缘子样本扩充库，将该数据划分为训练集和测试集，选择其中20％作为测试集，80％作为训练集；步骤3、利用标注工具labellmg对步骤2中选出的训练集进行标注，并保存标注完成后绝缘子图片的信息，得到样本数据；步骤4、对现有的目标检测网络yolov5进行改进，利用步骤3中得到的样本数据对改进后的目标检测网络yolov5进行迭代训练，得到最佳的目标检测网络权重数据以及测试集的基准网络；步骤5、利用步骤4中得到的测试集的基准网络处理步骤2中得到的测试集，得到绝缘子缺陷检测结果。
[0099]
具体过程如下：根据航拍的数据来进行数据集的制作。鉴于目前人工智能大多属于有监督学习，在目标识别领域，数据一般需要数据标注才能使用，因此，数据标注在人工智能产业链中占据着重要地位。
[0100]
为了得到良好模型的效果及其泛化能力，一般要求数据集的样本要充足。在实际的应用当中，样本数量和样本质量问题一般存在，因此，对输入的图像做简单的平移、缩放、颜色变化、裁剪及高斯模糊等，不会影响图像的类别，且能够较好地解决样本不足及样本质量问题。人工增强后的样本数据集可以使模型的训练效果更好。
[0101]
常见的数据增强技术有：
[0102]
(1)翻转：数据翻转包括对图像的水平翻转、垂直翻转等，是一个较为常用的数据增强技术。(2)旋转：对数据进行多角度的旋转操作。(3)缩放：对图像大小进行调整。(4)平移：图像的平移操作就是将图像的所有像素点坐标加上指定的平移量，平移图像能够保存完整的图像信息。(5)添加噪声：对图像添加噪声干扰，能够增强图像的多样性。(6)颜色变换：对图像的像素值进行更改，调整图像的对比度和亮度。
[0103]
根据数据增强的技术，将人工标注好的1500张图片进行了图像翻转、旋转90度、平移、添加噪声等。将扩增后的数据集输入轻量化yolov5s-se进行训练，训练的过程中使用的环境配置的参数如表1。
[0104]
表1环境配置相关参数
[0105][0106]
将7500张图像输入进网络进行训练，设置训练集与测试集比为8比2。设置初始学习率为0.001，设置每隔50轮次，学习率降为原来的十分之一，训练的动量选择0.9，训练批
batch_size设置为16，共训练500个轮次，采用迁移学习的方法采用在coco数据集上训练过的yolov5s.pt网络模型，这能加速训练的进程，收敛性能更好。图10中图a是网络的训练检测误差，图b目标训练分类误差，图c是目标测试检测误差，图d是测试分类误差。
[0107]
模型的平均精度和帧率如表2所示，可以看出，轻量化后的yolov5s-se，平均精度和帧率的综合表现最好。
[0108]
表2模型的map值和fps值对比
[0109][0110]
四、防震锤检测
[0111]
基于深度学习算法的防震锤检测模块，能按以下步骤执行：步骤1、采集含有防震锤的视频数据，并逐帧取图生成数据集；同时通过网络搜索相关的图像，加入数据集中；步骤2、对收集到的数据进行预处理操作，将数据扩充生成相似的图像；步骤3、对采集的数据集中的防震锤进行标注，得到含有目标物的候选框的坐标；步骤4、构建特征提取模块，采用卷积神经网络对防震锤模块进行特征提取，为加快防震锤的检测速度，使用深度可分离卷积来提高计算效率，并引入反向残差和线性瓶颈的资源高效块，来保护低维空间的特征，采用netadapt搜索层结构来搜索每个层的卷积核，来调整每层的卷积核个数，提取三种维度的特征图；步骤5、将特征图输入到yolov5模块进行训练；将训练后最优的神经网络模型参数输入边缘终端；步骤6、边缘终端对输电线路上的防震锤进行检测，如图11。
[0112]
五、线路异物监测
[0113]
基于深度学习算法的塑料袋检测模块，能按以下步骤执行：步骤1、线路的感兴趣区获取；采用霍夫变换对视频或者图像中的线路进行提取，设置相关参数来对输电线进行拟合，并向其横向延伸20个像素点提取感兴趣区域；步骤2、采用基于全局对比度图像显著性检测对感兴趣区域进行前后景分割，以此分割出输电线和背景；步骤3、采用rcf网络和区域生长算法获取异物。通过rcf卷积特征对整体轮廓边缘进行精确提取，保留重要的结构属性，剔除弱信息。对于显著性的异物使用灰度显著性异物点作为种子点进行区域生长，设置灰度差为30，对生长出的区域进行标记得到输电线异物，如图12。
[0114]
六、高压杆塔异物的检测
[0115]
在拍摄高压杆塔图像时，拍摄环境过于复杂，检测目标与背景重叠较多，草丛、树木、房屋等干扰因素较多。采集图像时，无人机的拍摄距离、图像中鸟巢目标的占比、背景中的暗淡光线都会对图像检测形成干扰。基于深度学习算法通过selectivesearch法提取杆塔图像候选区域；再基于caffenet网络模型进行训练，针对模型训练中出现前后景的正负样本不均衡的问题，根据困难样本的数据挖掘原理，在模型的损失函数部分加入调制因子，将复杂的背景问题视为简单的样本，减小背景在训练过程当中的损失，再通过构建上下融合特征金字塔与多特征图方式实现不同尺度的特征融合，增强顶层的定位信息，实现目标的精确定位。通过预训练和重训练进行样本和网络参数的调整和优化，最终智能识别图像
中鸟巢的存在，并精确定位，如图13。其中，所用图像均来源于无人机拍摄。该算法实现图像的实时采集、实时监测和实时识别。这将极大地减轻工作人员的巡检负担，提高输电线路的维护效率。
[0116]
七、绝缘子与杆塔连接检测
[0117]
基于深度学习航拍异物图像实时检测模块，包括以下步骤：步骤s1：根据异物类型差异，建立4个航拍异物图像库；步骤s2：根据4个航拍异物图像库，分别制作数据集；步骤s3：构建并训练输电线路异物模型；步骤s4：构建并训练防震锤异物模型；步骤s5：构建并训练均压环线夹异物模型；步骤s6：构建并训练杆塔异物模型；步骤s7：采用finetune对建立的4个航拍异物图像库模型进行微调；步骤s8：固化微调后的4个航拍异物图像库模型；步骤s9：将待测图像输入4个固化的异物检后的模型中进行检测，经过网络前向传播后，得出4个检测结果的目标矩形框的坐标与置信度。
[0118]
八、安全帽佩戴检测
[0119]
安全帽是防御人体头部不受外来物体击打和伤害的防护用品，是危化品场所、建筑施工、隧道涵洞施工、矿山开采、高空作业等必备的量大面广的防护用品，是进入油库必须佩戴的防护用品之一。安全帽识别可对进入作业区域的人员进行自动识别：若检测到人员未佩戴安全帽，可立即报警，将报警截图和视频保存到数据库形成报表，同时将报警信息推送给相关管理人员，可根据时间段对报警记录和报警截图、视频进行查询点播，系统极大地提升了作业区域的管控效率，形成了强大的震慑作用，保障了作业人员的人身安全。首先构建目标为安全帽的图像数据集，分为两个部分数据，一个是佩戴安全帽的人体头部标签，一个是未佩戴安全帽的人体头部标签，采用标注软件进行标注，标注好的数据进行马赛克数据增强和hsv颜色变换，后将目标框坐标输入模型进行训练，使模型能够学习并识别出安全帽的特征目标，以及人体目标识别，佩戴安全帽的人体头部图像识别，未佩戴安全帽的人体头部图像识别。继而将识别出来的结果进行推送，从而发出监测信号。
[0120]
主要实现功能：1)实时识别与预警，在服务器端部署实时分析系统，可进行实时检测和预警。在视频中实时框画出未佩戴安全帽的人员，并将截屏图片显示在客户端，可以结合现场告警设备发出报警信息，协助管理人员进行管理。2)识别多种颜色和款式，系统能识别红、蓝、黄、白等多种颜色及款式的安全帽，并未局限一种款式或一种颜色。3)检测计时，对检测到未佩戴安全帽的对象，在实时视频中显示未戴安全帽xx秒，直观反映作业人员的行为，并且可以根据现场情况通过后台设置保持多长时间才报警，可以过滤掉一些偶然事件引起的误报，用户可以自行设置时间，使系统的可使用性更加广泛，更加贴近现场的需求。4)报警记录存储，对出现未佩戴安全帽危险行为识别出之后，对视频进行保存，方便管理人员对记录查看追溯。5)系统性能，基于深度学习技术，对实时视频进行分析，满足实时性要求，识别精度高，部署简单、操作方便。6)识别准确性，识别准确率大于95％，特别是各种综合复杂场景依然可以达到很好的识别效果，广泛应用在工地、电力等领域。7)识别效果如图14所示。
[0121]
九、工作服穿戴检测
[0122]
普通衣服在天气干燥或者作业时衣服之间的摩擦而产生静电，但是在油库这个特殊的危化品场合，绝对不能出现静电，所以都必须穿着特制的防静电工作服，面料必须是防静电面料才可以。而且油库为了方便管理，对油库内部工作人员、油罐车司机、施工人员等
关键人员统一服装款式。为保证油库内所有人员穿戴了防静电工作服，并且工作人员穿戴了统一的服装，对油库内的所有进出人员进行工作服的检测。根据指定的工作服训练模型，大量采集工作服样本，通过深度学习，识别出工作场所中工作人员是否按要求穿戴指定工作服，对未穿指定工作服的人员，进行抓图报警，并进行语音提示报警。首先构建目标为工作服的图像数据集，分为两个部分数据，一个是佩戴工作服的人体标签，一个是未佩戴工作服的人体标签，采用标注软件进行标注，标注好的数据进行马赛克数据增强和hsv颜色变换，后将目标框坐标输入模型进行训练，使模型能够学习并识别出工作服的特征目标，以及人体目标识别，未佩戴工作服的人体图像识别。继而将识别出来的结果进行推送，从而发出监测信号。
[0123]
主要实现功能：1)实时识别与预警，在服务器端部署实时分析系统，可进行实时检测和预警。在视频中实时框出未穿指定工作服的人员，并将截屏图片显示在客户端，可以结合现场告警设备发出报警信息，协助管理人员进行管理。2)颜色识别，工作服检测包含对颜色的识别，通过后台设置可以选择对哪种颜色或哪几种颜色的工作服进行检测。3)款式识别，针对不同的人群，穿着衣服款式不一致，系统通过现场深度学习，对各种不同的款式进行学习、识别。对未识别到的工作服进行实时报警弹窗。4)防静电标识识别，系统通过对防静电标识的深度学习，能够识别出防静电标识，工作服检测能够识别工作服臂章上的防静电标识，防静电标识作为工作服的一个重要识别标识，从而提高工作服务的识别准确率。5)关键信息点提取，通过深度学习，对需要进行识别的工作服提取关键信息点，作为识别工作服的对比值，类似于人脸识别关键信息点的提取、比对，关键信息点的数量取决于工作服的特殊标识点的数量，比如logo信息和图标，颜色、条纹等都可以作为关键信息点。6)检测计时，对检测到的对象，在实时视频中显示未穿工作服xx秒，直观反映作业人员的行为，并且可以根据现场情况通过后台设置保持多长时间才报警，可以过滤掉一些偶然事件引起的误报，用户可以自行设置时间，使系统的可使用性更加广泛，更加贴近现场的需求。系统标识工作服的特性，工作服特性越多越准确，先判断出现在系统中的是否是人员，再判断是否穿指定工作服，禁止出现非人类(如车辆、其他物品)的误报未穿工作服。系统根据视频中出现的对象进行检测，检测是否是人，并在实时视频中显示人的相似度数字，当相似度低于设定值时，系统过滤掉对象，系统并且为每个对象设置一个唯一的id号，确定为人之后再分析穿指定款式的工作服。
[0124]
十、安全警示牌检测
[0125]
针对现存的目标检测算法对安全警示牌识别准确率低、泛化能力弱和对于小目标不易检测，无法真正地应用在实际的问题，而深度学习算法中卷积神经网络可以很好地解决传统方法存在的问题，故在ssd算法的基础上使用特征金字塔替代多尺度特征层，提出基于ssd的安全警示牌目标检测算法，充分融合了低层和高层的信息，通过对交通指示牌数据集tpd进行训练并检测，实验结果表明提出的基于ssd的安全警示牌目标检测方法比原始的ssd算法在ap上提高了5.4％，对于一些小目标的检测能力更强，从而验证了提出的目标检测方法比原始的ssd算法更优；构建目标为安全警示牌的图像数据集，采用标注软件进行标注，标注好的数据进行马赛克数据增强和hsv颜色变换，后将目标框坐标输入模型进行训练，使模型能够学习并识别出安全警示牌的特征目标，继而将识别出来的结果进行推送，从而发出监测信号。
[0126]
十一、危险区域入侵
[0127]
在重点区域设置区域入侵检测规则，一旦在非正常时间段内，有人员进入区域即报警，比如一些重要设施周围，不管是维护人员进入还是其他无关人员进入相关区域，都需要系统提醒值班人员重点关注，系统自动弹出画面并提醒值班人员，相关的报警抓图也可以作为设备巡检及相关工作的一个证据保存，可以进一步伸展相关业务系统。支持设置检测时间段，支持检测对象过滤，支持检测阀值设置，即检测目标对象的大小，可以过滤掉一些远距离目标可能导致误报的情况，也可以根据现场情况只检测比较近的目标。首先构建目标人体图像数据集，采用标注软件进行标注，后将目标框坐标输入模型进行训练，使模型能够学习并识别出人体的特征目标。在视频上，可以通过手动画框设置危险区域，如检测出的人体中心坐标在区域外，通过设立跟踪算法对特定人员进行跟踪，如对危险区域进行入侵则发生检测信号，进行推送。主要实现功能：1)检测时段，系统支持时间段的设置，只对指定时间段内指定的对象类型进行区域时才报警抓图提醒，本功能也可以作为设备巡检，安保巡逻等到时间点需要到指定场所出现功能的应用。可以按一个星期每天24小时不同时段的检测设置，可以精确到以小时为单位。2)对象过滤，检测的对象可以是人或者任意系统通过学习能够认识的对象，比如小车、油罐车等等。系统只对已经选择的对象进行检测，对未选择的但出现在视频中的对象不予理睬，对象过滤加区域入侵可以组合应用许多的场景，比如装卸油区域不允许小车进入等，就可以进行算法和对象的组合。3)大小检测，可以设置检测对象大小的阀值，远处对象比较模糊，像素点比较小的对象可以直接过滤掉，防止一些误报的出现。
[0128]
十二、危险区域逗留
[0129]
在重点区域设置区域逗留检测规则，一旦在非正常时间段内，有人员进入区域超过规定时间即报警，比如一些重要设施周围，不管是维护人员进入还是其他无关人员进入相关区域，都需要系统提醒值班人员重点关注，系统自动弹出画面并提醒值班人员，相关的报警抓图也可以作为设备巡检及相关工作的一个证据保存，可以进一步伸展相关业务系统。支持设置检测时间段，支持检测对象过滤，支持检测阀值设置，即检测目标对象的大小，可以过滤掉一些远距离目标可能导致误报的情况，也可以根据现场情况只检测比较近的目标。首先构建目标人体图像数据集，采用标注软件进行标注，后将目标框坐标输入模型进行训练，使模型能够学习并识别出人体的特征目标。在视频上，可以通过手动画框设置危险区域，如在危险区域逗留则发生检测信号，进行推送。
[0130]
主要实现功能：1)检测时段，系统支持时间段的设置，只对指定时间段内指定的对象类型进行区域时才报警抓图提醒，本功能也可以作为设备巡检，安保巡逻等到时间点需要到指定场所出现功能的应用。可以按一个星期每天24小时不同时段的检测设置，可以精确到以小时为单位。2)对象过滤，检测的对象可以是人或者任意系统通过学习能够认识的对象，比如小车、油罐车等等。系统只对已经选择的对象进行检测，对未选择的但出现在视频中的对象不予理睬，对象过滤加区域入侵可以组合应用许多的场景，比如装卸油区域不允许小车进入等，就可以进行算法和对象的组合。3)大小检测，可以设置检测对象大小的阀值，远处对象比较模糊，像素点比较小的对象可以直接过滤掉，防止一些误报的出现。
[0131]
十三、验电接地未佩戴绝缘手套
[0132]
首先构建目标为绝缘手套的图像数据集，分为两个部分数据，一个是佩戴绝缘手
套的手部标签，一个是未佩戴绝缘手套的手部标签，采用标注软件进行标注，标注好的数据进行马赛克数据增强和hsv颜色变换，后将目标框坐标输入模型进行训练，使模型能够学习并识别出佩戴绝缘手套的特征目标，未佩戴绝缘手套的手部图像识别。继而将识别出来的结果进行推送，从而发出监测信号，如图15。
[0133]
基于深度学习对接地时人员的绝缘手套进行检测，包括以下步骤：步骤s1、根据绝缘手套差异，建立图像库；步骤s2、根据图像库，分别制作数据集；步骤s3、构建并训练验电接地时未戴绝缘手套模型；步骤s4、构建并训练未戴绝缘手套模型；采用finetune对建立的未戴绝缘手套图像库模型进行微调；步骤s5、固化微调后的未戴绝缘手套图像库模型；步骤s6、将待测图像输入模型中进行检测，经过网络前向传播后，得出检测结果的目标矩形框的坐标与置信度。
[0134]
十四、无人扶梯检测
[0135]
基于深度学习训练扶梯数据集，当检测到扶梯时，系统自动检测扶梯上的人体；当存在人体时则检测人体下方区域的人体，如没有检测到人体时，则识别为无人扶梯告警。首先构建目标人体图像数据集，采用标注软件进行标注，后将目标框坐标输入模型进行训练，使模型能够学习并识别出人体的特征目标。如扶梯上出现相关人员，则进行信息推送和告警，如图16。
[0136]
十五、工作负责人检测
[0137]
工作负责人检测则通过人脸识别技术，自动检测现场的工作负责人，工作时间分上午及下午两个时段，每个时段工作负责人需到摄像头上刷脸登记，如没有登记则系统发出告警信息。可视化布控是把所有的人脸识别摄像机作为一个整体，在这个整体的基础上做联动联防，大数据分析，再根据设置的规则进行提前预警，比如某个人或某个部门的人不应该出现在某个区域内，则在这个区域内，某个人或某个部门的人就相当于特定名单了，只要一出现就会预警提示。也可以设置一部分人在某个区域内出现的频率，一天或一个月出现的次数高于设置值就预警提示。布控不是简单的做人脸识别，而是在识别后把识别结果做逻辑分析应用，发挥更大的价值，最后再以一种可视化的形式体现出来可以查询某个人某段时间内在地图上显示所有布控的摄像头，平台查询所有识别过的人脸信息，在地图上呈现每个布控点最后出现的人脸比对照片，在布控的区域图上显示，图像显示大小由区域图决定，并显示抓拍摄像机的编号和时间，并在后台统计停留时间和出现次数等信息，查询了模板库中的人员名称，就知道了对应人员的所有信息，包括姓名、年纪、部门等所有人员信息，为后期的大数据分析做基础数据采集。
[0138]
主要实现功能：1)人脸抓拍，对出现在视频范围中，而且满足抓图要求的人脸，系统通过前端抓拍摄像机进行人脸的抓拍，并转到后端进行处理；2)人脸比对，对前端抓拍到的人脸，后端收到后提取人脸各个特征值，然后与照片库中提取的人脸特征进行比较，找出满足系统设置的人脸相似度阀值的人员信息；3)以图搜图，输入人脸照片，系统从抓拍库中找出所有满足阀值的人员信息，并以列表形式显示；4)以人名搜轨迹，输入人名，系统从抓拍库中找出所有满足阀值的人员信息，并找出抓拍图所抓拍的摄像机信息及时间地点等信息，并以地图的形式展示出来。
[0139]
十六、特定名单报警
[0140]
抓拍到的人脸照片如果与特定名单中的人脸相似度达到系统阀值，系统立即提醒
相关人员，并弹出摄像头画面及抓拍保存。人脸识别对人脸图像的要求：
[0141]
人脸大小：双眼间距离大于30像素，最好是60像素以上；人脸姿态：正负15度；俯仰角度：正负10度；光照：均匀照射的、没有阴影和闪光的散射光；表情：对表情变化无要求，夸张的表情使性能有所下降。
[0142]
摄像机安装要求：1、摄像机安装在通道的正前方，正面抓拍人脸。保证人脸左右偏转《30
°
，上下偏转《15
°
。对此，相机要求吊装或者横臂挑出正装，避免侧装。2、摄像机架设高度建议在2.0～3.0m。3、摄像机俯视角度α《15
°
。4、保持画面水平、抓拍对象处于画面正中，人脸(脸颊最左侧到最右侧，额头到下巴下端)像素至少达到150x150像素以上。
[0143]
十七、现场烟火检测
[0144]
基于视频分析的室内、室外烟火自动检测预警系统的目的是能够实现无人值守的不间断工作，自动发现监控区域内的异常烟雾和火灾苗头，以最快、最佳的方式进行告警和协助消防。人员处理火灾危机，并最大限度地降低误报和漏报现象；同时还可查看现场实时图像，根据直观的画面直接指挥调度救火烟火检测具有非接触式探测的特点，不受空间高度、热障、易爆/有毒等环境条件的限制，使得烟火检测为室内大空间、室外以及传统探测手段失效的特殊场所火灾探测提供了一种有效的解决途径，传统的烟雾颗粒感应或者红外线、激光技术需要烟雾颗粒进入传感器才能引起报警，红外及激光技术也需要烟雾遮挡才能引发报警。这些前提要求场合是相对封闭的空间。而室外场合像炼油厂、仓库等因为设备设施分散，空气流动大，传统烟火设备起不到作用，现在往往采用人员值守看管，造成管理成本上升。视频分析烟火自动检测预警系统正是弥补传统火灾报警设备的不足，完全适应于室外场合，而且可以远程提供实时视频，使得集中管理变为可能，具有非常广阔的市场空间烟火检测基于智能视频分析和深度学习神经网络技术，实现对监控区域内的烟雾和火焰进行识别、并动态识别烟雾和火焰从有到无、从小到大、从大到小、从小烟到浓烟的状态转换的识别、实时分析报警。不依赖其他传感设备，直接对视频监控区域的画面的烟雾和火焰及时准确识别，并将报警信息及时推送给相关的管理和安全人员，及时应对和处置。首先构建目标为烟火的图像数据集，采用标注软件进行标注，标注好的数据进行马赛克数据增强和hsv颜色变换，后将目标框坐标输入模型进行训练，使模型能够学习并识别出烟火的特征目标，如现场有烟火，将识别出来的结果进行推送，从而发出监测信号。
[0145]
主要实现功能：1)颜色识别，火焰有着与众不同的颜色特征，通过研究发现，任何rgb图像中只要满足r》＝g且g》b的颜色都可以看作是火焰。2)外形识别，火焰的外形也是用来识别的重要特征；一种模型是采用嵌套式轮廓模型，它默认火焰存在一个或几个燃烧点，火焰从这些燃烧点一层层地向外扩散，越到外层的地方其形状的可变度越大，而且是连续的。3)频率检测，火焰是跳跃着的，或者说是移动变化着的；初看起来没有什么规律，其实，经研究发现，火焰的外焰部分的运动存在一定频率，从火焰外焰部分来看，这些像素点在经历着有火焰和无火焰两种状态的切换，这个切换的频率经过计算是10hz。系统通过捕捉这个10赫兹的特征可以进一步确认是否有火焰的存在。4)对比度，无论烟雾浓淡，它都会使后面的事物变得模糊，甚至被完全遮挡。系统通过像素的对比度变化判断烟雾的有无.5)扩散检测，首先，烟雾以扩散的形式变化，可以假想存在一个或几个烟雾发生点，烟雾围绕这些点扩散开去，再有，烟雾的轮廓是清晰画面与被烟雾模糊画面的交界；最后，烟雾的运动是连续而且是非刚性的。这些特点决定了烟雾与行人，汽车等等前景运动物体有本质的不同，
如图17。
[0146]
十八、安全带检测
[0147]
首先构建目标为安全带和无安全带人员的图像数据集，采用标注软件进行标注，标注好的数据进行马赛克数据增强和hsv颜色变换，后将目标框坐标输入模型进行训练，使模型能够学习并识别出安全带的特征目标，如现场工作人员工作时未佩戴安全带，如图18，将识别出来的结果进行推送，从而发出监测信号。系统启动后自动转动摄像头，检测电杆及铁塔、钢管杆，同时检测杆塔上有没有人体，当检测到人体时自动缩放摄像头。同时检测人体有没有佩戴安全带，则没有佩戴安全带则发出告警信息。
[0148]
十九、抽烟检测
[0149]
在建筑工地、石油化工、加油站等特殊环境下，吸烟产生的火花极易引起爆炸或火灾，工地抽烟视频识别系统能识别监控区域内抽烟动作，发现情况及时报警，及时避免因火花带来的爆炸及火灾。让作业区在安全、可靠、稳定的环境中生产运行。首先构建目标为人体抽烟的图像数据集，采用标注软件进行标注，标注好的数据进行马赛克数据增强和hsv颜色变换，后将目标框坐标输入模型进行训练，使模型能够学习并识别出抽烟人员的特征目标，如现场工作人员抽烟，将识别出来的结果进行推送，从而发出监测信号，如图19。
[0150]
二十、打电话检测
[0151]
打电话智能监测分析系统通过前端视觉分析技术，能够自动分析拍摄画面，无需过多的人力就能够实现对区域内的高效监测。首先构建目标为人体打电话的图像数据集，采用标注软件进行标注，标注好的数据进行马赛克数据增强和hsv颜色变换，后将目标框坐标输入模型进行训练，使模型能够学习并识别出打电话人员的特征目标，如现场工作人员打电话，将识别出来的结果进行推送，从而发出监测信号，如图20。当前端摄像头监测到有人在监测区域内违规打电话时，系统将立刻采集视频画面，传输至后台，警报监管画面，还能够与语音设备连接，直接对违规人员进行语音提示。
[0152]
二十一、未装护栏检测
[0153]
在道路施工时系统检测到机动人及行人，则启动护栏检测功能，系统控制摄像头进行360度监测，当发现没有护栏时则发生告警。
[0154]
首先构建目标为护栏的图像数据集，采用标注软件进行标注，标注好的数据进行马赛克数据增强和hsv颜色变换，后将目标框坐标输入模型进行训练，使模型能够学习并识别出护栏的特征目标，如现场未安装护栏，将识别出来的结果进行推送，从而发出监测信号，如图21。
[0155]
上述细分检测功能，可基于同样的模型建立和轻量化算法处理，具体如下：
[0156]
通过对智能边缘管理方法的研究，研究输出智能边缘管理的云边协同模式，实现对边缘设备终端和各类场景算法的实时管理与算法分发升级部署；
[0157]
通过对边缘应用和作业现场管理模式研究，研究出最优化、最好用户体验的边缘交互流程，帮助作业人员管理作业风险和边缘智能终端。
[0158]
二十二、模型压缩
[0159]
目前深度学习模型压缩方法可以分为以下几个方向：
[0160]
a.更精细模型的设计，目前的很多网络都具有模块化的设计，在深度和宽度上都很大，这也造成了参数的冗余很多，因此有很多关于模型设计的研究，如squeezenet、
mobilenet等，使用更加细致、高效的模型设计，能够很大程度地减少模型尺寸，并且也具有不错的性能；
[0161]
b.模型裁剪，结构复杂的网络具有非常好的性能，其参数也存在冗余，因此对于已训练好的模型网络，可以寻找一种有效的评判手段，将不重要的connection或者filter进行裁剪来减少模型的冗余；
[0162]
c.核的稀疏化，在训练过程中，对权重的更新进行诱导，使其更加稀疏，对于稀疏矩阵，可以使用更加紧致的存储方式，如csc，但是使用稀疏矩阵操作在硬件平台上运算效率不高，容易受到带宽的影响，因此加速并不明显；
[0163]
基于模型裁剪的方法，对已训练好的模型进行裁剪的方法，是目前模型压缩中使用最多的方法，通常是寻找一种有效的评判手段，来判断参数的重要性，将不重要的connection或者filter进行裁剪来减少模型的冗余；同样也分为regular和irregular的方式。
[0164]
本技术方案的裁剪方式如图22所示；针对mobilenetv1的model，发现第一个卷积层就有接近10个卷积核是冗余的，如图23所示：经过模型压缩裁剪过后，网络推理速度提升了三倍左右，达到每秒12帧，仿真环境为ubuntu16.0.4系统，显卡为3090ti，4g显存，内存为16g。网络采用yolov5为基本骨架进行裁剪。
[0165]
二十三、边缘侧部署
[0166]
边缘计算的一个独特特性是将更小的、专门的图像分类模型放在终端设备上，以往大量的计算都要放到中心服务器，中心服务器和边缘侧设备数据交互太多，传输成本高，延时严重。
[0167]
本技术方案指的边缘侧部署就是将算法模型放到例如瑞芯微、地平线的ai芯片上进行结果推理。
[0168]
此外，本发明基于电力终端产生的海量边缘数据，通过研制边缘智能终端解决了云、边、端协问题，同时对于这些海量的边缘数据能做到快速响应、实时发现与定位问题。为了将现场作业智能边缘终端的应用推广到无人机巡检和变电站视频监控则同时提高作业人员的体验，减少操作负担，需要更加轻量化的边缘计算智能终端设备。降低能耗、降低对硬件平台性能指标的要求、降低与云端的通讯需求等，而实质上，轻量化的内核却是在做加法。产业需求决定了要完成的ai任务越来越复杂，轻量化人工智能必须通过加速运算效率、提高计算密度才能实现极致的效率。通过软硬件轻量化的边缘计算智能终端设备研发后，应用于无人机巡检、作业现场、变电站固定场所视频监控等场景下提升电网的数据采集、分析和应用能力，实现更加敏锐的“感官”和更加聪明的“大脑”，做到作业现场的潜在风险、已知风险实时识别，快速响应，提前规避。
[0169]
具体地，从软硬件角度出发，在硬件方面，通过流水线设计、存储模式设计等手段进行硬件架构的创新，研究更加轻量化的边缘计算智能终端设备满足无人机巡检、变电站固定场所视频监控、作业现场视频监控三大应用场景，另一方面，在系统软件方面，进行模型和算法创新，通过轻量化模型设计、矩阵分解、稀疏表示、量化计算来实现模型的微型化和计算加速，从而研究利用通过轻量化ai智能算法减少算力限制。轻量化人工智能算法，是指以一系列轻量化技术为驱动提高芯片、平台和算法的效率，在更紧密的物理空间上实现低功耗的人工智能训练和应用部署，不需要依赖于云端的交互就能实现智能化操作的人工
智能，从而减轻边缘计算智能终端设备。结合边缘设备管理平台管理边缘计算智能终端设备和ai算法模块，通过边缘应用程序串联边缘计算智能终端设备和边缘设备管理平台、ai算法模块，将边缘计算智能终端设备通过ai算法识别的作业风险展示到边缘应用程序上，通过边缘应用程序以更好用户体验方式展示给端作业人员。通过在无人机上搭载超轻量化的智能终端设备解决：现场实时定位隐患位置并及时处理的问题；解决因无人机算力不足导致关键隐患的检测能力不佳的问题；通过超轻量化边缘计算智能终端的轻量化ai组件，解决当前为更好地确认隐患需反复飞而续航能力受限的问题。并且，通过研究边缘终端管理应用平台，解决轻量化的边缘计算智能终端设备异地管理、检测、算法部署、系统更新等问题。研究图形化系统界面，统一管理多个，多组边缘计算智能终端ai算法更新、部署、终端状态监控、系统更新等，如图24。
[0170]
本领域普通技术人员可以理解，实现上述实施例的全部或部分步骤的过程可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0171]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.一种用于电网巡检和监控的边缘检测系统，其特征在于，包括：硬件模块，包括图像采集设备、电源设备、数据传输设备，用于安装在无人机上或电力设施场景周围，为其他模块提供硬件支持、连接和电源支持；数据处理模块，用于接收图像采集设备获取的图像数据，并进行处理，对图像数据进行图像识别和提取，提取图像中的主要信息数据，能基于所述主要信息数据组成的向量对目标物体进行区别划分；算法模块，连接至数据处理模块和通信模块，用于对目标数据进行算法轻量化处理，能通过高效网络结构处理、模型剪枝处理、权值量化处理、知识蒸馏处理，轻量化数据体量，并对不同目标图像进行划分、分类和识别：能识别电力设施的目标，并进行风险识别智能检测，所述风险识别智能检测包括绝缘子自爆及破损检测，防震锤检测，线路异物监测，高压杆塔异物的检测、绝缘子与杆塔连接检测中的一种或多种组合，并将识别结果输送至通信模块；通信模块，接收到算法模块的识别结果后，将数据结果传输至电力终端系统，通信包括有线传输或无线传输。2.根据权利要求1所述的用于电网巡检和监控的边缘检测系统，其特征在于，所述硬件模块用于安装在无人机上时，包括：轻量化无人机小脑和边缘应用程序，应用于无人机的巡检场景；此时所述通信模块为智能小站，通过通信模块和无人机小脑进行数据传输，智能小站以离线传输的方式连接至电网云平台，电网云平台连接至智能边缘管理平台，由智能边缘管理平台连接外部系统；边缘应用程序与无人机小脑构成数据拉取，以控制无人机，且通过智能小站自组网络与智能小站进行网络连接并能进行数据传输；所述硬件模块用于安装在电力设施场景周围时，包括：与图像采集硬件设备连接的轻量化智能终端，应用于变电站场景或作业现场场景，此时所述通信模块包括智能小站，通过内网传输的方式连接至电网云平台，由电网云平台接入智能边缘管理平台，由智能边缘管理平台连接外部系统；边缘应用程序与轻量化智能总端构成数据拉取，以控制轻量化智能总端，且通过智能小站自组网络与智能小站进行网络连接并能进行数据传输。3.根据权利要求2所述的用于电网巡检和监控的边缘检测系统，其特征在于，当所述硬件模块用于安装在电力设施场景周围时，所述风险识别智能检测还包括：安全帽佩戴检测、工作服穿戴检测、安全警示牌检测、危险区域入侵检测、危险区域逗留、验电接地未佩戴绝缘手套、无人扶梯、现场烟火检测、安全带检测、抽烟检测、打电话检测、未装护栏检测。4.根据权利要求3所述的用于电网巡检和监控的边缘检测系统，其特征在于，所述数据处理模块包括：图像数据集处理，能将获取、收集到的图像信息数据化，并对每一幅图像赋予唯一对应的标签，对图像进行标注和注释并构成训练的数据训练集。5.根据权利要求4所述的用于电网巡检和监控的边缘检测系统，其特征在于，所述算法模块中，对不同目标图像的识别还包括目标图像数据集和识别模型，能对所述目标图像数据集的制作包括将图像信息数据化、对每一幅图像贴上对应的目标信息标签；
所述识别模型的使用包括，能将复杂的模型降低模型偏差、用大数据提升统计估计的准确度、用可扩展的梯度下降算法求解大规模优化问题；利用目标图像数据集的局部特征抽取的算法融入到了神经网络中，获得目标图像中局部数据的关联性的特征，构成用于训练的数据文件，使用卷积神经网络进行深度学习训练。6.根据权利要求5所述的用于电网巡检和监控的边缘检测系统，其特征在于，在所述算法模块中，能对图像目标数据中的小目标进行检测分析；能根据coco数据集的定义建立一个无人机航拍数据集，针对以上小目标物体的数据进行采集和数据处理；采用标注软件对图像进行小目标物体进行标注，标注完后进行旋转、翻转、平移等方式进行数据扩增，获图像数据库；采用yolov5网络对数据进行训练，在训练开始时，更改yolov5特征提取网络的c3模块为se模块，并在模型的结构上添加se注意力机制，se模块能够对目标特征进行更加有效的提取；使用维度聚类方法设计合适的锚框，将广义交并比应用于网络的坐标损失函数中，替代原本的和方差损失，将yolov5网络4倍降采样特征图与经过上采样的8倍降采样特征图进行拼接，建立新的4倍降采样的目标检测层，获得小目标的检测数据；通过改进的yolov5网络能对图像目标数据中的输电线上的小目标进行检测分析，并且实现小目标的识别与检测。7.根据权利要求6所述的用于电网巡检和监控的边缘检测系统，其特征在于，所述深度学习训练，包括自下上升非监督学习，采用无标定数据或有标定数据分层训练各层参数，进行特征学习，自顶向下的监督学习，通过带标签的数据训练，误差自顶向下传输，对网络进行微调，基于得到的各层参数进一步微调整个多层模型的参数。8.根据权利要求7所述的用于电网巡检和监控的边缘检测系统，其特征在于，还包括能对识别模型进行模型压缩，能使用精细模型的设计、模型裁剪或核的稀疏化进行模型压缩，所述模型裁剪为结构性剪枝：卷积核剪枝、通道剪枝和层级剪枝，只需改变网络中卷积核和特征通道的数目，所得到的模型就可以运行。

技术总结
本发明涉及电网巡检软硬件技术领域，具体地说，涉及一种用于电网巡检和监控的边缘检测系统。包括：硬件模块，数据处理模块，算法模块和通信模块。本发明设计基于电力终端产生的海量边缘数据，通过研制边缘智能终端解决了云、边、端协问题，同时对于这些海量的边缘数据能做到快速响应、实时发现与定位问题；通过软硬件轻量化的边缘计算智能终端设备研发后，应用于无人机巡检、作业现场、变电站固定场所视频监控等场景下提升电网的数据采集、分析和应用能力，做到作业现场的潜在风险、已知风险实时识别，快速响应，提前规避。提前规避。提前规避。


技术研发人员：常荣 张丙珍 耿飞 刘婉媛 杨扬 张楠川 张应坤
受保护的技术使用者：云南电网有限责任公司玉溪供电局
技术研发日：2023.03.07
技术公布日：2023/10/7