一种基于深度学习的输电线路防外破监控系统及方法与流程

1.本发明涉及输电线路监控技术领域，尤其涉及一种基于深度学习的输电线路防外破监控系统及方法。


背景技术：

2.输电线路安全稳定的运行，对人们日常生产生活供电意义重大，全国大大小小的输电线路众多，横跨大江南北、高山河流、城市道路，常常遭受外部破坏，安全隐患重重。目前大部分线路都是采用传统人工巡检，不仅无法及时监控排除隐患，而且成本高效率低。比如横跨城市道路施工场地，随时有不同的破坏危险物，如风筝、防尘膜等导线异物，梁吊、汽吊等施工机械。而荒山野岭地带常见山火、鸟巢等外部隐患又难以第一时间被巡检人员发现。一旦造成干扰破坏，导致断电停电，造成的经济损失不可估量。
3.随着技术发展，一些监控设备开始部署在输电线路上，尝试代替人工巡检。常见做法是使用摄像头在线监控，需要工作人员长时间监控视频录像屏幕，查看是否有危害物体靠近。但人的精力毕竟有限，工作人员不可能时刻集中注意力关注监控画面。如果没能及时发现隐患画面，导线被干扰破坏了，报警时效性不高。这些监控系统的硬件设备大多数依赖有线供电，位置一般安放地面或杆塔上，导致摄像头视野和监控范围比较受限。或者通过太阳能供电，然而续航会受天气影响。
4.中国发明专利cn108460939a提出了一种输电线路防外破智能警示球，包括球体、安装装置、电磁感应取电装置、接口、语音警报器、led灯和双摄像头，所述球体顶端中部设置有安装装置，所述安装装置内设有电磁感应取电装置，所述球体底端中部设置有语音警报器，所述球体底端外径设置有led灯。本发明虽然能安装在输电线上去外破物进行摄像监测，但基于安装方式和本身结构，其拍摄图像的监测范围小于实际需求，只能对常规的图像做出反应，无法适应复杂的外破物环境。
5.中国发明专利cn111881760a公开了一种输电线路防外破识别方法及终端方法包括：建立输电线路的外破样本库，并制定评估标准；建立外破检测器；利用coco数据集训练所述外破检测器至收敛，得到预训练模型；将所述预训练模型迁移至所述外破样本库中进行训练，得到训练模型；根据所述评估标准对所述训练模型进行评估，得到最优模型；利用所述最优模型对待识别图像进行识别。但其采用的训练模型方法和图像特征采集设备测定不准确，其建立的高斯模型和通过测定偏移量方式在高空的环境中未排除干扰因素，测定效果差。


技术实现要素：

6.本发明的目的在于提供一种基于深度学习的输电线路防外破监控系统及方法，对输电线的外破物实时监测，通过深度学习和模型训练，建立系统对常规和非常规外破物的识别和监测报警，提高系统的识别监测能力及准确度，减少人工消耗，解决上述背景技术中出现的问题。
7.为实现上述目的，本发明提供了一种基于深度学习的输电线路防外破监控方法，其技术方案包括：
8.挂载输电线监控设备，采集输电线范围内图像信息，抓取图像内容特征物；
9.确定应用场景，通过图像内容物的特征进行分析，分析应用场景类型；
10.误判分析，基于图像特征物和应用场景，与数据库历史信息进行对比分析；
11.确定报警等级，基于误判分析结果及图像再采集过程确定报警等级；
12.上传报警信号至客户端及现场工作人员，基于报警等级判断报警信号的上传路径。
13.进一步的，所述图像信息采集的方法包括以下步骤：
14.通过双目摄像头拍摄输电线外部环境的图像及视频；
15.调节图像的亮度、分辨率、角度、色差等要素使图像中的特征对比明显；
16.基于卷积网络的图像分割计算获得特征识别；
17.对不同的图像特征进行分割框选，抓取区别特征。
18.进一步的，所述基于卷积网络的图像分割步骤包括：
19.将处理后的图像进行压缩，划分为等分的网格，每个网格按ground truth的iou确定的阈值进行分配到所要预测的图像样本特征；
20.每个网格对每个特征类别预测条件概率值，并在网格基础上生成b个box，每个box预测五个回归值，四个表征位置，第五个表征这个box含有物体的概率和位置的准确程度，由iou表示；测试时，分数如下计算：
[0021][0022]
等式左边第一项由网格预测，后两项由每个box预测，以条件概率的方式得到每个box含有不同类别物体的分数；因而，卷积网络共输出的预测值个数为s
×s×
(b
×
5+c)，其中s为网格数，b为每个网格生成box个数，c为类别数；
[0023]
最后使用nms过滤得到最后的预测框。
[0024]
进一步的，所述应用场景类型的确定步骤包括：
[0025]
图像特征物的确定，包括特征物的形状、颜色、区别特征、移动速度、对比高度来判断特征物的具体类型；
[0026]
在所述监控设备上可基于特征物在图像中位置分布与输电线的相对位置判断当前输电线外物环境及匹配环境危险度；
[0027]
将分析应用场景的类型结论传至数据库，与数据库历史数据进行对比，结合不同图像多次对比排除误判分析后，建立输电线的外破环境模型。
[0028]
进一步的，所述确定报警等级的过程包括以下判断步骤：
[0029]
同一位置采集图像具有相同特征，触发多次图像采集，根据特征出现频次确定外破风险，触发报警机制；
[0030]
对于图像特征分析结果，划定图像中的非监控区域，仅对图像中的监控区域内外破物触发报警机制；
[0031]
同一个物理位置的iou重叠大于80％，1天内只允许3次报警，每次报警之间的时间间隔可设置，超过3次的报警被忽略；
[0032]
建立报警黑名单机制，在黑名单中的目标不触发报警，连续一段时间同一个位置发生的异常特征目标，加入黑名单；相似度度量标准iou重叠度过大，视为同一目标，加入黑名单；黑名单有消除机制，连续一段时间不再出现异常目标识别，从黑名单中剔除。
[0033]
进一步的，所述基于报警等级判断报警信号的上传路径的步骤包括：
[0034]
对报警信息进行筛选标记，符合报警等级的信号将直接上传至现场工作人员客户端接收；对于不符合报警等级的信号进行人工审核并记录至数据库，作为监控模型的优化信息。
[0035]
本发明技术方案还提供了一种基于深度学习的输电线路防外破监控系统，所述系统包括：
[0036]
输电线监控模块，用于采集获取输电线外破环境的图像和视频，对采集的图像进行特征框选并分析应用场景类型；
[0037]
模型建立模块，基于采集图像特征和应用场景类型，建立输电线外破环境模型，并对采集图像进行特征的模型训练升级；
[0038]
数据库模块，用于记录历史采集图像数据和图像模型特征对比，将对比结果以报警形式发出；
[0039]
服务器模块，用于接收图像进行外破风险分析，形成报警等级和下发指令调控，所述服务器模块与输电线监控模块通信连接，与所述模型建立模块电连接，与所述数据库模块电连接；
[0040]
报警模块，用于显示监控场景画面、查看报表及历史记录，基于服务器模块指令向用户端发送报警信息，所述报警模块与服务器模块通信联系。
[0041]
进一步的，所述输电线监控模块包括挂载在输电线上的监控仪，所述监控仪包括以对称铰接夹持在输电线上的左盒组件和右盒组件，所述左盒组件内部安装有gprs通信模块和三姿态坐标传感器，还包括一个用于分析图像特征物的处理器，其中所述左盒组件和右盒组件的中部开有缺口，使输电线贯穿通过，所述缺口上设置有感应取电传感器和电流测量传感器，所述左盒组件和右盒组件的侧面均设有高清双目摄像头。
[0042]
进一步的，所述监控仪为圆盘状，其上安装有麦克风、扩音喇叭和led灯，用于辅助双目摄像头进行图像采集，并发出警报。
[0043]
本发明的有益效果为：通过挂载在输电线上的监控仪采集输电线的外破图像，对图像特征进行识别并建立外破物训练模型，来判断输电线的外破危险级别，并向工作人员发出警报信息，节省输电线外破巡查的人工成本，提高输电线防外破的安全度，深度学习建立的训练模型可提高外破物危险判断的精度，减少误判和识别误差，提高整个系统的适用度。
附图说明
[0044]
图1是本发明的输电线路防外破监控方法流程图。
[0045]
图2是本发明的输电线路防外破监控系统的组成图。
[0046]
图3是本发明的实施例中监控仪结构示意图。
[0047]
其中图中标记1-左盒组件,2-右盒组件，3-双目摄像头，4-三姿态坐标传感器，5-缺口，6-摄像头，7-感应取电传感器，8-扩音喇叭，9-麦克风，10-led灯，11-电流测量传感
器。
具体实施方式
[0048]
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0049]
实施例
[0050]
请参阅图1的基于深度学习的输电线路防外破监控方法的流程图，本发明对输电线的外破物实时监测，通过深度学习和模型训练，建立系统对常规和非常规外破物的识别和监测报警，提高系统的识别监测能力及准确度，减少人工消耗，本发明提供了一种基于深度学习的输电线路防外破监控方法，其技术方案包括：
[0051]
s1:挂载输电线监控设备，采集输电线范围内图像信息，抓取图像内容特征物；
[0052]
s2:确定应用场景，通过图像内容物的特征进行分析，分析应用场景类型；
[0053]
s3:误判分析，基于图像特征物和应用场景，与数据库历史信息进行对比分析；
[0054]
s4:确定报警等级，基于误判分析结果及图像再采集过程确定报警等级；
[0055]
s5:上传报警信号至客户端及现场工作人员，基于报警等级判断报警信号的上传路径。
[0056]
其中，请参阅图3的监控仪结构示意图，所述图像信息采集的装置为挂载在输电线上的监控仪对输电线的外破环境进行图像和视频采集，所述监控仪包括：所述监控仪包括以对称铰接夹持在输电线上的左盒组件1和右盒组件2，所述左盒组件1内部安装有gprs通信模块和三姿态坐标传感器4，还包括一个用于分析图像特征物的处理器，其中所述左盒组件1和右盒组件2的中部开有缺口5，使输电线贯穿通过，所述缺口5上设置有感应取电传感器7和电流测量传感器11，所述左盒组件1和右盒组件2的侧面均设有高清双目摄像头3，所述监控仪为圆盘状，其上安装有麦克风9、扩音喇叭8和led灯10，用于辅助双目摄像头进行图像采集，并发出警报。
[0057]
监控仪挂载在输电线路上，实时获取输电线路状态，双目摄像头可以拍摄现场照片和视频，通过移动网络和后台服务通信。设备可以部署轻量操作系统和目标检测服务及模型，对拍摄画面进行初步的外破风险分析，也可以将照片发送至后台，由服务端进行外破风险分析。服务端的硬件配置和计算力更强大，可以搭载精度更高的目标检测模型。业务中可根据实际情况决定目标检测业务放在设备或服务端来进行，也可以两边都进行。
[0058]
其采集图像的方法包括以下步骤：
[0059]
通过双目摄像头拍摄输电线外部环境的图像及视频；
[0060]
调节图像的亮度、分辨率、角度、色差等要素使图像中的特征对比明显；
[0061]
基于卷积网络的图像分割计算获得特征识别；
[0062]
对不同的图像特征进行分割框选，抓取区别特征。
[0063]
进一步的，所述基于卷积网络的图像分割步骤包括：
[0064]
将处理后的图像进行压缩，划分为等分的网格，每个网格按ground truth的iou确定的阈值进行分配到所要预测的图像样本特征；
[0065]
每个网格对每个特征类别预测条件概率值，并在网格基础上生成b个box，每个box
预测五个回归值，四个表征位置，第五个表征这个box含有物体的概率和位置的准确程度，由iou表示；测试时，分数如下计算：
[0066][0067]
等式左边第一项由网格预测，后两项由每个box预测，以条件概率的方式得到每个box含有不同类别物体的分数；因而，卷积网络共输出的预测值个数为s
×s×
(b
×
5+c)，其中s为网格数，b为每个网格生成box个数，c为类别数；
[0068]
最后使用nms过滤得到最后的预测框。
[0069]
进一步的，所述应用场景类型的确定步骤包括：
[0070]
图像特征物的确定，包括特征物的形状、颜色、区别特征、移动速度、对比高度来判断特征物的具体类型；
[0071]
在所述监控设备上可基于特征物在图像中位置分布与输电线的相对位置判断当前输电线外物环境及匹配环境危险度；
[0072]
将分析应用场景的类型结论传至数据库，与数据库历史数据进行对比，结合不同图像多次对比排除误判分析后，建立输电线的外破环境模型。
[0073]
进一步的，所述确定报警等级的过程包括以下判断原则和步骤：
[0074]
不将单次异常图像的识别结果或者传感器数据的单次越限等作为报警直接推送给用户。为提高报警的精确性，最大限度避免误报警，避免无关紧要的报警(如远离线路的施工机械)，尽量不将单次异常图像的识别结果或者传感器数据的单次越限等作为报警直接推送给用户；而是将单次图像的识别结果或者传感器数据的单次越限作为疑似报警事件的触发，当单次异常图像的识别或者传感器数据的单次越限触发后，设备端进入报警事件处理流程，并启动频度更高的图像采集识别或传感器数据采集模式。
[0075]
单次异常图像的识别结果或者传感器数据的单次越限触发后，经过报警事件处理流程，确认为无害的事件，产品可对单次异常图像的识别结果或者传感器数据的单次越限进行上传和标识，可标识为“疑似”、“警示”等分类；
[0076]
同一个物理位置(iou重叠大于80％)，1天内只允许3次报警，每次报警之间的时间间隔可设置，如15/30/60分钟；超过3次的报警被忽略。
[0077]
建立报警黑名单机制，在黑名单中的目标不触发报警。连续一段时间(可根据具体场景自定义设置，下同)同一个位置发生的异常目标应该是误报，加入黑名单。相似度度量标准iou重叠度过大，视为同一目标，加入黑名单。黑名单有消除机制，连续一段时间不再出现异常目标识别，就从黑名单中剔除。
[0078]
进一步的，所述基于报警等级判断报警信号的上传路径的步骤包括：
[0079]
对报警信息进行筛选标记，符合报警等级的信号将直接上传至现场工作人员客户端接收；对于不符合报警等级的信号进行人工审核并记录至数据库，作为监控模型的优化信息。
[0080]
请参阅图2，本发明还提供了一种基于深度学习的输电线路防外破监控系统，所述系统包括：
[0081]
输电线监控模块，用于采集获取输电线外破环境的图像和视频，对采集的图像进行特征框选并分析应用场景类型；
[0082]
模型建立模块，基于采集图像特征和应用场景类型，建立输电线外破环境模型，并对采集图像进行特征的模型训练升级；
[0083]
数据库模块，用于记录历史采集图像数据和图像模型特征对比，将对比结果以报警形式发出；
[0084]
服务器模块，用于接收图像进行外破风险分析，形成报警等级和下发指令调控，所述服务器模块与输电线监控模块通信连接，与所述模型建立模块电连接，与所述数据库模块电连接；
[0085]
报警模块，用于显示监控场景画面、查看报表及历史记录，基于服务器模块指令向用户端发送报警信息，所述报警模块与服务器模块通信联系。
[0086]
所述系统的工作流程为：
[0087]
设备摄像头拍摄到照片，会先调用自身集成的目标检测服务进行对照片进行推理，判断目标的类别和位置，将结果存入数据库。为了防止误判，接下来要在数据库中查询历史结果，同一位置有相同类别的目标时，会加快拍照频率。当连续三次发现同一位置有相同目标时，系统会认为此目标对输电线路具有外破风险，将对此目标进行报警等级分析。
[0088]
系统发出报警信息后，用户可以在客户端对信息做进一步的人工审核，决定将报警推送给现场作业人员，也可以设置让系统直接将报警信息推送给现场作业人员。对个别误判的报警，在人工审核时可以做出相应标记，不向作业人员此报警。系统会记录此类场景，供日后升级目标检测模型使用。
[0089]
服务端部署有通信接口、消息队列、流处理组件、人工智能服务、数据库等，接收并处理设备推送的指令和信息，实时对设备拍摄的照片进行外破风险分析并酌情推送报警信息，保存照片、报警等历史信息。服务端采用容器化部署，可以快速部署在云服务器或私有服务器上，根据业务量进行集群缩放和滚动更新等。
[0090]
客户端主要包括电脑桌面的web大屏和手机app，可以适应不同场景需要。web大屏适合用户的复杂需求，比如对比多时间段的监控画面，查看报表和历史记录等。手机app更适合现场值守和作业人员，方便第一时间接收报警信息，并采取相应措施。
[0091]
本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
[0092]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
[0093]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种基于深度学习的输电线路防外破监控方法，其特征在于，所述监控方法的步骤包括：挂载输电线监控设备，采集输电线范围内图像信息，抓取图像内容特征物；确定应用场景，通过图像内容物的特征进行分析，分析应用场景类型；误判分析，基于图像特征物和应用场景，与数据库历史信息进行对比分析；确定报警等级，基于误判分析结果及图像再采集过程确定报警等级；上传报警信号至客户端及现场工作人员，基于报警等级判断报警信号的上传路径。2.根据权利要求1所述的基于深度学习的输电线路防外破监控方法，其特征在于，所述图像信息采集的方法包括以下步骤：通过双目摄像头拍摄输电线外部环境的图像及视频；调节图像的亮度、分辨率、角度、色差等要素使图像中的特征对比明显；基于卷积网络的图像分割计算获得特征识别；对不同的图像特征进行分割框选，抓取区别特征。3.根据权利要求2所述的基于深度学习的输电线路防外破监控方法，其特征在于，所述基于卷积网络的图像分割步骤包括：将处理后的图像进行压缩，划分为等分的网格，每个网格按ground truth的iou确定的阈值进行分配到所要预测的图像样本特征；每个网格对每个特征类别预测条件概率值，并在网格基础上生成b个box，每个box预测五个回归值，四个表征位置，第五个表征这个box含有物体的概率和位置的准确程度，由iou表示；测试时，分数如下计算：等式左边第一项由网格预测，后两项由每个box预测，以条件概率的方式得到每个box含有不同类别物体的分数；因而，卷积网络共输出的预测值个数为s
×
s
×
(b
×
5+c)，其中s为网格数，b为每个网格生成box个数，c为类别数；最后使用nms过滤得到最后的预测框。4.根据权利要求3所述的基于深度学习的输电线路防外破监控方法，其特征在于，所述应用场景类型的确定步骤包括：图像特征物的确定，包括特征物的形状、颜色、区别特征、移动速度、对比高度来判断特征物的具体类型；在所述监控设备上可基于特征物在图像中位置分布与输电线的相对位置判断当前输电线外物环境及匹配环境危险度；将分析应用场景的类型结论传至数据库，与数据库历史数据进行对比，结合不同图像多次对比排除误判分析后，建立输电线的外破环境模型。5.根据权利要求4所述的基于深度学习的输电线路防外破监控方法，其特征在于，所述确定报警等级的过程包括以下判断步骤：同一位置采集图像具有相同特征，触发多次图像采集，根据特征出现频次确定外破风险，触发报警机制；对于图像特征分析结果，划定图像中的非监控区域，仅对图像中的监控区域内外破物
触发报警机制；同一个物理位置的iou重叠大于80％，1天内只允许3次报警，每次报警之间的时间间隔可设置，超过3次的报警被忽略；建立报警黑名单机制，在黑名单中的目标不触发报警，连续一段时间同一个位置发生的异常特征目标，加入黑名单；相似度度量标准iou重叠度过大，视为同一目标，加入黑名单；黑名单有消除机制，连续一段时间不再出现异常目标识别，从黑名单中剔除。6.根据权利要求1所述的基于深度学习的输电线路防外破监控方法，其特征在于，所述基于报警等级判断报警信号的上传路径的步骤包括：对报警信息进行筛选标记，符合报警等级的信号将直接上传至现场工作人员客户端接收；对于不符合报警等级的信号进行人工审核并记录至数据库，作为监控模型的优化信息。7.一种基于深度学习的输电线路防外破监控系统，其特征在于所述系统包括：输电线监控模块，用于采集获取输电线外破环境的图像和视频，对采集的图像进行特征框选并分析应用场景类型；模型建立模块，基于采集图像特征和应用场景类型，建立输电线外破环境模型，并对采集图像进行特征的模型训练升级；数据库模块，用于记录历史采集图像数据和图像模型特征对比，将对比结果以报警形式发出；服务器模块，用于接收图像进行外破风险分析，形成报警等级和下发指令调控，所述服务器模块与输电线监控模块通信连接，与所述模型建立模块电连接，与所述数据库模块电连接；报警模块，用于显示监控场景画面、查看报表及历史记录，基于服务器模块指令向用户端发送报警信息，所述报警模块与服务器模块通信联系。8.根据权利要7所述的基于深度学习的输电线路防外破监控系统，其特征在于所述输电线监控模块包括挂载在输电线上的监控仪，所述监控仪包括以对称铰接夹持在输电线上的左盒组件(1)和右盒组件(2)，所述左盒组件(1)内部安装有gprs通信模块和三姿态坐标传感器(4)，还包括一个用于分析图像特征物的处理器，其中所述左盒组件(1)和右盒组件(2)的中部开有缺口(5)，使输电线贯穿通过，所述缺口(5)上设置有感应取电传感器(7)和电流测量传感器(11)，所述左盒组件(1)和右盒组件(2)的侧面均设有高清双目摄像头(3)。9.根据权利要8所述的基于深度学习的输电线路防外破监控系统，其特征在于所述监控仪为圆盘状，其上安装有麦克风(9)、扩音喇叭(8)和led灯(10)，用于辅助双目摄像头进行图像采集，并发出警报。

技术总结
一种基于深度学习的输电线路防外破监控系统及方法，涉及输电线路监控技术领域，其技术方案包括：挂载输电线监控设备，采集输电线范围内图像信息，抓取图像内容特征物；确定应用场景，通过图像内容物的特征进行分析，分析应用场景类型；误判分析，基于图像特征物和应用场景，与数据库历史信息进行对比分析；确定报警等级，基于误判分析结果及图像再采集过程确定报警等级；上传报警信号至客户端及现场工作人员，基于报警等级判断报警信号的上传路径。本发明节省输电线外破巡查的人工成本，提高输电线防外破的安全度，深度学习建立的训练模型可提高外破物危险判断的精度，减少误判和识别误差，提高整个系统的适用度。提高整个系统的适用度。提高整个系统的适用度。


技术研发人员：姜云升 李正波 吴纯泉 徐志红 张永
受保护的技术使用者：上海倍肯智能科技有限公司
技术研发日：2023.03.15
技术公布日：2023/7/4