一种复杂环境下的电力设备目标检测方法

1.本发明涉及电力设备目标检测技术领域，具体涉及一种复杂环境下的电力设备目标检测方法。


背景技术：

2.电力设备的运行状态往往决定着整个电力系统的安全与稳定。随着人工智能的发展，大量智能检测设备投入到电力设备的安全运维中。多模态传感器巡逻机器人和无人机捕获运行中的电力设备图像并上传，以进行状态监测和故障诊断。对于弱光和雨雾等复杂环境，机器人在巡检过程中所传输的电力设备可见光图像的具体细节不能展现出来，影响图像的检测。而在复杂环境下红外图像是可见光图像很好的替代品，红外与可见光图像结合可以有效地利用红外图像的目标指定特性和可见光图像丰富的场景细节，从而增强图像质量，提高复杂环境下目标检测和识别的能力。红外图像与可见光图像配准时由于非线性光照和相机饱和度等客观因素的影响而导致误匹配点较多，梯度值过大的关键点特征向量对配准结果会产生影响。
3.清晰的边缘对于图像后续的处理及电力设备的识别分析非常重要，当变电站周围环境比较复杂的情况下，传统的电力设备图像的检测识别会受到很大影响，还会影响后续配准融合的特征点选取。传统边缘检测算子在阈值选取缺乏自适应性，且阈值选取没有结合考虑梯度值的影响，导致在复杂环境下边缘图细节丢失，后续配准融合时会丢失特征信息。
4.图像融合是将在不同观测环境下的两幅图像进行处理并综合成一副新图像的过程，许多学者对可见光图像和红外图像的融合算法展开研究，主要归为：一类是基于传统算法的红外图像与可见光图像融合，这类方法先将图像分别为基础层和细节层，根据各自特点分别制定基础层和细节层的融合策略，再将融合后的基础层和细节层进行重构得到融合图像。另一类是基于深度学习的图像融合算法，这类方法是通过深度学习网络来获得红外图像和可见光图像的特征，再利用特征融合层进行融合。上述方法还存在两个方面的问题：一是利用传统融合方法时融合图像的性能很大程度上取决于融合策略，计算时间也较长。二是基于深度学习网络的图像融合大多未考虑图像的深层信息，在一定程度上增加了融合图像的噪声，降低图像的结构相似度。
5.近年来，随着智能化电站的普及，对于低光照等复杂环境下智能机器人巡检时传输的电力设备要求更高，需要在利用图像融合技术的时候充分结合可见光图像和红外图像的特征信息，同时利用深度学习网络检测目标对象。


技术实现要素：

6.本发明针对现有技术中的不足，提供一种复杂环境下的电力设备目标检测方法。
7.为实现上述目的，本发明采用以下技术方案：
8.步骤1、利用架设在巡检机器人身上的摄像设备获取低光照复杂环境下电气设备
的可见光图像，同时利用红外热成像仪获取对应的红外图像；
9.步骤2、使用结合梯度值的优化阈值o-canny边缘检测算法获得红外图像和可见光图像的边缘信息，利用曲率尺度空间技术检测边缘信息的曲率，以获得红外图像和可见光图像的特征点；
10.步骤3、利用gsift算法提取红外图像和可见光图像中特征点的特征描述符，并完成红外图像和可见光图像的特征点匹配；
11.步骤4、利用随机采样一致性算法对特征点匹配结果进行筛选，得到准确的匹配特征点；
12.步骤5、利用两重resnet深度学习网络对匹配准确的红外图像和可见光图像进行融合，输出融合图像；
13.步骤6、使用labelimg软件分别对红外图像、可见光图像和融合图像中的电力设备进行标注，生成xml文件，制作带标签的数据集；
14.步骤7、设置深度学习网络yolov5训练参数，利用带标签的数据集训练深度学习网络yolov5，利用训练好的深度学习网络yolov5进行三组实验，分别进行可见光图像目标检测、红外图像目标检测和融合图像目标检测，检测出三组实验各自的目标检测精度，验证融合红外图像和可见光图像的必要性。
15.为优化上述技术方案，采取的具体措施还包括：
16.进一步地，步骤2中，所述使用结合梯度值的优化阈值o-canny边缘检测算法获得红外图像和可见光图像的边缘信息具体为：
17.步骤2.1、依据人眼对于rgb三个分量的敏感度计算权值，并按每个分量的权重加权平均得到电力设备红外图像和可见光图像的预处理图像；
18.步骤2.2、利用各像素之间相似度和距离邻近度的两方同时滤波方法去除预处理图像中的噪声；
19.步骤2.3、计算像素点梯度的大小和方向；
20.步骤2.4、将每一像素点的梯度值与该点梯度方向上相邻两个像素的梯度值比较来确定边缘候选点；
21.步骤2.5、利用最大类间方差法找到符合图像自身特征的自适应高阈值t1和低阈值t2；
22.步骤2.6、遍历整幅图像，获取图像中所有像素点的梯度幅值，根据所有像素点的梯度幅值分别找到梯度值g0和g1，使得整幅图像中98％的像素点的梯度幅值都小于g0，其中，g1为整幅图像中像素点梯度幅值的最大值；
23.步骤2.7、利用下式对自适应高阈值t1和低阈值t2进行优化，得到更加适合图像特征的高低阈值：
[0024][0025][0026]
式中，tn1为优化高阈值，tn2为优化低阈值，利用结合梯度幅值的优化阈值tn1和tn2再次进行两种阈值下的边缘检测，从而选取更精确的边缘点。
[0027]
进一步地，步骤3具体为：
[0028]
步骤3.1、利用gsift算法提取红外图像和可见光图像中特征点的特征描述符，利用特征描述符将特征点转化为特征向量；
[0029]
步骤3.2、对特征向量进行标准正规化处理；
[0030]
步骤3.3、对于梯度值过大的关键特征向量，先根据特征点梯度幅值的分布情况来设置门限值l0，使得梯度幅值在门限值lo以下的概率为0.95；
[0031]
步骤3.4、找出所有梯度值的幅值大于l0的关键特征点，令该关键特征点的梯度值为l0，而梯度幅值不大于l0的关键特征点的梯度值不变；
[0032]
步骤3.5、再对特征向量和特征点梯度值进行标准化处理；
[0033]
步骤3.6、通过计算标准化处理后的每个特征向量之间的相似性和距离邻近度来完成特征点匹配；
[0034]
步骤3.7、去除显著匹配特征点。
[0035]
进一步地，步骤4具体为：
[0036]
利用随机采样一致性算法先对整个特征点数据集进行随机采样，对这些采样点线性拟合，得到有效拟合数据，再不断重复随机采样和线性拟合的过程，直到获得准确的匹配特征点。
[0037]
进一步地，步骤5具体为：
[0038]
步骤5.1、去除resnet深度学习网络尾部的平均池化层、fc层和softmax层；
[0039]
步骤5.2、将配准后的红外图像与可见光图像输入resnet深度学习网络，利用加权融合策略对两幅图像的最大池化层输出特征图进行融合，得到融合特征图a；
[0040]
步骤5.3、所述resnet深度学习网络包括5个stage，将stage3的最大池化层输出的可见光与红外图像的深层特征图用加权融合策略进行融合，得到融合特征图b；将stage4的最大池化层输出的可见光与红外图像的深层特征图用加权融合策略进行融合，得到融合特征图c；
[0041]
步骤5.4、分别将融合特征图a与融合特征图b，融合特征图a与融合特征图c组成两对图像，将这两对图像再次输入resnet网络，并采用相同的加权融合策略对两对图像的最大池化层特征图进行融合，公式如下：
[0042]
f＝w1f
stage
+w2f
fusion
[0043]
式中，f为融合结果，w1和w2为融合权重，f
stage
为融合特征图b或融合特征图c，f
fusion
为融合特征图a；
[0044]
步骤5.5、在获得的两个融合结果中选取特征更为显著的作为最终输出结果。
[0045]
进一步地，步骤1中，所述可见光图像的分辨率为600*800，所述红外图像的分辨率为576*768。
[0046]
进一步地，步骤5.4中，所述融合权重w1和w2的值均取0.5。
[0047]
进一步地，步骤6中，所述红外图像、可见光图像和融合图像的分辨率均统一化为640*480。
[0048]
本发明的有益效果是：
[0049]
(1)本发明的基于结合梯度值的优化阈值o-canny边缘检测算法，检测出更多的真实边缘，提高了边缘检测的精度，在一定程度上更多的保留了后续配准融合的特征信息；
[0050]
(2)本发明的基于改进gsift算法的可见光图像和红外图像配准，很大程度上解决了客观因素所造成的关键点向量梯度值过大的影响；
[0051]
(3)本发明的两重resnet深度学习融合网络可以更多地保留红外图像与可见光图像的原始信息，提高融合图像的质量和图像间的结构相似度；
[0052]
(4)本发明方法对研究复杂环境下电力设备的目标检测有应用价值。
[0053]
(5)针对传统边缘检测算子阈值选取缺乏自适应的问题，使用结合梯度值的优化阈值o-canny边缘检测算法来获得图像边缘与特征点，采用最大类间方差算法先自适应的生成高低阈值，将获取的梯度幅值代入优化阈值公式计算来重新得到阈值，能够在避免过多冗余信息的情况下最大限度地保留局部细节。
[0054]
(6)针对红外图像与可见光图像配准时由于非线性光照等其他因素的影响而导致误匹配点较多的问题，对于梯度值过大的关键点特征向量，根据梯度幅值的分布情况判定截断门限值l0，使得梯度幅值在门限值l0下的概率为0.95，进行再次标准化处理，从而减少这类变化造成的影响，进一步消除误差。
[0055]
(7)针对深度学习来进行图像融合时融合质量和融合图像噪声受到影响的问题，设计基于两重resnet网络的图像融合算法来提取更多的图像深度信息。
附图说明
[0056]
图1为复杂环境下的电力设备目标检测方法的流程图；
[0057]
图2为优化阈值选取的边缘检测流程图；
[0058]
图3为利用sift进行特征点配准和gsift进行特征点配准的效果对比图；
[0059]
图4为两重resnet网络深度学习融合算法流程图。
具体实施方式
[0060]
现在结合附图对本发明作进一步详细的说明。
[0061]
本发明提出了一种复杂环境下的电力设备目标检测方法，整体流程图如图1所示，包括以下步骤：
[0062]
步骤1、利用架设在巡检机器人身上的摄像设备获取低光照复杂环境下电气设备的可见光图像，同时利用红外热成像仪获取对应的红外图像；其中可见光图像的分辨率为600*800，红外图像的分辨率为576*768。
[0063]
步骤2、使用结合梯度值的优化阈值o-canny边缘检测算法获得红外图像和可见光图像的边缘信息，利用曲率尺度空间(css)技术检测边缘信息的曲率，以获得红外图像和可见光图像的特征点；保留图像的全局特征和重要结构属性；
[0064]
步骤3、利用gsift算法提取红外图像和可见光图像中特征点的特征描述符，并完成红外图像和可见光图像的特征点匹配；
[0065]
步骤4、利用随机采样一致性(ransac)算法对特征点匹配结果进行筛选，得到准确的匹配特征点；
[0066]
步骤5、利用两重resnet深度学习网络对匹配准确的红外图像和可见光图像进行融合，输出融合图像；
[0067]
步骤6、使用labelimg软件分别对红外图像、可见光图像和融合图像中的电力设备
进行标注，生成xml文件，制作带标签的数据集；使用labelimg软件人工对图像中目标电气设备进行标注时，应将图像中所有清晰目标区域标注；电力设备具体为绝缘子，所述红外图像、可见光图像和融合图像的分辨率均统一化为640*480。。
[0068]
步骤7、设置深度学习网络yolov5训练参数，利用带标签的数据集训练深度学习网络yolov5，利用训练好的深度学习网络yolov5进行三组实验，分别进行可见光图像目标检测、红外图像目标检测和融合图像目标检测，检测出三组实验各自的目标检测精度，其中iou的值为0.5，验证融合红外图像和可见光图像的必要性。
[0069]
步骤2中，所述使用结合梯度值的优化阈值o-canny边缘检测算法获得红外图像和可见光图像的边缘信息具体为：
[0070]
步骤2.1、依据人眼对于rgb三个分量的敏感度计算权值，并按每个分量的权重加权平均得到电力设备红外图像和可见光图像的预处理图像；
[0071]
步骤2.2、利用各像素之间相似度和距离邻近度的两方同时滤波方法去除预处理图像中的噪声；
[0072]
步骤2.3、计算像素点梯度的大小和方向；
[0073]
步骤2.4、将每一像素点的梯度值与该点梯度方向上相邻两个像素的梯度值比较来确定边缘候选点；
[0074]
步骤2.5、利用最大类间方差法找到符合图像自身特征的自适应高阈值t1和低阈值t2；
[0075]
步骤2.6、遍历整幅图像，获取图像中所有像素点的梯度幅值，根据所有像素点的梯度幅值分别找到梯度值g0和g1，使得整幅图像中98％的像素点的梯度幅值都小于g0，其中，g1为整幅图像中像素点梯度幅值的最大值；
[0076]
步骤2.7、利用下式对自适应高阈值t1和低阈值t2进行优化，得到更加适合图像特征的高低阈值：
[0077][0078][0079]
式中，tn1为优化高阈值，tn2为优化低阈值，利用结合梯度幅值的优化阈值tn1和tn2再次进行两种阈值下的边缘检测，从而选取更精确的边缘点。
[0080]
步骤3具体为：
[0081]
步骤3.1、利用gsift算法提取红外图像和可见光图像中特征点的特征描述符，利用特征描述符将特征点转化为特征向量；特征描述符能够唯一的描述特征点，适用于配准任务；
[0082]
步骤3.2、为了去除光照等变化的影响，对特征向量进行标准正规化处理；
[0083]
步骤3.3、对于梯度值过大的关键特征向量，先根据特征点梯度幅值的分布情况来设置门限值l0，使得梯度幅值在门限值l0以下的概率为0.95；
[0084]
步骤3.4、找出所有梯度值的幅值大于l0的关键特征点，令该关键特征点的梯度值为l0，而梯度幅值不大于l0的关键特征点的梯度值不变；
[0085]
步骤3.5、再对特征向量和特征点梯度值进行标准化处理；进一步消除误差的影
响；
[0086]
步骤3.6、通过计算标准化处理后的每个特征向量之间的相似性和距离邻近度来完成特征点匹配；
[0087]
步骤3.7、去除显著匹配特征点。
[0088]
步骤4具体为：
[0089]
利用随机采样一致性算法先对整个特征点数据集进行随机采样，对这些采样点线性拟合，得到有效拟合数据，再不断重复随机采样和线性拟合的过程，直到获得准确的匹配特征点。
[0090]
步骤5具体为：
[0091]
步骤5.1、去除resnet深度学习网络尾部的平均池化层、fc层和softmax层；
[0092]
步骤5.2、将配准后的红外图像与可见光图像输入resnet深度学习网络，利用加权融合策略对两幅图像的最大池化层输出特征图进行融合，得到融合特征图a；
[0093]
步骤5.3、所述resnet深度学习网络包括5个stage，将stage3的最大池化层输出的可见光与红外图像的深层特征图用加权融合策略进行融合，得到融合特征图b；将stage4的最大池化层输出的可见光与红外图像的深层特征图用加权融合策略进行融合，得到融合特征图c；
[0094]
步骤5.4、分别将融合特征图a与融合特征图b，融合特征图a与融合特征图c组成两对图像，将这两对图像再次输入resnet网络，并采用相同的加权融合策略对两对图像的最大池化层特征图进行融合，公式如下：
[0095]
f＝w1f
stage
+w2f
fusuon
[0096]
式中，f为融合结果，w1和w2为融合权重，f
stage
为融合特征图b或融合特征图c，f
fusion
为融合特征图a；所述融合权重w1和w2的值均取0.5。
[0097]
步骤5.5、在获得的两个融合结果中选取特征更为显著的作为最终输出结果。
[0098]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

技术特征：
1.一种复杂环境下的电力设备目标检测方法，其特征在于，包括以下步骤：步骤1、利用架设在巡检机器人身上的摄像设备获取低光照复杂环境下电气设备的可见光图像，同时利用红外热成像仪获取对应的红外图像；步骤2、使用结合梯度值的优化阈值o-canny边缘检测算法获得红外图像和可见光图像的边缘信息，利用曲率尺度空间技术检测边缘信息的曲率，以获得红外图像和可见光图像的特征点；步骤3、利用gsift算法提取红外图像和可见光图像中特征点的特征描述符，并完成红外图像和可见光图像的特征点匹配；步骤4、利用随机采样一致性算法对特征点匹配结果进行筛选，得到准确的匹配特征点；步骤5、利用两重resnet深度学习网络对匹配准确的红外图像和可见光图像进行融合，输出融合图像；步骤6、使用labelimg软件分别对红外图像、可见光图像和融合图像中的电力设备进行标注，生成xml文件，制作带标签的数据集；步骤7、设置深度学习网络yolov5训练参数，利用带标签的数据集训练深度学习网络yolov5，利用训练好的深度学习网络yolov5进行三组实验，分别进行可见光图像目标检测、红外图像目标检测和融合图像目标检测，检测出三组实验各自的目标检测精度，验证融合红外图像和可见光图像的必要性。2.如权利要求1所述的复杂环境下的电力设备目标检测方法，其特征在于，步骤2中，所述使用结合梯度值的优化阈值o-canny边缘检测算法获得红外图像和可见光图像的边缘信息具体为：步骤2.1、依据人眼对于rgb三个分量的敏感度计算权值，并按每个分量的权重加权平均得到电力设备红外图像和可见光图像的预处理图像；步骤2.2、利用各像素之间相似度和距离邻近度的两方同时滤波方法去除预处理图像中的噪声；步骤2.3、计算像素点梯度的大小和方向；步骤2.4、将每一像素点的梯度值与该点梯度方向上相邻两个像素的梯度值比较来确定边缘候选点；步骤2.5、利用最大类间方差法找到符合图像自身特征的自适应高阈值t1和低阈值t2；步骤2.6、遍历整幅图像，获取图像中所有像素点的梯度幅值，根据所有像素点的梯度幅值分别找到梯度值g0和g1，使得整幅图像中98％的像素点的梯度幅值都小于g0，其中，g1为整幅图像中像素点梯度幅值的最大值；步骤2.7、利用下式对自适应高阈值t1和低阈值t2进行优化，得到更加适合图像特征的高低阈值：高低阈值：式中，tn1为优化高阈值，tn2为优化低阈值，利用结合梯度幅值的优化阈值tn1和tn2再
次进行两种阈值下的边缘检测，从而选取更精确的边缘点。3.如权利要求1所述的复杂环境下的电力设备目标检测方法，其特征在于，步骤3具体为：步骤3.1、利用gsift算法提取红外图像和可见光图像中特征点的特征描述符，利用特征描述符将特征点转化为特征向量；步骤3.2、对特征向量进行标准正规化处理；步骤3.3、对于梯度值过大的关键特征向量，先根据特征点梯度幅值的分布情况来设置门限值l0，使得梯度幅值在门限值l0以下的概率为0.95；步骤3.4、找出所有梯度值的幅值大于l0的关键特征点，令该关键特征点的梯度值为l0，而梯度幅值不大于l0的关键特征点的梯度值不变；步骤3.5、再对特征向量和特征点梯度值进行标准化处理；步骤3.6、通过计算标准化处理后的每个特征向量之间的相似性和距离邻近度来完成特征点匹配；步骤3.7、去除显著匹配特征点。4.如权利要求1所述的复杂环境下的电力设备目标检测方法，其特征在于，步骤4具体为：利用随机采样一致性算法先对整个特征点数据集进行随机采样，对这些采样点线性拟合，得到有效拟合数据，再不断重复随机采样和线性拟合的过程，直到获得准确的匹配特征点。5.如权利要求1所述的复杂环境下的电力设备目标检测方法，其特征在于，步骤5具体为：步骤5.1、去除resnet深度学习网络尾部的平均池化层、fc层和softmax层；步骤5.2、将配准后的红外图像与可见光图像输入resnet深度学习网络，利用加权融合策略对两幅图像的最大池化层输出特征图进行融合，得到融合特征图a；步骤5.3、所述resnet深度学习网络包括5个stage，将stage3的最大池化层输出的可见光与红外图像的深层特征图用加权融合策略进行融合，得到融合特征图b；将stage4的最大池化层输出的可见光与红外图像的深层特征图用加权融合策略进行融合，得到融合特征图c；步骤5.4、分别将融合特征图a与融合特征图b，融合特征图a与融合特征图c组成两对图像，将这两对图像再次输入resnet网络，并采用相同的加权融合策略对两对图像的最大池化层特征图进行融合，公式如下：f＝w1f
stahe
+w2f
fusion
式中，f为融合结果，w1和w2为融合权重，f
stage
为融合特征图b或融合特征图c，f
fusion
为融合特征图a；步骤5.5、在获得的两个融合结果中选取特征更为显著的作为最终输出结果。6.如权利要求1所述的复杂环境下的电力设备目标检测方法，其特征在于，步骤1中，所述可见光图像的分辨率为600*800，所述红外图像的分辨率为576*768。7.如权利要求5所述的复杂环境下的电力设备目标检测方法，其特征在于，步骤5.4中，所述融合权重w1和w2的值均取0.5。
8.如权利要求1所述的复杂环境下的电力设备目标检测方法，其特征在于，步骤6中，所述红外图像、可见光图像和融合图像的分辨率均统一化为640*480。

技术总结
本发明提出一种复杂环境下的电力设备目标检测方法，包括：1）获取电气设备的可见光图像和红外图像；2）使用结合梯度值的优化阈值O-Canny边缘检测算法获得红外图像和可见光图像的边缘信息，利用曲率尺度空间技术检测边缘信息的曲率获得红外图像和可见光图像的特征点；3）利用GSIFT算法完成红外图像和可见光图像的特征点匹配；4）利用随机采样一致性算法筛选特征点匹配结果；5）利用两重ResNet深度学习网络融合配准的红外图像和可见光图像；6）使用labelImg软件分别标注红外图像、可见光图像和融合图像中的电力设备；7）利用带标签的数据集训练YOLOv5，再分别进行可见光图像目标检测、红外图像目标检测和融合图像目标检测，得到三组实验各自的目标检测精度。组实验各自的目标检测精度。组实验各自的目标检测精度。


技术研发人员：杨洁 朱佳佳 王朗齐 王紫仪
受保护的技术使用者：南京工程学院
技术研发日：2023.06.30
技术公布日：2023/9/6