一种用于无人机巡检的小目标螺栓缺陷检测方法与流程

1.本发明属于数字图像识别技术领域，具体涉及一种用于无人机巡检的小目标螺栓缺陷检测方法，可用于无人机巡检图像中的螺栓缺陷智能识别。


背景技术：

2.输电线路巡检是保障电力系统可靠运行的重要手段，传统巡检方式主要由检修人员在杆塔下使用望远镜或登上杆塔巡视，随着电网规模的不断扩大，传统的人工巡检方式越来越难以满足输电线路巡检的需求。近年来，无人机巡检方式在输电线路巡检中不断推广，大大提高了输电线路巡视的效率。无人机巡检是通过无人机飞手操控或依据指定航线，使无人机到达指定地点，对输电设备进行拍摄。无人机巡检过程中将产生大量的图片，将计算机视觉技术与无人机巡检相结合，将有效促进输电线路自动巡检的发展。
3.螺栓作为输电线路连接金具之间的紧固部件，在输电线路中广泛存在，螺栓缺销、锈蚀、螺母松动等缺陷排查是巡检的重点工作，通过图像识别技术与无人机巡检相结合，对螺栓缺陷进行智能识别，将极大的提高输电线路巡检的效率，保障输电线路的安全。
4.而对于图像识别而言，螺栓物理尺寸小，属于典型的小目标类型。基于深度学习的模型在电力图像识别领域取得了较大的进展，但这些方法对于小尺寸部件识别的适应性仍然较差。由于无人机的航线定位精度及续航时间限制，在巡检过程中往往难以对输电线路上的小尺寸部件进行精细化拍摄。因此，输电线路设备中的螺栓等小尺寸金具在巡检图片中所占面积小，而不包含设备信息的背景部分占据了图片的绝大部分区域。在计算机视觉算法处理过程中，高分辨率的巡检图像往往首先被下采样至一定尺寸，这样将导致大量信息的丢失，大大增加螺栓缺陷等小尺寸目标的检测难度。若直接对原图进行分析处理，大量的无效背景区域将极大的耗费计算资源和时间。
5.因此，通过深入分析输电线路螺栓缺陷的特点，结合现有的深度学习技术，提出适用于无人机巡检的输电线路图像螺栓缺陷智能识别方法，对于提高输电线路巡检的效率、推动巡检的智能化发展具有重要的意义。


技术实现要素：

6.为了解决上述问题，本发明提供了一种用于无人机巡检的小目标螺栓缺陷检测方法，能够通过对无人机拍摄得到的输电线路巡检图像进行智能分析，有效的识别输电线路的螺栓缺陷，为电力检测人员提供参考，保障电力传输的可靠性。
7.本发明所采用的技术方案是：
8.一种用于无人机巡检的小目标螺栓缺陷检测方法，包括以下步骤：
9.步骤1：构建适用于小目标特征提取的主干网络；
10.步骤2：构建全局-局部两阶段小目标螺栓缺陷检测模型；
11.步骤3：基于无人机巡检图像构建小目标螺栓缺陷数据集；
12.步骤4：将本发明提出的全局-局部两阶段小目标螺栓缺陷检测模型在无人机巡检
图片数据集上进行训练；
13.步骤5：使用训练好的模型，对无人机巡检图片中的螺栓缺陷进行智能识别。
14.在上述的步骤1中，具体的实现如下：
15.步骤1.1：以resnet为主干网络设计小目标螺栓缺陷特征提取网络；
16.步骤1.2：在特征提取网络中加入混合注意力模块，该模块主要分为通道注意力层和空间注意力层，通道注意力层可以增强有利于表示目标的特征图并抑制其他特征图，而空间注意力层则是在特征图内增强目标所在的前景区域，并抑制背景区域的信息。通过设计混合注意力模块，可以使得特征提取过程中尽可能保留前景信息，增加特征提取的有效性；
17.步骤1.3：在特征提取网络中采用特征金字塔网络进行多尺度特征融合，通过融合不同尺度的特征，减少特征提取过程中的信息损失，提高螺栓缺陷的检测精度。
18.在上述的步骤2中，具体的实现如下：
19.步骤2.1：全局-局部超小目标检测模块由两个分支组成：全局显著性区域检测分支和局部目标检测分支。全局显著性区域检测分支以下采样后的原始图像作为输入，经过特征提取网络后，采用区域建议网络生成显著性区域，并根据显著性区域坐标在原始图片中裁剪处相应的像素块。剪裁得到的图片块传入局部目标检测分支，从各个图片块中识别出目标并映射至原图中，通过非极大值抑制去除重复结果，从而得到超小目标识别结果；
20.步骤2.2：在全局显著性区域检测分支中，利用k-means算法对候选目标进行聚类，避免在显著性区域生成阶段对标注数据的需求；
21.步骤2.3：局部目标检测分支以全局显著性区域检测分支提取的前景图片块作为输入数据，借鉴faster rcnn网络进行设计，同时引入自注意力机制对rpn网络进行优化。
22.在上述的步骤3中，具体的实现如下：
23.步骤3.1：本方法在实施过程中首先对原始巡检图像中的螺栓目标进行标注，随后将原始数据集分为2个子数据集，其中子数据集一用于全局显著性区域检测分支的训练，数据集二用于局部目标检测分支的训练；
24.步骤3.2：子数据集一将巡检图片中所有标记好的螺栓目标类别进行合并为“前景”这一目标类型构成目标检测数据集；
25.步骤3.3：子数据集二由原始数据集进行随机剪裁成640
×
640的小图片后构成，目标类别与原始数据集保持一致。
26.在上述的步骤4中，具体的实现如下：
27.步骤4.1：首先本方法在imagenet2012公开数据集上对特征提取网络进行预训练；
28.步骤4.2：利用与训练好的特征提取网络分别对全局显著性区域检测分支和局部目标检测分支进行初始化，并将两个模块分别在子数据集一和子数据集二上进行训练。
29.本发明针对输电线路巡检图片中螺栓缺陷目标小、特征提取困难的问题，结合局部图像提取、特征融合、注意力机制等技术，提出了一种用于无人机巡检的小目标螺栓缺陷检测方法，全局显著性区域检测分支获取高分辨率图像中的特征密集区域，得到局部精细图像，随后利用全局-局部检测网络对不同尺度的图片进行检测，并采用改进非极大值抑制方法将全局-局部识别结果进行融合，从而实现输电线路无人机巡检图片中小目标螺栓缺陷端到端识别。
30.说明书附图
31.图1是本发明混合注意力模块结构示意图；
32.图2是本发明采用多尺度特征融合的主干网络示意图；
33.图3是本发明全局-局部两阶段小目标螺栓缺陷检测模型整体结构图；
34.图4是本发明螺栓缺陷示例图。
具体实施方式
35.为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
36.本发明提供的一种用于无人机巡检的小目标螺栓缺陷检测方法，包括以下步骤：
37.步骤1：构建适用于小目标特征提取的主干网络；
38.步骤1.1：本发明以resnet为基础设计超小目标特征提取网络，深度残差网络(deep residual network,resnet)是计算机视觉领域最具有代表性的特征提取网络之一，主要包含resnet-50、resnet-101、resnet-152等不同深度的网络结构，随着网络层数的增加，对于深层特征的提取能力进一步增强，但会导致纹理特征的丢失，不利于小目标的检测，同时计算量也将大幅上升。本实施例以resnet-50构建主干网络，应当理解的是，使用其他主干网络同样在本专利的保护范围之内。
39.步骤2.2：图片中的像素信息由卷积神经网络进行特征提取后，形成一定深度的特征图，由这些特征图来表示目标。输电线路超小目标检测任务中，用于表示待检测目标的像素信息较少，全局卷积特征提取的过程中会导致背景信息占据主导，而有效信息难以提取。因此，本文在特征提取网络中加入混合注意力模块，该模块主要分为通道注意力层和空间注意力层，通道注意力层可以增强有利于表示目标的特征图并抑制其他特征图，而空间注意力层则是在特征图内增强目标所在的前景区域，并抑制背景区域的信息。通过设计混合注意力模块，可以使得特征提取过程中尽可能保留前景信息，增加特征提取的有效性。混合注意力模块的结构图如附图1所示。
40.步骤2.3：卷积神经网络通过对原始图像进行卷积和池化操作，获取不同尺度的特征图。实验表明，浅层特征图分辨率高，较为完整的保留了原始图片的细节信息，但对于物体的整体形态表示能力不足；深层特征图经过了复杂的非线性变换，包含丰富的语义信息，但同时也由于分辨率过低而导致图片中的细节信息丢失。对于输电线路超小目标检测任务而言，浅层特征图难以捕捉目标整体形态信息，而深层特征图则由于卷积操作导致小目标像素信息损失，可利用信息大大减少。因此，本文采用特征金字塔网络进行多尺度特征融合，从而提高输电线路超小目标检测的准确率。
41.步骤2：构建全局-局部两阶段小目标螺栓缺陷检测模型；
42.步骤2.1：全局-局部超小目标检测模块由两个分支组成：全局显著性区域检测分支和局部目标检测分支。全局显著性区域检测分支以下采样后的原始图像作为输入，经过特征提取网络后，采用区域建议网络生成显著性区域，并根据显著性区域坐标在原始图片中裁剪处相应的像素块。剪裁得到的图片块传入局部目标检测分支，从各个图片块中识别出目标并映射至原图中，通过非极大值抑制去除重复结果，从而得到超小目标识别结果。全
局-局部两阶段小目标螺栓缺陷检测模型结构图如附图2所示。
43.步骤2.2：全局显著性区域检测分支首先将原始图片下采样至800
×
800，利用特征提取网络得到特征图，随后，本文基于区域建议网络设计了超小目标显著性区域提取模块。
44.超小目标显著性区域提取网络用于提取图片中目标聚集区域，对于输入的特征图，以25*25*256的特征图为例，则可在原始图片中等间隔选取25
×
25个锚点作为候选窗口的中心点，在每个中心点位置设置9个可能的候选窗口{32*32,32*64,64*32,64*64,64*128,128*64,128*128,128*256,256*128}，并给每个候选窗口分配一个二进制标签，因此，每个点的标签最终可用18维的向量表示。在该模块中，若候选窗口与任意一个目标的重叠部分大于该目标面积的70％，则认为该区域为显著性区域，为该候选框赋予正标签，若候选窗口与所有目标的重叠部分均小于该目标面积的30％，则认为该区域为背景，为该候选框赋予负标签，其余候选框为非正非负。值得注意的是，本模型中特征提取网络采用特征金字塔结构，因此，本文将9个不同大小的候选框分散至三个不同尺度的特征图中进行预测。
45.超小目标显著性区域提取网络的损失函数如下式。
[0046][0047]
其中n
cls
表示类别数量，超小目标显著性区域提取模块中，该模块中包含前景和背景2个类别，因此n
cls
＝2，l
cls
(pi,p
i*
)表示类别损失函数，本文中l
cls
(pi,p
i*
)采用交叉熵来度量预测值与实际值之间的误差，具体可以表示为下式。
[0048][0049]
其中，p
i*
表示实际类别，pi表示预测类别。
[0050]
在模型训练过程中，由于候选框数量较多，且正负样本严重不平衡，本文中仅在每个尺度的特征图中选取256个正样本和256个负样本参与训练。测试过程中最终得到置信度最高的300个候选框作为前景区域。
[0051]
对于每个候选框，分别以其中心点以及四条边的中点来表征目标位置，从而得到1500个锚点。对这1500个锚点使用k-means聚类，得到n个聚类中心，随后对于每一类锚点中，若与某个锚点距离小于64的锚点数量少于3，则该锚点无效。对于有效锚点，获取对应边界，从而获取显著性区域。具体实现如算法1所示。
[0052][0053][0054]
步骤2.3：局部目标检测分支以全局显著性区域检测分支提取的前景图片块作为输入数据，将图片块统一重采样至640
×
640，经过特征提取网络获取图片特征图，目标检测阶段借鉴faster rcnn网络进行设计，同时引入自注意力机制对rpn网络进行优化，局部目标检测模块整体结构如附图3中的局部目标检测分支所示。
[0055]
首先，本文分别基于conv_4和conv_5输出特征建立自注意力语义特征提取分支，分别如附图3中蓝色和橙色箭头所示。通过增加该语义特征提取分支，可以在图片下采样过程中充分保留像素之间的相关关系。随后本文将conv_4和conv_5得到的语义特征图进行拼
接，需要注意的是，conv_4语义特征图首先经过average pooling进行下采样，使之与conv_5语义特征图保持维度一致。最后，语义特征图与conv_proposal feature map进行融合，共同用于后续的目标检测。
[0056]
局部目标检测模块的损失函数如下式。
[0057][0058]
其中n
cls
表示类别数量，在局部目标检测模块中，螺栓根据其不同状态共被分为6类，另外需要将背景单独作为一类，因此n
cls
＝7，l
cls
(pi,p
i*
)表示类别损失函数，本文中l
cls
(pi,p
i*
)采用交叉熵来计算得到，具体可以表示为下式。
[0059][0060]
其中，p
i*
表示实际类别，pi表示预测类别。
[0061]npos
表示位置坐标数，本文采用矩形框来表示目标位置，因此n
pos
＝4，l
pos
表示位置损失函数，为了加快模型的收敛速度，本文引入了ciou(complete intersection over union loss)损失函数来计算位置损失，具体可表示为以下公式。
[0062][0063]
其中，ti表示预测框的位置，t
i*
表示实际框的位置，ρ表示预测框ti的中心点与真实目标位置t
i*
的中心点之间的欧氏距离，c表示覆盖ti和t
i*
的最小矩形的对角线长度，iou表示ti和t
i*
的交并比，可通过下式进行计算。
[0064][0065]
α为平衡系数，可以通过下式进行计算。
[0066][0067]
其中，υ表示预测目标的长宽比与实际目标的长宽比的耦合系数，可通过下式进行表示。
[0068][0069]
其中，w和h表示预测目标的宽和高，w
*
和h
*
表示实际目标的宽和高。
[0070]
步骤3：基于无人机巡检图像构建小目标螺栓缺陷数据集；
[0071]
步骤3.1：本发明所用数据集的主要目标是三角联板、调整板、线夹等连接金具处的螺栓，根据螺栓的视觉形态不同，本文将待识别螺栓目标分为五种类型：a螺母加销钉正常形态；b双螺母正常形态；c螺母加销钉，缺销钉形态；d双螺母，螺母松脱形态；e双螺母，螺母缺失形态；f螺母锈蚀；各个类别的示例如附图4所示。
[0072]
步骤3.2：本实施例总共收集到带螺栓缺陷的样本图片1852张，随机选择其中1482张样本图片作为训练集，370张样本图片作为测试集，根据pascal voc标准对样本图片进行了标注；
[0073]
步骤3.3：为了使数据集能够更好的适用于本发明所提方法两阶段的训练任务，本实施例对训练集进行了进一步处理，得到两个数据集；
[0074]
数据集a：将所有目标类别进行合并为“前景”这一目标类型，训练集和测试集合计共有14635个目标，该数据集用于全局显著性区域检测分支的训练和测试；
[0075]
数据集b：该数据集由原始数据集进行随机剪裁得到，剪裁后的图片大小为640
×
640，考虑到a、b两类目标远多于其他四类目标，因此，若剪裁后的图片仅包含a或b类目标，则将该图片舍去。本文从每张图片中随机剪裁得到5张图片，最终训练集得到7410张图片，测试集得到1850张图片，组成数据集b，用于局部目标检测分支的训练和测试；
[0076]
步骤4：将本发明提出的全局-局部两阶段小目标螺栓缺陷检测模型在无人机巡检图片数据集上进行训练；
[0077]
步骤4.1：本实施例需要对特征提取网络、全局显著性区域检测分支、局部目标检测分支分别进行训练，为了使模型能够在本实施例数据集上更好的收敛，首先需在imagenet数据集上对特征提取网络进行预训练，得到初始化权重；
[0078]
步骤4.2：本实施例以局部目标检测分支中所设计的模型结构在imagenet数据集上上进行预训练，首先将整个模型进行随机初始化，然后在预训练数据集上训练40代，其中初始训练权重为0.001，训练32代后权重衰减为0.0001。训练过程中采用小批量梯度下降方法，每次训练的图片数量为64张，训练过程中采用随机梯度下降法优化参数，并采用动量优化方法来加速收敛，动量设置为0.9。模型训练结束后，将训练好的参数保存至权重文件；
[0079]
步骤4.3：全局显著性区域检测分支训练时，首先利用本文中预训练好的模型对特征提取网络进行初始化，其余参数进行随机初始化，同时，将网络的前三层参数冻结，仅训练后两层和头部参数。模型在本文数据集a上训练15代，输入图片统一重采样至800
×
800，初始学习率为0.01，训练12代后学习率衰减为0.001。其余优化策略与预训练时保持一致。局部目标检测分支在数据集b完成训练，其训练过程及超参数设置与全局显著性区域检测分支训练时相同；
[0080]
步骤5：使用训练好的模型，对无人机巡检图片中的螺栓缺陷进行智能识别；
[0081]
步骤5.1：为了评估本文所提方法的有效性，本文采用faster rcnn、ssd、retinanet模型进行对比验证，测试结果如表1所示。从测试结果可以看出，本发明所提出的方法在输电线路螺栓缺陷检测任务上的性能远远超过其他方法。
[0082]
表1模型测试结果对比
[0083][0084]
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
[0085]
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

技术特征：
1.一种用于无人机巡检的小目标螺栓缺陷检测方法，其特征在于：包含以下步骤：步骤1：构建适用于小目标特征提取的主干网络；步骤2：构建全局-局部两阶段小目标螺栓缺陷检测模型；步骤3：基于无人机巡检图像构建小目标螺栓缺陷数据集；步骤4：将本发明提出的全局-局部两阶段小目标螺栓缺陷检测模型在无人机巡检图片数据集上进行训练；步骤5：使用训练好的模型，对无人机巡检图片中的螺栓缺陷进行智能识别。2.根据权利要求1所述的一种用于无人机巡检的小目标螺栓缺陷检测方法，其特征在于：步骤1所述的构建适用于小目标特征提取的主干网络，其具体步骤如下：步骤1.1：以resnet为主干网络设计小目标螺栓缺陷特征提取网络；步骤1.2：在特征提取网络中加入混合注意力模块，该模块主要分为通道注意力层和空间注意力层，通道注意力层可以增强有利于表示目标的特征图并抑制其他特征图，而空间注意力层则是在特征图内增强目标所在的前景区域，并抑制背景区域的信息，通过设计混合注意力模块，可以使得特征提取过程中尽可能保留前景信息，增加特征提取的有效性；步骤1.3：在特征提取网络中采用特征金字塔网络进行多尺度特征融合，通过融合不同尺度的特征，减少特征提取过程中的信息损失，提高螺栓缺陷的检测精度。3.根据权利要求1所述的一种用于无人机巡检的小目标螺栓缺陷检测方法，其特征在于：步骤2所述的构建全局-局部两阶段小目标螺栓缺陷检测模型，其具体步骤如下：步骤2.1：全局-局部超小目标检测模块由两个分支组成：全局显著性区域检测分支和局部目标检测分支，全局显著性区域检测分支以下采样后的原始图像作为输入，经过特征提取网络后，采用区域建议网络生成显著性区域，并根据显著性区域坐标在原始图片中裁剪处相应的像素块，剪裁得到的图片块传入局部目标检测分支，从各个图片块中识别出目标并映射至原图中，通过非极大值抑制去除重复结果，从而得到超小目标识别结果；步骤2.2：在全局显著性区域检测分支中，利用k-means算法对候选目标进行聚类，避免在显著性区域生成阶段对标注数据的需求；算法的实现流程如下：
步骤2.3：局部目标检测分支以全局显著性区域检测分支提取的前景图片块作为输入数据，借鉴faster rcnn网络进行设计，同时引入自注意力机制对rpn网络进行优化。4.根据权利要求1所述的一种用于无人机巡检的小目标螺栓缺陷检测方法，其特征在于：步骤3所述的基于无人机巡检图像构建小目标螺栓缺陷数据集，其具体步骤如下：步骤3.1：在实施过程中首先对原始巡检图像中的螺栓目标进行标注，随后将原始数据集分为2个子数据集，其中子数据集一用于全局显著性区域检测分支的训练，数据集二用于局部目标检测分支的训练；步骤3.2：子数据集一将巡检图片中所有标记好的螺栓目标类别进行合并为“前景”这一目标类型构成目标检测数据集；步骤3.3：子数据集二由原始数据集进行随机剪裁成640
×
640的小图片后构成，目标类别与原始数据集保持一致。5.根据权利要求1所述的一种用于无人机巡检的小目标螺栓缺陷检测方法，其特征在
于：步骤4所述的将本发明提出的全局-局部两阶段小目标螺栓缺陷检测模型在无人机巡检图片数据集上进行训练，其具体步骤如下：步骤4.1：首先本方法在imagenet2012公开数据集上对特征提取网络进行预训练；步骤4.2：利用与训练好的特征提取网络分别对全局显著性区域检测分支和局部目标检测分支进行初始化，并将两个模块分别在子数据集一和子数据集二上进行训练。

技术总结
本发明公开了一种用于无人机巡检的小目标螺栓缺陷检测方法，包括以下步骤：(1)构建适用于小目标特征提取的主干网络；(2)构建全局-局部两阶段小目标螺栓缺陷检测模型；(3)基于无人机巡检图像构建小目标螺栓缺陷数据集；(4)将本发明提出的全局-局部两阶段小目标螺栓缺陷检测模型在无人机巡检图片数据集上进行训练；(5)使用训练好的模型，对无人机巡检图片中的螺栓缺陷进行智能识别。本发明针对输电线路巡检图片中螺栓缺陷目标小、特征提取困难的问题，结合局部图像提取、特征融合、注意力机制等技术，提出了一种用于无人机巡检的小目标螺栓缺陷检测方法。螺栓缺陷检测方法。螺栓缺陷检测方法。


技术研发人员：罗鹏 王波 马富齐 王红霞 马恒瑞 王雷雄
受保护的技术使用者：武汉珈楚智能信息技术有限公司
技术研发日：2023.04.23
技术公布日：2023/8/13