轻量化YOLOv5s网络模型训练方法、绝缘子缺陷检测方法与流程

轻量化yolov5s网络模型训练方法、绝缘子缺陷检测方法
技术领域
1.本技术涉及图像处理技术领域，特别是涉及一种轻量化yolov5s网络模型训练方法、绝缘子缺陷检测方法。


背景技术：

2.绝缘子是输电线路中的关键部件，在通常情况下，绝缘子部件需要长期暴露于野外的自然环境中，且日晒、雨淋、雷电等恶劣自然现象，会导致绝缘子部件出现自爆、破损、裂纹和污秽等缺陷问题。因此，为了保障输电线路的运行稳定性，需要及时针对出现缺陷问题的绝缘子部件进行检修与更换。
3.然而，由于输电线路的巡检图像具有体量较大和价值密度较低的大数据特征，而现有技术仍主要依赖于人工检测的方式对该类型图像进行检测，但人工检测方式的检测效率和检测精度均有待提高，故基于现有技术尚难以及时发现绝缘子部件存在的缺陷问题。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种轻量化yolov5s网络模型训练方法、绝缘子缺陷检测方法。
5.第一方面，本技术提供了一种轻量化yolov5s网络模型训练方法，所述方法包括：
6.对获取到的原始绝缘子图像数据集进行预处理，得到目标绝缘子图像数据集；
7.基于轻量级mobilenetv3网络和slim-neck结构，改进yolov5s网络模型，得到轻量化yolov5s网络模型；
8.采用所述目标绝缘子图像数据集，对所述轻量化yolov5s网络模型进行训练，得到第一网络模型文件；
9.依次对所述第一网络模型文件进行模型剪枝和模型蒸馏，得到目标网络模型文件。
10.在其中一个实施例中，所述基于轻量级mobilenetv3网络和slim-neck结构，改进yolov5s网络模型，得到轻量化yolov5s网络模型，包括：
11.将mobilenetv3网络中的se注意力机制模块替换为ca轻量级注意力机制模块，得到所述轻量级mobilenetv3网络；采用所述轻量级mobilenetv3网络，替换所述yolov5s网络模型的主干网络，并采用所述slim-neck结构，替换所述yolov5s网络模型的neck层中的panet网络，得到所述轻量化yolov5s网络模型。
12.在其中一个实施例中，所述轻量化yolov5s网络模型的损失函数为eiou损失函数；所述对获取到的原始绝缘子图像数据集进行预处理，得到目标绝缘子图像数据集，包括：
13.对所述原始绝缘子图像数据集进行数据增强，得到第一绝缘子图像数据集；对所述第一绝缘子图像数据集进行数据标注，得到目标绝缘子图像训练集和目标绝缘子图像测试集。
14.在其中一个实施例中，所述数据增强的方式包括mosaic算法和mixup算法；所述数
据标注的工具包括labelimg工具；所述采用所述目标绝缘子图像数据集，对所述轻量化yolov5s网络模型进行训练，得到第一网络模型文件，包括：
15.采用所述目标绝缘子图像训练集，对所述轻量化yolov5s网络模型进行训练；采用所述目标绝缘子图像测试集，对训练后的所述轻量化yolov5s网络模型进行参数评估，直至所述轻量化yolov5s网络模型的训练结果满足预设指标，得到所述第一网络模型文件。
16.在其中一个实施例中，所述依次对所述第一网络模型文件进行模型剪枝和模型蒸馏，得到目标网络模型文件，包括：
17.对所述第一网络模型文件进行稀疏训练，得到稀疏模型文件；将所述稀疏模型文件进行通道剪枝，得到剪枝模型文件；对所述第一网络模型文件和所述剪枝模型文件进行模型蒸馏，得到所述目标网络模型文件。
18.第二方面，本技术还提供了一种绝缘子缺陷检测方法，所述方法包括：
19.将获取到的若干绝缘子图像输入至预训练好的轻量化yolov5s网络模型，得到各所述绝缘子图像对应的状态分类信息；其中，所述轻量化yolov5s网络模型为采用上述轻量化yolov5s网络模型训练方法进行训练；
20.基于所述状态分类信息，得到各所述绝缘子图像对应的检测结果。
21.第三方面，本技术还提供了一种轻量化yolov5s网络模型训练装置，所述装置包括：
22.图像数据预处理单元，用于对获取到的原始绝缘子图像数据集进行预处理，得到目标绝缘子图像数据集；
23.轻量化网络模型获取单元，用于基于轻量级mobilenetv3网络和slim-neck结构，改进yolov5s网络模型，得到轻量化yolov5s网络模型；
24.第一模型文件获取单元，用于采用所述目标绝缘子图像数据集，对所述轻量化yolov5s网络模型进行训练，得到第一网络模型文件；
25.目标模型文件获取单元，用于依次对所述第一网络模型文件进行模型剪枝和模型蒸馏，得到目标网络模型文件。
26.第四方面，本技术还提供了一种绝缘子缺陷检测装置，所述装置包括：
27.分类信息获取单元，用于将获取到的若干绝缘子图像输入至预训练好的轻量化yolov5s网络模型，得到各所述绝缘子图像对应的状态分类信息；其中，所述轻量化yolov5s网络模型为采用上述轻量化yolov5s网络模型训练方法进行训练；
28.检测结果输出单元，用于基于所述状态分类信息，得到各所述绝缘子图像对应的检测结果。
29.第五方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
30.第六方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
31.第七方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
32.上述轻量化yolov5s网络模型训练方法，首先，对获取到的原始绝缘子图像数据集
进行预处理，得到目标绝缘子图像数据集。然后，基于轻量级mobilenetv3网络和slim-neck结构，改进yolov5s网络模型，得到轻量化yolov5s网络模型。接着，采用目标绝缘子图像数据集，对轻量化yolov5s网络模型进行训练，得到第一网络模型文件。最后，依次对第一网络模型文件进行模型剪枝和模型蒸馏，得到目标网络模型文件。本技术通过基于轻量级mobilenetv3网络和slim-neck结构，改进现有的yolov5s网络模型，得到轻量化yolov5s网络模型，并通过针对该轻量化yolov5s网络模型进行模型剪枝和模型蒸馏，获取得到轻量化yolov5s网络模型的目标模型文件，不仅能够减少轻量化yolov5s网络模型的参数量，进而有效降低运行轻量化yolov5s网络模型对计算机设备造成的硬件资源消耗，还能够有效保障轻量化yolov5s网络模型的检测精度和泛化能力。
33.上述绝缘子缺陷检测方法，首先，将获取到的若干绝缘子图像输入至预训练好的轻量化yolov5s网络模型，得到各绝缘子图像对应的状态分类信息。然后，基于状态分类信息，得到各绝缘子图像对应的检测结果。本技术通过基于预训练好的轻量化yolov5s网络模型，对获取到的若干绝缘子图像进行状态分类与识别，以获取得到各绝缘子图像各自对应的检测结果，不仅能够提高绝缘子图像的检测精度，还能够有效提升绝缘子图像的检测效率，进而实现及时发现绝缘子部件存在的缺陷问题。
附图说明
34.图1为一个实施例中提供的一种轻量化yolov5s网络模型训练方法的流程示意图；
35.图2为一个实施例中提供的一种获取轻量化yolov5s网络模型的具体方式的流程示意图；
36.图3为一个实施例中提供的一种获取目标绝缘子图像数据集的具体方式的流程示意图；
37.图4为一个实施例中提供的一种获取第一网络模型文件的具体方式的流程示意图；
38.图5为一个实施例中提供的一种获取目标网络模型文件的具体方式的流程示意图；
39.图6为一个实施例中绝缘子缺陷检测方法的流程示意图；
40.图7为一个实施例中提供的一种轻量化yolov5s网络模型训练装置的结构框图；
41.图8为一个实施例中提供的一种绝缘子缺陷检测装置的结构框图；
42.图9为一个实施例中提供的一种计算机设备的内部结构图。
具体实施方式
43.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
44.本技术实施例提供的轻量化yolov5s网络模型训练方法和绝缘子缺陷检测方法，可以应用于服务器或终端执行。其中，数据存储系统可以存储服务器需要处理的数据；数据存储系统可以集成在服务器上，也可以放在云上或其他网络服务器上；终端可以但不限于是各种个人计算机、笔记本电脑、平板电脑；服务器可以用独立的服务器或者是多个服务器
组成的服务器集群来实现。
45.在一个实施例中，如图1所示，提供了一种轻量化yolov5s网络模型训练方法，以该方法应用于服务器执行为例进行说明，包括以下步骤：
46.步骤s110，对获取到的原始绝缘子图像数据集进行预处理，得到目标绝缘子图像数据集。
47.本步骤中，原始绝缘子图像，是指在针对输电线路进行巡检时拍摄的输电线路的绝缘子部件的原始图像；原始绝缘子图像数据集，是指包含大量前述原始绝缘子图像的图像数据集；目标绝缘子图像数据集，是指对获取到的原始绝缘子图像数据集进行预处理之后，获取得到的目标绝缘子图像数据集。
48.在实际应用中，原始绝缘子图像，可以是在使用无人机在针对输电线路进行巡检时拍摄的输电线路的绝缘子部件的原始图像，该原始图像可以包括表征绝缘子自爆、破损、脏污、钢帽锈蚀等绝缘子缺陷问题的图像；对获取到的原始绝缘子图像数据集进行预处理的具体方式，可以是以增加原始绝缘子图像数据集中包含的图像数量为目的，针对原始绝缘子图像数据集进行扩充，并针对扩充后的图像数据集进行数据标注；针对原始绝缘子图像数据集进行扩充的具体方式，可以是采用mosaic算法、mixup算法等用于进行数据增强的算法，针对原始绝缘子图像数据集进行数据增强。
49.步骤s120，基于轻量级mobilenetv3网络和slim-neck结构，改进yolov5s网络模型，得到轻量化yolov5s网络模型。
50.本步骤中，slim-neck结构，是指引入了轻量化卷积技术gsconv代替标准的卷积操作，加入了gsbottleneck模块，并使用一次性聚合的方法设计vov-gscsp模块的slim-neck结构；轻量化yolov5s网络模型，是指基于轻量级mobilenetv3网络和slim-neck结构，对yolov5s网络模型进行改进之后，获取得到的轻量化yolov5s网络模型。
51.在实际应用中，基于轻量级mobilenetv3网络和slim-neck结构，改进yolov5s网络模型的具体方式，可以是采用轻量级mobilenetv3网络，替换yolov5s网络模型的用于进行图像特征提取的主干网络(backbone)，并在yolov5s网络模型的neck层中使用slim-neck结构，以替换yolov5s网络模型的neck层中原有的路径聚合网络(path aggregation network，panet)网络。
52.步骤s130，采用目标绝缘子图像数据集，对轻量化yolov5s网络模型进行训练，得到第一网络模型文件。
53.本步骤中，目标绝缘子图像数据集，是指对获取到的原始绝缘子图像数据集进行预处理之后，获取得到的目标绝缘子图像数据集；轻量化yolov5s网络模型，是指基于轻量级mobilenetv3网络和slim-neck结构，对yolov5s网络模型进行改进之后，获取得到的轻量化yolov5s网络模型；第一网络模型文件，采用目标绝缘子图像数据集，对轻量化yolov5s网络模型进行训练之后，获取得到的在训练中表现最佳的第一网络模型文件。
54.步骤s140，依次对第一网络模型文件进行模型剪枝和模型蒸馏，得到目标网络模型文件。
55.本步骤中，第一网络模型文件，采用目标绝缘子图像数据集，对轻量化yolov5s网络模型进行训练之后，获取得到的在训练中表现最佳的第一网络模型文件；目标网络模型文件，是指依次对第一网络模型文件进行模型剪枝和模型蒸馏之后，获取得到的符合预设
模型精度指标要求的目标网络模型文件。
56.上述轻量化yolov5s网络模型训练方法，首先，对获取到的原始绝缘子图像数据集进行预处理，得到目标绝缘子图像数据集。然后，基于轻量级mobilenetv3网络和slim-neck结构，改进yolov5s网络模型，得到轻量化yolov5s网络模型。接着，采用目标绝缘子图像数据集，对轻量化yolov5s网络模型进行训练，得到第一网络模型文件。最后，依次对第一网络模型文件进行模型剪枝和模型蒸馏，得到目标网络模型文件。本技术通过基于轻量级mobilenetv3网络和slim-neck结构，改进现有的yolov5s网络模型，得到轻量化yolov5s网络模型，并通过针对该轻量化yolov5s网络模型进行模型剪枝和模型蒸馏，获取得到轻量化yolov5s网络模型的目标模型文件，不仅能够减少轻量化yolov5s网络模型的参数量，进而有效降低运行轻量化yolov5s网络模型对计算机设备造成的硬件资源消耗，还能够有效保障轻量化yolov5s网络模型的检测精度和泛化能力。
57.对于获取轻量化yolov5s网络模型的具体方式，在一个实施例中，如图2所示，上述步骤s120具体包括：
58.步骤s210，将mobilenetv3网络中的se注意力机制模块替换为ca轻量级注意力机制模块，得到轻量级mobilenetv3网络。
59.本步骤中，se注意力机制模块，是指mobilenetv3网络中原有的、基于挤压和激励注意力(squeeze and excitation attention，se)机制的注意力模块；ca轻量级注意力机制模块，是指基于协调注意力(coordinate attention，ca)机制构成的注意力模块；轻量级mobilenetv3网络，是指将mobilenetv3网络中的se注意力机制模块替换为ca轻量级注意力机制模块之后，获取得到的轻量级mobilenetv3网络。
60.进一步的，由于mobilenetv3网络中原有的se注意力机制模块，通常会忽略位置信息，而ca轻量级注意力机制模块利用两个1d全局池操作，能够分别将沿垂直方向和水平方向输入的特征，聚合为两个具备方向性特定信息的特征图，且可以将前述两个具备方向性特定信息的特征图，分别编码为两个注意力图(每一注意力图可以捕获输入特征图沿一个空间方向的长距离相关性，进而使得输入特征图中具备的方向性特定信息，可以被保存在注意力图之中)，然后通过乘法将两个注意力图应用于表示输入特征图中的感兴趣对象。因此，ca轻量级注意力机制模块不仅能够跨通道捕获信息，还具备方向感知能力，可以捕获位置敏感信息，通过将mobilenetv3网络中的se注意力机制模块替换为ca轻量级注意力机制模块，能够帮助mobilenetv3网络更为准确地定位和识别输入特征图中的感兴趣对象。
61.步骤s220，采用轻量级mobilenetv3网络，替换yolov5s网络模型的主干网络，并采用slim-neck结构，替换yolov5s网络模型的neck层中的panet网络，得到轻量化yolov5s网络模型。
62.本步骤中，轻量级mobilenetv3网络，是指将mobilenetv3网络中的se注意力机制模块替换为ca轻量级注意力机制模块之后，获取得到的轻量级mobilenetv3网络；slim-neck结构，是指引入了轻量化卷积技术gsconv代替标准的卷积操作，加入了gsbottleneck模块，并使用一次性聚合的方法设计vov-gscsp模块的slim-neck结构；yolov5s网络模型的主干网络，是指yolov5s网络模型中用于进行图像特征提取的主干网络(backbone)；panet网络，即yolov5s网络模型的neck层中原有的panet网络；轻量化yolov5s网络模型，是指采用轻量级mobilenetv3网络，替换yolov5s网络模型的主干网络，并采用slim-neck结构，替
换yolov5s网络模型的neck层中的panet网络之后，获取得到的轻量化yolov5s网络模型。
63.具体而言，在slim-neck结构中，引入了轻量化卷积技术gsconv，来代替标准的卷积操作，gsconv不仅能够使得卷积计算的输出尽可能接近标准卷积，还能够有效降低计算成本(轻量化卷积技术gsconv的计算成本仅约为标准卷积的60％-70％)。然而，假如在yolov5s网络模型的所有阶段均采用gsconv，则有可能加深模型的网络层次，而较深的网络层次则会加剧数据流受到的阻力，进而显著增加模型的推理时间，而当特征图到达yolov5s网络模型中的neck层时，特征图的通道维度已经达到了最大值，且宽高维度已经达到了最小值。因此，仅在yolov5s网络模型中的neck层采用gsconv即可。
64.进一步的，在slim-neck结构中，除引入了轻量化卷积技术gsconv，来代替标准的卷积操作之外，还加入了gsbottleneck模块，并使用一次性聚合的方法来设计vov-gscsp模块。其中，vov-gscsp模块能够在降低模型的计算复杂度和网络结构的复杂性的同时，保证足够的计算精度，而使用vov-gscsp代替yolov5s网络模型的neck层的csp层，则能够有效减少模型约15.72％的每秒执行浮点运算次数(floating-point operations per second，flops)。
65.在实际应用中，可以采用考虑了重叠面积、中心点距离、宽高三个重要因素的eiou损失函数(高效交并比损失函数，efficient intersection over union，eiou)，作为轻量化yolov5s网络模型的损失函数(即目标框回归的损失函数)，以替代yolov5s网络模型原有的giou损失函数(通用交并比损失函数，generalized intersection over union，giou)。eiou损失函数，可以通过如下公式进行表示：
[0066][0067]
其中，ρ2(b
p
,b
gt
)表示预测框和真实框的中心点之间的距离；c表示预测框和真实框的最小外接矩形的对角线距离；w
gt
为真实框的宽度，h
gt
为真实框的高度；w
p
为预测框的宽度，h
p
为预测框的高度；cw为预测框和真实框的最小外接矩形的宽度，ch为预测框和真实框的最小外接矩形的高度。
[0068]
上述实施例通过将mobilenetv3网络中的se注意力机制模块替换为ca轻量级注意力机制模块，得到轻量级mobilenetv3网络，并采用轻量级mobilenetv3网络，替换yolov5s网络模型的主干网络，并采用slim-neck结构，替换yolov5s网络模型的neck层中的panet网络，得到轻量化yolov5s网络模型的方式，有效减少了轻量化yolov5s网络模型的参数量，进而有效降低了运行轻量化yolov5s网络模型对计算机设备造成的硬件资源消耗。
[0069]
对于获取目标绝缘子图像数据集的具体方式，在一个实施例中，上述轻量化yolov5s网络模型的损失函数为eiou损失函数；如图3所示，上述步骤s110具体包括：
[0070]
步骤s310，对原始绝缘子图像数据集进行数据增强，得到第一绝缘子图像数据集。
[0071]
本步骤中，原始绝缘子图像，是指在针对输电线路进行巡检时拍摄的输电线路的绝缘子部件的原始图像；原始绝缘子图像数据集，是指包含大量前述原始绝缘子图像的图像数据集；第一绝缘子图像数据集，是指对原始绝缘子图像数据集进行数据增强之后，获取得到的扩充后的原始绝缘子图像数据集。
[0072]
在实际应用中，对原始绝缘子图像数据集进行数据增强的具体方式，既可以是依次采用mosaic算法和mixup算法对原始绝缘子图像数据集进行数据增强，也可以是采用
mosaic算法和mixup算法中的一种算法，对原始绝缘子图像数据集进行数据增强；采用mosaic算法对原始绝缘子图像数据集进行数据增强的具体方式，可以是在原始绝缘子图像数据集中，随机选取出四张图像进行随机方式的裁剪，并将裁剪后的四张图像拼接为一张图像，将拼接好的图像尺寸处理为640
×
640，再将处理好的图像送入神经网络中进行训练；采用mixup算法对原始绝缘子图像数据集进行数据增强的具体方式，可以是在原始绝缘子图像数据集中，随机抽取出两张图像，将抽取出的两张图像的像素值，按照预设权重进行加权求和，并将抽取出的两张图像对应的标签，按照同样的预设权重进行加权求和，进而实现在一定程度上扩展原始绝缘子图像数据集的分布空间。
[0073]
步骤s320，对第一绝缘子图像数据集进行数据标注，得到目标绝缘子图像训练集和目标绝缘子图像测试集。
[0074]
本步骤中，第一绝缘子图像数据集，是指对原始绝缘子图像数据集进行数据增强之后，获取得到的扩充后的原始绝缘子图像数据集；对第一绝缘子图像数据集进行数据标注，得到目标绝缘子图像训练集和目标绝缘子图像测试集的具体方式，可以是对第一绝缘子图像数据集基于预设比例进行划分，并分别针对划分后的训练集和测试集进行数据标注，将数据标注后的训练集和测试集各自对应的xml格式的文件转换为yolov5网络需要的txt格式的文件，以获取得到目标绝缘子图像训练集和目标绝缘子图像测试集。
[0075]
在实际应用中，对第一绝缘子图像数据集进行数据标注的工具，可以是labelimg工具；目标绝缘子图像训练集和目标绝缘子图像测试集对应的数据比例，可以是8：2，即目标绝缘子图像训练集中的数据占第一绝缘子图像数据集的80％，目标绝缘子图像测试集中的数据占第一绝缘子图像数据集的20％。
[0076]
上述实施例通过对原始绝缘子图像数据集进行数据增强，得到第一绝缘子图像数据集，并对第一绝缘子图像数据集进行数据标注，得到目标绝缘子图像训练集和目标绝缘子图像测试集的方式，提升了用于针对轻量化yolov5s网络模型进行训练的目标绝缘子图像数据集的数据广度和分布空间，进而有效保障了轻量化yolov5s网络模型的检测精度和泛化能力。
[0077]
对于获取第一网络模型文件的具体方式，在一个实施例中，上述数据增强的方式包括mosaic算法和mixup算法；上述数据标注的工具包括labelimg工具；如图4所示，上述步骤s130具体包括：
[0078]
步骤s410，采用目标绝缘子图像训练集，对轻量化yolov5s网络模型进行训练。
[0079]
本步骤中，轻量化yolov5s网络模型，是指采用轻量级mobilenetv3网络，替换yolov5s网络模型的主干网络，并采用slim-neck结构，替换yolov5s网络模型的neck层中的panet网络之后，获取得到的轻量化yolov5s网络模型；轻量级mobilenetv3网络，是指将mobilenetv3网络中的se注意力机制模块替换为ca轻量级注意力机制模块之后，获取得到的轻量级mobilenetv3网络。
[0080]
在实际应用中，在采用目标绝缘子图像训练集，对轻量化yolov5s网络模型进行训练的过程中，可以根据服务器计算资源配置情况，针对训练相关参数进行配置：即，首先，将模型的学习率设置在0.0001至0.001之间，将神经网络输入图片尺寸设置为640
×
640，选用adam优化器，batch_size值设置为64，并将迭代次数epoch设定为200轮；然后，再采用目标绝缘子图像测试集，对轻量化yolov5s网络模型的模型文件进行测试和模型评估。
[0081]
步骤s420，采用目标绝缘子图像测试集，对训练后的轻量化yolov5s网络模型进行参数评估，直至轻量化yolov5s网络模型的训练结果满足预设指标，得到第一网络模型文件。
[0082]
本步骤中，训练后的轻量化yolov5s网络模型，是指采用目标绝缘子图像训练集，对轻量化yolov5s网络模型进行训练，获取得到的训练后的轻量化yolov5s网络模型的模型文件；第一网络模型文件，是指采用目标绝缘子图像测试集，对训练后的轻量化yolov5s网络模型进行参数评估，直至轻量化yolov5s网络模型的训练结果满足预设指标之后，获取得到的在训练中表现最佳的第一网络模型文件。
[0083]
在实际应用中，对训练后的轻量化yolov5s网络模型进行参数评估所采用的预设指标，可以采用深度学习模型评估中主流的map(多类别平均精度)、precision(准确率)、recall(召回率)、flops(模型每秒执行浮点运算次数)等评估指标。
[0084]
上述实施例通过采用目标绝缘子图像训练集，对轻量化yolov5s网络模型进行训练，并采用目标绝缘子图像测试集，对训练后的轻量化yolov5s网络模型进行参数评估，直至轻量化yolov5s网络模型的训练结果满足预设指标，得到第一网络模型文件的方式，有效保障了轻量化yolov5s网络模型的检测精度和泛化能力。
[0085]
对于获取目标网络模型文件的具体方式，在一个实施例中，如图5所示，上述步骤s140具体包括：
[0086]
步骤s510，对第一网络模型文件进行稀疏训练，得到稀疏模型文件。
[0087]
本步骤中，第一网络模型文件，是指采用目标绝缘子图像测试集，对训练后的轻量化yolov5s网络模型进行参数评估，直至轻量化yolov5s网络模型的训练结果满足预设指标之后，获取得到的在训练中表现最佳的第一网络模型文件；稀疏模型文件，是指对第一网络模型文件进行稀疏训练之后，获取得到的稀疏模型文件。
[0088]
在实际应用中，对第一网络模型文件进行稀疏训练，得到稀疏模型文件的具体方式，可以是在轻量化yolov5s网络模型的主干网络的批规范化(batch normalization，bn)层中的缩放因子γ，引入l1正则化约束，以训练得到稀疏化的模型文件(即上述稀疏模型文件)。
[0089]
具体而言，在稀疏训练过程中，可以引入缩放因子和稀疏化惩罚项，构造如下包含l1正则项的损失函数：
[0090][0091]
其中，loss为不带正则项的网络损失函数，代表对bn层的缩放因子γ施加l1正则项，以实现对模型参数的限制，产生稀疏化的模型，同时增加模型的泛化能力；超参数λ，用于表示稀疏率。在进行稀疏化训练的过程中，可以将稀疏率λ设置为0.01，稀疏训练的轮次设置为200轮。
[0092]
进一步的，针对bn层中的缩放因子γ引入l1正则化约束时，可以采用如下公式表示bn层：
[0093][0094]
基于此，训练出来的模型中的大多数通道的缩放因子γ都会趋近于0。因此，可以
通过将缩放因子γ都会趋近于0的通道直接剪除的方式，实现模型的压缩，进而获取得到上述稀疏模型文件。
[0095]
步骤s520，将稀疏模型文件进行通道剪枝，得到剪枝模型文件。
[0096]
本步骤中，稀疏模型文件，是指对第一网络模型文件进行稀疏训练之后，获取得到的稀疏模型文件；剪枝模型文件，是指将稀疏模型文件进行通道剪枝之后，获取得到的剪枝模型文件。
[0097]
在实际应用中，将稀疏模型文件进行通道剪枝，得到剪枝模型文件的具体方式，可以包括以下步骤：
[0098]
首先，统计所有参与通道剪枝的bn层参数中的l1值，并针对各个l1值进行排序；
[0099]
然后，根据初始剪枝率0.5，确定针对各个bn层进行通道剪枝采用的参数阈值，去除所有对应参数小于该参数阈值的bn层；
[0100]
接着，基于目标绝缘子图像测试集，比较剪枝后的模型和剪枝前的模型各自对应的多类别平均精度(map)、参数量、准确率等评估指标。若剪枝后的模型对应的评估指标，尚未满足预设模型性能要求，则持续对该模型进行通道剪枝迭代，直至找出该模型对应的最佳剪枝率(即模型精度损失最低，且可剪除最多的bn层，进而使得剪枝后的模型参数量达到最低的最佳剪枝率)；
[0101]
最后，基于上述最佳剪枝率，获取上述剪枝模型文件。
[0102]
步骤s530，对第一网络模型文件和剪枝模型文件进行模型蒸馏，得到目标网络模型文件。
[0103]
本步骤中，第一网络模型文件，是指采用目标绝缘子图像测试集，对训练后的轻量化yolov5s网络模型进行参数评估，直至轻量化yolov5s网络模型的训练结果满足预设指标之后，获取得到的在训练中表现最佳的第一网络模型文件；剪枝模型文件，是指将稀疏模型文件进行通道剪枝之后，获取得到的剪枝模型文件；稀疏模型文件，是指对第一网络模型文件进行稀疏训练之后，获取得到的稀疏模型文件；目标网络模型文件，是指对第一网络模型文件和剪枝模型文件进行模型蒸馏之后，获取得到的符合预设模型精度指标要求的目标网络模型文件。
[0104]
在实际应用中，对第一网络模型文件和剪枝模型文件进行模型蒸馏，得到目标网络模型文件的具体方式，可以是采用模型蒸馏技术，针对剪枝模型文件进行微调训练(即将剪枝模型文件设置为学生模型，将第一网络模型文件设置为教师模型，经过预设轮次的微调训练)，以获取得到符合预设模型精度指标要求的目标网络模型文件；针对剪枝模型文件进行微调训练的轮次，可以设置为100轮。
[0105]
上述实施例通过对第一网络模型文件进行稀疏训练，得到稀疏模型文件，将稀疏模型文件进行通道剪枝，得到剪枝模型文件，并对第一网络模型文件和剪枝模型文件进行模型蒸馏，得到目标网络模型文件的方式，确保了轻量化yolov5s网络模型的检测精度。
[0106]
在一个实施例中，如图6所示，提供了一种绝缘子缺陷检测方法，包括以下步骤：
[0107]
步骤s610，将获取到的若干绝缘子图像输入至预训练好的轻量化yolov5s网络模型，得到各绝缘子图像对应的状态分类信息；其中，轻量化yolov5s网络模型为采用上述轻量化yolov5s网络模型训练方法进行训练。
[0108]
本步骤中，绝缘子图像，可以是在使用无人机在针对输电线路进行巡检时拍摄的
输电线路的绝缘子图像，即获取若干绝缘子图像的设备，可以是无人机中配置的图像采集设备；预训练好的轻量化yolov5s网络模型，是指采用上述轻量化yolov5s网络模型训练方法进行训练，获取得到的符合预设模型精度指标要求的模型文件，该模型文件，可以装载于无人机巡检平台中，以实现针对获取到的若干绝缘子图像中包含的绝缘子缺陷问题的实时检测；状态分类信息，即各绝缘子图像对应的状态分类信息，可以包括表征绝缘子状态正常、表征绝缘子存在自爆、破损、脏污、钢帽锈蚀等缺陷问题的状态分类信息。
[0109]
进一步的，由于采用上述轻量化yolov5s网络模型训练方法进行训练的轻量化yolov5s网络模型，对计算机设备造成的硬件资源消耗较少，且识别精度较高，故该轻量化yolov5s网络模型可以装载于计算性能较低的无人机巡检平台之中，以实现针对无人机中配置的图像采集设备获取到的若干绝缘子图像中包含的绝缘子缺陷问题的实时检测，进而满足采用无人机进行输电线路巡检时的巡检任务需求。
[0110]
步骤s620，基于状态分类信息，得到各绝缘子图像对应的检测结果。
[0111]
本步骤中，状态分类信息，即各绝缘子图像对应的状态分类信息，可以包括表征绝缘子状态正常、表征绝缘子存在自爆、破损、脏污、钢帽锈蚀等缺陷问题的状态分类信息；各绝缘子图像对应的检测结果，是指基于各绝缘子图像对应的状态分类信息，获取得到的各绝缘子图像对应的绝缘子状态检测结果，该检测结果可以包括表征绝缘子状态正常的检测结果、表征绝缘子存在自爆、破损、脏污、钢帽锈蚀等缺陷问题的检测结果。
[0112]
上述绝缘子缺陷检测方法，首先，将获取到的若干绝缘子图像输入至预训练好的轻量化yolov5s网络模型，得到各绝缘子图像对应的状态分类信息。然后，基于状态分类信息，得到各绝缘子图像对应的检测结果。本技术通过基于预训练好的轻量化yolov5s网络模型，对获取到的若干绝缘子图像进行状态分类与识别，以获取得到各绝缘子图像各自对应的检测结果，不仅能够提高绝缘子图像的检测精度，还能够有效提升绝缘子图像的检测效率，进而实现及时发现绝缘子部件存在的缺陷问题。
[0113]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0114]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的轻量化yolov5s网络模型训练方法的轻量化yolov5s网络模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个轻量化yolov5s网络模型训练装置实施例中的具体限定可以参见上文中对于轻量化yolov5s网络模型训练方法的限定，在此不再赘述。
[0115]
在一个实施例中，如图7所示，提供了一种轻量化yolov5s网络模型训练装置，该装置包括：
[0116]
图像数据预处理单元710，用于对获取到的原始绝缘子图像数据集进行预处理，得到目标绝缘子图像数据集；
[0117]
轻量化网络模型获取单元720，用于基于轻量级mobilenetv3网络和slim-neck结构，改进yolov5s网络模型，得到轻量化yolov5s网络模型；
[0118]
第一模型文件获取单元730，用于采用所述目标绝缘子图像数据集，对所述轻量化yolov5s网络模型进行训练，得到第一网络模型文件；
[0119]
目标模型文件获取单元740，用于依次对所述第一网络模型文件进行模型剪枝和模型蒸馏，得到目标网络模型文件。
[0120]
在其中一个实施例中，轻量化网络模型获取单元720，具体用于将mobilenetv3网络中的se注意力机制模块替换为ca轻量级注意力机制模块，得到所述轻量级mobilenetv3网络；采用所述轻量级mobilenetv3网络，替换所述yolov5s网络模型的主干网络，并采用所述slim-neck结构，替换所述yolov5s网络模型的neck层中的panet网络，得到所述轻量化yolov5s网络模型。
[0121]
在其中一个实施例中，所述轻量化yolov5s网络模型的损失函数为eiou损失函数；图像数据预处理单元710，具体用于对所述原始绝缘子图像数据集进行数据增强，得到第一绝缘子图像数据集；对所述第一绝缘子图像数据集进行数据标注，得到目标绝缘子图像训练集和目标绝缘子图像测试集。
[0122]
在其中一个实施例中，所述数据增强的方式包括mosaic算法和mixup算法；所述数据标注的工具包括labelimg工具；第一模型文件获取单元730，具体用于采用所述目标绝缘子图像训练集，对所述轻量化yolov5s网络模型进行训练；采用所述目标绝缘子图像测试集，对训练后的所述轻量化yolov5s网络模型进行参数评估，直至所述轻量化yolov5s网络模型的训练结果满足预设指标，得到所述第一网络模型文件。
[0123]
在其中一个实施例中，目标模型文件获取单元740，具体用于对所述第一网络模型文件进行稀疏训练，得到稀疏模型文件；将所述稀疏模型文件进行通道剪枝，得到剪枝模型文件；对所述第一网络模型文件和所述剪枝模型文件进行模型蒸馏，得到所述目标网络模型文件。
[0124]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的绝缘子缺陷检测方法的绝缘子缺陷检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个绝缘子缺陷检测装置实施例中的具体限定可以参见上文中对于绝缘子缺陷检测方法的限定，在此不再赘述。
[0125]
在一个实施例中，如图8所示，提供了一种绝缘子缺陷检测装置，该装置包括：
[0126]
分类信息获取单元810，用于将获取到的若干绝缘子图像输入至预训练好的轻量化yolov5s网络模型，得到各所述绝缘子图像对应的状态分类信息；其中，所述轻量化yolov5s网络模型为采用上述轻量化yolov5s网络模型训练方法进行训练；
[0127]
检测结果输出单元820，用于基于所述状态分类信息，得到各所述绝缘子图像对应的检测结果。
[0128]
上述轻量化yolov5s网络模型训练装置和上述绝缘子缺陷检测装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0129]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结
构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储轻量化yolov5s网络模型训练相关数据等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种轻量化yolov5s网络模型训练方法。
[0130]
本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0131]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0132]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0133]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0134]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0135]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
[0136]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0137]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员
来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种轻量化yolov5s网络模型训练方法，其特征在于，所述方法包括：对获取到的原始绝缘子图像数据集进行预处理，得到目标绝缘子图像数据集；基于轻量级mobilenetv3网络和slim-neck结构，改进yolov5s网络模型，得到轻量化yolov5s网络模型；采用所述目标绝缘子图像数据集，对所述轻量化yolov5s网络模型进行训练，得到第一网络模型文件；依次对所述第一网络模型文件进行模型剪枝和模型蒸馏，得到目标网络模型文件。2.根据权利要求1所述的方法，其特征在于，所述基于轻量级mobilenetv3网络和slim-neck结构，改进yolov5s网络模型，得到轻量化yolov5s网络模型，包括：将mobilenetv3网络中的se注意力机制模块替换为ca轻量级注意力机制模块，得到所述轻量级mobilenetv3网络；采用所述轻量级mobilenetv3网络，替换所述yolov5s网络模型的主干网络，并采用所述slim-neck结构，替换所述yolov5s网络模型的neck层中的panet网络，得到所述轻量化yolov5s网络模型。3.根据权利要求1所述的方法，其特征在于，所述轻量化yolov5s网络模型的损失函数为eiou损失函数；所述对获取到的原始绝缘子图像数据集进行预处理，得到目标绝缘子图像数据集，包括：对所述原始绝缘子图像数据集进行数据增强，得到第一绝缘子图像数据集；对所述第一绝缘子图像数据集进行数据标注，得到目标绝缘子图像训练集和目标绝缘子图像测试集。4.根据权利要求3所述的方法，其特征在于，所述数据增强的方式包括mosaic算法和mixup算法；所述数据标注的工具包括labelimg工具；所述采用所述目标绝缘子图像数据集，对所述轻量化yolov5s网络模型进行训练，得到第一网络模型文件，包括：采用所述目标绝缘子图像训练集，对所述轻量化yolov5s网络模型进行训练；采用所述目标绝缘子图像测试集，对训练后的所述轻量化yolov5s网络模型进行参数评估，直至所述轻量化yolov5s网络模型的训练结果满足预设指标，得到所述第一网络模型文件。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述依次对所述第一网络模型文件进行模型剪枝和模型蒸馏，得到目标网络模型文件，包括：对所述第一网络模型文件进行稀疏训练，得到稀疏模型文件；将所述稀疏模型文件进行通道剪枝，得到剪枝模型文件；对所述第一网络模型文件和所述剪枝模型文件进行模型蒸馏，得到所述目标网络模型文件。6.一种绝缘子缺陷检测方法，其特征在于，所述方法包括：将获取到的若干绝缘子图像输入至预训练好的轻量化yolov5s网络模型，得到各所述绝缘子图像对应的状态分类信息；其中，所述轻量化yolov5s网络模型为采用权利要求1至5中任一项所述的方法进行训练；
基于所述状态分类信息，得到各所述绝缘子图像对应的检测结果。7.一种轻量化yolov5s网络模型训练装置，其特征在于，所述装置包括：图像数据预处理单元，用于对获取到的原始绝缘子图像数据集进行预处理，得到目标绝缘子图像数据集；轻量化网络模型获取单元，用于基于轻量级mobilenetv3网络和slim-neck结构，改进yolov5s网络模型，得到轻量化yolov5s网络模型；第一模型文件获取单元，用于采用所述目标绝缘子图像数据集，对所述轻量化yolov5s网络模型进行训练，得到第一网络模型文件；目标模型文件获取单元，用于依次对所述第一网络模型文件进行模型剪枝和模型蒸馏，得到目标网络模型文件。8.一种绝缘子缺陷检测装置，其特征在于，所述装置包括：分类信息获取单元，用于将获取到的若干绝缘子图像输入至预训练好的轻量化yolov5s网络模型，得到各所述绝缘子图像对应的状态分类信息；其中，所述轻量化yolov5s网络模型为采用权利要求1至5中任一项所述的方法进行训练；检测结果输出单元，用于基于所述状态分类信息，得到各所述绝缘子图像对应的检测结果。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及图像处理技术领域，提供了一种轻量化YOLOv5s网络模型训练方法、绝缘子缺陷检测方法，其中，该训练方法包括：对获取到的原始绝缘子图像数据集进行预处理，得到目标绝缘子图像数据集；基于轻量级MobileNetv3网络和Slim-Neck结构，改进YOLOv5s网络模型，得到轻量化YOLOv5s网络模型；采用所述目标绝缘子图像数据集，对所述轻量化YOLOv5s网络模型进行训练，得到第一网络模型文件；依次对所述第一网络模型文件进行模型剪枝和模型蒸馏，得到目标网络模型文件。标网络模型文件。标网络模型文件。


技术研发人员：黄和燕 姜诚 夏谷林 王海军 王黎伟 王旭峰 周震震 张兴华 刘洪驿 宋云海 肖耀辉 赖光霖 何宇浩
受保护的技术使用者：中国南方电网有限责任公司超高压输电公司电力科研院
技术研发日：2023.05.15
技术公布日：2023/7/27