绝缘子缺陷识别模型部署方法、装置和计算机设备与流程

1.本技术涉及检测识别技术领域，特别是涉及一种绝缘子缺陷识别模型部署方法、装置和计算机设备。


背景技术：

2.随着数字电网的研究与发展，为了实现“全面可观、精确可测、高度可控”的目标，需要人工智能技术来弥补现有方式方法上的不足。在进行绝缘子缺陷识别的过程中，在线监测终端以及直升机、多旋翼无人机等移动式终端采集了大量的绝缘子视频、绝缘子图像，通过将绝缘子数据上传至云端的绝缘子缺陷识别系统进行分析处理。
3.但是现有技术中，通过将绝缘子视频图像数据上传至云端进行绝缘子缺陷识别，存在资源成本高的问题。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够降低资源成本的绝缘子缺陷识别模型部署方法、装置和计算机设备。
5.第一方面，本技术提供了一种绝缘子缺陷识别模型部署方法，该方法包括：
6.获取无人机发送的绝缘子样本图像，以及绝缘子样本图像对应的绝缘子缺陷识别结果；
7.将绝缘子样本图像输入至待训练的绝缘子缺陷识别模型，通过绝缘子缺陷识别模型，获取绝缘子样本图像的绝缘子预测结果；
8.根据绝缘子缺陷识别结果和绝缘子预测结果，对绝缘子缺陷识别模型进行训练，得到预训练的绝缘子缺陷识别模型；
9.对预训练的绝缘子缺陷识别模型进行模型简化处理，得到简化后的绝缘子缺陷识别模型，并将简化后的绝缘子缺陷识别模型传输给无人机；无人机用于基于简化后的绝缘子缺陷识别模型，获取待识别的绝缘子图像的绝缘子缺陷识别结果。
10.在其中一个实施例中，对预训练的绝缘子缺陷识别模型进行模型简化处理，得到简化后的绝缘子缺陷识别模型，包括：
11.对预训练的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型；
12.利用预训练的绝缘子缺陷识别模型，对绝缘子缺陷识别子模型进行蒸馏处理，得到简化后的绝缘子缺陷识别模型。
13.在其中一个实施例中，对预训练的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型，包括：
14.获取预训练的绝缘子缺陷识别模型包含的各个通道对应的通道权重；
15.根据通道权重，将不符合预设的通道权重阈值的通道进行剔除，得到绝缘子缺陷识别子模型。
16.在其中一个实施例中，根据通道权重，将不符合预设的通道权重阈值的通道进行剔除，得到绝缘子缺陷识别子模型，包括：
17.根据通道权重，将不符合预设的通道权重阈值的通道进行剔除，得到剔除通道后的绝缘子缺陷识别模型；
18.对剔除通道后的绝缘子缺陷识别模型中包含的各个通道对应的参数进行量化处理，得到绝缘子缺陷识别子模型。
19.在其中一个实施例中，对预训练的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型，包括：
20.对预训练的绝缘子缺陷识别模型中包含的最后一个上采样层、以及最后一个上采样层对应的下采样层进行裁剪，得到裁剪后的绝缘子缺陷识别模型；
21.对裁剪后的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型。
22.在其中一个实施例中，对裁剪后的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型，包括：
23.对裁剪后的绝缘子缺陷识别模型进行全局均匀池化处理，得到裁剪后的绝缘子缺陷识别模型中包含的各个层级对应的层级权重；
24.利用层级权重，对各个层级进行加权，得到增加空间注意力机制的绝缘子缺陷识别模型；
25.对增加空间注意力机制的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型。
26.在其中一个实施例中，利用预训练的绝缘子缺陷识别模型，对绝缘子缺陷识别子模型进行蒸馏处理，得到简化后的绝缘子缺陷识别模型，包括：
27.利用预训练的绝缘子缺陷识别模型，对绝缘子缺陷识别子模型进行蒸馏处理，得到预训练的绝缘子缺陷识别子模型；
28.对预训练的绝缘子缺陷识别子模型进行模型微调处理，得到模型微调处理后的绝缘子缺陷识别子模型；
29.对模型微调处理后的绝缘子缺陷识别子模型进行正则化处理，得到训练完成的目标绝缘子缺陷识别模型。
30.第二方面，本技术还提供了一种绝缘子缺陷识别模型部署装置，该装置包括：
31.识别结果获取模块，用于获取无人机发送的绝缘子样本图像，以及绝缘子样本图像对应的绝缘子缺陷识别结果；
32.预测结果获取模块，用于将绝缘子样本图像输入至待训练的绝缘子缺陷识别模型，通过绝缘子缺陷识别模型，获取绝缘子样本图像的绝缘子预测结果；
33.绝缘子缺陷识别模型训练模块，用于根据绝缘子缺陷识别结果和绝缘子预测结果，对绝缘子缺陷识别模型进行训练，得到预训练的绝缘子缺陷识别模型；
34.模型部署模块，用于对预训练的绝缘子缺陷识别模型进行模型简化处理，得到简化后的绝缘子缺陷识别模型，并将简化后的绝缘子缺陷识别模型传输给无人机；无人机用于基于简化后的绝缘子缺陷识别模型，获取待识别的绝缘子图像的绝缘子缺陷识别结果。
35.第三方面，本技术还提供了一种计算机设备。该计算机设备，包括存储器和处理
器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。
36.第四方面，本技术还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法的步骤。
37.上述绝缘子缺陷识别模型部署方法、装置和计算机设备，获取无人机发送的绝缘子样本图像，以及绝缘子样本图像对应的绝缘子缺陷识别结果；将绝缘子样本图像输入至待训练的绝缘子缺陷识别模型，通过绝缘子缺陷识别模型，获取绝缘子样本图像的绝缘子预测结果；根据绝缘子缺陷识别结果和绝缘子预测结果，对绝缘子缺陷识别模型进行训练，得到预训练的绝缘子缺陷识别模型；对预训练的绝缘子缺陷识别模型进行模型简化处理，得到简化后的绝缘子缺陷识别模型，并将简化后的绝缘子缺陷识别模型传输给无人机；无人机用于基于简化后的绝缘子缺陷识别模型，获取待识别的绝缘子图像的绝缘子缺陷识别结果。与传统技术相比，本技术通过绝缘子样本图像预先训练一个绝缘子缺陷识别模型，对预训练的绝缘子缺陷识别模型进行模型压缩，得到简化后的轻量化的绝缘子缺陷识别模型，将简化后的轻量化的绝缘子缺陷识别模型部署在无人机，可以通过无人机进行绝缘子缺陷识别，能够减少云端进行绝缘子缺陷识别的算力资源，从而能够降低绝缘子缺陷识别的资源成本。
附图说明
38.图1为一个实施例中绝缘子缺陷识别模型部署方法的应用环境图；
39.图2为一个实施例中绝缘子缺陷识别模型部署方法的流程示意图；
40.图3为一个实施例中得到绝缘子缺陷识别子模型步骤的流程示意图；
41.图4为另一个实施例中得到绝缘子缺陷识别子模型步骤的流程示意图；
42.图5为一个实施例中云端系统的无人机边缘设备部署方法的结构框图；
43.图6为一个实施例中绝缘子缺陷识别模型部署装置的结构框图；
44.图7为一个实施例中计算机设备的内部结构图。
具体实施方式
45.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
46.随着数字电网的研究与发展，为了实现“全面可观、精确可测、高度可控”的目标，需要人工智能技术来弥补现有方式方法上的不足。绝缘子在线监测终端以及直升机、多旋翼无人机等移动式终端采集了大量的视频、图像数据，通过将数据上传至云端缺陷识别系统进行分析处理面临网络带宽有限、云端算力紧张、数据存储资源不足等问题。因此考虑将云端算法移植到边缘端，但由于边端芯片算力有限，导致推理识别时间长、效率低，进一步影响了无人机的续航能力。
47.模型压缩是一种技术，旨在减小神经网络模型的大小，而不损失其预测准确性。这种技术是因为大型神经网络通常需要更多的计算和存储资源，对于一些资源受限的设备(例如移动设备)来说，运行这样的模型可能会带来问题。因此，模型压缩技术可以帮助我们减小模型的大小并提高其计算和存储效率，以便在较小的设备上运行。
48.本技术实施例提供的绝缘子缺陷识别模型部署方法，可以应用于如图1所示的应用环境中。其中，无人机102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
49.在一个实施例中，如图2所示，提供了一种绝缘子缺陷识别模型部署方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
50.s202，获取无人机发送的绝缘子样本图像，以及绝缘子样本图像对应的绝缘子缺陷识别结果。
51.其中，无人机可以是用于拍摄绝缘子图像的无人机，也可以利用部署在该无人机的绝缘子缺陷识别模型进行绝缘子缺陷识别。可以在该无人机上部署轻量化的绝缘子缺陷识别模型。绝缘子样本图像可以是用于进行绝缘子缺陷识别模型训练的样本图像。绝缘子缺陷识别结果可以作为用于对绝缘子缺陷识别结果进行训练的标签。绝缘子缺陷识别结果可以是用户针对绝缘子样本图像进行识别后标注的结果。
52.示例性地，服务器可以向无人机方发送获取绝缘子样本图像的任务，无人机基于该任务，采集得到绝缘子样本图像，并将绝缘子样本图像传输到服务器。服务器获取无人机传输的绝缘子样本图像。用户可以对绝缘子样本图像进行标注，得到绝缘子缺陷识别结果，服务器可以获取绝缘子样本图像对应的绝缘子缺陷识别结果。
53.s204，将绝缘子样本图像输入至待训练的绝缘子缺陷识别模型，通过绝缘子缺陷识别模型，获取绝缘子样本图像的绝缘子预测结果。
54.其中，绝缘子缺陷识别模型可以是使用resnet-18作为主干网络的神经网络模型，用于进行绝缘子缺陷识别。绝缘子预测结果指的是绝缘子缺陷识别模型预测得到的识别预测结果。
55.示例性地，可以通过将绝缘子样本图像输入至待训练的绝缘子缺陷识别模型，绝缘子缺陷识别模型预测得到绝缘子样本图像的绝缘子预测结果。
56.s206，根据绝缘子缺陷识别结果和绝缘子预测结果，对绝缘子缺陷识别模型进行训练，得到预训练的绝缘子缺陷识别模型。
57.示例性地，可以通过用户标注的真实的绝缘子缺陷识别结果、以及绝缘子缺陷识别模型预测的绝缘子预测结果，对绝缘子缺陷识别模型，得到预训练的绝缘子缺陷识别模型。
58.例如，可以是通过真实的绝缘子缺陷识别结果，以及预测的绝缘子预测结果，确定训练过程绝缘子缺陷识别模型的损失值，利用该损失值，对绝缘子缺陷识别模型进行训练，得到预训练的绝缘子缺陷识别模型。
59.s208，对预训练的绝缘子缺陷识别模型进行模型简化处理，得到简化后的绝缘子缺陷识别模型，并将简化后的绝缘子缺陷识别模型传输给无人机；无人机用于基于简化后的绝缘子缺陷识别模型，获取待识别的绝缘子图像的绝缘子缺陷识别结果。
60.其中，简化后的绝缘子缺陷识别模型可以是轻量化的绝缘子缺陷识别模型，轻量化的绝缘子缺陷识别模型可以部署在无人机上。
61.示例性地，可以对使用resnet-18作为主干网络，训练得到预训练的绝缘子缺陷识别模型，将预训练的绝缘子缺陷识别模型作为绝缘子缺陷识别教师模型，将绝缘子缺陷识
别教师模型进行剪枝处理、量化处理等，得到绝缘子缺陷识别学生模型，利用绝缘子缺陷识别教师模型，对绝缘子缺陷识别学生模型进行蒸馏处理，得到简化后的绝缘子缺陷识别模型，可以将简化后的绝缘子缺陷识别模型传输给无人机，将简化后的绝缘子缺陷识别模型部署在无人机上。无人机可以利用简化后的绝缘子缺陷识别模型，对待识别的绝缘子图像进行绝缘子缺陷识别，得到绝缘子缺陷识别结果，从而减少云端的算力资源。
62.本实施例中，获取无人机发送的绝缘子样本图像，以及绝缘子样本图像对应的绝缘子缺陷识别结果；将绝缘子样本图像输入至待训练的绝缘子缺陷识别模型，通过绝缘子缺陷识别模型，获取绝缘子样本图像的绝缘子预测结果；根据绝缘子缺陷识别结果和绝缘子预测结果，对绝缘子缺陷识别模型进行训练，得到预训练的绝缘子缺陷识别模型；对预训练的绝缘子缺陷识别模型进行模型简化处理，得到简化后的绝缘子缺陷识别模型，并将简化后的绝缘子缺陷识别模型传输给无人机；无人机用于基于简化后的绝缘子缺陷识别模型，获取待识别的绝缘子图像的绝缘子缺陷识别结果。与传统技术相比，本技术通过绝缘子样本图像预先训练一个绝缘子缺陷识别模型，对预训练的绝缘子缺陷识别模型进行模型压缩，得到简化后的轻量化的绝缘子缺陷识别模型，将简化后的轻量化的绝缘子缺陷识别模型部署在无人机，可以通过无人机进行绝缘子缺陷识别，能够减少云端进行绝缘子缺陷识别的算力资源，从而能够降低绝缘子缺陷识别的资源成本。
63.在一个实施例中，对预训练的绝缘子缺陷识别模型进行模型简化处理，得到简化后的绝缘子缺陷识别模型，包括：
64.对预训练的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型；
65.利用预训练的绝缘子缺陷识别模型，对绝缘子缺陷识别子模型进行蒸馏处理，得到简化后的绝缘子缺陷识别模型。
66.其中，剪枝处理可以是通过对绝缘子缺陷识别模型中包含的卷积层的权重进行分析，找到冗余通道并将其去除。蒸馏处理目的是减少绝缘子缺陷识别模型的参数量以及计算复杂度。
67.示例性地，可以通过剪枝技术去除绝缘子缺陷识别模型中一些冗余的通道，以达到减小模型尺寸的目的。通过对绝缘子缺陷识别模型中包含的卷积层的权重进行分析，找到冗余通道并将其去除，得到绝缘子缺陷识别子模型，将绝缘子缺陷识别子模型作为绝缘子缺陷识别学生模型。
68.利用预训练的绝缘子缺陷识别模型作为绝缘子缺陷识别教师模型，对绝缘子缺陷识别学生模型进行蒸馏处理，得到简化后的绝缘子缺陷识别模型。
69.对于训练数据集中的每个样本，提取绝缘子缺陷识别教师模型在中间层的特征表示。这些中间表示包含了大型模型学习到的重要特征信息。使用绝缘子缺陷识别教师模型提取的中间表示作为绝缘子缺陷识别学生模型的训练数据，训练绝缘子缺陷识别学生模型以学习这些中间表示。这个过程称为“软标签训练”，因为中间表示被认为是一种软标签，与传统的硬标签(例如，样本的类别标签)不同。
70.在训练过程中，通过一个温度参数将绝缘子缺陷识别教师模型的概率分布“软化”，从而使得中间表示更加平滑。将该温度参数应用于绝缘子缺陷识别学生模型中，从而使得绝缘子缺陷识别学生模型更加灵活，可以更好地捕捉绝缘子缺陷识别教师模型的知
识。
71.本实施例中，通过对预训练的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型；利用预训练的绝缘子缺陷识别模型，对绝缘子缺陷识别子模型进行蒸馏处理，得到简化后的绝缘子缺陷识别模型。如此，能够得到可以部署在无人机上的轻量化的绝缘子缺陷识别模型，从而能够减少运算的算力资源，同时最大化利用无人机的算力资源，提高绝缘子缺陷识别的效率，提高其计算和存储效率。
72.在一个实施例中，如图3所示，对预训练的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型，包括：
73.s302，获取预训练的绝缘子缺陷识别模型包含的各个通道对应的通道权重；
74.s304，根据通道权重，将不符合预设的通道权重阈值的通道进行剔除，得到绝缘子缺陷识别子模型。
75.其中，通道权重阈值可以是针对通道权重预先设置的阈值。
76.示例性地，可以对预训练的绝缘子缺陷识别模型进行全局池化处理，得到各个通道对应的通道权重。根据通道权重，将不符合预设的通道权重阈值的通道进行剔除，得到绝缘子缺陷识别子模型。
77.可选地，可以按照通道权重，将各个通道进行排序，将通道权重小的通道剔除。
78.本实施例中，通过对通道进行剪枝能够得到可以部署在无人机上的轻量化的绝缘子缺陷识别模型，从而能够减少运算的算力资源，最大化利用无人机的算力资源。
79.在一个实施例中，根据通道权重，将不符合预设的通道权重阈值的通道进行剔除，得到绝缘子缺陷识别子模型，包括：
80.根据通道权重，将不符合预设的通道权重阈值的通道进行剔除，得到剔除通道后的绝缘子缺陷识别模型；
81.对剔除通道后的绝缘子缺陷识别模型中包含的各个通道对应的参数进行量化处理，得到绝缘子缺陷识别子模型。
82.其中，量化处理可以是将通道中的浮点数参数量化为固定的几个级别，以减小绝缘子缺陷识别模型存储空间的需求。
83.示例性地，可以对剔除通道后的绝缘子缺陷识别模型中包含的各个通道对应的浮点数参数进行固定点量化，量化为固定的几个级别。
84.本实施例中，对剔除通道后的绝缘子缺陷识别模型中包含的各个通道对应的参数进行量化处理，得到绝缘子缺陷识别子模型，能够减小绝缘子缺陷识别模型存储空间的需求。
85.在一个实施例中，对预训练的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型，包括：
86.对预训练的绝缘子缺陷识别模型中包含的最后一个上采样层、以及最后一个上采样层对应的下采样层进行裁剪，得到裁剪后的绝缘子缺陷识别模型；
87.对裁剪后的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型。
88.示例性地，可以使用resnet-18作为主干网络，在主干网络的基础上，裁剪掉最后一层上采样。同时，为了保证最后的输出尺度是4倍下采样，对应删除前面一层下采样的基
础块，得到裁剪后的绝缘子缺陷识别模型。
89.可以对裁剪后的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型。
90.本实施例中，对预训练的绝缘子缺陷识别模型中包含的最后一个上采样层、以及最后一个上采样层对应的下采样层进行裁剪，得到裁剪后的绝缘子缺陷识别模型；对裁剪后的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型。如此，能够实现对绝缘子缺陷识别模型进行轻量化处理，从而实现无人机的绝缘子缺陷识别，从而能够降低绝缘子缺陷识别的资源成本，提高绝缘子缺陷识别的处理效率。
91.在一个实施例中，如图4所示，对裁剪后的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型，包括：
92.s402，对裁剪后的绝缘子缺陷识别模型进行全局均匀池化处理，得到裁剪后的绝缘子缺陷识别模型中包含的各个层级对应的层级权重；
93.s404，利用层级权重，对各个层级进行加权，得到增加空间注意力机制的绝缘子缺陷识别模型；
94.s406，对增加空间注意力机制的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型。
95.示例性地，可以在resnet-18分支则增加了空间注意力机制，利用全局均匀池化将上一层输出的值归一化作为权重系数，下一层特征图中的每个位置像素与该位置权重做乘积处理，得到增加空间注意力机制的绝缘子缺陷识别模型。对增加空间注意力机制的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型。
96.本实施例中，在绝缘子缺陷识别模型中引入空间注意力机制，可以提高无人机对绝缘子缺陷识别的准确性。
97.在一个实施例中，利用预训练的绝缘子缺陷识别模型，对绝缘子缺陷识别子模型进行蒸馏处理，得到简化后的绝缘子缺陷识别模型，包括：
98.利用预训练的绝缘子缺陷识别模型，对绝缘子缺陷识别子模型进行蒸馏处理，得到预训练的绝缘子缺陷识别子模型；
99.对预训练的绝缘子缺陷识别子模型进行模型微调处理，得到模型微调处理后的绝缘子缺陷识别子模型；
100.对模型微调处理后的绝缘子缺陷识别子模型进行正则化处理，得到训练完成的目标绝缘子缺陷识别模型。
101.示例性地，可以将预训练的绝缘子缺陷识别模型作为绝缘子缺陷识别教师模型，绝缘子缺陷识别子模型作为绝缘子缺陷识别学生模型。对于训练数据集中的每个样本，提取绝缘子缺陷识别教师模型在中间层的特征表示。这些中间表示包含了大型模型学习到的重要特征信息。使用绝缘子缺陷识别教师模型提取的中间表示作为绝缘子缺陷识别学生模型的训练数据，训练绝缘子缺陷识别学生模型以学习这些中间表示。这个过程称为“软标签训练”，因为中间表示被认为是一种软标签，与传统的硬标签(例如，样本的类别标签)不同。
102.在训练过程中，通过一个温度参数将绝缘子缺陷识别教师模型的概率分布“软化”，从而使得中间表示更加平滑。将该温度参数应用于绝缘子缺陷识别学生模型中，从而使得小型模型更加灵活，可以更好地捕捉大型模型的知识。
103.对于训练好的绝缘子缺陷识别学生模型，进行微调以进一步提高准确率。微调过程可以使用随机梯度下降法。对模型微调处理后的绝缘子缺陷识别学生模型进行正则化处理，得到训练完成的目标绝缘子缺陷识别模型。
104.本实施例中，利用预训练的绝缘子缺陷识别模型，对绝缘子缺陷识别子模型进行蒸馏处理，得到预训练的绝缘子缺陷识别子模型；对预训练的绝缘子缺陷识别子模型进行模型微调处理，得到模型微调处理后的绝缘子缺陷识别子模型；对模型微调处理后的绝缘子缺陷识别子模型进行正则化处理，得到训练完成的目标绝缘子缺陷识别模型。如此，能够提高无人机对绝缘子缺陷识别的准确率。
105.在一个实施例中，提供了一种云端系统的无人机边缘设备部署方法，方法包括：
106.如图5所示的云端系统的无人机边缘设备部署方法的结构框图。
107.云端：s501，建立原始云端模型；s502，优化模型结构；s503，进行模型剪枝；s504，获取轻量化云端模型；无人机边缘端：s505，获取蒸馏后的模型；s506，进行模型微调。具体包括以下处理：
108.模型主干网络优化：使用resnet-18作为主干网络，在主干网络的基础上，裁剪掉最后一层上采样。同时，为了保证最后的输出尺度是4倍下采样，对应删除前面一层下采样的基础块，所有的resnet-18支路保留原有尺度参数，而在hourglass支路中，保持下采样，并且在下采样过程中成倍增加通道数量，提高精度与召回率。
109.resnet-18分支增加空间注意力机制。利用全局均匀池化将上一层输出的值归一化作为权重系数，下一层特征图中的每个位置像素与该位置权重做乘积操作。其次对预训练的绝缘子缺陷识别模型进行剪枝，分析每层的稀疏性对精度的影响所述属性辅助特征细化模块，在数据属性图构建模块得到的属性图上进行特征聚合，通过聚合相似的邻居节点的特征，来学习节点的深层特征表示，提高伪标签质量，从而将有标签的数据中的知识迁移到无标签的领域中。
110.构建掩模矩阵，预测的边界框超出原图坐标则设置为0，这样大大减少了边界框的个数。其次，对每个类别设置iou协同过滤。根据宽、高计算出边界框的面积。本实例根据人眼的可见范围的对每个类别手动设置最小的面积阈值，即感兴趣区域的最小的边缘范围面积。
111.当某个目标的面积小于该类别设定的阈值时，则自动忽略目标。划分检测区域过滤大目标，当目标超过图像原尺度或者预测框的坐标超过预设的检测区域将进行过滤。实际系统中经常会使用多摄像头协同工作，此时可以利用本实例策略根据实际需求对各个摄像头划分检测区域。当检测目标的左上角、右下角坐标任意一点越过检测区域，及时过滤，确保单个目标能被最清晰地捕捉。最后，在热力图分支中对响应分数做非极大值抑制，加上可视化阈值，减少过小物体显示。
112.通道压缩：通过对神经网络中卷积层的权重进行分析，找到冗余通道并将其去除。本实例采用按权重大小剪枝采用的剪枝方法。
113.将每个通道中的浮点数参数量化为固定的几个级别，以减小绝缘子缺陷识别模型存储空间的需求。采用的量化方法为固定点量化。
114.对剪枝和量化后的绝缘子缺陷识别模型进行重新训练，以弥补绝缘子缺陷识别模型精度损失。重新训练时采用的方法包括微调和增加正则化项。
115.模型蒸馏：使用大量的数据和计算资源训练一个高准确率的绝缘子缺陷识别模型。
116.对于训练数据集中的每个样本，提取绝缘子缺陷识别教师模型在中间层的特征表示。这些中间表示包含了大型绝缘子缺陷识别模型学习到的重要特征信息。使用绝缘子缺陷识别教师模型提取的中间表示作为绝缘子缺陷识别学生绝缘子缺陷识别模型的训练数据，训练绝缘子缺陷识别学生绝缘子缺陷识别模型以学习这些中间表示。这个过程称为“软标签训练”，因为中间表示被认为是一种软标签，与传统的硬标签(例如，样本的类别标签)不同。
117.在训练过程中，通过一个温度参数将绝缘子缺陷识别教师模型的概率分布“软化”，从而使得中间表示更加平滑。将该温度参数应用于绝缘子缺陷识别学生绝缘子缺陷识别模型中，从而使得小型绝缘子缺陷识别模型更加灵活，可以更好地捕捉大型绝缘子缺陷识别模型的知识。
118.微调：对于训练好的绝缘子缺陷识别学生模型，进行微调以进一步提高准确率。微调过程使用随机梯度下降法。
119.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
120.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的绝缘子缺陷识别模型部署方法的绝缘子缺陷识别模型部署装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个绝缘子缺陷识别模型部署装置实施例中的具体限定可以参见上文中对于绝缘子缺陷识别模型部署方法的限定，在此不再赘述。
121.在一个实施例中，如图6所示，提供了一种绝缘子缺陷识别模型部署装，包括：识别结果获取模块610、预测结果获取模块620、绝缘子缺陷识别模型训练模块630和模型部署模块640，其中：
122.识别结果获取模块610，用于获取无人机发送的绝缘子样本图像，以及绝缘子样本图像对应的绝缘子缺陷识别结果。
123.预测结果获取模块620，用于将绝缘子样本图像输入至待训练的绝缘子缺陷识别模型，通过绝缘子缺陷识别模型，获取绝缘子样本图像的绝缘子预测结果。
124.绝缘子缺陷识别模型训练模块630，用于根据绝缘子缺陷识别结果和绝缘子预测结果，对绝缘子缺陷识别模型进行训练，得到预训练的绝缘子缺陷识别模型。
125.模型部署模块640，用于对预训练的绝缘子缺陷识别模型进行模型简化处理，得到简化后的绝缘子缺陷识别模型，并将简化后的绝缘子缺陷识别模型传输给无人机；无人机用于基于简化后的绝缘子缺陷识别模型，获取待识别的绝缘子图像的绝缘子缺陷识别结果。
126.在一个实例中，模型部署模块包括剪枝处理单元和蒸馏处理单元。
127.剪枝处理单元用于对预训练的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型。蒸馏处理单元用于利用预训练的绝缘子缺陷识别模型，对绝缘子缺陷识别子模型进行蒸馏处理，得到简化后的绝缘子缺陷识别模型。
128.在一个实例中，剪枝处理单元包括通道权重单元和通道剔除单元。
129.通道权重单元用于获取预训练的绝缘子缺陷识别模型包含的各个通道对应的通道权重。通道剔除单元用于根据通道权重，将不符合预设的通道权重阈值的通道进行剔除，得到绝缘子缺陷识别子模型
130.在一个实例中，通道剔除单元包括剔除通道后模型获取单元和量化处理单元。
131.剔除通道后模型获取单元用于根据通道权重，将不符合预设的通道权重阈值的通道进行剔除，得到剔除通道后的绝缘子缺陷识别模型。量化处理单元用于对剔除通道后的绝缘子缺陷识别模型中包含的各个通道对应的参数进行量化处理，得到绝缘子缺陷识别子模型。
132.在一个实例中，剪枝处理单元包括裁剪单元和子模型单元。
133.裁剪单元用于对预训练的绝缘子缺陷识别模型中包含的最后一个上采样层、以及最后一个上采样层对应的下采样层进行裁剪，得到裁剪后的绝缘子缺陷识别模型。子模型单元用于对裁剪后的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型。
134.在一个实例中，子模型单元包括池化处理单元、层级权重单元和增加注意力模型处理单元。
135.池化处理单元用于对裁剪后的绝缘子缺陷识别模型进行全局均匀池化处理，得到裁剪后的绝缘子缺陷识别模型中包含的各个层级对应的层级权重。层级权重单元用于利用层级权重，对各个层级进行加权，得到增加空间注意力机制的绝缘子缺陷识别模型。增加注意力模型处理单元用于对增加空间注意力机制的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型。
136.在一个实例中，蒸馏处理单元包括预训练子模型单元、模型微调处理单元和正则化处理单元。
137.预训练子模型单元用于用预训练的绝缘子缺陷识别模型，对绝缘子缺陷识别子模型进行蒸馏处理，得到预训练的绝缘子缺陷识别子模型。模型微调处理单元用于对预训练的绝缘子缺陷识别子模型进行模型微调处理，得到模型微调处理后的绝缘子缺陷识别子模型。正则化处理单元用于对模型微调处理后的绝缘子缺陷识别子模型进行正则化处理，得到训练完成的目标绝缘子缺陷识别模型。
138.上述绝缘子缺陷识别模型部署装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
139.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output，简称i/o)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通
过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储绝缘子样本图像和绝缘子缺陷识别结果数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种绝缘子缺陷识别模型部署方法。
140.本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
141.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
142.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
143.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
144.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
145.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
146.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种绝缘子缺陷识别模型部署方法，其特征在于，所述方法包括：获取无人机发送的绝缘子样本图像，以及所述绝缘子样本图像对应的绝缘子缺陷识别结果；将所述绝缘子样本图像输入至待训练的绝缘子缺陷识别模型，通过所述绝缘子缺陷识别模型，获取所述绝缘子样本图像的绝缘子预测结果；根据所述绝缘子缺陷识别结果和所述绝缘子预测结果，对所述绝缘子缺陷识别模型进行训练，得到预训练的绝缘子缺陷识别模型；对所述预训练的绝缘子缺陷识别模型进行模型简化处理，得到简化后的绝缘子缺陷识别模型，并将所述简化后的绝缘子缺陷识别模型传输给所述无人机；所述无人机用于基于所述简化后的绝缘子缺陷识别模型，获取待识别的绝缘子图像的绝缘子缺陷识别结果。2.根据权利要求1所述的方法，其特征在于，所述对所述预训练的绝缘子缺陷识别模型进行模型简化处理，得到简化后的绝缘子缺陷识别模型，包括：对所述预训练的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型；利用所述预训练的绝缘子缺陷识别模型，对所述绝缘子缺陷识别子模型进行蒸馏处理，得到所述简化后的绝缘子缺陷识别模型。3.根据权利要求2所述的方法，其特征在于，所述对所述预训练的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型，包括：获取所述预训练的绝缘子缺陷识别模型包含的各个通道对应的通道权重；根据所述通道权重，将不符合预设的通道权重阈值的通道进行剔除，得到所述绝缘子缺陷识别子模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述通道权重，将不符合预设的通道权重阈值的通道进行剔除，得到所述绝缘子缺陷识别子模型，包括：根据所述通道权重，将不符合预设的通道权重阈值的通道进行剔除，得到剔除通道后的绝缘子缺陷识别模型；对所述剔除通道后的绝缘子缺陷识别模型中包含的各个通道对应的参数进行量化处理，得到所述绝缘子缺陷识别子模型。5.根据权利要求2所述的方法，其特征在于，所述对所述预训练的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型，包括：对所述预训练的绝缘子缺陷识别模型中包含的最后一个上采样层、以及所述最后一个上采样层对应的下采样层进行裁剪，得到裁剪后的绝缘子缺陷识别模型；对所述裁剪后的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型。6.根据权利要求5所述的方法，其特征在于，所述对所述裁剪后的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型，包括：对所述裁剪后的绝缘子缺陷识别模型进行全局均匀池化处理，得到所述裁剪后的绝缘子缺陷识别模型中包含的各个层级对应的层级权重；利用所述层级权重，对各个层级进行加权，得到增加空间注意力机制的绝缘子缺陷识别模型；
对所述增加空间注意力机制的绝缘子缺陷识别模型进行通道剪枝处理，得到绝缘子缺陷识别子模型。7.根据权利要求2所述的方法，其特征在于，所述利用所述预训练的绝缘子缺陷识别模型，对所述绝缘子缺陷识别子模型进行蒸馏处理，得到所述简化后的绝缘子缺陷识别模型，包括：利用所述预训练的绝缘子缺陷识别模型，对所述绝缘子缺陷识别子模型进行蒸馏处理，得到预训练的绝缘子缺陷识别子模型；对所述预训练的绝缘子缺陷识别子模型进行模型微调处理，得到模型微调处理后的绝缘子缺陷识别子模型；对所述模型微调处理后的绝缘子缺陷识别子模型进行正则化处理，得到所述训练完成的目标绝缘子缺陷识别模型。8.一种绝缘子缺陷识别模型部署装置，其特征在于，所述装置包括：识别结果获取模块，用于获取无人机发送的绝缘子样本图像，以及所述绝缘子样本图像对应的绝缘子缺陷识别结果；预测结果获取模块，用于将所述绝缘子样本图像输入至待训练的绝缘子缺陷识别模型，通过所述绝缘子缺陷识别模型，获取所述绝缘子样本图像的绝缘子预测结果；绝缘子缺陷识别模型训练模块，用于根据所述绝缘子缺陷识别结果和所述绝缘子预测结果，对所述绝缘子缺陷识别模型进行训练，得到预训练的绝缘子缺陷识别模型；模型部署模块，用于对所述预训练的绝缘子缺陷识别模型进行模型简化处理，得到简化后的绝缘子缺陷识别模型，并将所述简化后的绝缘子缺陷识别模型传输给所述无人机；所述无人机用于基于所述简化后的绝缘子缺陷识别模型，获取待识别的绝缘子图像的绝缘子缺陷识别结果。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种绝缘子缺陷识别模型部署方法、装置和计算机设备。方法包括：获取无人机发送的绝缘子样本图像，以及对应的绝缘子缺陷识别结果；将绝缘子样本图像输入至待训练的绝缘子缺陷识别模型，通过绝缘子缺陷识别模型，获取绝缘子样本图像的绝缘子预测结果；根据绝缘子缺陷识别结果和绝缘子预测结果，对绝缘子缺陷识别模型进行训练；对预训练的绝缘子缺陷识别模型进行模型简化处理，将简化后的绝缘子缺陷识别模型传输给无人机；无人机用于基于简化后的绝缘子缺陷识别模型，获取待识别的绝缘子图像的绝缘子缺陷识别结果。采用本方法能够减少云端进行绝缘子缺陷识别的算力资源，从而能够降低绝缘子缺陷识别的资源成本。能够降低绝缘子缺陷识别的资源成本。能够降低绝缘子缺陷识别的资源成本。


技术研发人员：黄和燕 高兴宇 张宝斌 李翔 姜诚 张兴华 宋云海 肖耀辉 王奇 何森 张福 何宇浩 丁伟锋
受保护的技术使用者：中国南方电网有限责任公司超高压输电公司电力科研院
技术研发日：2023.05.23
技术公布日：2023/8/14