基于图像重建的变压器渗漏油检测方法

1.本发明涉及一种变压器渗漏油检测方法，尤其涉及一种基于图像重建的变压器渗漏油检测方法，属于智能电力技术领域。


背景技术：

2.变压器渗漏油检测本质上是图像异常检测问题。视觉检测领域中，传统的基于图像处理算法进行异常检测的方法主要利用大量的缺陷数据进行有监督的训练，从而提升检测的准确性。然而，渗漏油图像形态不规则多变，没有固定模式，渗漏油发生点随机，早期渗漏油的面积小且形状多变，缺陷特征表达困难。由于变压器渗漏油样本难以在实际中大量获取且标注困难，提前获得大量缺陷样本并进行标注是一个代价高昂的工作，传统的有监督的异常检测算法通常需要针对特定的应用场景进行特征描述的设计，难以广泛使用于通用渗漏油检测场景。
3.在实际的变压器运行场景中，无缺陷样本是数量最大最易获取的数据，可感知细微异常的无监督异常检测方法为构建具有通用能力的变压器渗漏油目标检测模型开辟了新的思路。
4.无监督图像异常检测分为图像级和像素级异常检测。变压器渗漏油检测中，异常图像与正常图像仅有微小的视觉差异，渗漏油通常出现于图像中局部有限区域。而图像级异常检测算法主要关注图像间整体语义或视觉的差异，故易忽略微小的局部差异，无法胜任渗漏油检测。因此，亟需研究像素级的无监督变压器渗漏油检测方法。根据检测机制的不同，无监督像素级异常检测方法可分为两类：基于图像重建和基于特征重建的方法。基于特征重建的方法不适用于复杂背景下的变压器渗漏油检测。基于图像重建方法在感知细微异常并进行轮廓清晰的精准区域分割方面具有一定的优势，但也存在一定的局限性：难以感知结构性异常且难以稳定确保异常区域的重建误差、单一生成模型难以保证在全局结构的基础上精确重建出细节纹理，并且难以应付多尺度异常的检测。
5.目前，利用纹理推理和图像生成进行图像重建等计算机视觉任务得到了广泛应用。其中，图像重建中特征维度的度量方式在真实图像生成与相似性度量中都被证明是有效的。而传统的感知相似性度量通常在图像的尺度上来判断两图像是否相似，也可用于异常区域的预测，这些研究给无监督的变压器渗漏油检测提供了一个可借鉴的解决思路。


技术实现要素：

6.本发明要解决的技术问题是提供一种基于图像重建的变压器渗漏油检测方法。
7.为解决上述技术问题，本发明所采取的技术方案是：
8.一种基于图像重建的变压器渗漏油检测方法，包括以下步骤：
9.步骤1：重建变压器关键部件：由以下具体步骤组成：
10.步骤1-1：构建变压器关键部件数据集，数据集由变电站真实场景拍照采集得到，对原图像引入高斯噪声，将噪声图像作为条件对抗生成网络的输入。
11.步骤1-2：将噪声图像输入3个具有不同降采样率的条件对抗生成网络g1、g2和g3；
12.步骤2：重建误差计算：由以下具体步骤组成：
13.步骤2-1：计算原始图像i通过轻量级特征提取网络提取的后三层深度特征与g1层的输出图像i1'之间的l1距离记为l
ui
,计算公式为：
14.l
ui
＝|i
x1-i'
x1
|+|i
y1-i'
y1
|
15.其中i
x1
为原始图像i通过轻量级特征提取网络提取的特征图中像素点横坐标，i'
x1
为g1层的输出图像i1'通过轻量级特征提取网络提取的特征图中像素点横坐标，i
y1
为原始图像i通过轻量级特征提取网络提取的特征图中像素点纵坐标，i'
y1
为g1层的输出图像i1'通过轻量级特征提取网络提取的特征图中像素点纵坐标，ui取值范围为0-c,其中c代表通道维数。
16.步骤2-2：对l1距离按照通道维数求均值距离μ，并采用插值的方法将其调整到与原始图像i相同尺寸的特征距离图。均值距离计算公式为：
17.步骤2-3：将调整后的图输入到轻量级注意力机制中，让其自动学习加权权重α，并进行加权求和得到重建误差图像u1，u1＝i1+αi1'
18.重复步骤2得到图像重建误差u2和u3。
19.步骤3：变压器渗漏油检测：由以下具体步骤组成：
20.步骤3-1：将经过步骤2得到的图像重建误差u1、u2和u3输入全局注意力机制模块，利用全局注意力机制进行权重β
i(i＝1,2,3)
的自适应学习和分配，得到最终得分图z,计算公式为：z＝β1u1+β2u2+β3u3。
21.步骤3-2：计算最终得分图的标准差s，标准差计算公式如下：n代表得分图中像素点个数，代表最终得分图中像素点，代表像素点均值标准差反应了图像像素值与均值的离散程度，原图与重建误差得分图标准差大于预设阈值可认为存在变压器渗漏油现象。
22.进一步，所述条件生成对抗网络g1包括依次级联的通道数为3、卷积核大小为3
×
3、步长为2的第一卷积层，一个通道数为3、卷积核大小为3
×
3、步长为1的第二卷积层，结构相同的第三至第四卷积层，卷积核大小为3
×
3、步长为2的第一最大池化层；第三卷积层通道数为128、卷积核大小为3
×
3、步长为1；条件生成对抗网络g2包括依次级联的通道数为32、卷积核大小为3
×
3、步长为2的第五卷积，通道数为32、卷积核大小为3
×
3、步长为1的第六卷积，结构相同的第七至第八卷积层，卷积核大小为3
×
3、步长为2的第二最大池化层，结构相同的第九至第十卷积层，卷积核大小为3
×
3、步长为2的第三最大池化层，第七卷积层通道数为128、卷积核大小为3
×
3、步长为1，第九卷积层通道数为
23.256、卷积核大小为3
×
3、步长为1；条件生成对抗网络g3由依次级联的通道数为32、卷积核大小为3
×
3、步长为2的第十一卷积，通道数为32、卷积核大小为3
×
3、步长为1的第十二卷积，结构相同的第十三和十四卷积层，卷积核大小为3
×
3、步长为2的第四最大池
化层，结构相同的第十五和十六卷积层，卷积核大小为3
×
3、步长为2的第五最大池化层，结构相同的第十七和十八卷积层，卷积核大小为3
×
3、步长为2的第五最大池化层，第十三卷积层通道数为128、卷积核大小为3
×
3、步长为1，第十五卷积层通道数为128、卷积核大小为3
×
3、步长为1，第十七卷积层通道数为728、卷积核大小为3
×
3、步长为1。
24.采用上述技术方案所产生的有益效果在于：
25.(1)本发明基于多层级条件对抗生成网络的图像生成：利用多层级图像生成框架来解决具有不同纹理特征的变压器关键部件的重建问题，并利用图像降噪的生成策略来使图像生成过程更加稳定。
26.(2)本发明利用预训练的轻量级特征提取网络来提取其最深三个尺度的特征进行重建误差的计算，利用轻量级注意力机制同时调节图像重建层级和特征维度的重建误差计算，从而实现从浅层和深层之间的有机融合，优化关键部件纹理特征的检测性能。
27.(3)本发明实现了无监督下基于图像重建的变压器渗漏油检测方法，利用结合注意力机制的多层级图像重建实现无监督下的变压器渗漏油检测，解决由于变压器渗漏油样本难以获取且标注困难而造成特征表达困难问题，提高了渗漏油检测性能。
附图说明
28.图1是本发明实施例1的结合注意力机制的多层级图像生成框架；
29.图2是本发明实施例1中条件对抗生成网络g1结构。
30.图3是本发明实施例1中条件对抗生成网络g2结构。
31.图4是本发明实施例1中条件对抗生成网络g3结构。
32.图5是本发明实施例1中轻量级特征提取网络结构。
33.图6是本发明实施例1中图像u1重建误差网络图。
34.图7是本发明实施例1中图像u2重建误差网络图。
35.图8是本发明实施例1中图像u3重建误差网络图。
具体实施方式
36.实施例1：
37.面向无监督的变压器渗漏油检测任务中，首先需要关注正常纹理特征的提取。变压器不同关键部件的纹理特征存在显著差异，例如，套管是陶瓷部件，而油枕是金属部件。因此考虑将图像细节纹理与全局结构进行解耦重建，分开进行考虑。如图1所示，本实施例提出一个结合注意力机制的多层级图像生成框架mira来解决具有不同纹理特征的变压器关键部件的重建问题并完成渗漏油检测。
38.mira由基于多层级条件对抗生成网络的图像生成、重建误差计算和渗漏油判定三部分组成。图像生成过程中，利用图像降噪的生成策略来使图像生成过程更加稳定。利用轻量级注意力机制同时调节图像重建层级和特征度量尺度，完成重建误差计算，以实现检测框架对具有不同纹理关键部件的性能调节。利用全局注意力机制构建具有显著差异的重建误差得分图，完成渗漏油检测。
39.(1)基于多层级条件对抗生成网络的图像生成
40.传统的基于图像重建方法利用单一生成模型进行重建，无法对不同纹理的变压器
关键部件实现理想重建，不能在保证全局结构的基础上精确重建出细节纹理，且难以应付多尺度异常的检测。本实施例利用多层级图像生成框架来解决具有不同纹理特征的变压器关键部件的重建问题，并利用图像降噪的生成策略来使图像生成过程更加稳定。
41.如图1所示，原始图像i经过噪声生成噪声图像i'，引入噪声可提高重建过程的鲁棒性。带有噪声的图像作为生成器的一个条件输入，该条件包含了潜在的特征线索来引导重建。得到g1、g2和g3是三个具有不同的降采样率的条件对考生成网络，通过一系列残差层、下采样层以及反卷积层处理，分别得到3个层级的输出图像i1'、i'2和i3'。生成器g1、g2和g3的结构仅特征提取降采样阶段以及解码阶段的上采样存在次数的差异。低降采样率和高降采样率的生成器具有不同感受野，能够实现具有不同纹理细节的关键部件的分层重建，从而提高图像生成的稳定性。
42.(2)重建误差计算
43.由于异常区域的不可定向重建导致重建内容难以得到保证，传统的基于图像重建方法难以稳定确保异常区域的重建误差远远大于正常区域的重建误差，从而影响异常区域检测性能。鉴于深层特征具有良好的结构表征能力、适合描述具有复杂结构的变压器关键部件的特点，本实施例利用预训练的轻量级特征提取网络来提取其最深三个尺度的特征进行重建误差的计算。为进一步完成从纹理细节到全局结构的重建，本实施例提出利用轻量级注意力机制同时调节图像重建层级和特征维度的重建误差计算，从而实现从浅层和深层之间的有机融合，优化关键部件纹理特征的检测性能。图像重建误差计算的过程如图5所示。
44.以得到图像重建误差u1为例：
45.①
计算原始图像i通过轻量级特征提取网络提取的后三层深度特征与g1层的输出图像i1'之间的l1距离。
46.②
对l1距离按照通道维数求均值距离，并采用插值的方法将其调整到与原始图像i相同尺寸。
47.③
将调整后的图输入到轻量级注意力机制(efficient channel attention，eca)中，让其自动学习加权权重α，并进行加权求和得到图像重建误差u1，u1＝i1+αi1'。eca可在几乎不增加额外开销的前提下，保证检测的准确率。
48.类似地，可以得到图像重建误差u2和u3。
49.(3)渗漏油判定
50.基于重建的不确定性，本实施例提出利用全局注意力机制构建具有显著差异的重建误差得分图。得到图像重建误差u1、u2和u3后，将其分别输入到全局注意力机制模块中，全局注意力机制模块可减少信息的弥散，更关注图像的全局信息，适合于渗漏油检测。利用全局注意力机制进行权重自适应学习和分配，产生最终得分图。最后，计算得到的最终得分图的标准差s，。得分图的标准差反映了图像像素值与均值的离散程度，原图与重建误差得分图标准差大于0.7可认为存在变压器渗漏油现象。

技术特征：
1.一种基于图像重建的变压器渗漏油检测方法，其特征在于：包括以下步骤：步骤1：重建变压器关键部件：由以下具体步骤组成：步骤1-1：构建变压器关键部件数据集，数据集由变电站真实场景拍照采集得到，对原图像引入高斯噪声，将噪声图像作为条件对抗生成网络的输入。步骤1-2：将噪声图像输入3个具有不同降采样率的条件对抗生成网络g1、g2和g3；步骤2：重建误差计算：由以下具体步骤组成：步骤2-1：计算原始图像i通过轻量级特征提取网络提取的后三层深度特征与g1层的输出图像i
′1之间的l1距离记为l
ui
,计算公式为：l
ui
＝|i
x1-i
′
x1
|+|i
y1-i
′
y1
|其中i
x1
为原始图像i通过轻量级特征提取网络提取的特征图中像素点横坐标，i
′
x1
为g1层的输出图像i
′1通过轻量级特征提取网络提取的特征图中像素点横坐标，i
y1
为原始图像i通过轻量级特征提取网络提取的特征图中像素点纵坐标，i
′
y1
为g1层的输出图像i
′1通过轻量级特征提取网络提取的特征图中像素点纵坐标，ui取值范围为0-c,其中c代表通道维数。步骤2-2：对l1距离按照通道维数求均值距离μ，并采用插值的方法将其调整到与原始图像i相同尺寸的特征距离图。均值距离计算公式为：步骤2-3：将调整后的图输入到轻量级注意力机制中，让其自动学习加权权重α，并进行加权求和得到重建误差图像u1，u1＝i1+αi
′1重复步骤2得到图像重建误差u2和u3。步骤3：变压器渗漏油检测：由以下具体步骤组成：步骤3-1：将经过步骤2得到的图像重建误差u1、u2和u3输入全局注意力机制模块，利用全局注意力机制进行权重β
i(i＝1,2,3)
的自适应学习和分配，得到最终得分图z,计算公式为：z＝β1u1+β2u2+β3u3。步骤3-2：计算最终得分图的标准差s，标准差计算公式如下：n代表得分图中像素点个数，代表最终得分图中像素点，代表像素点均值标准差反应了图像像素值与均值的离散程度，原图与重建误差得分图标准差大于预设阈值可认为存在变压器渗漏油现象。2.根据权利要求1所述的基于图像重建的变压器渗漏油检测方法，其特征在于：包括以下步骤：所述条件生成对抗网络g1包括依次级联的通道数为3、卷积核大小为3
×
3、步长为2的第一卷积层，一个通道数为3、卷积核大小为3
×
3、步长为1的第二卷积层，结构相同的第三至第四卷积层，卷积核大小为3
×
3、步长为2的第一最大池化层；第三卷积层通道数为128、卷积核大小为3
×
3、步长为1；条件生成对抗网络g2包括依次级联的通道数为32、卷积核大小为3
×
3、步长为2的第五卷积，通道数为32、卷积核大小为3
×
3、步长为1的第六卷积，结构相同的第七至第八卷积层，卷积核大小为3
×
3、步长为2的第二最大池化层，结构相同的第九至第十卷积层，卷积核大小为3
×
3、步长为2的第三最大池化层，第七卷积层通道数为128、卷积核大小为3
×
3、步长为1，第九卷积层通道数为256、卷积核大小为3
×
3、步长为
1；条件生成对抗网络g3由依次级联的通道数为32、卷积核大小为3
×
3、步长为2的第十一卷积，通道数为32、卷积核大小为3
×
3、步长为1的第十二卷积，结构相同的第十三和十四卷积层，卷积核大小为3
×
3、步长为2的第四最大池化层，结构相同的第十五和十六卷积层，卷积核大小为3
×
3、步长为2的第五最大池化层，结构相同的第十七和十八卷积层，卷积核大小为3
×
3、步长为2的第五最大池化层，第十三卷积层通道数为128、卷积核大小为3
×
3、步长为1，第十五卷积层通道数为128、卷积核大小为3
×
3、步长为1，第十七卷积层通道数为728、卷积核大小为3
×
3、步长为1。

技术总结
本发明公开了一种基于图像重建的变压器渗漏油检测方法，包括重建变压器关键部件、重建误差计算、变压器渗漏油检步骤。本发明基于多层级条件对抗生成网络的图像生成：利用多层级图像生成框架来解决具有不同纹理特征的变压器关键部件的重建问题，并利用图像降噪的生成策略来使图像生成过程更加稳定。它利用预训练的轻量级特征提取网络来提取其最深三个尺度的特征进行重建误差的计算，利用轻量级注意力机制同时调节图像重建层级和特征维度的重建误差计算，从而实现从浅层和深层之间的有机融合，优化关键部件纹理特征的检测性能。优化关键部件纹理特征的检测性能。优化关键部件纹理特征的检测性能。


技术研发人员：赵文清 刘亮 许丽娇 陈昊
受保护的技术使用者：华北电力大学（保定）
技术研发日：2023.05.31
技术公布日：2023/8/23