基于两级生成对抗网络的电气设备电火花图像生成方法与流程

1.本发明属于机器学习技术领域，尤其涉及基于两级生成对抗网络的电气设备电火花图像生成方法。


背景技术：

2.在电厂环境中，机器故障通常是由于短路或电路发热等原因导致电火花炸裂所造成的。这不仅会造成机器财产的损失，还有可能对人们的生命安全造成威胁。由于电火花具有突发性、瞬时性、非定常性的特点，即使在有人值守的情况下也很难察觉到。因此，对电火花检测算法的研究显得尤为重要。
3.目前，关于电火花检测算法的研究资料有限，其中最主要的问题是缺乏公开可用的高质量电火花图像数据集。此外，进行电火花检测需要大量的电火花图像数据进行训练，但采集这些数据需要耗费大量的时间、资金和人力成本。同时，目前的电火花检测算法的性能受到多种因素的影响，例如光线、噪声、电流电压等。因此，如何在降低数据采集成本的同时提供更多不同特征的高质量电火花图像、增加数据集的多样性，从而提高电火花检测算法的性能和可靠性是关键。
4.生成对抗网络(generative adversarial networks，简称为gan)是一种深度学习的生成模型，由两个神经网络组成，分别是生成器和判别器。生成器通过学习训练数据的分布，生成类似真实数据的样本，而识别器则判断生成的数据是真实数据还是伪造数据。两个网络相互对抗，生成器的目标是生成越来越接近真实数据的样本，识别器的目标则是尽可能准确地区分真实数据和伪造数据。由于gan能够生成高质量的图像，因此在图像生成领域上得到了广泛的研究和应用。gan生成图像的过程中，生成器学习图像数据的概率分布，识别器则判断图像是否真实。通过反复迭代学习，生成器和判别器的参数逐渐优化，最终生成器能够生成越来越逼近真实图像的高质量样本。目前，gan在图像生成领域的研究已经取得了很多进展。例如，dcgan在生成高分辨率的逼真图像方面具有很好的效果，pix2pix可以实现图像的语义转换，cyclegan可以实现不同领域图像的转换。此外，一些变种gan也被提出，例如wgan、began、stylegan等，这些gan模型在图像生成领域的表现也得到了广泛的关注和应用。
5.目前，gan模型在生成高分辨率图像应用方面，已经涌现出许多前沿技术方案。其中，基于超分辨率技术的gan模型的技术方案将低分辨率图像作为输入，通过gan模型生成对应的高分辨率图像。而基于条件生成的gan模型则利用图像标签、文本描述等条件信息来帮助生成对应的高分辨率图像。另一种常见的技术方案是基于迁移学习的gan模型，它首先使用一个预训练的gan模型生成低分辨率的图像，然后通过迁移学习的方法将这些图像转化为高分辨率图像。
6.基于级联gan的高分辨率图像生成技术方案采用一个堆叠生成对抗网络模型，stackgan++。具体步骤如下：首先使用一个两阶段生成对抗网络架构，即stackgan-v1，实现从文本到图像的合成。在第一阶段，stage-i gan模型根据给定的文本描述绘制场景的原始
形状和颜色，从而生成低分辨率图像；在第二阶段，stage-ii gan模型将第一阶段生成的低分辨率图像和文本描述作为输入，从而生成高分辨率图像。为了增加生成器输出的多样性，stackgan++引入了条件噪声向量，该向量由随机噪声向量和条件向量两部分组成，通过控制这两部分向量来控制图像的生成。为了让生成器更关注图像的重要部分以生成更逼真的图像，stackgan++引入了块注意力机制，该机制将图像分成多个块，然后计算每个块的注意力权重，根据权重来生成图像的不同部分。
7.堆叠生成对抗网络模型stackgan++存在以下缺点：首先，由于stackgan++中的多个生成器和识别器都是基于相同的条件噪声进行训练，因此生成的图像可能会缺乏多样性。这会导致生成的图像过于相似，缺乏足够的变化和创造性。其次，由于stackgan++是基于条件生成的，因此难以直接控制生成图像的某些属性，例如颜色、纹理和形状。这会导致生成的图像不符合特定应用需求。此外，由于stackgan++中包含多个生成器和识别器，在缺少有效的增强特征操作时，生成的图像会出现一些不稳定的情况，例如模糊、失真和噪点等，这会影响stackgan++在一些实际应用中的可用性。最后，由于stackgan++包括多个生成器和识别器，每个生成器和识别器都需要更多的时间来完成各自的任务，因此训练时间相对较长，收敛速度较慢。


技术实现要素：

8.针对电火花生成图像质量不高和电火花特征不明显等问题，本发明提出了一种电火花背景剥离模块，以减少背景信息对图像生成的干扰。同时，本发明提出了两级生成对抗网络模型，旨在生成电火花特征明显的高分辨率图像。此外，针对基于gan的图像生成领域中有关训练效率的问题，本发明引入自注意力机制对gan模型进行改进，旨在提高模型收敛速度。针对stackgan++模型中存在的缺点，本发明提出了一种基于两级生成对抗网络模型的电气设备电火花图像生成方法。该方法具有以下优点：首先，在采集图像数据集和文本描述阶段，收集各种故障类型的电火花图像，同时使用条件向量、随机噪声和额外引入的特征向量作为生成器的输入，以确保生成图像的多样性。其次，在图像预处理的阶段增加特征提取模块，结合提取到的属性特征，直接控制生成具有满足应用需求所需属性的电火花图像。此外，提出电火花背景剥离模块，可生成无背景的电火花图像，从而减少背景信息对提取重要特征和生成目标图像的干扰。同时还设计两级生成对抗网络模型，其中第一级生成对抗网络模型去除背景信息干扰，生成比较逼真的无背景电火花图像；第二级生成对抗网络模型关注第一级模型忽略的背景信息和更多电火花细节，同时使用零样本分类器，帮助生成器生成具有目标属性的电火花图像，提高生成图像的稳定性。最后，在第二级生成对抗网络模型的识别器和零样本分类器中都引入自注意力模块，以提高识别和分类效率，加快模型收敛速度。
9.本发明公开的基于两级生成对抗网络的电气设备电火花图像生成方法，包括以下步骤：
10.s1.采集真实图像数据集并收集文本描述：收集电火花文本描述及环境信息文本描述，采集各种故障类型的高分辨率电火花图像集；
11.s2.构建电火花图像背景剥离模块，并制作无背景的低分辨率电火花图像集：处理高分辨率图像集得到相应的低分辨率图像集，再通过设定区域规则得到无背景的低分辨率
图像集；
12.s3.构建特征提取模块：所述特征提取模块提取输入图像中的颜色、形状和纹理特征作为模型的额外输入向量；
13.s4.构建用于训练的两级生成对抗网络模型，其中第一级nbggan模型用于生成无背景的低分辨率图像，第二级bggan模型用于生成有背景的高分辨率图像；
14.s5.对生成的两级对抗网络模型进行训练，得到训练好的模型：基于s4步骤获得的两级对抗网络模型，当判定模型收敛时，将收敛的两级对抗网络模型记作电气设备电火花图像生成模型；
15.s6.利用训练好的电气设备电火花图像生成模型生成各种故障类型的电火花图像。
16.进一步地，步骤s1中采集真实图像数据集并收集文本描述，具体包括：
17.收集包含颜色、形状、纹理特征的电火花文本描述d以及各个电火花故障类型的环境信息文本描述env，为图像生成模型提供文本信息；
18.同时采集电网环境下各种故障类型的高分辨率电火花的图像集ih，为图像生成模型提供图像信息，其中各种故障类型包括：绝缘故障、接触不良、异物进入、电弧故障和短路故障；
19.然后对获得的所有图像数据集进行归一化操作，以获得相同尺寸的高分辨率电火花图像数据集i0；所述高分辨率电火花图像的张量大小为h*w*c；每个图像被标注为所属故障类型的类别标签，并为每个图像定义属性标签，在这个过程中，每个真实电火花图像被标记为1。
20.进一步地，步骤s2具体包括：
21.对s1获得的高分辨率电火花图像数据集i0采取双线性插值操作和下采样方法，经过处理后得到低分辨率电火花图像集i
l
；所述低分辨率电火花图像的张量大小为其中r为下采样比例；
22.将图像背景进行剥离，从而减少背景信息干扰并加速模型收敛；
23.将i
l
输入电火花图像背景剥离模块，得到无背景的低分辨率电火花图像i1；
24.电火花图像背景剥离模块的区域规则如下：
25.1)电火花具有高度饱和的特点，即其饱和度值不低于预设的饱和度阈值，有s≥s
t
；
26.2)电火花具有亮度高的特点，即电火花的灰度图的亮度值不低于预设的亮度阈值，有l≥l
t
；
27.3)电火花具有颜色鲜艳的特点，即电火花图像的各颜色分量不低于各颜色分量的预设阈值，有r≥r
t
或g≥g
t
或b≥b
t
；
28.4)电火花所在区域具有像素值变化幅度大的特点，因此可以通过图像的边缘信息，将图像中被边缘包围的电火花图像提取出来，并去除背景信息。
29.进一步地，提取电火花图像的具体步骤如下：
30.首先对输入图像i进行二值化处理，得到二值图像bu(i)，然后对其进行形态学梯度操作，得到电火花的边缘信息e(t(bi(i)))；
31.为了去除边缘噪声，再对二值图像进行开运算操作得到o(bi(i))；
32.接着，将图像的边缘区域设置为白色，背景区域设置为黑色，得到处理后的图像h(o(bi(i)））；
33.使用边缘信息e(t(bi(i)))对图像进行膨胀操作，得到更加宽广的边缘区域；
34.对膨胀后的二值化图像进行连通区域分析，得到被边缘包围的电火花图像的区域ω；
35.最后，将原图像i和二值化图像进行按位与操作and(i,ω)，去除没有被边缘包围的背景图像；
36.将提取的电火花图像采用下述公式进行分割：
[0037][0038]
式中，s、l、r、g、b为图像的饱和度分量、亮度分量、红色分量、绿色分量和蓝色分量，s
t
、l
t
、r
t
、g
t
、b
t
为预先设定的饱和度分量阈值、亮度分量阈值、红色分量阈值、绿色分量阈值和蓝色分量阈值，and表示按位与操作，i为输入图像，bi(
·
)表示二值化处理，t(
·
)表示形态学梯度操作，o(
·
)表示开运算操作，e(
·
)表示获得边缘信息，h(
·
)为将边缘区域设置为白色并将背景区域设置为黑色的操作，e(x,y)表示使用信息y对x做膨胀操作，c(
·
)为连通区域分析，ω为经过c(
·
)操作后得到的区域。
[0039]
进一步地，s3具体包括：
[0040]
颜色特征提取：采用颜色直方图提取颜色特征，得到额外颜色向量ec；
[0041]
形状特征提取：采用边缘检测算法提取形状特征，得到额外形状向量es；
[0042]
纹理特征提取：采用纹理特征描述符提取纹理特征，文本使用局部二值模式，得到额外纹理向量e
t
。
[0043]
进一步地，步骤s4的构建模型步骤如下：
[0044]
步骤s41：构建第一级nbggan模型的文本增强模块t1、第二级bggan模型的文本增强模块t2，以提高文本嵌入潜在空间的数据流连续性，便于生成器学习文本特征；
[0045]
步骤s42：构建图像增强模块，防止图像过拟合；在图像增强模块中，对输入的无背景低分辨率电火花图像i1和生成器g1生成的电火花样本i
g1
采用相同的数据增强策略；
[0046]
步骤s43：构建第一级nbggan模型的生成器g1；
[0047]
步骤s44：构建第一级nbggan模型的识别器d1；
[0048]
步骤s45：构建第二级bggan模型的生成器g2；
[0049]
步骤s46：引入自注意力模块，构建第二级bggan模型的识别器d2；
[0050]
步骤s47：引入自注意力机制，构建第二级bggan模型的零样本分类器。
[0051]
本发明的有益效果如下：
[0052]
本发明提出了电火花背景剥离模块，旨在通过设定区域规则，去除无效背景信息的干扰并增强电火花的特征表示，以提高图像中电火花特征的辨识度。该模块生成的无背景电火花图像被用作第一级nbggan模型的真实样本输入，以帮助模型获得准确的电火花特
征，从而提高两级生成对抗网络生成图像的稳定性。
[0053]
本发明提出了基于自注意机制的两级生成对抗网络模型，其中，第一级gan仅生成具有重要特征的目标图像，第二级gan生成完整的高分辨率图像，并添加自注意损失模块以提高模型的识别和分类效率。第一级nbggan模型使用无背景电火花图像和包含文本的条件向量、图像属性特征向量、随机噪声等多维信息的生成样本作为输入，生成较为逼真的无背景电火花图像。在数据采集阶段和特征提取阶段，收集了各种故障类型的电火花图像，并提取图像特征作为生成器的输入，确保了生成图像的多样性，并可以直接控制生成电火花图像，使其具有满足应用需求的属性。第二级bggan模型使用具有环境信息的条件向量作为输入，关注第一级nbggan模型中忽略的背景信息和更多电火花图像细节，生成具有背景的高分辨率电火花图像。同时，使用零样本分类器帮助生成器生成具有目标属性的电火花图像，提高生成图像的稳定性。此外，在第二级bggan模块的识别器和零样本分类器中都引入自注意力模块，关注有背景的图像中更重要的电火花信息，从而加速模型收敛。
[0054]
stackgan++基于输入的随机向量生成图像，因此无法精确控制生成图像的某些特征，例如颜色、纹理等。而本发明提出的方法则使用了随机向量和被额外引入的特征向量来生成图像，从而可以控制生成图像具有应用所需的重要特征，使得生成的图像更具可控性。
[0055]
stackgan++生成的图像质量不够稳定，可能会出现明显的缺陷和不完美之处。而本发明提出的方法通过使用背景剥离模块、图像增强模块等技术手段，减少了由于噪声干扰或过拟合引起的不完美之处，提高了生成图像的质量和稳定性。
[0056]
stackgan++模型包含多个生成器和识别器网络，导致训练时间较长。而本发明提出的模型在识别器和零样本分类器中都引入了自注意力模块，并添加自注意损失函数值作为指导，以提高识别和分类效率。
附图说明
[0057]
图1本发明电火花图像生成方法流程图；
[0058]
图2本发明特征提取模块流程图；
[0059]
图3本发明两级生成对抗网络模型结构图；
[0060]
图4本发明一级nbggan和第二级bggan模型结构图；
[0061]
图5本发明两级生成对抗网络模型模型训练图。
具体实施方式
[0062]
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。下面结合附图详述本发明具体实施方式：
[0063]
如图1所示，本发明电火花图像生成方法步骤如下：
[0064]
s1.采集真实图像数据集并收集文本描述。收集包含颜色、形状、纹理特征的电火花文本描述d以及各个电火花故障类型的环境信息文本描述env，为图像生成模型提供文本信息。同时采集电网环境下各种故障类型的高分辨率电火花的图像集ih，为图像生成模型提供图像信息，其中各种故障类型包括：绝缘故障、接触不良、异物进入、电弧故障和短路故障。然后对获得的所有图像数据集进行归一化操作，以获得相同尺寸的高分辨率电火花图
像数据集i0。所述高分辨率电火花图像的张量大小为h*w*c。每个图像被标注为所属故障类型的类别标签，并为每个图像定义属性标签。在这个过程中，每个真实电火花图像被标记为1。
[0065]
s2.构建电火花图像背景剥离模块，并制作无背景的低分辨率电火花图像集。对s1获得的高分辨率电火花图像数据集i0采取双线性插值操作和下采样方法，经过处理后得到低分辨率电火花图像集i
l
。所述低分辨率电火花图像的张量大小为其中r为下采样比例，本文中r＝4。由于背景信息会对特征提取和生成对抗网络的图像生成过程产生干扰，因此需要将图像背景进行剥离，从而减少背景信息干扰并加速模型收敛。将i
l
输入电火花图像背景剥离模块，得到无背景的低分辨率电火花图像i1。
[0066]
电火花图像背景剥离模块的区域规则如下：
[0067]
1)电火花具有高度饱和的特点，即其饱和度值不低于预设的饱和度阈值，有s≥s
t
；
[0068]
2)电火花具有亮度高的特点，即电火花的灰度图的亮度值不低于预设的亮度阈值，有l≥l
t
；
[0069]
3)电火花具有颜色鲜艳的特点，即电火花图像的各颜色分量不低于各颜色分量的预设阈值，有r≥r
t
或g≥g
t
或b≥b
t
；
[0070]
4)电火花所在区域具有像素值变化幅度大的特点，因此可以通过图像的边缘信息，将图像中被边缘包围的电火花图像提取出来，并去除背景信息。具体步骤如下：首先对输入图像i进行二值化处理，得到二值图像bi(i)，然后对其进行形态学梯度操作，得到电火花的边缘信息e(t(bi(i)))。为了去除边缘噪声，再对二值图像进行开运算操作得到o(bi(i))。接着，将图像的边缘区域设置为白色，背景区域设置为黑色，得到处理后的图像h(o(bi(i)))。使用边缘信息e(t(bi(i)))对图像进行膨胀操作，得到更加宽广的边缘区域。对膨胀后的二值化图像进行连通区域分析，得到被边缘包围的电火花图像的区域ω。最后，将原图像i和二值化图像进行按位与操作and(i,ω)，去除没有被边缘包围的背景图像。
[0071]
将图像采用下述公式进行分割：
[0072][0073]
式中，s、l、r、g、b为图像的饱和度分量、亮度分量、红色分量、绿色分量和蓝色分量，s
t
、l
t
、r
t
、g
t
、b
t
为预先设定的饱和度分量阈值、亮度分量阈值、红色分量阈值、绿色分量阈值和蓝色分量阈值，and表示按位与操作，i为输入图像，bi(
·
)表示二值化处理，t(
·
)表示形态学梯度操作，o(
·
)表示开运算操作，e(
·
)表示获得边缘信息，h(
·
)为讲边缘区域设置为白色并将背景区域设置为黑色的操作，e(x,y)表示使用信息y对x做膨胀操作，c(
·
)为连通区域分析，ω为经过c(
·
)操作后得到的区域。
[0074]
s3.构建特征提取模块。如图2所示，通过提取输入图像的颜色、形状和纹理特征，将这些特征作为额外的输入向量，来控制生成图像的特征。具体操作如下：
[0075]
颜色特征提取：采用颜色直方图提取颜色特征，得到额外颜色向量ec。
[0076]
形状特征提取：采用边缘检测算法提取形状特征，本发明使用canny边缘检测算法，得到额外形状向量es。
[0077]
纹理特征提取：采用纹理特征描述符提取纹理特征，文本使用局部二值模式(lbp)，得到额外纹理向量e
t
。
[0078]
s4.构建用于训练的两级生成对抗网络模型。如图3所示，网络模型结构基于级联的两个dcgan进行改进和设计，以实现同时生成高分辨率的电火花图像和对电火花故障类型进行分类的目标。该两级生成对抗网络模型包含以下模块：第一级nbggan模型由文本增强模块t1、生成器g1、图像增强模块和识别器d1组成，用于生成无背景的低分辨率电火花图像；第二级bggan模型由文本增强模块t2、生成器g2、识别器d2和引入自注意力机制的零样本分类器组成，用于生成高分辨率的有背景电火花图像，并实现对电火花图像故障类别的分类。
[0079]
构建模型步骤如下：
[0080]
步骤1：如图4所示，构建第一级nbggan模型的文本增强模块t1、第二级bggan模型的文本增强模块t2，以提高文本嵌入潜在空间的数据流连续性，便于生成器学习文本特征。首先，将s1收集到的电火花文本描述d和环境信息文本描述env经过预训练的文本编辑器处理，得到电火花文本嵌入和环境信息文本嵌入然后，将输入到文本增强模块t1，并将和输入到文本增强模块t2中，分别得到条件向量c1、条件向量c2。
[0081]
文本增强模块t1中的具体操作如下：首先，将文本嵌入输入两个全连接层生成两个向量，用作高斯分布的均值μ1和方差σ1。然后，根据高斯分布的公式，从标准正态分布中采样得到一个随机向量ε1，最后使用公式c1＝μ1+σ1*ε1，将随机向量ε1转换为高斯分布中的条件向量c1。文本增强模块t2中的具体操作如下：条件向量c2的获取方式与条件向量c1相似，但是使用的是另外两个全连接层生成均值μ2和方差σ2，并且由文本嵌入和环境信息文本嵌入共同生成高斯分布。同样的，根据高斯分布的公式，从标准正态分布中采样得到一个随机向量ε2，并使用公式c2＝μ2+σ2*ε2，将随机向量ε2转换为高斯分布中的条件向量c2。
[0082]
步骤2：构建图像增强模块，防止图像过拟合。在图像增强模块中，对输入的无背景低分辨率电火花图像i1和生成器g1生成的电火花样本i
g1
采用相同的数据增强策略，包括：(1)在图像区域内随机选取原始图像四分之一大小的正方形区域进行遮挡，(2)对图像添加高斯噪声，(3)用0覆盖图像中的[-1/8,1/8]范围。
[0083]
步骤3：构建第一级nbggan模型的生成器g1。首先，条件变量c1、随机噪声向量z以及特征提取模块提取到的颜色ec、形状es、纹理e
t
特征进行拼接，形成输入向量。然后，将输入向量输入生成器g1，生成无背景的低分辨率电火花样本i
g1
，其中每个生成的电火花图像被标记为0。生成器g1由4个转置卷积层构成，每个转置卷积层包含上采样和卷积操作。
[0084]
步骤4：构建第一级nbggan模型的识别器d1。首先，将低分辨率的无背景电火花图像i1和g1的生成样本输入图像i
g1
增强模块得到增强后的图像，其图像尺寸为w1×
h1。增强图像经过一系列下采样块后输出空间维度为md×
md的图像。同时，将文本嵌入输入全连
接层压缩至nd维，经过空间复制后得到大小为md×
md×
nd的张量。然后，将图像的滤波器映射沿通道维度与文本张量进行拼接。得到的张量进一步被输入到1
×
1卷积层，共同学习图像和文本的特征。最后，使用一个全连接层来生成决策评分。其中，判别器d1的下采样块由5个卷积神经网络层构成，每个卷积神经网络层包含卷积操作、批处理归一化操作和leakyrelu激活函数，第一块卷积层没有批处理归一化操作。
[0085]
步骤5：构建第二级bggan模型的生成器g2。步骤3生成的无背景的低分辨率电火花样本i1和条件向量c2输入生成器g2，生成有背景的高分辨率电火花样本i
g2
，将每个生成的电火花图像标记为0。具体操作如下：首先对ng维条件向量c2进行空间复制，形成mg×
mg×
ng大小的张量。然后将电火花样本i1送入多个下采样块，直到输出大小为mg×
mg的图像。然后，将图像特征和文本特征沿通道维度进行拼接，并输入到4个残差块中，用于学习跨图像和文本特征的多模态表示。最后，使用一系列上采样层生成尺寸为w2×
h2的高分辨率图像i
g2
。其中，一系列下采样块均为卷积层，第一块卷积层没有批处理归一化操作，残差块由卷积操作、批处理归一化操作和relu激活函数组成，一系列上采样层均为转置卷积层，每个转置卷积层包含上采样和卷积操作。
[0086]
步骤6：引入自注意力模块，构建第二级bggan模型的识别器d2。与步骤4类似，将大小为w2×
h2的有背景高分辨率电火花图像i0和g2的生成样本i
g2
经过一系列下采样块，输出空间维度为md×
md的图像。不同之处在于，该步骤中下采样块的块数更多，并添加了自注意力模块，以更加关注有背景的高分辨率图像中重要的电火花信息。同时，将文本嵌入输入全连接层压缩至nd维，再进行空间复制，生成大小为md×
md×
nd的张量。然后，将图像的滤波器映射沿通道维度与文本张量进行拼接。得到的张量进一步被输入到一个1
×
1卷积层中，用于共同学习图像和文本的特征。最后，使用一个全连接层来生成决策评分。其中，判别器d2的下采样块由7个卷积神经网络层组成，每个卷积神经网络层包含卷积操作、批处理归一化操作和leakyrelu激活函数，第一块卷积层没有批处理归一化操作。
[0087]
步骤7：引入自注意力机制，构建第二级bggan模型的零样本分类器。将生成器g2输出的生成样本i
g2
和高分辨率的有背景电火花图像i0输入特征提取模块中，该模块提取它们各自的颜色、形状和纹理特征，并产生特征向量e
generate_c
、e
generate_s
、e
generate_t
和e
real_c
、e
real_s
、e
real_t
。然后，将生成样本i
g2
和真实样本i0的相同特征向量进行拼接，得到拼接后的特征向量e
cat_c
、e
cat_s
、e
cat_t
。接着，将这些拼接后的特征向量通过全连接层映射到高维空间，再输入到多头自注意力模块中，该模块产生的输出特征向量被送入分类器进行分类，并被映射为对应的电火花图像故障类型。其中，本文中分类器由一个全连接层构成。
[0088]
其中，多头注意力模块进行以下操作：首先，接收一个三维张量作为输入，其中第一维表示批次大小，第二维表示特征图中每个像素的位置，第三维表示特征向量的维度。然后将输入的特征张量分别进行三个不同的线性变换，得到三个新的向量：q、k、v，它们的维度相同，且与输入特征的维度相等。接着，该模块计算q与k之间的点积，并进行归一化，得到一个相似度矩阵作为加权矩阵，用来表示每个位置对其他位置的影响程度。使用相似度矩阵对v进行加权求和，得到最终的自注意力输出。最后，将自注意力输出与输入特征向量进行残差连接，再进行归一化操作，得到最终的特征向量表示。
[0089]
s5.将步骤s1得到的高分辨率电火花图像数据集i0和文本描述d、s2得到的无背景的低分辨率电火花图像i1以及s3提取到的颜色向量ec、形状向量es、纹理向量e
t
输入到两级
生成对抗网络模型进行训练。如图5所示，该模型的训练过程包括两个部分：预训练和微调。在预训练中首先固定第二级bggan模型，然后交替训练第一级nbggan模型的识别器d1和生成器g1。接下来固定第一级nbggan模型，交替训练第二级bggan模型的识别器d2、零样本分类器和生成器g2。在微调中，对两个gan模型进行联合训练。当判定模型收敛时，将收敛的两级对抗网络模型记作电气设备电火花图像生成模型。
[0090]
两级生成对抗网络模型使用两个损失函数来训练第一级nbggan模型：生成损失l
g1
和识别损失l
d1
。其中，生成损失包括对抗损失l
c_g1
和条件损失l
c_mse
，识别损失包括对抗损失l
c_d1
和二进制交叉熵损失l
cross_d1
。
[0091]
第一级nbggan模型的对抗损失即：生成器g1试图生成逼真的低分辨率无背景图像，识别器d1则试图将真实图像与生成图像区分开来，通过最大化损失函数l
c_d1
和最小化损失函数l
c_g1
来交替训练鉴别器d1和生成器g1。同时，引入kl散度来约束生成器生成的数据分布与真实数据分布之间的差异。公式为：
[0092][0093]
其中e(
·
)表示期望值，s(
·
)表示图像增强操作，i1为无背景的低分辨率真实图像，d为文本描述，c1为条件向量，z是从给定分布高斯分布中随机采样的噪声向量，ec,es,e
t
分别为颜色向量，形状向量，纹理向量。d
kl
(p
data
||pg)为真实数据分布p
data
(x)与生成器生成数据分布pg(x)之间的kl散度。k1是一个正则化超参数，用于平衡损失函数l
c_g1
中的原始损失函数和kl散度，本文中k1＝1。μ1(
·
)和∑1(
·
)分别为从文本增强模块1中采样到的均值和标准差。条件损失l
c1_mse
即：生成器g1尝试最小化生成图像与真实图像之间的均方误差损失。公式为：
[0094][0095]
其中ii(w,h)表示第i个样本的真实图像在位置(h,w)处的像素值，pi(w,h)表示第i个样本的生成图像在位置(h,w)处的像素值，n为样本数，w和h分别表示图像的宽度和高度。
[0096]
交叉熵损失l
cross_d1
即：识别器d1尝试最小化每个样本的真实类别概率分布与模型预测概率分布的距离，从而加速梯度下降优化时的收敛速度。二进制交叉熵损失公式如下：
[0097][0098]
其中，y为真实标签，且y∈(0,1)，p为模型决策评分时为正类的概率。
[0099]
因此，生成损失lg1如下所示：
[0100]
lg1＝min(l
c_g1
)+min(l
c1_mse
)，
[0101]
识别损失ld1如下所示：
[0102]
ld1＝max(l
c_d1
)+min(l
cross_d1
)
[0103]
两级生成对抗网络模型使用三个损失函数来训练第二级bggan模型：生成损失l
g2
、零样本分类损失lc和识别损失l
d2
。其中，生成损失包括对抗损失l
c_g2
、条件损失l
c2_mse
和分
类器指导损失权重，零样本分类损失包括分类损失l
c;s
、对抗损失l
adv
和自注意力损失l
att
，识别损失包括对抗损失l
c_d2
、二进制交叉熵损失l
cross_d2
和注意力损失l
a_d2
；
[0104]
第二级bggan模型的对抗损失即：生成器g2试图生成逼真的高分辨率有背景图像，同时考虑第一级nbggan模型中被忽略的其它图像信息和背景信息，识别器d2则试图将真实图像与生成图像区分开来，通过最大化损失函数l
c_d2
和最小化损失函数l
c_g2
来交替训练识别器d2和生成器g2。公式为：
[0105][0106]
其中，i0为有背景的高分辨率真实图像，i
g1
为生成器g1的生成样本，c2为条件向量，μ2(
·
)和∑2(
·
)分别表示从文本增强模块2中采样到的均值和标准差。
[0107]dkl
(p
data
||pg)为真实数据分布p
data
(x)与生成器生成数据分布pg(x)之间的kl散度。k2是一个正则化超参数，本文中k2＝1。
[0108]
采用与第一级nbggan模型相同的方式，获得生成损失l
g2
中的条件损失l
c2_mse
和识别损失l
d2
中的交叉损失l
cross_d2
。
[0109]
识别器d2的注意力模块提供注意力损失，即最小化自注意力机制输出数据和输入图像之间的距离。公式如下：
[0110][0111]
其中，x表示输入图像，a表示自注意力机制输出数据，||
·
||f表示矩阵的frobenius范数。
[0112]
零样本分类器的分类准确性将指导生成器g2正确类别的生成样本。零样本分类损失lc即：引入多头自注意力模块的零样本分类器尝试最小化分类误差，包括分类损失l
cls
、对抗损失l
adv
和自注意力损失l
att
，公式如下：
[0113][0114][0115][0116]
其中，n为样本数量，k为分类器的类别数，y(i,j)表示第i个样本是否属于第j类，p(i,j)表示生成器生成的第i个样本属于第j类的概率，d为识别器，zi表示第i个样本的噪声向量。c(x)i表示识别器对输入图像x的第i个位置的预测概率，wi表示该位置的自注意力权重，其wi可以根据输入特征计算得到，通常使用softmax函数进行归一化：
[0117][0118]
因此，生成损失lg2如下所示：
[0119]
lg2＝min(l
c_g2
)+min(l
c2_mse
)+c*lc[0120]
其中，c用于平衡生成器g2中的原始损失函数与零样本分类器的总损失函数。
[0121]
识别损失ld2如下所示：
[0122]
ld2＝max(l
cd2
)+min(l
crossd2
)+min(l
a_d2
)
[0123]
零样本分类损失总损失函数定义为：
[0124]
lc＝l
cls
+l*l
adv
+λ*l
att
[0125]
其中，l、λ为超参数，l用于平衡分类损失函数和对抗损失函数的权重，λ表示自注意力机制的损失权重。
[0126]
s6.利用训练好的电气设备电火花图像生成模型，生成包括绝缘故障、接触不良、异物进入、电弧故障和短路故障等故障类型的高分辨率电火花图像，以扩充高质量电火花图像数据集，节省采集电火花图像的时间、资金和人力成本。扩充的高质量电火花图像数据集可投入工业应用、科学研究、安全检测等领域进行使用。
[0127]
本发明的有益效果如下：
[0128]
本发明提出了电火花背景剥离模块，旨在通过设定区域规则，去除无效背景信息的干扰并增强电火花的特征表示，以提高图像中电火花特征的辨识度。该模块生成的无背景电火花图像被用作第一级nbggan模型的真实样本输入，以帮助模型获得准确的电火花特征，从而提高两级生成对抗网络生成图像的稳定性。
[0129]
本发明提出了基于自注意机制的两级生成对抗网络模型，其中，第一级gan仅生成具有重要特征的目标图像，第二级gan生成完整的高分辨率图像，并添加自注意损失模块以提高模型的识别和分类效率。第一级nbggan模型使用无背景电火花图像和包含文本的条件向量、图像属性特征向量、随机噪声等多维信息的生成样本作为输入，生成较为逼真的无背景电火花图像。在数据采集阶段和特征提取阶段，收集了各种故障类型的电火花图像，并提取图像特征作为生成器的输入，确保了生成图像的多样性，并可以直接控制生成电火花图像，使其具有满足应用需求的属性。第二级bggan模型使用具有环境信息的条件向量作为输入，关注第一级nbggan模型中忽略的背景信息和更多电火花图像细节，生成具有背景的高分辨率电火花图像。同时，使用零样本分类器帮助生成器生成具有目标属性的电火花图像，提高生成图像的稳定性。此外，在第二级bggan模块的识别器和零样本分类器中都引入自注意力模块，关注有背景的图像中更重要的电火花信息，从而加速模型收敛。
[0130]
stackgan++基于输入的随机向量生成图像，因此无法精确控制生成图像的某些特征，例如颜色、纹理等。而本发明提出的方法则使用了随机向量和被额外引入的特征向量来生成图像，从而可以控制生成图像具有应用所需的重要特征，使得生成的图像更具可控性。
[0131]
stackgan++生成的图像质量不够稳定，可能会出现明显的缺陷和不完美之处。而本发明提出的方法通过使用背景剥离模块、图像增强模块等技术手段，减少了由于噪声干扰或过拟合引起的不完美之处，提高了生成图像的质量和稳定性。
[0132]
stackgan++模型包含多个生成器和识别器网络，导致训练时间较长。而本发明提
出的模型在识别器和零样本分类器中都引入了自注意力模块，并添加自注意损失函数值作为指导，以提高识别和分类效率。
[0133]
本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本技术中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“x使用a或b”意指自然包括排列的任意一个。即，如果x使用a；x使用b；或x使用a和b二者，则“x使用a或b”在前述任一示例中得到满足。
[0134]
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
[0135]
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
[0136]
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.基于两级生成对抗网络的电气设备电火花图像生成方法，其特征在于，包括以下步骤：s1.采集真实图像数据集并收集文本描述：收集电火花文本描述及环境信息文本描述，采集各种故障类型的高分辨率电火花图像集；s2.构建电火花图像背景剥离模块，并制作无背景的低分辨率电火花图像集：处理高分辨率图像集得到相应的低分辨率图像集，再通过设定区域规则得到无背景的低分辨率图像集；s3.构建特征提取模块：所述特征提取模块提取输入图像中的颜色、形状和纹理特征作为模型的额外输入向量；s4.构建用于训练的两级生成对抗网络模型，其中第一级nbggan模型用于生成无背景的低分辨率图像，第二级bggan模型用于生成有背景的高分辨率图像；s5.对生成的两级对抗网络模型进行训练，得到训练好的模型：基于s4步骤获得的两级对抗网络模型，当判定模型收敛时，将收敛的两级对抗网络模型记作电气设备电火花图像生成模型；s6.利用训练好的电气设备电火花图像生成模型生成各种故障类型的电火花图像。2.根据权利要求1所述的基于两级生成对抗网络的电气设备电火花图像生成方法，其特征在于，步骤s1中采集真实图像数据集并收集文本描述，具体包括：收集包含颜色、形状、纹理特征的电火花文本描述d以及各个电火花故障类型的环境信息文本描述env，为图像生成模型提供文本信息；同时采集电网环境下各种故障类型的高分辨率电火花的图像集i
h
，为图像生成模型提供图像信息，其中各种故障类型包括：绝缘故障、接触不良、异物进入、电弧故障和短路故障；然后对获得的所有图像数据集进行归一化操作，以获得相同尺寸的高分辨率电火花图像数据集i0；所述高分辨率电火花图像的张量大小为h*w*c；h为高度，w为宽度，c为通道，每个图像被标注为所属故障类型的类别标签，并为每个图像定义属性标签，在这个过程中，每个真实电火花图像被标记为1。3.根据权利要求2所述的基于两级生成对抗网络的电气设备电火花图像生成方法，其特征在于，步骤s2具体包括：对s1获得的高分辨率电火花图像数据集i0采取双线性插值操作和下采样方法，经过处理后得到低分辨率电火花图像集i
l
；所述低分辨率电火花图像的张量大小为其中r为下采样比例；将图像背景进行剥离，从而减少背景信息干扰并加速模型收敛；将i
l
输入电火花图像背景剥离模块，得到无背景的低分辨率电火花图像i1；电火花图像背景剥离模块的区域规则如下：1)电火花具有高度饱和的特点，即其饱和度值s不低于预设的饱和度阈值s
t
，有s≥s
t
；2)电火花具有亮度高的特点，即电火花的灰度图的亮度值l不低于预设的亮度阈值l
t
，有l≥l
t
；3)电火花具有颜色鲜艳的特点，即电火花图像的各颜色分量r、g、b不低于各颜色分量
的预设阈值r
t
、g
t
、b
t
，有r≥r
t
或g≥g
t
或b≥b
t
；4)电火花所在区域具有像素值变化幅度大的特点，因此可以通过图像的边缘信息，将图像中被边缘包围的电火花图像提取出来，并去除背景信息。4.根据权利要求3所述的基于两级生成对抗网络的电气设备电火花图像生成方法，其特征在于，提取电火花图像的具体步骤如下：首先对输入图像i进行二值化处理，得到二值图像bi(i)，然后对其进行形态学梯度操作，得到电火花的边缘信息e(t(bi(i)))；为了去除边缘噪声，再对二值图像进行开运算操作得到o(bi(i))；接着，将图像的边缘区域设置为白色，背景区域设置为黑色，得到处理后的图像h(o(bi(i)))；使用边缘信息e(t(bi(i)))对图像进行膨胀操作，得到更加宽广的边缘区域；对膨胀后的二值化图像进行连通区域分析，得到被边缘包围的电火花图像的区域ω；最后，将原图像i和二值化图像进行按位与操作and(i,ω)，去除没有被边缘包围的背景图像；将提取的电火花图像采用下述公式进行分割：式中，s、l、r、g、b为图像的饱和度分量、亮度分量、红色分量、绿色分量和蓝色分量，s
t
、l
t
、r
t
、g
t
、b
t
为预先设定的饱和度分量阈值、亮度分量阈值、红色分量阈值、绿色分量阈值和蓝色分量阈值，and表示按位与操作，i为输入图像，bi(
·
)表示二值化处理，t(
·
)表示形态学梯度操作，o(
·
)表示开运算操作，e(
·
)表示获得边缘信息，h(
·
)为将边缘区域设置为白色并将背景区域设置为黑色的操作，e(x,y)表示使用信息y对x做膨胀操作，c(
·
)为连通区域分析，ω为经过c(
·
)操作后得到的区域。5.根据权利要求1所述的基于两级生成对抗网络的电气设备电火花图像生成方法，其特征在于，s3具体包括：颜色特征提取：采用颜色直方图提取颜色特征，得到额外颜色向量e
c
；形状特征提取：采用边缘检测算法提取形状特征，得到额外形状向量e
s
；纹理特征提取：采用纹理特征描述符提取纹理特征，本文使用局部二值模式，得到额外纹理向量e
t
。6.根据权利要求1所述的基于两级生成对抗网络的电气设备电火花图像生成方法，其特征在于，步骤s4的构建模型步骤如下：步骤s41：构建第一级nbggan模型的文本增强模块t1、第二级bggan模型的文本增强模块t2，以提高文本嵌入潜在空间的数据流连续性，便于生成器学习文本特征；步骤s42：构建图像增强模块，防止图像过拟合；在图像增强模块中，对输入的无背景低分辨率电火花图像i1和生成器g1生成的电火花样本i
g1
采用相同的数据增强策略；步骤s43：构建第一级nbggan模型的生成器g1；
步骤s44：构建第一级nbggan模型的识别器d1；步骤s45：构建第二级bggan模型的生成器g2；步骤s46：引入自注意力模块，构建第二级bggan模型的识别器d2；步骤s47：引入自注意力机制，构建第二级bggan模型的零样本分类器。7.根据权利要求1所述的基于两级生成对抗网络的电气设备电火花图像生成方法，其特征在于，步骤s41包括：构建第一级nbggan模型的文本增强模块t1、第二级bggan模型的文本增强模块t2，以提高文本嵌入潜在空间的数据流连续性，便于生成器学习文本特征：首先，将s1收集到的电火花文本描述d和环境信息文本描述env经过预训练的文本编辑器处理，得到电火花文本嵌入和环境信息文本嵌入然后，将输入到文本增强模块t1，并将和输入到文本增强模块t2中，分别得到条件向量c1、条件向量c2；其中，文本增强模块t1中的具体操作如下：首先，将文本嵌入输入两个全连接层生成两个向量，用作高斯分布的均值μ1和方差σ1；然后，根据高斯分布的公式，从标准正态分布中采样得到一个随机向量ε1，最后使用公式c1＝μ1+σ1*ε1，将随机向量ε1转换为高斯分布中的条件向量c1；文本增强模块t2中的具体操作如下：条件向量c2的获取方式与条件向量c1相似，但是使用的是另外两个全连接层生成均值μ2和方差σ2，并且由文本嵌入和环境信息文本嵌入共同生成高斯分布；根据高斯分布的公式，从标准正态分布中采样得到一个随机向量ε2，并使用公式c2＝μ2+σ2*ε2，将随机向量ε
w
转换为高斯分布中的条件向量c2；步骤s42包括：构建图像增强模块，防止图像过拟合；在图像增强模块中，对输入的无背景低分辨率电火花图像i1和生成器g1生成的电火花样本i
g1
采用相同的数据增强策略，包括：在图像区域内随机选取原始图像四分之一大小的正方形区域进行遮挡；对图像添加高斯噪声；用0覆盖图像中的[-1/8,1/8]范围；步骤s43包括：构建第一级nbggan模型的生成器g1；首先，条件变量c1、随机噪声向量z以及特征提取模块提取到的颜色e
c
、形状e
s
、纹理e
t
特征进行拼接，形成输入向量；然后，将输入向量输入生成器g1，生成无背景的低分辨率电火花样本i
g1
，其中每个生成的电火花图像被标记为0；所述生成器g1由4个转置卷积层构成，每个转置卷积层包含上采样和卷积操作；步骤s44包括：构建第一级nbggan模型的识别器d1：首先，将低分辨率的无背景电火花图像i1和g1的生成样本输入图像i
g1
增强模块得到增强后的图像，其图像尺寸为w1×
h1，增强图像经过一系列下采样块后输出空间维度为m
d
×
m
d
的图像；同时，将文本嵌入输入全连接层压缩至n
d
维，经过空间复制后得到大小为m
d
×
m
d
×
n
d
的张量；然后，将图像的滤波器映射沿通道维度与文本张量进行拼接；得到的张量进一步被输入到1
×
1卷积层，共同学习图像和文本的特征；最后，使用一个全连接层来生成决策评分；其中，判别器d1的下采样块由5个卷积神经
网络层构成，每个卷积神经网络层包含卷积操作、批处理归一化操作和leakyrelu激活函数，第一块卷积层没有批处理归一化操作；步骤s45包括：构建第二级bggan模型的生成器g2：将步骤s3生成的无背景的低分辨率电火花样本i1和条件向量c2输入生成器g2，生成有背景的高分辨率电火花样本i
g2
，将每个生成的电火花图像标记为0；具体操作如下：首先对n
g
维条件向量c2进行空间复制，形成m
g
×
m
g
×
n
g
大小的张量；然后将电火花样本i1送入多个下采样块，直到输出大小为m
g
×
m
g
的图像；然后，将图像特征和文本特征沿通道维度进行拼接，并输入到4个残差块中，用于学习跨图像和文本特征的多模态表示；最后，使用一系列上采样层生成尺寸为w2×
h2的高分辨率图像i
g2
；其中，一系列下采样块均为卷积层，第一块卷积层没有批处理归一化操作，残差块由卷积操作、批处理归一化操作和relu激活函数组成，一系列上采样层均为转置卷积层，每个转置卷积层包含上采样和卷积操作；步骤s46包括：引入自注意力模块，构建第二级bggan模型的识别器d2；将大小为w2×
h2的有背景高分辨率电火花图像i0和g2的生成样本i
g2
经过一系列下采样块，输出空间维度为m
d
×
m
d
的图像；同时，将文本嵌入输入全连接层压缩至n
d
维，再进行空间复制，生成大小为m
d
×
m
d
×
n
d
的张量；然后，将图像的滤波器映射沿通道维度与文本张量进行拼接，得到的张量进一步被输入到一个1
×
1卷积层中，用于共同学习图像和文本的特征；最后，使用一个全连接层来生成决策评分，其中，判别器d2的下采样块由7个卷积神经网络层组成，每个卷积神经网络层包含卷积操作、批处理归一化操作和leakyrelu激活函数，第一块卷积层没有批处理归一化操作；步骤s47：引入自注意力机制，构建第二级bggan模型的零样本分类器：将生成器g2输出的生成样本i
g2
和高分辨率的有背景电火花图像i0输入特征提取模块中，所述特征提取模块提取颜色、形状和纹理特征，并产生特征向量e
generate_c
、e
generate_s
、e
generate_t
和e
real_c
、e
real_s
、e
real_t
；然后，将生成样本i
g2
和真实样本i0的相同特征向量进行拼接，得到拼接后的特征向量e
cat_c
、e
cat_s
、e
cat_t
；接着，将这些拼接后的特征向量通过全连接层映射到高维空间，再输入到多头自注意力模块中，该模块产生的输出特征向量被送入分类器进行分类，并被映射为对应的电火花图像故障类型，其中，本文中分类器由一个全连接层构成；其中，多头注意力模块进行以下操作：首先，接收一个三维张量作为输入，其中第一维表示批次大小，第二维表示特征图中每个像素的位置，第三维表示特征向量的维度；然后将输入的特征张量分别进行三个不同的线性变换，得到三个新的向量：q、k、v，它们的维度相同，且与输入特征的维度相等；接着，该模块计算q与k之间的点积，并进行归一化，得到一个相似度矩阵作为加权矩阵，用来表示每个位置对其他位置的影响程度；使用相似度矩阵对v进行加权求和，得到最终的自注意力输出；最后，将自注意力输出与输入特征向量进行残差连接，再进行归一化操作，得到最终的特征向量表示。8.根据权利要求1所述的基于两级生成对抗网络的电气设备电火花图像生成方法，其
特征在于，步骤s5中的两级生成对抗网络模型的训练过程包括两个部分：预训练和微调；在预训练中首先固定第二级bggan模型，然后交替训练第一级nbggan模型的识别器d1和生成器g1；接下来固定第一级nbggan模型，交替训练第二级bggan模型的识别器d2、零样本分类器和生成器g2；在微调中，对两个gan模型进行联合训练，当判定模型收敛时，将收敛的两级对抗网络模型记作电气设备电火花图像生成模型。9.根据权利要求8所述的基于两级生成对抗网络的电气设备电火花图像生成方法，其特征在于，两级生成对抗网络模型使用两个损失函数来训练第一级nbggan模型：生成损失l
g1
和识别损失l
d1
，其中，生成损失包括对抗损失l
c_g1
和条件损失l
c_mse
，识别损失包括对抗损失l
c_d1
和二进制交叉熵损失l
cross_d1
；第一级nbggan模型的对抗损失即生成器g1试图生成逼真的低分辨率无背景图像，识别器d1则试图将真实图像与生成图像区分开来，通过最大化损失函数l
c_d1
和最小化损失函数l
c_g1
来交替训练鉴别器d1和生成器g1，同时，引入kl散度来约束生成器生成的数据分布与真实数据分布之间的差异；条件损失l
c1_mse
即生成器g1尝试最小化生成图像与真实图像之间的均方误差损失；二进制交叉熵损失l
cross_d1
即识别器d1尝试最小化每个样本的真实类别概率分布与模型预测概率分布的距离，从而加速梯度下降优化时的收敛速度；两级生成对抗网络模型使用三个损失函数来训练第二级bggan模型：生成损失l
g2
、零样本分类损失l
c
和识别损失l
d2
；其中，生成损失包括对抗损失l
c_g2
、条件损失l
c2_mse
和分类器指导损失权重，零样本分类损失包括分类损失l
cls
、对抗损失l
adv
和自注意力损失l
att
，识别损失包括对抗损失l
c_d2
、二进制交叉熵损失l
cross_d2
和注意力损失i
a_d2
；第二级bggan模型的对抗损失即：生成器g2试图生成逼真的高分辨率有背景图像，同时考虑第一级nbggan模型中被忽略的其它图像信息和背景信息，识别器d2则试图将真实图像与生成图像区分开来，通过最大化损失函数l
c_d2
和最小化损失函数l
c_g2
来交替训练识别器d2和生成器g2；采用与第一级nbggan模型相同的方式，获得生成损失l
g2
中的条件损失l
c2_mse
和识别损失l
d2
中的交叉损失l
cross_d2
；识别器d2的注意力模块提供注意力损失，即最小化自注意力机制输出数据和输入图像之间的距离；零样本分类器的分类准确性将指导生成器g2正确类别的生成样本，零样本分类损失l
c
即：引入多头自注意力模块的零样本分类器尝试最小化分类误差，包括分类损失l
cls
、对抗损失l
adv
和自注意力损失l
att
。10.根据权利要求9所述的基于两级生成对抗网络的电气设备电火花图像生成方法，其特征在于，两级生成对抗网络模型使用两个损失函数来训练第一级nbggan模型：生成损失l
g1
和识别损失l
d1
，其中，生成损失包括对抗损失l
c_g1
和条件损失l
c_mse
，识别损失包括对抗损失l
c_d1
和二进制交叉熵损失l
cross_d1
；损失函数l
c_d1
公式为：
损失函数l
c_g1
公式为：其中e(
·
)表示期望值，s(
·
)表示图像增强操作，i1为无背景的低分辨率真实图像，d为文本描述，c1为条件向量，z是从给定分布高斯分布中随机采样的噪声向量，e
c
，e
s
，e
t
分别为颜色向量，形状向量，纹理向量；d
kl
(p
data
||p
g
)为真实数据分布p
data
(x)与生成器生成数据分布p
g
(x)之间的kl散度，k1是一个正则化超参数，用于平衡损失函数l
c_g1
中的原始损失函数和kl散度，μ1(
·
)和∑1(
·
)分别为从文本增强模块1中采样到的均值和标准差；条件损失l
c1_mse
公式为：其中i
i
(w，h)表示第i个样本的真实图像在位置(h，w)处的像素值，p
i
(w，h)表示第i个样本的生成图像在位置(h，w)处的像素值，n为样本数，w和h分别表示图像的宽度和高度；交叉熵损失l
cross_d1
公式如下：其中，y为真实标签，且y∈(0，1)，p为模型决策评分时为正类的概率；因此，生成损失lg1如下所示：lg1＝min(l
c_g1
)+min(l
c1_mse
)，识别损失ld1如下所示：ld1＝max(l
c_d1
)+min(l
cross_d1
)损失函数l
c_d2
公式为：损失函数l
c_g2
公式为：其中，i0为有背景的高分辨率真实图像，i
g1
为生成器g1的生成样本，c2为条件向量，μ2(
·
)和σ2(
·
)分别表示从文本增强模块2中采样到的均值和标准差，d
kl
(p
data
||p
g
)为真实数据分布p
data
(x)与生成器生成数据分布p
g
(x)之间的kl散度，k2是一个正则化超参数；注意力损失公式如下：其中，x表示输入图像，a表示自注意力机制输出数据，||
·
||
f
表示矩阵的frobenius范
数；分类损失l
cls
、对抗损失l
adv
和自注意力损失l
att
公式如下：公式如下：公式如下：其中，n为样本数量，k为分类器的类别数，y(i，j)表示第i个样本是否属于第j类，p(i，j)表示生成器生成的第i个样本属于第j类的概率，d为识别器，z
i
表示第i个样本的噪声向量，c(x)
i
表示识别器对输入图像x的第i个位置的预测概率，w
i
表示该位置的自注意力权重；生成损失lg2如下所示：lg2＝min(l
c_g2
)+min(l
c2_mse
)+c*l
c
其中，c用于平衡生成器g2中的原始损失函数与零样本分类器的总损失函数；识别损失ld2如下所示：零样本分类损失总损失函数定义为：l
c
＝l
cls
+l*l
adv
+λ*l
att
其中，l、λ为超参数，l用于平衡分类损失函数和对抗损失函数的权重，λ表示自注意力机制的损失权重。

技术总结
本发明公开了基于两级生成对抗网络的电气设备电火花图像生成方法，包括：包括以下步骤：采集真实图像数据集并收集文本描述；构建电火花图像背景剥离模块，并制作无背景的低分辨率电火花图像集；构建特征提取模块；构建用于训练的两级生成对抗网络模型，其中第一级nbgGAN模型用于生成无背景的低分辨率图像，第二级bgGAN模型用于生成有背景的高分辨率图像；对生成的两级对抗网络模型进行训练，得到训练好的模型；利用训练好的电气设备电火花图像生成模型生成各种故障类型的电火花图像。本发明增强电火花的特征表示，提高图像中电火花特征的辨识度，帮助模型获得准确的电火花特征，提高生成图像的稳定性。提高生成图像的稳定性。提高生成图像的稳定性。


技术研发人员：杨圣洪 徐方明 李肯立 蔡宇辉 杨志邦 余思洋 唐伟 段明星 吕婷
受保护的技术使用者：湖南匡安网络技术有限公司
技术研发日：2023.05.22
技术公布日：2023/8/9