小样本图像生成方法和装置与流程

1.本技术涉及计算机数据处理技术领域，特别是涉及一种小样本图像生成方法和装置。


背景技术：

2.电力是我国经济发展、工程建设等方面不可或缺的重要元素，电力系统的稳定运行具有极其重要的意义。电力系统中的设备一旦出现缺陷故障，会影响电力系统的安全和稳定运行，对国家和社会造成重大影响。
3.电力设备缺陷通常依靠人工巡检在视距内或借助望远镜等设备被发现。对于输电线路此类分布广、规模大的电力设备，人工巡检不仅工作量和难度极大，还面临着复杂、多变的户外环境，工作具有较高的危险性。随着技术的进步与发展，越来越多的电力维护单位开始采用无人机、巡检机器人、固定摄像头、全景采集等图像采集设备对电力设备进行图像采集。图像采集设备采集到电力设备图像后，利用图像识别和深度学习技术结合，判断图像中存在的缺陷并对其进行分类、定位、语义理解等。深度学习依赖于大规模标注数据进行图像识别模型的训练，若训练数据较少，将会对图像识别模型的预测准确率带来负面影响。
4.然而，目前采集到的电力缺陷数据仍然相对较为稀缺，导致缺陷识别的准确度难以提高。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够扩充数据集的小样本图像生成方法和装置，以解决电力缺陷数据稀缺问题，进而提高确实识别准确度。
6.第一方面，本技术提供了一种小样本图像生成方法。该方法包括：
7.获取设备缺陷图像，将设备缺陷图像输入图像生成网络；
8.图像生成网络中的编码器对设备缺陷图像进行特征提取，获取图像特征；
9.图像生成网络中的局部融合模块随机选择一个设备缺陷图像作为基准图像，其他设备缺陷图像作为参考图像；基于语义相似性对基准图像的图像特征和参考图像的图像特征进行匹配；基于匹配结果对基准图像和参考图像进行局部融合，获取融合特征；
10.图像生成模块中的解码器根据融合特征生成融合图像。
11.在其中一个实施例中，获取设备缺陷图像，将设备缺陷图像输入图像生成网络包括：
12.采集设备图像；
13.对设备图像中的缺陷情况进行标注，获取带有标注信息的标注图像；
14.根据标注信息对标注图像进行裁剪，获取局部图像；
15.利用双线性差值算法对局部图像进行图像缩放，获取预设尺寸的设备缺陷图像。
16.在其中一个实施例中，获取设备缺陷图像，将设备缺陷图像输入图像生成网络包括：
17.通过numpy库将设备缺陷图像存储为多维矩阵。
18.在其中一个实施例中，编码器为多层级结构，编码器多层级结构中的首层包括一个第一卷积网络；编码器多层级结构中除首层外的其他层均包括依次连接的一个第二卷积网络、一个cot模块和一个第三卷积网络。
19.在其中一个实施例中，cot模块包括：
20.数据转换模块，用于根据cot模块的输入获取k值、q值和v值；
21.静态表示模块，用于对k值进行上下文编码，获取cot模块的输入的静态上下文表示结果；
22.动态表示模块，用于将静态上下文表示结果与q值连接后的结果输入两个连续的第四卷积网络，获取动态多头注意力矩阵；将多头注意力矩阵与v值相乘，获取cot模块的输入的动态上下文表示结果；
23.融合模块，用于将静态上下文表示结果和动态上下文表示结果进行融合并输出。
24.在其中一个实施例中，图像生成网络还包括判别器；方法还包括对图像生成网络进行训练，训练步骤包括：
25.设置训练超参数，将训练超参数输入图像生成网络；
26.根据判别器对融合图像的判定结果，获取对抗损失和分类损失；
27.根据局部融合模块的局部融合情况，获取局部损失；
28.根据对抗损失、分类损失和局部损失，获取总损失函数；
29.利用总损失函数对图像生成网络进行优化，直至满足训练超参数的条件。
30.第二方面，本技术提供了一种小样本图像生成装置，装置包括：
31.输入模块，用于获取设备缺陷图像；
32.编码器，用于对设备缺陷图像进行特征提取，获取图像特征；
33.局部融合模块，用于随机选择一个设备缺陷图像作为基准图像，其他设备缺陷图像作为参考图像；基于语义相似性对基准图像的图像特征和参考图像的图像特征进行匹配；基于匹配结果对基准图像和参考图像进行局部融合，获取融合特征；
34.解码器，用于根据融合特征生成融合图像。
35.第三方面，本技术提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
36.获取设备缺陷图像，将设备缺陷图像输入图像生成网络；
37.图像生成网络中的编码器对设备缺陷图像进行特征提取，获取图像特征；
38.图像生成网络中的局部融合模块随机选择一个设备缺陷图像作为基准图像，其他设备缺陷图像作为参考图像；基于语义相似性对基准图像的图像特征和参考图像的图像特征进行匹配；基于匹配结果对基准图像和参考图像进行局部融合，获取融合特征；
39.图像生成模块中的解码器根据融合特征生成融合图像。
40.第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
41.获取设备缺陷图像，将设备缺陷图像输入图像生成网络；
42.图像生成网络中的编码器对设备缺陷图像进行特征提取，获取图像特征；
43.图像生成网络中的局部融合模块随机选择一个设备缺陷图像作为基准图像，其他
设备缺陷图像作为参考图像；基于语义相似性对基准图像的图像特征和参考图像的图像特征进行匹配；基于匹配结果对基准图像和参考图像进行局部融合，获取融合特征；
44.图像生成模块中的解码器根据融合特征生成融合图像。
45.第五方面，本技术提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
46.获取设备缺陷图像，将设备缺陷图像输入图像生成网络；
47.图像生成网络中的编码器对设备缺陷图像进行特征提取，获取图像特征；
48.图像生成网络中的局部融合模块随机选择一个设备缺陷图像作为基准图像，其他设备缺陷图像作为参考图像；基于语义相似性对基准图像的图像特征和参考图像的图像特征进行匹配；基于匹配结果对基准图像和参考图像进行局部融合，获取融合特征；
49.图像生成模块中的解码器根据融合特征生成融合图像。
50.上述小样本图像生成方法和装置通过编码器、局部融合模块和解码器基于小样本图像进行图像生成，并将生成的图像作为辅助识别任务的增广数据，有效扩充了缺陷识别的数据量，从而提高了缺陷识别精度。
附图说明
51.图1为一个实施例中小样本图像生成方法的应用环境图；
52.图2为一个实施例中小样本图像生成方法的流程示意图；
53.图3为一个实施例中图像生成网络的结构图；
54.图4为一个实施例中cot模块的结构图；
55.图5为一个实施例中图像生成网络根据设备缺陷图像输出的结果；
56.图6为一个实施例中小样本图像生成装置的结构框图；
57.图7为一个实施例中计算机设备的内部结构图。
具体实施方式
58.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
59.本技术实施例提供的小样本图像生成方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
60.深度学习进行模型训练与测试时对样本的数量要求较高，需要大量的经过标注的样本。电力设备缺陷识别是深度学习的一个应用方向。然而，缺陷样本数量缺失衡是当前电力设备缺陷识别的挑战之一。
61.一方面，由于缺陷种类众多，设备材质、颜色、连接方式多样，覆盖所有缺陷需要的样本数量极大；另一方面，采集的大量电力设备巡检图像需要有经验的工程师进行缺陷标注和分类，效率较低，产生的有效样本较少。
62.此外，不同电力设备部件数量不同，发生缺陷的概率也存在很大差异，导致缺陷样本种类分布不平衡，数量少的缺陷样本和发生频次低的缺陷样本占总缺陷样本的比例较低。
63.因此，基于当前缺陷样本的数量特点，导致识别模型不能完整、准确地学习特征，降低了缺陷识别准确度。
64.针对上述问题，在一个实施例中，如图2和图3所示，提供了一种小样本图像生成方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
65.步骤202，获取设备缺陷图像，将设备缺陷图像输入图像生成网络。
66.设备缺陷图像可以通过无人机、巡检机器人、固定摄像头、全景采集等图像采集设备对电力设备进行图像采集获得。
67.在一个实施例中，对采集的图像还可以进行预处理，以获得更有价值的图像。例如：对图像进行筛选，仅保留存在设备缺陷的图像；利用图像增强技术有选择性的加强和抑制，以改善图像视觉效果等。
68.常见的电力设备缺陷如电容器外壳变形、设备接头发热烧红、刀闸严重锈蚀等。
69.通过获取有效的设备缺陷图像，以便图像生成网络生成提取有效特征并生成有效图像。
70.步骤204，图像生成网络中的编码器对设备缺陷图像进行特征提取，获取图像特征。
71.编码器的作用是把高维输入编码成低维隐变量，从而令图像生成网络学习最有信息量的特征，即特征提取。特征提取方法可以采用resnet(残差神经网络)、vgg(visual geometry group network，视觉几何群网络)等。
72.步骤206，图像生成网络中的局部融合模块随机选择一个设备缺陷图像作为基准图像，其他设备缺陷图像作为参考图像；基于语义相似性对基准图像的图像特征和参考图像的图像特征进行匹配；基于匹配结果对基准图像和参考图像进行局部融合，获取融合特征。
73.局部融合模块(local fusion module，lfm)的整体思路是随机在k张设备缺陷图像中随机选择一张作为基准图像(base)，然后其他的(k-1)张设备缺陷图像图片作为参考图像(reference)，将基准图像的局部特征通过(k-1)张图片的局部特征进行融合，得到融合特征。
74.局部特征替换具体的操作为：从基准图像中随机选择某部分局部特征；确定选择的局部特征位置后，计算参考图像特征对应位置与基准图像的相似度，然后就可以找到与基准图像最相似的局部特征进行融合，实现特征重构。对选定的局部特征，此时有(k-1)个候选可用于替换的局部特征，那就可以将所有局部表示进行融合，并且将base特征中原始的部分替换掉，从而获取融合特征。
75.步骤208，图像生成模块中的解码器根据融合特征生成融合图像。
76.解码器与编码器对应，其作用就是将隐变量还原到初始维度，从而根据融合特征生成融合图像。
77.上述小样本图像生成方法中，通过编码器、局部融合模块和解码器基于小样本图像进行图像生成，并将生成的图像作为辅助识别任务的增广数据，有效扩充了缺陷识别的
数据量，从而提高了缺陷识别精度。同时，相较于传统试图通过使用可调整的加权系数来融合并生成图像的方法，使用局部融合模块能够提升小样本场景下生成图像的质量。因为从全局角度来看，传统方法会导致不同图像之间存在严重的语义错位，使得生成质量和多样性较差。而局部融合模块将这些可用的图像作为一个整体来使用，将它们随机分成一个基本图像和几个参考图像。基于语义相似性匹配基准图像和参考图像之间的局部表示，并用最接近的相关局部特征替换原局部特征。这样，可以在更细粒度的水平上产生更逼真、更多样化的图像，同时享受语义对齐的特性。
78.在一个实施例中，步骤202包括：采集设备图像；对设备图像中的缺陷情况进行标注，获取带有标注信息的标注图像；根据标注信息对标注图像进行裁剪，获取局部图像；利用双线性差值算法对局部图像进行图像缩放，获取预设尺寸的设备缺陷图像。
79.本实施例中，通过无人机、巡检机器人、固定摄像头、全景采集等设备采集设备图像，主要采集的是电力系统的设备图像，如变电站中的设备等。对主要缺陷进行分类，然后对采集设备图像标注缺陷位置和缺陷类型。根据标注信息对图像中的缺陷部分进行裁剪，利用双线性差值算法进行缩放，获取设备缺陷图像，并集成为单独的数据文件。设备缺陷图像为统一尺寸，例如均为128
×
128，64
×
64等。
80.在一个实施例中，步骤202包括：通过numpy库将设备缺陷图像存储为多维矩阵。
81.numpy是python数值计算非常重要的包，其他许多python科学计算的包都是以它为基础，比如：scipy、matplotlib、pandas等，所以numpy的重要性不言而喻。numpy最重要的一个特点是可以灵活高效的处理多维数组。通过python脚本调用numpy库将设备缺陷图像存储为多维矩阵并保存为data.npy文件。
82.在一个实施例中，编码器为多层级结构，编码器多层级结构中的首层包括一个第一卷积网络；编码器多层级结构中除首层外的其他层均包括依次连接的一个第二卷积网络、一个cot模块和一个第三卷积网络。
83.其中，cot(contextual transformer)模块是指基于上下文的transformer模块。
84.编码器为多层级结构，每个层级被称为stage，每个stage包含多个block。stage是指卷积提取特征中，feature map的size是逐级降低的，一个feature map分辨率之间的所有网络结构叫做一个stage。block是指用于构建网络的基本单元。
85.如表1所示，为一个实施例中编码器的结构。
86.表1编码器结构
87.88.本实施例中，编码器包括5个stage组成，按照数据处理顺序，依次为stage1、stage2、stage3、stage4、stage5。在stage1首先通过5
×
5卷积网络(第一卷积网络)对输入的维度提高并保持图像的尺度不变，第一卷积网络的通道数为32，stage1输出与输入相同的128
×
128尺寸的特征。然后将stage1输出的特征经过4个stage来对输入图像的尺度一步步缩小，减少计算压力，提取高维特征。在后4个stage中，均构建了一个block结构，在block中包含了一个1
×
1的卷积网络(第二卷积网络)、一个cot模块以及一个3
×
3的卷积网络(第三卷积网络)。第二卷积网络和cot模块保持特征的维度不变来提取特征图中的深层特征，第三卷积网络用来提高特征图的维度。以stage2为例，输入为128
×
128的特征，通过32通道的第二卷积网络和32通道的cot模块提取深层特征，通过64通道的第三卷积网络提高特征图维度，输出64
×
64的特征。其他stage以此类推。
89.在上述编码器结构中，stage的数量以及各个第一卷积网络、cot模块、第二卷积网络和第三卷积网络的通道数可以根据实际需要自由设定，只需确保通特征维度逐渐提高，直至提高至一定维度，即可保持维度数不变。
90.在一个实施例中，cot模块包括：数据转换模块，用于根据cot模块的输入获取k值、q值和v值；静态表示模块，用于对k值进行上下文编码，获取cot模块的输入的静态上下文表示结果；动态表示模块，用于将静态上下文表示结果与q值连接后的结果输入两个连续的第四卷积网络，获取动态多头注意力矩阵；将多头注意力矩阵与v值相乘，获取cot模块的输入的动态上下文表示结果；融合模块，用于将静态上下文表示结果和动态上下文表示结果进行融合并输出。
91.如图4所示，假设cot模块输入2d特征x，根据x获取k值(key)、q值(query)和v值(value)。获取公式为：k＝x，q＝k，v＝xwv，其中，wv为嵌入卷积。对于k值，空间上对k
×
k网络中所有相邻的值采用k
×
k组卷积，得到的即为静态上下文表示结果。然后将k1与q值连接(concat)，通过两个连续的1
×
1卷积(带relu激活函数的w
θ
和不带激活函数的w
δ
获得动态多头注意力矩阵a，多头注意力矩阵a表示为：a＝[k1，q]w
θwδ
。将多头注意力矩阵a与v值相乘，获取动态上下文表示结果k2，动态上下文表示结果k2表示为：最后将静态上下文表示结果k1与动态上下文表示结果k2融合，获取y并输出。
[0092]
对于多头注意力矩阵，每个空间位置的局部注意力矩阵是基于q值和静态上下文表示结果k1来学习的，因此增强了自注意力学习。
[0093]
通过cot模块集成上下文信息挖掘与自注意力学习，提升输出特征的表达能力，甚至可以很好地迁移到下游任务中。同时，将cot模块嵌入到编码器中不会导致参数量的显著提升，从而在提高特征提取性能的同时，具有更少的推理耗时。
[0094]
在一个实施例中，图像生成网络还包括判别器；方法还包括对图像生成网络进行训练，训练步骤包括：设置训练超参数，将训练超参数输入图像生成网络；根据判别器对融合图像的判定结果，获取对抗损失和分类损失；根据局部融合模块的局部融合情况，获取局部损失；根据对抗损失、分类损失和局部损失，获取总损失函数；利用总损失函数对图像生成网络进行优化，直至满足训练超参数的条件。
[0095]
其中，在图像生成网络中，编码器、局部融合模块和解码器可以被视为一个整体，
称为生成器。生成器输出的融合图像和真实图像会送入判别器中进行对抗训练。
[0096]
对抗损失用来限制生成器使其生成令判别器无法区分的真实图像。对抗损失的表达式如下：
[0097][0098][0099]
其中，d(.)代表判别器的结果，x代表真实图片，x代表由生成器构造的图片，表示判别器的对抗损失，表示生成器的对抗损失。
[0100]
分类损失用于使用辅助分类器将输入图像分类到相应的类别中，使得生成器在保持与输入图像相同的标签的同时生成图像。分类损失的表达式如下：
[0101][0102]
其中，c(.)代表真实图像的类别，代表判别器的分类损失，代表生成器的分类损失。
[0103]
局部损失用来解决当输入图像未对齐时，加权图像集将具有混叠伪影的问题。其思想是在图像级再现特征级局部融合过程，即针对获得粗略融合特征lfm(x，α)，通过局部来约束生成图像x。局部损失的表达式如下：
[0104]
l
local
＝||x-lfm(x，α)||1；
[0105]
其中，l
local
代表局部损失，||.||1代表l1-范数，α代表随机系数向量。
[0106]
总损失函数由上述三个损失组成，其表达式如下：
[0107][0108][0109]
其中，lg代表生成器的总损失，ld代表判别器的总损失。
[0110]
训练超参数对训练数据、训练次数等进行了限制，例如batch-size为16，迭代次数为100000等，则训练数据的batch-size设定为16，当迭代次数达到100000时停止训练。实际操作中可以根据需要设定训练超参数。
[0111]
本实施例通过生成器和判别器对抗的方式进行学习。生成器生成图像，判别器对生成图像和真实图像的真伪进行判别，再根据判别器的输出对生成器的参数进行修正，同时调整判别器自身参数，在反复的训练过程中提高生成图像的逼真度。
[0112]
如图5所示，左侧三列图像为真实图像，其他图片均是图像生成网络根据输入图像构生成的图像。
[0113]
本技术将生成的图像用于数据扩充，对应类别的数据生成固定张数后可以用于缺陷识别模型的训练，且提高了识别精度。
[0114]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个
阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0115]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的小样本图像生成方法的小样本图像生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个小样本图像生成装置实施例中的具体限定可以参见上文中对于小样本图像生成方法的限定，在此不再赘述。
[0116]
在一个实施例中，如图6所示，提供了一种小样本图像生成装置，包括：输入模块602、编码器604、局部融合模块606和解码器608，其中：
[0117]
输入模块602，用于获取设备缺陷图像。
[0118]
编码器604，用于对设备缺陷图像进行特征提取，获取图像特征。
[0119]
局部融合模块606，用于随机选择一个设备缺陷图像作为基准图像，其他设备缺陷图像作为参考图像；基于语义相似性对基准图像的图像特征和参考图像的图像特征进行匹配；基于匹配结果对基准图像和参考图像进行局部融合，获取融合特征。
[0120]
解码器608，用于根据融合特征生成融合图像。
[0121]
其中，输入模块602还用于采集设备图像；对设备图像中的缺陷情况进行标注，获取带有标注信息的标注图像；根据标注信息对标注图像进行裁剪，获取局部图像；利用双线性差值算法对局部图像进行图像缩放，获取预设尺寸的设备缺陷图像。
[0122]
输入模块602还用于通过numpy库将设备缺陷图像存储为多维矩阵。
[0123]
编码器604为多层级结构，编码器多层级结构中的首层包括一个第一卷积网络；编码器多层级结构中除首层外的其他层均包括依次连接的一个第二卷积网络、一个cot模块和一个第三卷积网络。
[0124]
cot模块包括：数据转换模块，用于根据cot模块的输入获取k值、q值和v值；静态表示模块，用于对k值进行上下文编码，获取cot模块的输入的静态上下文表示结果；动态表示模块，用于将静态上下文表示结果与q值连接后的结果输入两个连续的第四卷积网络，获取动态多头注意力矩阵；将多头注意力矩阵与v值相乘，获取cot模块的输入的动态上下文表示结果；融合模块，用于将静态上下文表示结果和动态上下文表示结果进行融合并输出。
[0125]
小样本图像生成装置还包括判别器610，用于对融合图像进行预测。
[0126]
小样本图像生成装置还包括训练模块，用于设置训练超参数，将训练超参数输入图像生成网络；根据判别器对融合图像的判定结果，获取对抗损失和分类损失；根据局部融合模块的局部融合情况，获取局部损失；根据对抗损失、分类损失和局部损失，获取总损失函数；利用总损失函数对图像生成网络进行优化，直至满足训练超参数的条件。
[0127]
上述小样本图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0128]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output，简称i/o)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能
力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储设备缺陷图像。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种小样本图像生成方法。
[0129]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种小样本图像生成方法。
[0130]
本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0131]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述所有方法实施例。
[0132]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述所有方法实施例。
[0133]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述所有方法实施例。
[0134]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0135]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存
取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0136]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0137]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种小样本图像生成方法，其特征在于，所述方法包括：获取设备缺陷图像，将所述设备缺陷图像输入图像生成网络；所述图像生成网络中的编码器对所述设备缺陷图像进行特征提取，获取图像特征；所述图像生成网络中的局部融合模块随机选择一个所述设备缺陷图像作为基准图像，其他所述设备缺陷图像作为参考图像；基于语义相似性对所述基准图像的所述图像特征和所述参考图像的所述图像特征进行匹配；基于匹配结果对所述基准图像和所述参考图像进行局部融合，获取融合特征；所述图像生成模块中的解码器根据所述融合特征生成融合图像。2.根据权利要求1所述的方法，其特征在于，所述获取设备缺陷图像，将所述设备缺陷图像输入图像生成网络包括：采集设备图像；对所述设备图像中的缺陷情况进行标注，获取带有标注信息的标注图像；根据所述标注信息对所述标注图像进行裁剪，获取局部图像；利用双线性差值算法对所述局部图像进行图像缩放，获取预设尺寸的所述设备缺陷图像。3.根据权利要求1所述的方法，其特征在于，所述获取设备缺陷图像，将所述设备缺陷图像输入图像生成网络包括：通过numpy库将所述设备缺陷图像存储为多维矩阵。4.根据权利要求1所述的方法，其特征在于：所述编码器为多层级结构，所述编码器多层级结构中的首层包括一个第一卷积网络；所述编码器多层级结构中除首层外的其他层均包括依次连接的一个第二卷积网络、一个cot模块和一个第三卷积网络。5.根据权利要求4所述的方法，其特征在于，所述cot模块包括：数据转换模块，用于根据所述cot模块的输入获取k值、q值和v值；静态表示模块，用于对所述k值进行上下文编码，获取所述cot模块的输入的静态上下文表示结果；动态表示模块，用于将所述静态上下文表示结果与所述q值连接后的结果输入两个连续的第四卷积网络，获取动态多头注意力矩阵；将所述多头注意力矩阵与所述v值相乘，获取所述cot模块的输入的动态上下文表示结果；融合模块，用于将所述静态上下文表示结果和所述动态上下文表示结果进行融合并输出。6.根据权利要求1所述的方法，其特征在于，所述图像生成网络还包括判别器；所述方法还包括对所述图像生成网络进行训练，训练步骤包括：设置训练超参数，将所述训练超参数输入所述图像生成网络；根据所述判别器对所述融合图像的判定结果，获取对抗损失和分类损失；根据所述局部融合模块的局部融合情况，获取局部损失；根据所述对抗损失、所述分类损失和所述局部损失，获取总损失函数；利用所述总损失函数对所述图像生成网络进行优化，直至满足所述训练超参数的条件。
7.一种小样本图像生成装置，其特征在于，所述装置包括：输入模块，用于获取设备缺陷图像；编码器，用于对所述设备缺陷图像进行特征提取，获取图像特征；局部融合模块，用于随机选择一个所述设备缺陷图像作为基准图像，其他所述设备缺陷图像作为参考图像；基于语义相似性对所述基准图像的所述图像特征和所述参考图像的所述图像特征进行匹配；基于匹配结果对所述基准图像和所述参考图像进行局部融合，获取融合特征；解码器，用于根据所述融合特征生成融合图像。8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种小样本图像生成方法和装置。所述方法包括：获取设备缺陷图像，将设备缺陷图像输入图像生成网络；图像生成网络中的编码器对设备缺陷图像进行特征提取，获取图像特征；图像生成网络中的局部融合模块随机选择一个设备缺陷图像作为基准图像，其他设备缺陷图像作为参考图像；基于语义相似性对基准图像的图像特征和参考图像的图像特征进行匹配；基于匹配结果对基准图像和参考图像进行局部融合，获取融合特征；图像生成模块中的解码器根据融合特征生成融合图像。采用本方法能够对小样本的设备缺陷图像进行数据扩充，以提高缺陷识别准确度。准确度。准确度。


技术研发人员：周震震 宋云海 黄和燕 何宇浩 何森 王黎伟 肖耀辉 赖光霖 何珏 余俊松 李为明 丁伟锋 张良
受保护的技术使用者：中国南方电网有限责任公司超高压输电公司电力科研院
技术研发日：2023.06.14
技术公布日：2023/10/11