一种基于小样本学习互相关网络的图像分类方法

1.本发明涉及小样本分类技术领域，具体涉及一种基于小样本学习互相关网络的图像分类方法。


背景技术：

2.人类可以通过少量训练数据快速学习。例如，一个人类儿童看到几张大象图片后，就能从大量图片中分辨出哪张是大象。然而，传统的深度学习方法在同样的任务中会遇到很大的困难。仅用几个训练数据，深度学习模型将在新数据上产生灾难性的表现，即过拟合。为了使人工智能拥有小样本学习的能力，这些智能体必须获得从以前的任务中学到的先验知识，并将学到的先验知识迁移到新的任务中。实际上，人类也通过使用先验知识来学习，在做新任务时，提取对当前任务有用的先验知识，重构新知识。这个学习过程被称为“元学习”。元学习，也称为“学会学习”，是学习一些学习技能，使模型能够在新任务上快速有效地学习。小样本学习中的大多数方法都利用元学习框架来训练他们的模型，都取得了良好的性能。近年来，学界已经提出了许多元学习方法来解决小样本学习问题，包括基于微调的方法和基于度量的方法。基于度量的方法尝试在度量空间中学习图像的特征，并计算两个图像特征之间的相似性(例如，欧几里德距离或余弦相似性)以识别它们的类别。然而，直接使用图像特征有一些缺点，因为嵌入模型经常过度拟合不相关的特征，称为“虚假特征”，导致模型专注于无用信息而无法将有用的知识迁移到新任务。在不被虚假特征影响的情况下学习泛化能力强的特征是一个巨大的挑战。虽然现有技术中有利用renet解决这个问题，其主要想法是学习两个图像之间的关系模式，以保护模型免受虚假特征的影响，关系模式表示了两个图像如何相互关联，并通过结合一对图像相互之间的信息来指导模型生成图像特征，从而使特征更加鲁棒。这种特征被称为关系特征。具体来说，在renet中，使用基于4d卷积的互相关注意模块来更新初始嵌入，然而，受限于基于cnn的方法的有限感受野，renet可能缺乏对严重变形的鲁棒性。


技术实现要素：

3.本发明的目的在于提供一种基于小样本学习互相关网络的图像分类方法，以生成更具鲁棒的图像特征，提高小样本分类的准确性。
4.本发明解决上述技术问题的技术方案如下：
5.本发明提供一种基于小样本学习互相关网络的图像分类方法，所述基于小样本学习互相关网络的图像分类方法包括：
6.s1：利用嵌入网络提取支持集图像的第一多级特征和查询集图像的第二多级特征；
7.s2：利用相关单元将所述第一多级特征和所述第二多级特征进行处理，得到初始互相关信息；
8.s3：利用互相关模块对所述初始互相关信息进行信息提炼，得到提炼后的互相关
信息；
9.s4：对所述提炼后的互相关信息进行均值操作，得到所述支持集图像和所述查询集图像的相关信息；
10.s5：根据所述相关信息计算所述支持集图像的第一张量和所述查询集图像的第二张量；
11.s6：利用所述第一张量和所述第二张量，得到所述支持集图像的第一关系特征和所述查询集图像的第二关系特征；
12.s7：根据支持集中所有图像的第一关系特征和查询集中所有图像的第二关系特征，将所述查询集图像分配给距离其最近的支持集图像特征的类别。
13.可选择地，所述s1中，所述嵌入网络为resnet18嵌入网络。
14.可选择地，所述s1中，所述第一多级特征es为：
[0015][0016]
所述第二多级特征eq为：
[0017][0018]
其中，为第一多级特征的第l级特征，r为实数集，l表示多级特征的层数，h为第一多级特征的第一维的维度，w为第一多级特征的第二维的维度，为第一多级特征的通道维度，l为1到l之间的数，为第二多级特征的第l级特征，h'为第二多级特征的第一维的维度，w'为第二多级特征的第二维的维度，和分别表示支持集图像基础特征的维度和查询集图像基础特征的维度。
[0019]
可选择地，所述s2中，所述初始互相关信息corr为：
[0020][0021]
其中，corr
l
表示初始互相关信息的第l级，且reshape()表示维度变化操作，可将维度为h
×w×
c的张量转化为维度为hw
×
c的张量，为支持集图像基础特征，r为实数集，l表示多级特征的层数，h为第一多级特征的第一维的维度，w为第一多级特征的第二维的维度，为查询集图像基础特征，l为1到l之间的数，hw
×
h'w'表示corr
l
的维度。
[0022]
可选择地，所述s3中，所述互相关模块包括依次设置的ln单元、intra-correlation单元、第一ln&mlp单元、inter-correlation单元和第二ln&mlp单元；
[0023]
所述ln单元用于使网络的中间层的输出具有相同的均值和方差；
[0024]
所述intra-correlation单元用于探索多级互相关信息的每个层级内的相关性；
[0025]
所述inter-correlation单元用于探索多级互相关信息的每个层级间的相关性；
[0026]
所述第一ln&mlp单元和所述第二ln&mlp单元用于缓解多层自注意力结构堆叠后网络表达能力降低的问题。
[0027]
可选择地，所述互相关模块采用自注意力机制且为两个，前一个所述互相关模块
的输出结果作为后一个所述互相关模块的输入；
[0028]
两个所述互相关模块构造为同样的结构。
[0029]
可选择地，各所述互相关模块的计算方式为：
[0030]
corr'＝mlp(intra(ln(corr+e
pos
)))
[0031]
corr
map
＝mlp(intra(ln(corr'+e
pos
)))
[0032]
其中，corr'表示经过第一ln&mlp单元后的中间输出，mlp表示多层感知机，intra表示intra-correlation单元，ln表示层正则化，corr表示初始互相关信息，e
pos
表示位置嵌入向量，corr
map
表示提炼后的互相关信息，intra表示。
[0033]
可选择地，所述基于小样本学习互相关网络的图像分类方法的目标函数为：
[0034]
l＝l1+αl2[0035]
其中，l1表示全局分类器产生的损失值且w1和b是全连接层的权重和偏差，表示w1的转置，eq表示第二多级特征，c表示待分类查询集图片所属的正确类别所对应的索引c∈{1,2,3，
…
，|c
train
|}，c'表示1到|c
train
|之间的数，c
train
表示训练集的类别集合；α为平衡l1和l2的超参数，l2表示最近邻分类器产生的损失且cos()为余弦相似度，γ为标量且表示温度因子，n表示待分类查询集图片所属的正确类别所对应的索引，n'表示1到n之间的数，表示支持集特征，表示查询集特征，n表示支持集类别数量。
[0036]
可选择地，所述s6中，所述第一关系特征s为：
[0037]
s＝pool(e's)
[0038]
其中，e's表示es中各级特征与as∈rh×w进行hadamard乘积并拼接后的中间输出且进行hadamard乘积并拼接后的中间输出且为第一多级特征的第l级特征，as表示第一张量且as∈rh×w，l表示多级特征的层数，h
×
w表示第一张量的维度；
[0039]
所述第二关系特征q为：
[0040]
q＝pool(e'q)
[0041]
其中，pool()表示平均池化，e'q表示查询集图像的多级特征且表示查询集图像的多级特征且为第二多级特征的第l级特征，aq表示第二张量且aq∈r
h'
×
w'
，l表示多级特征的层数，concat()表示沿通道维度的拼接，*表示hadamard乘积，h'
×
w'表示第二张量的维度。
[0042]
可选择地，所述s7中，通过计算支持集中所有图像的第一关系和查询集中所有图像的第二关系之间的余弦相似度，将所述查询集图像分配给距离其最近的支持集图像特征的类别；
[0043]
所述余弦相似度通过以下方式计算：
[0044][0045]
其中，sim
(n)
表示查询集图像与第n个支持集图像特征的相似度，cos()为余弦相似度，γ为标量且表示温度因子，n表示1到n之间的数，表示支持集特征，表示查询集特征，n表示支持集图像数量。
[0046]
本发明具有以下有益效果：
[0047]
本发明所提供的基于小样本学习互相关网络的图像分类方法，一方面，通过嵌入网络能够为图像生成多级特征，从而捕获不同层级的语义信息；另一方面，通过基于自注意力机制的互相关模块的存在，能够挖掘初始互相关信息中的全局共识，剔除初始互相关信息中的无用信息，并生成更鲁棒的图像特征，进而提高小样本分类的准确性。
附图说明
[0048]
图1为本发明基于小样本学习互相关网络的图像分类方法的流程图；
[0049]
图2为本发明小样本学习互相关网络的结构示意图。
具体实施方式
[0050]
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0051]
本发明提供一种基于小样本学习互相关网络的图像分类方法，参考图1和图2所示，
[0052]
本发明的基于小样本学习互相关网络包括多级嵌入部分和互相关部分，所述多级嵌入部分包括嵌入网络，所述嵌入网络用于为图像生成多级特征，以捕获不同层级的语义信息，所述互相关部分包括依次设置的相关单元和互相关模块，所述互相关模块基于自注意力机制，以挖掘初始互相关信息中的全局共识。
[0053]
所述基于小样本学习互相关网络的图像分类方法包括：
[0054]
s1：利用嵌入网络提取支持集图像的第一多级特征和查询集图像的第二多级特征；
[0055]
需要说明的是，本发明支持集图像和查询集图像在输入到嵌入网络之前都被调整为84
×
84的大小。
[0056]
给定支持集图像is和查询集图像iq，使用嵌入网络提取它们的多级特征。本发明的嵌入网络为resnet18嵌入网络。
[0057]
resnet18有一个初始卷积层和8个基本块，每个块输出不同维度的张量，用符号表示，其中t∈(0,1,2,3,4,5,6，7,8)表示层数，如图2左侧所示，本发明将调整为并从这些张量中选择l个输出来构成多级特征。即对于支持集图像和查询集图像，分别构成第一多级特征es和第二多级特征eq。
[0058]
所述第一多级特征es为：
[0059][0060]
所述第二多级特征eq为：
[0061][0062]
其中，为第一多级特征的第l级特征，r为实数集，l表示多级特征的层数，h为第一多级特征的第一维的维度，w为第一多级特征的第二维的维度，为第一多级特征的通道维度，l为1到l之间的数，为第二多级特征的第l级特征，h'为第二多级特征的第一维的维度，w'为第二多级特征的第二维的维度，和分别表示支持集图像基础特征的维度和查询集图像基础特征的维度。
[0063]
需要说明的是，在本发明中h＝h'、w＝w'。
[0064]
s2：利用相关单元将所述第一多级特征和所述第二多级特征进行处理，得到初始互相关信息；
[0065]
相关单元对第一多级特征和第二多级特征中每一级的特征做矩阵乘法，进而得到初始互相关信息，相关单元为图2所示的correlation单元。
[0066]
所述初始互相关信息corr为：
[0067][0068]
其中，corr
l
表示初始互相关信息的第l级，且reshape()表示维度变化操作，可将维度为h
×w×
c的张量转化为维度为hw
×
c的张量，为支持集图像基础特征，r为实数集，l表示多级特征的层数，h为第一多级特征的第一维的维度，w为第一多级特征的第二维的维度，为查询集图像基础特征，l为1到l之间的数，hw
×
h'w'表示corr
l
的维度。
[0069]
corr
l
的维度为hw
×
h'w'，所有层级的初始互相关信息corr
l
层层堆叠形成了corr∈r
hw
×
h'w'
×
l
。互相关信息corr包含支持集图像is和查询集图像iq之间的相关信息，可用于为该图像对生成关系特征。
[0070]
但是初始的互相关信息corr可能存在一些不一致的相关性，因此需要在互相关模块中对其进行提炼，提出无用的信息，因此进入s3中。
[0071]
s3：利用互相关模块对所述初始互相关信息进行信息提炼，得到提炼后的互相关信息；
[0072]
这里，corr张量中的值表示的是多级特征es和eq中各个值之间的互相关联的程度。如果把es和eq当做图像来看待(事实上es和eq就是图像的高级表示)，那么corr中的值表示的便是两张图像各个像素间的关联程度，值越大表示关联越强。通过互相关模块的修正后，图像中目标物体所包含的像素点之间的关联程度会增强，而一些无用的背景信息所包含的像素点之间的关联程度会减弱，所以互相关模块起到了剔除无用的互信息的作用。
[0073]
所述互相关模块包括依次设置的ln单元、intra-correlation单元、第一ln&mlp单元、inter-correlation单元和第二ln&mlp单元；
[0074]
所述ln单元用于使网络的中间层的输出具有相同的均值和方差；
[0075]
所述intra-correlation单元用于探索多级互相关信息的每个层级内的相关性；
[0076]
所述inter-correlation单元用于探索多级互相关信息的每个层级间的相关性；
[0077]
所述第一ln&mlp单元和所述第二ln&mlp单元用于缓解多层自注意力结构堆叠后网络表达能力降低的问题。
[0078]
可选择地，参考图2所示，为增强互相关模块的效果，所述互相关模块采用自注意力机制且为两个，前一个所述互相关模块的输出结果作为后一个所述互相关模块的输入；两个所述互相关模块构造为同样的结构。
[0079]
各所述互相关模块的计算方式为：
[0080]
corr'＝mlp(intra(ln(corr+e
pos
)))
[0081]
corr
map
＝mlp(intra(ln(corr'+e
pos
)))
[0082]
其中，corr'表示经过第一ln&mlp单元后的中间输出，mlp表示多层感知机，intra表示intra-correlation单元，ln表示层正则化，corr表示初始互相关信息，e
pos
表示位置嵌入向量，corr
map
表示提炼后的互相关信息，intra表示。
[0083]
在本发明中，intra-correlation单元和inter-correlation单元的计算规则为：
[0084]
multihead(m)＝concat(head1，
…
，headh)w0[0085]
headi＝attention(mw
iq
，mw
ik
，mw
iv
)
[0086]
attention(q、k、v)＝softmax(qk
t
)v
[0087]
其中，h是头数，m通过三个不同的矩阵mw
iq
，mw
ik
，mw
iv
进行投影，multihead()的输出被矩阵w0投影为与m大小相同的矩阵。
[0088]
s4：对所述提炼后的互相关信息进行均值操作，得到所述支持集图像和所述查询集图像的相关信息；
[0089]
通过均值操作将l降为1，得到图像is和iq之间的相关信息corr
map
∈r
hw
×
h'w'
，corr
map
包含了图像is和iq之间的一致相关信息。
[0090]
s5：根据所述相关信息计算所述支持集图像的第一张量as∈rh×w和所述查询集图像的第二张量aq∈r
h'
×
w'
；
[0091]
具体参考图2，本发明对所述相关信息的不同方向进行均值运算，得到两个张量；
[0092]
将两个张量变换为与图像特征相同的形状。
[0093]
即对于支持集图像而言，本发明用没有上标的h和w表示特征的维度，所以对corr
map
∈r
hw
×
h'w'
沿着一个固定的方向进行均值操作，得到一个张量((r1×h×w))；
[0094]
对于查询集图像而言，本发明用有上标的h'和w'表示特征的维度，所以对corr
map
∈r
hw
×
h'w'
沿着另一个固定的方向进行均值操作，得到另一个张量((r1×
h'
×
w'
))。
[0095]
co-attentions有助于模型区分图像的两个基本特征中的相关和不相关信息。
[0096]
s6：利用所述第一张量和所述第二张量，得到所述支持集图像的第一关系特征和所述查询集图像的第二关系特征；
[0097]
所述第一关系特征s为：
[0098]
s＝pool(es')
[0099]
其中，es'表示es中各级特征与as∈rh×w进行hadamard乘积并拼接后的中间输出且进行hadamard乘积并拼接后的中间输出且为第一多级特征的第l级特征，as表示第一张量且as∈rh×w，l表示多级特征的层数，h
×
w表示第一张量的维度；
[0100]
所述第二关系特征q为：
[0101]
q＝pool(e'q)
[0102]
其中，pool()表示平均池化，e'q表示查询集图像的多级特征且表示查询集图像的多级特征且为第二多级特征的第l级特征，aq表示第二张量且aq∈r
h'
×
w'
，l表示多级特征的层数，concat()表示沿通道维度的拼接，*表示hadamard乘积，h'
×
w'表示第二张量的维度。
[0103]
s7：根据支持集中所有图像的第一关系特征和查询集中所有图像的第二关系特征，将所述查询集图像分配给距离其最近的支持集图像特征的类别。
[0104]
具体通过计算支持集中所有图像的第一关系和查询集中所有图像的第二关系之间的余弦相似度，将所述查询集图像分配给距离其最近的支持集图像特征的类别；
[0105]
所述余弦相似度通过以下方式计算：
[0106][0107]
其中，sim
(n)
表示查询集图像与第n个支持集图像特征的相似度，cos()为余弦相似度，γ为标量且表示温度因子，n表示1到n之间的数，表示支持集特征，表示查询集特征，n表示支持集图像数量。
[0108]
可选择地，所述基于小样本学习互相关网络的图像分类方法的目标函数为：
[0109]
l＝l1+αl2[0110]
其中，l1表示全局分类器产生的损失值且w1和b是全连接层的权重和偏差，表示w1的转置，eq表示第二多级特征，c表示待分类查询集图片所属的正确类别所对应的索引c∈{1,2,3，
…
，|c
train
|}，c'表示1到|c
train
|之间的数，c
train
表示训练集的类别集合；α为平衡l1和l2的超参数，l2表示最近邻分类器产生的损失且cos()为余弦相似度，γ为标量且表示温度因子，n表示待分类查询集图片所属的正确类别所对应的索引，n'表示1到n之间的数，表示支持集特征，表示查询集特征，n表示支持集类别数量。
[0111]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于小样本学习互相关网络的图像分类方法，其特征在于，所述基于小样本学习互相关网络的图像分类方法包括：s1：利用嵌入网络提取支持集图像的第一多级特征和查询集图像的第二多级特征；s2：利用相关单元将所述第一多级特征和所述第二多级特征进行处理，得到初始互相关信息；s3：利用互相关模块对所述初始互相关信息进行信息提炼，得到提炼后的互相关信息；s4：对所述提炼后的互相关信息进行均值操作，得到所述支持集图像和所述查询集图像的相关信息；s5：根据所述相关信息计算所述支持集图像的第一张量和所述查询集图像的第二张量；s6：利用所述第一张量和所述第二张量，得到所述支持集图像的第一关系特征和所述查询集图像的第二关系特征；s7：根据支持集中所有图像的第一关系特征和查询集中所有图像的第二关系特征，将所述查询集图像分配给距离其最近的支持集图像特征的类别。2.根据权利要求1所述的基于小样本学习互相关网络的图像分类方法，其特征在于，所述s1中，所述嵌入网络为resnet18嵌入网络。3.根据权利要求1所述的基于小样本学习互相关网络的图像分类方法，其特征在于，所述s1中，所述第一多级特征e
s
为：所述第二多级特征e
q
为：其中，为第一多级特征的第l级特征，r为实数集，l表示多级特征的层数，h为第一多级特征的第一维的维度，w为第一多级特征的第二维的维度，为第一多级特征的通道维度，l为1到l之间的数，为第二多级特征的第l级特征，h'为第二多级特征的第一维的维度，w'为第二多级特征的第二维的维度，和分别表示支持集图像基础特征的维度和查询集图像基础特征的维度。4.根据权利要求1所述的基于小样本学习互相关网络的图像分类方法，其特征在于，所述s2中，所述初始互相关信息corr为：其中，corr
l
表示初始互相关信息的第l级，且reshape()表示维度变化操作，可将维度为h
×
w
×
c的张量转化为维度为hw
×
c的张量，为支持集图像基础特征，r为实数集，l表示多级特征的层数，h为第一多级特征的第一维的维度，w为第一多级特征的第二维的维度，为查询集图像基础特征，l为1到l之间的数，hw
×
h'w'表
示corr
l
的维度。5.根据权利要求1所述的基于小样本学习互相关网络的图像分类方法，其特征在于，所述s3中，所述互相关模块包括依次设置的ln单元、intra-correlation单元、第一ln&mlp单元、inter-correlation单元和第二ln&mlp单元；所述ln单元用于使网络的中间层的输出具有相同的均值和方差；所述intra-correlation单元用于探索多级互相关信息的每个层级内的相关性；所述inter-correlation单元用于探索多级互相关信息的每个层级间的相关性；所述第一ln&mlp单元和所述第二ln&mlp单元用于缓解多层自注意力结构堆叠后网络表达能力降低的问题。6.根据权利要求5所述的基于小样本学习互相关网络的图像分类方法，其特征在于，所述互相关模块采用自注意力机制且为两个，前一个所述互相关模块的输出结果作为后一个所述互相关模块的输入；两个所述互相关模块构造为同样的结构。7.根据权利要求5所述的基于小样本学习互相关网络的图像分类方法，其特征在于，各所述互相关模块的计算方式为：corr'＝mlp(intra(ln(corr+e
pos
)))corr
map
＝mlp(intra(ln(corr'+e
pos
)))其中，corr'表示经过第一ln&mlp单元后的中间输出，mlp表示多层感知机，intra表示intra-correlation单元，ln表示层正则化，corr表示初始互相关信息，e
pos
表示位置嵌入向量，corr
map
表示提炼后的互相关信息，intra表示。8.根据权利要求1所述的基于小样本学习互相关网络的图像分类方法，其特征在于，所述基于小样本学习互相关网络的图像分类方法的目标函数为：l＝l1+αl2其中，l1表示全局分类器产生的损失值且w1和b是全连接层的权重和偏差，表示w1的转置，e
q
表示第二多级特征，c表示待分类查询集图片所属的正确类别所对应的索引c∈{1,2,3，
…
，|c
train
|}，c'表示1到|c
train
|之间的数，c
train
表示训练集的类别集合；α为平衡l1和l2的超参数，l2表示最近邻分类器产生的损失且cos()为余弦相似度，γ为标量且表示温度因子，n表示待分类查询集图片所属的正确类别所对应的索引，n'表示1到n之间的数，表示支持集特征，表示查询集特征，n表示支持集类别数量。9.根据权利要求1所述的基于小样本学习互相关网络的图像分类方法，其特征在于，所
述s6中，所述第一关系特征s为：s＝pool(e
′
s
)其中，e
′
s
表示e
s
中各级特征与a
s
∈r
h
×
w
进行hadamard乘积并拼接后的中间输出且进行hadamard乘积并拼接后的中间输出且为第一多级特征的第l级特征，a
s
表示第一张量且a
s
∈r
h
×
w
，l表示多级特征的层数，h
×
w表示第一张量的维度；所述第二关系特征q为：q＝pool(e'
q
)其中，pool()表示平均池化，e'
q
表示查询集图像的多级特征且表示查询集图像的多级特征且为第二多级特征的第l级特征，a
q
表示第二张量且a
q
∈r
h'
×
w'
，l表示多级特征的层数，concat()表示沿通道维度的拼接，*表示hadamard乘积，h'
×
w'表示第二张量的维度。10.根据权利要求1-9中任意一项所述的基于小样本学习互相关网络的图像分类方法，其特征在于，所述s7中，通过计算支持集中所有图像的第一关系和查询集中所有图像的第二关系之间的余弦相似度，将所述查询集图像分配给距离其最近的支持集图像特征的类别；所述余弦相似度通过以下方式计算：其中，sim
(n)
表示查询集图像与第n个支持集图像特征的相似度，cos()为余弦相似度，γ为标量且表示温度因子，n表示1到n之间的数，表示支持集特征，表示查询集特征，n表示支持集图像数量。

技术总结
本发明公开了一种基于小样本学习互相关网络的图像分类方法，包括：利用嵌入网络提取支持集图像的第一多级特征和查询集图像的第二多级特征；利用相关单元将第一多级特征和第二多级特征进行处理，得到初始互相关信息；利用互相关模块对初始互相关信息进行信息提炼，得到提炼后的互相关信息；对提炼后的互相关信息进行均值操作，得到支持集图像和查询集图像的相关信息；根据相关信息计算支持集图像的第一张量和查询集图像的第二张量；利用第一张量和第二张量，得到支持集图像的第一关系特征和查询集图像的第二关系特征；根据支持集中所有图像的第一关系特征和查询集中所有图像的第二关系特征，将查询集图像分配给距离其最近的支持集图像特征的类别。支持集图像特征的类别。支持集图像特征的类别。


技术研发人员：陈飞宇 陈得荣 何鸿才 曾向强 邵杰
受保护的技术使用者：宜宾电子科技大学研究院
技术研发日：2023.03.23
技术公布日：2023/7/12