一种基于情景记忆的图像分类模型优化方法和系统

1.本发明涉及图像处理领域，更具体地，涉及一种基于情景记忆的图像分类模型优化方法和系统。


背景技术：

2.细粒度图像分类：可对图像分类大类下的子类进行识别。如对“狗”该类别下细粒度的子类进行分类，即将“哈士奇”和“爱斯基摩犬”等不同犬类图像加以区分。。
3.小样本学习：n-way k-shot是典型的小样本学习问题，传统定义中，n-way k-shot的含义表示有n个类别，每个类别包含k个样本；则每个任务的支持集表示为(xi，yi)分别表示第i个样本和它对应的标注；其对应的查询集表示为则由此可以理解，小样本学习是利用支持集中的少量样本学习分类器参数，使其能在查询集上获得最佳性能的方法。
4.梯度优化：假设支持数据集待估计参数θ，损失函数则传统的梯度更新方法为：其中，θ
′
表示更新后的参数，α表示学习率，表示损失函数对参数θ的梯度。
5.现有技术中有将元学习与梯度优化相结合，得到基于优化的元学习方法如下：
6.在元学习框架中，根据任务分布对任务进行采样，会生成一系列任务序列，元学习的核心思想是在元训练阶段的训练任务中找到一个通用的元学习器。对于任务参数θ有内外循环交替更新。
7.在内循环中，用支持集中样本数据优化参数为：
8.一般内循环会遍历中所有任务，其中α为学习率，t为迭代次数。
9.在外循环中，用查询集中的数据优化参数为：
10.其中，β为和α不同的学习率。
11.上述基于元学习的梯度优化中，没有充分考虑任务之间的关联性，仅从单独一个任务具备的支持集和查询集之间的参数进行优化。而细粒度图像分类更关注于图像细节的差异，现有技术中基于元学习的梯度优化由于没有充分考虑任务之间的关联性，在应用到细粒度图像分类时很难准确把握到图像细节之间的差异，从而使得细粒度图像的分类欠缺准确性。


技术实现要素：

12.本发明旨在克服上述现有技术的至少一种缺陷(不足)，提供一种基于情景记忆的
图像分类模型优化方法和系统，利用情景记忆对图像分类模型进行优化，使模型的预测效果更为精准。
13.本发明采取的技术方案是：
14.第一方面，提供一种基于情景记忆的图像分类模型优化方法，用于对图像分类模型参数进行优化，包括：
15.构建若干个任务，每个任务包括一个支持集，每个支持集包括若干图像样本；
16.将当前任务支持集中的若干图像样本进行处理得到当前任务支持集特征；
17.根据当前任务支持集特征得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值作为存储数据进行存储；
18.根据当前任务的关键字在所述存储数据中查找与当前任务相似情景下产生的梯度值；
19.将当前任务的梯度值和查找到的与当前任务相似情景下产生的梯度值进行融合，生成新的梯度值，根据新的梯度值对图像分类模型参数进行优化。
20.由于现有技术中基于元学习的梯度优化由于没有考虑任务之间的关联性，在应用到细粒度图像分类时很难准确把握到图像细节之间的差异，本发明引入了情景记忆对图像分类模型进行优化，在根据当前任务的查询集进行参数优化的同时，还在存储数据中查找与当前任务相似情景下产生的梯度值，就是基于情景记忆的梯度值，将当前任务的梯度值和与当前任务相似情景下产生的梯度值进行融合，对梯度值进行更新，可以得到一个更好的梯度值用于细粒度图像分类模型，在进行图像分类时充分考虑到了任务之间的关联性，使分类结果更为准确。
21.进一步的，所述将当前任务支持集中的若干图像样本进行处理得到当前任务支持集特征，具体包括：
22.所述支持集表示为：其中，n表示该支持集有n个类别，k表示每个类别包含k个图像样本，n表示第n个任务，xi表示支持集内的第i个图像样本，yi为该图像样本的图像分类标注；
23.构建编码器，使用编码器将支持集sn内每一个图像样本xi转换为特征表示ei，则该支持集特征为
24.支持集作为小样本学习下用于训练的样本集，其包含模型的输入和输出，本发明中的图像分类模型输入为图像样本xi，输出为图像样本对应的图像分类标注yi，所述分类标注为通过数学量化的用于表达标注信息的一个可量化值。同时，小样本学习的任务还包括查询集，查询集用于对训练完毕的模型进行测试。本发明的编码器用于将图像样本转换为特征表示，可以预先构建好，用于后续的计算。
25.进一步的，所述根据当前任务支持集特征得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值作为存储数据进行存储，具体包括：
26.构建外部记忆存储器；
27.将当前任务支持集特征输入外部记忆存储器进行处理，得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值存储在外部记忆存储器中。
28.本发明的外部记忆存储器用于保留过去任务的关键字和梯度值历史，即为保留情
景记忆的主要部分。
29.进一步的，所述将当前任务支持集特征输入外部记忆存储器进行处理，得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值存储在外部记忆存储器中，具体包括：
30.所述外部记忆存储器表示为：
31.其中，nm为外部记忆存储器的存储容量，mn为外部记忆存储器中存储第n个任务的关键字和梯度值的存储单元，存储单元表示为：mn＝[kn,vn]；
[0032]
其中，kn表示第n个任务的关键字，采用transformer结构获得当前任务的关键字，具体为：kn＝transformer(clsn,e1,
…
,ei,
…en
)[0]；
[0033]
其中，clsn表示在transformer结构中和第n个任务相关联的token，其初始值为随机取值，ei为支持集sn中第i个图像样本的特征，n表示该支持集有n个类别，将e1,
…
,ei,
…en
输入到transformer结构中，将第0个输出，即clsn对应位置的输出，作为该任务的关键字；；
[0034]vn
表示为向量
[0035]
其中，为第n个任务对图像分类模型第l层参数的梯度值。
[0036]
外部记忆存储器中存储了先前任务的关键字和对图像分类模型每一层参数的梯度值。
[0037]
进一步的，还包括：构建外部记忆存储控制器，用于管理外部记忆存储器，所述外部记忆存储控制器具体用于：
[0038]
当外部记忆存储器的存储容量未满时，将当前任务的梯度值gn作为vn，存储至外部记忆存储器中，当前任务对图像分类模型第l层参数的梯度值计算公式为：
[0039][0040]
其中，θ
l
表示图像分类模型第l层参数，表示第n个任务中第i个图像样本的图像分类标注真实结果，表示第n个任务中第i个图像经过图像分类模型预测得到的图像分类标注预测结果，表示预测结果和真实结果之间差异的交叉熵损失函数，表示对交叉熵损失函数求梯度值，表示对参数θ
l
求梯度值；
[0041]
当外部记忆存储器的内存已满时，外部记忆存储控制器controller选择一个要进行替换的存储单元将gn替代生成新的存储单元mc，表示为：
[0042]
由于每次任务均需在外部记忆存储器中存储其关键字和梯度值，为了避免外部记忆存储器的存储空间过载，构建一种外部记忆存储控制器controller，用于管理外部记忆存储器中内容。
[0043]
更具体的，所述外部记忆存储控制器选择一个要进行替换的存储单元，具体包括：外部记忆存储控制器跟踪外部记忆存储器所有存储单元，将最先进入外部记忆存储器的存储单元放在队列最前，当需要替换存储单元时，选择队列最前的存储单元进行替换。
[0044]
本发明的外部记忆存储控制器在进行替换存储单元选择时，可以根据fifo原则进行选择，也就是先存储的存储单元先进行替换。
[0045]
进一步的，所述根据关键字在外部记忆存储器中查找与当前任务相似情景下产生的梯度值，具体包括：计算当前任务的关键字和外部记忆存储器内存储的所有关键字之间的余弦距离，选择余弦距离最小的关键字对应的梯度值作为与当前任务相似情景下产生的梯度值。
[0046]
本发明根据关键字相似性选择余弦距离最小的关键字，其对应的梯度值即为与当前任务相似情景下产生的梯度值。
[0047]
进一步的，所述将当前任务的梯度值和查找到的与当前任务相似情景下产生的梯度值进行融合，生成新的梯度值，根据新的梯度值对图像分类模型参数进行优化，具体包括：
[0048][0049]
其中，α为学习率，gn为当前任务的梯度值，为在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值，aggr表示将当前任务的梯度值与在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值进行融合的聚合函数，θ
t
表示优化前的图像分类模型参数，θ
t+1
表示优化后的图像分类模型参数。
[0050]
本发明将当前任务的梯度值和根据情景记忆得到的梯度值进行融合，重新计算新的梯度值为使用新的梯度值对图像分类模型参数进行优化，使本发明充分考虑到了任务之间的关联性，将情景记忆融合进细粒度图像分类，有效增加了图像分类模型的准确性。
[0051]
更具体的，所述聚合函数为平均操作mean，或求和操作sum，或基于transformer的融合，具体表示为：
[0052][0053][0054][0055]
其中，clsg是在struct
transformer
结构中令牌的梯度，gn为当前任务的梯度值，为在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值集合，为梯度值集合中元素的个数，vn为向量为向量为第n个任务对图像分类模型第l层参数的梯度值，为第n任务在外部记忆存储器中查找到的与当前任务相似情景下产生的第个梯度值。
[0056]
本发明可以使用平均操作mean，或求和操作sum，或基于transformer的融合三种方法对当前任务的梯度值和根据情景记忆得到的梯度值进行融合。
[0057]
第二方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的基于情景记忆的图像分类模型优化方法。
[0058]
第三方面，提供一种基于情景记忆的图像分类模型优化系统，用于对图像分类模型参数进行优化，包括：
[0059]
任务模块，用于构建若干个任务，每个任务包括一个支持集，每个支持集包括若干图像样本；
[0060]
编码器模块，将当前任务支持集中的若干图像样本进行处理得到当前任务支持集特征；
[0061]
外部记忆存储器模块，根据当前任务支持集特征得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值作为存储数据进行存储；
[0062]
外部记忆存储控制器模块，用于根据当前任务的关键字在所述存储数据中查找与当前任务相似情景下产生的梯度值；
[0063]
情景记忆模块，用于将当前任务的梯度值和查找到的与当前任务相似情景下产生的梯度值进行融合，生成新的梯度值，根据新的梯度值对图像分类模型参数进行优化。
[0064]
本发明可以在存储数据中保留过去任务的关键字和梯度值历史，以增强记忆的方式实现小样本学习下的细粒度图像分类。通过学习保留和回忆过去训练任务的学习过程，在小样本学习提供的有限信息量梯度值的情况下，也会朝着正确的方向推动参数更新。同时，本发明可以作为一个简单的即插即用的优化器，具有通用性和灵活性，可以无缝嵌入现有的细粒度图像分类模型中，对其进行优化。
[0065]
与现有技术相比，本发明的有益效果为：
[0066]
(1)本发明引入了情景记忆对图像分类模型进行优化，在根据当前任务的查询集进行参数优化的同时，还在存储数据中查找与当前任务相似情景下产生的梯度值，将当前任务的梯度值和与当前任务相似情景下产生的梯度值进行融合，对梯度值进行更新，在进行图像分类时充分考虑到了任务之间的关联性，使分类结果更为准确；
[0067]
(2)本发明通过学习保留和回忆过去训练任务的学习过程，在小样本学习提供的有限信息量梯度值的情况下，也会朝着正确的方向推动参数更新；
[0068]
(3)本发明的系统或计算机可读存储介质可以作为一个简单的即插即用的优化器，具有通用性和灵活性，可以无缝嵌入现有的细粒度图像分类模型中，对其进行优化。
附图说明
[0069]
图1为本发明实施例1的方法流程图。
[0070]
图2为本发明实施例1是否使用本发明对图像分类模型进行优化的性能对比图。
[0071]
图3为本发明实施例3的系统结构图。
具体实施方式
[0072]
本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0073]
实施例1
[0074]
如图1所示，本实施例提供一种基于情景记忆的图像分类模型优化方法，用于对图像分类模型参数进行优化，包括：
[0075]
s1、构建若干个任务，每个任务包括一个支持集，每个支持集包括若干图像样本；
[0076]
s2、将当前任务支持集中的若干图像样本进行处理得到当前任务支持集特征；
[0077]
s3、根据当前任务支持集特征得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值作为存储数据进行存储；
[0078]
s4、根据当前任务的关键字在所述存储数据中查找与当前任务相似情景下产生的梯度值；
[0079]
s5、将当前任务的梯度值和查找到的与当前任务相似情景下产生的梯度值进行融合，生成新的梯度值，根据新的梯度值对图像分类模型参数进行优化。
[0080]
传统的梯度优化方法为：其中，θ
′
表示更新后的参数，θ表示待估计参数，α表示学习率，表示损失函数对参数θ的梯度，表示支持集。在进行优化的过程中，随着支持集的输入，损失函数不断更新，得到一个局部最优解的参数θ
′
，从而更新模型的参数，最终使模型收敛。但传统的梯度优化方法没有考虑到任务之间的关联性，在应用到细粒度图像分类模型时很难准确把握到图像细节之间的差异。
[0081]
本实施例引入了情景记忆对图像分类模型进行优化，在根据当前任务的查询集进行参数优化的同时，还在存储数据中查找与当前任务相似情景下产生的梯度值，也就是基于情景记忆的梯度值，将当前任务的梯度值和与当前任务相似情景下产生的梯度值进行融合，对梯度值进行更新，可以得到一个更好的梯度值用于细粒度图像分类模型，在进行图像分类时充分考虑到了任务之间的关联性，使分类结果更为准确。
[0082]
本实施例步骤s1所述支持集表示为：其中，n表示该支持集有n个类别，k表示每个类别包含k个图像样本，n表示第n个任务，xi表示支持集内的第i个图像样本，yi为该图像样本的图像分类标注。
[0083]
支持集作为小样本学习下用于训练的样本集，其包含模型的输入和输出，本发明中的图像分类模型输入为图像样本xi，输出为图像样本对应的图像分类标注yi，所述分类标注为通过数学量化的用于表达标注信息的一个可量化值。
[0084]
在具体实施过程中，小样本学习中的每个任务还包括一个查询集，所述查询集用于对训练完成的模型进行测试。
[0085]
本实施例步骤s2具体包括：构建编码器，使用编码器将支持集sn内每一个图像样本xi转换为特征表示ei，则该支持集特征为
[0086]
在具体实施过程中，选择卷积神经网络将支持集中的每个图像样本xi转换为特征表示ei。
[0087]
本实施例s3具体包括：构建外部记忆存储器；其中所述外部记忆存储器可以预先构建，并用于后续的优化使用；
[0088]
将当前任务支持集特征输入外部记忆存储器进行处理，得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值存储在外部记忆存储器中，具体包括：
[0089]
所述外部记忆存储器表示为：
[0090]
其中，nm为外部记忆存储器的存储容量，mn为外部记忆存储器中存储第n个任务的关键字和梯度值的存储单元，存储单元表示为：mn＝[kn,vn]；
[0091]
其中，kn表示第n个任务的关键字，采用transformer结构获得当前任务的关键字，具体为：kn＝transformer(clsn,e1,
…
,ei,
…en
)[0]；
[0092]
其中，clsn表示在transformer结构中和第n个任务相关联的token，其初始值为随机取值，ei为支持集sn中第i个图像样本的特征，n表示该支持集有n个类别，将e1,
…
,ei,
…en
输入到transformer结构中，将第0个输出，即clsn对应位置的输出，作为该任务的关键字；
[0093]vn
表示为向量
[0094]
其中，为第n个任务对图像分类模型第l层参数的梯度值。
[0095]
本实施例还包括：还包括：构建外部记忆存储控制器，用于管理外部记忆存储器，所述外部记忆存储控制器具体用于：
[0096]
当外部记忆存储器的存储容量未满时，将当前任务的梯度值gn作为vn，存储至外部记忆存储器中，当前任务对图像分类模型第l层参数的梯度值计算公式为：
[0097][0098]
其中，θ
l
表示图像分类模型第l层参数，表示第n个任务中第i个图像样本的图像分类标注真实结果，表示第n个任务中第i个图像经过图像分类模型预测得到的图像分类标注预测结果，表示预测结果和真实结果之间差异的交叉熵损失函数，表示对交叉熵损失函数求梯度值，表示对参数θ
l
求梯度值；
[0099]
当外部记忆存储器的内存已满时，外部记忆存储控制器controller选择一个要进行替换的存储单元将gn替代生成新的存储单元mc，表示为：
[0100]
在具体实施过程中，所述外部记忆存储控制器选择一个要进行替换的存储单元，具体包括：外部记忆存储控制器跟踪外部记忆存储器所有存储单元，将最先进入外部记忆存储器的存储单元放在队列最前，当需要替换存储单元时，选择队列最前的存储单元进行替换。
[0101]
本实施例步骤s4具体包括：计算当前任务的关键字和外部记忆存储器内存储的所有关键字之间的余弦距离，选择余弦距离最小的关键字对应的梯度值作为与当前任务相似情景下产生的梯度值。
[0102]
本实施例步骤s5具体包括：
[0103]
其中，α为学习率，gn为当前任务的梯度值，为在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值，aggr表示将当前任务的梯度值与在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值进行融合的聚合函数，θ
t
表示优化前的图像分类模型参数，θ
t+1
表示优化后的图像分类模型参数。
[0104]
在具体实施过程中，所述聚合函数为平均操作mean，或求和操作sum，或基于transformer的融合，具体表示为：
[0105][0106][0107][0108]
其中，clsg是在struct
transformer
结构中令牌的梯度，gn为当前任务的梯度值，为在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值集合，为梯度值集
合中元素的个数，vn为向量为向量为第n个任务对图像分类模型第l层参数的梯度值，为第n任务在外部记忆存储器中查找到的与当前任务相似情景下产生的第个梯度值。
[0109]
本实施例将当前任务的梯度值和根据情景记忆得到的梯度值进行融合，重新计算新的梯度值为使用新的梯度值对图像分类模型参数进行优化，使本发明充分考虑到了任务之间的关联性，将情景记忆融合进细粒度图像分类模型中，有效增加了图像分类模型的准确性。
[0110]
在实际使用时，需要优化图像分类模型，通常的优化方法分为以下两个步骤：
[0111]
在内循环中，用支持集中的图像样本优化参数为：
[0112]
一般内循环会遍历中所有任务，其中α为学习率，t为迭代次数。
[0113]
在外循环中，用查询集中的数据优化参数为：
[0114]
其中β为和α不同的学习率。
[0115]
而本实施例改进了内循环，引入了情景记忆进行优化，重新计算梯度信息为aggr，使内循环用支持集中的图像样本优化参数变为：
[0116]
然后按照通常的内循环外循环优化参数，得到真正优化后的图像分类模型，进行细粒度图像分类识别。
[0117]
为了进一步体现本实施例对图像分类模型进行优化后的优势，将本实施例提供的优化方法应用于maml模型(finn et al.，2017)、meta-sgd模型(li&malik，2017b)和anil模型(raghu et al.，2019)，这几组实验在bird(wah et al.，2011)、texture(cimpoi et al.，2014)、aircraft(maji et al.，2013)和fungi(fungi，2018)四个细粒度图像分类数据库上进行，根据实验结果进行性能对比。实验结果如图2所示，其中w/o表示没有加入本实施例提供的优化方法，w/表示加入了本实施例提供的优化方法，5-way 1-shot表示每一个支持集中有5个类别，每个类别包含1个图像样本，而5-way 5-shot表示每一个支持集中有5个类别，每个类别包含5个图像样本。表中数字表示准确率，具体为多次实验的均值和多次实验的方差，可以看出加入了本实施例提供的优化方法后，其准确率明显高于未加入本实施例提供的优化方法的常规模型。
[0118]
实施例2
[0119]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的基于情景记忆的图像分类模型优化方法。
[0120]
实施例3
[0121]
如图3所示，本实施例提供一种基于情景记忆的图像分类模型优化系统，用于对图像分类模型参数进行优化，包括：
[0122]
任务模块101，用于构建若干个任务，每个任务包括一个支持集，每个支持集包括若干图像样本；所述支持集表示为：其中，n表示该支持集有n个类别，k表
示每个类别包含k个图像样本，n表示第n个任务，xi表示支持集内的第i个图像样本，yi为该图像样本的图像分类标注；
[0123]
编码器模块102，用于将当前任务支持集中的若干图像样本进行处理得到当前任务支持集特征；使用编码器将支持集sn内每一个图像样本xi转换为特征表示ei，则该支持集特征为
[0124]
外部记忆存储器模块103，用于根据当前任务支持集特征得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值作为存储数据进行存储；
[0125]
将当前任务支持集特征输入外部记忆存储器进行处理，得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值存储在外部记忆存储器中，具体包括：所述外部记忆存储器表示为：
[0126]
其中，nm为外部记忆存储器的存储容量，mn为外部记忆存储器中存储第n个任务的关键字和梯度值的存储单元，存储单元表示为：mn＝[kn,vn]；
[0127]
其中，kn表示第n个任务的关键字，采用transformer结构获得当前任务的关键字，具体为：kn＝transformer(clsn,e1,
…
,ei,
…en
)[0]；
[0128]
其中，clsn表示在transformer结构中和第n个任务相关联的token，其初始值为随机取值，ei为支持集sn中第i个图像样本的特征，n表示该支持集有n个类别，将e1,
…
,ei,
…en
输入到transformer结构中，将第0个输出，即clsn对应位置的输出，作为该任务的关键字；
[0129]vn
表示为向量
[0130]
其中，为第n个任务对图像分类模型第l层参数的梯度值。
[0131]
外部记忆存储控制器模块104，用于管理外部记忆存储器，所述外部记忆存储控制器具体用于：当外部记忆存储器的存储容量未满时，将当前任务的梯度值gn作为vn，存储至外部记忆存储器中，当前任务对图像分类模型第l层参数的梯度值计算公式为：
[0132][0133]
其中，θ
l
表示图像分类模型第l层参数，表示第n个任务中第i个图像样本的图像分类标注真实结果表示第n个任务中第i个图像经过图像分类模型预测得到的图像分类标注预测结果，表示预测结果和真实结果之间差异的交叉熵损失函数，表示对交叉熵损失函数求梯度值，表示对参数θ
l
求梯度值；
[0134]
当外部记忆存储器的内存已满时，外部记忆存储控制器controller选择一个要进行替换的存储单元将gn替代生成新的存储单元mc，表示为：
[0135]
所述外部记忆存储控制器选择一个要进行替换的存储单元，具体包括：外部记忆存储控制器跟踪外部记忆存储器所有存储单元，将最先进入外部记忆存储器的存储单元放在队列最前，当需要替换存储单元时，选择队列最前的存储单元进行替换。
[0136]
还用于根据当前任务的关键字在所述存储数据中查找与当前任务相似情景下产生的梯度值；计算当前任务的关键字和外部记忆存储器内存储的所有关键字之间的余弦距离，选择余弦距离最小的关键字对应的梯度值作为与当前任务相似情景下产生的梯度值。
[0137]
情景记忆模块105，用于将当前任务的梯度值和查找到的与当前任务相似情景下
产生的梯度值进行融合，生成新的梯度值，根据新的梯度值对图像分类模型参数进行优化；
[0138]
具体包括：
[0139]
其中，α为学习率，gn为当前任务的梯度值，为在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值，aggr表示将当前任务的梯度值与在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值进行融合的聚合函数，θ
t
表示优化前的图像分类模型参数，θ
t+1
表示优化后的图像分类模型参数。
[0140]
所述聚合函数为平均操作mean，或求和操作sum，或基于transformer的融合，具体表示为：
[0141][0142][0143][0144]
其中，clsg是在struct
transformer
结构中令牌的梯度，gn为当前任务的梯度值，为在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值集合，为梯度值集合中元素的个数，vn为向量为向量为第n个任务对图像分类模型第l层参数的梯度值，为第n任务在外部记忆存储器中查找到的与当前任务相似情景下产生的第个梯度值。
[0145]
本发明可以在存储数据中保留过去任务的关键字和梯度值历史，以增强记忆的方式实现小样本学习下的细粒度图像分类。通过学习保留和回忆过去训练任务的学习过程，在小样本学习提供的有限信息量梯度值的情况下，也会朝着正确的方向推动参数更新。同时，本发明可以作为一个简单的即插即用的优化器，具有通用性和灵活性，可以无缝嵌入现有的细粒度图像分类模型中，对其进行优化。
[0146]
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

技术特征：
1.一种基于情景记忆的图像分类模型优化方法，其特征在于，用于对图像分类模型参数进行优化，包括：构建若干个任务，每个任务包括一个支持集，每个支持集包括若干图像样本；将当前任务支持集中的若干图像样本进行处理得到当前任务支持集特征；根据当前任务支持集特征得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值作为存储数据进行存储；根据当前任务的关键字在所述存储数据中查找与当前任务相似情景下产生的梯度值；将当前任务的梯度值和查找到的与当前任务相似情景下产生的梯度值进行融合，生成新的梯度值，根据新的梯度值对图像分类模型参数进行优化。2.根据权利要求1所述的一种基于情景记忆的图像分类模型优化方法，其特征在于，所述将当前任务支持集中的若干图像样本进行处理得到当前任务支持集特征，具体包括：所述支持集表示为：其中，n表示该支持集有n个类别，k表示每个类别包含k个图像样本，n表示第n个任务，x
i
表示支持集内的第i个图像样本，y
i
为该图像样本的图像分类标注；构建编码器，使用编码器将支持集s
n
内每一个图像样本x
i
转换为特征表示e
i
，则该支持集特征为3.根据权利要求2所述的一种基于情景记忆的图像分类模型优化方法，其特征在于，所述根据当前任务支持集特征得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值作为存储数据进行存储，具体包括：构建外部记忆存储器；将当前任务支持集特征输入外部记忆存储器进行处理，得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值存储在外部记忆存储器中。4.根据权利要求3所述的一种基于情景记忆的图像分类模型优化方法，其特征在于，所述将当前任务支持集特征输入外部记忆存储器进行处理，得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值存储在外部记忆存储器中，具体包括：所述外部记忆存储器表示为：其中，n
m
为外部记忆存储器的存储容量，m
n
为外部记忆存储器中存储第n个任务的关键字和梯度值的存储单元，存储单元表示为：m
n
＝[k
n
,v
n
]；其中，k
n
表示第n个任务的关键字，采用transformer结构获得当前任务的关键字，具体为：k
n
＝transformer(cls
n
,e1,
…
,e
i
,
…
e
n
)[0]；其中，cls
n
表示在transformer结构中和第n个任务相关联的token，其初始值为随机取值，e
i
为支持集s
n
中第i个图像样本的特征，n表示该支持集有n个类别，将e1,
…
,e
i
,
…
e
n
输入到transformer结构中，将第0个输出，即cls
n
对应位置的输出，作为该任务的关键字；v
n
表示为向量其中，为第n个任务对图像分类模型第l层参数的梯度值。5.根据权利要求3所述的一种基于情景记忆的图像分类模型优化方法，其特征在于，还包括：构建外部记忆存储控制器，用于管理外部记忆存储器，所述外部记忆存储控制器具体
用于：当外部记忆存储器的存储容量未满时，将当前任务的梯度值g
n
作为v
n
，存储至外部记忆存储器中，当前任务对图像分类模型第l层参数的梯度值计算公式为：其中，θ
l
表示图像分类模型第l层参数，表示第n个任务中第i个图像样本的图像分类标注真实结果，表示第n个任务中第i个图像经过图像分类模型预测得到的图像分类标注预测结果，表示预测结果和真实结果之间差异的交叉熵损失函数，表示对交叉熵损失函数求梯度值，表示对参数θ
l
求梯度值；当外部记忆存储器的内存已满时，外部记忆存储控制器controller选择一个要进行替换的存储单元将g
n
替代生成新的存储单元m
c
，表示为：6.根据权利要求5所述的一种基于情景记忆的图像分类模型优化方法，其特征在于，所述外部记忆存储控制器选择一个要进行替换的存储单元，具体包括：外部记忆存储控制器跟踪外部记忆存储器所有存储单元，将最先进入外部记忆存储器的存储单元放在队列最前，当需要替换存储单元时，选择队列最前的存储单元进行替换；或，所述根据关键字在外部记忆存储器中查找与当前任务相似情景下产生的梯度值，具体包括：计算当前任务的关键字和外部记忆存储器内存储的所有关键字之间的余弦距离，选择余弦距离最小的关键字对应的梯度值作为与当前任务相似情景下产生的梯度值。7.根据权利要求5所述的一种基于情景记忆的图像分类模型优化方法，其特征在于，所述将当前任务的梯度值和查找到的与当前任务相似情景下产生的梯度值进行融合，生成新的梯度值，根据新的梯度值对图像分类模型参数进行优化，具体包括：其中，α为学习率，g
n
为当前任务的梯度值，为在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值，aggr表示将当前任务的梯度值与在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值进行融合的聚合函数，θ
t
表示优化前的图像分类模型参数，θ
t+1
表示优化后的图像分类模型参数。8.根据权利要求7所述的一种基于情景记忆的图像分类模型优化方法，其特征在于，所述聚合函数为平均操作mean，或求和操作sum，或基于transformer的融合，具体表示为：述聚合函数为平均操作mean，或求和操作sum，或基于transformer的融合，具体表示为：述聚合函数为平均操作mean，或求和操作sum，或基于transformer的融合，具体表示为：其中，cls
g
是在struct
transformer
结构中令牌的梯度，g
n
为当前任务的梯度值，为在外部记忆存储器中查找到的与当前任务相似情景下产生的梯度值集合，为梯度值集合中元素的个数，v
n
为向量为向量为第n个任务对图像分类模型第l层参数的梯度值，为第n任务在外部记忆存储器中查找到的与当前任务相似情景下产生的第
个梯度值。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～8任一项所述的基于情景记忆的图像分类模型优化方法。10.一种基于情景记忆的图像分类模型优化系统，其特征在于，用于对图像分类模型参数进行优化，包括：任务模块，用于构建若干个任务，每个任务包括一个支持集，每个支持集包括若干图像样本；编码器模块，将当前任务支持集中的若干图像样本进行处理得到当前任务支持集特征；外部记忆存储器模块，根据当前任务支持集特征得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值作为存储数据进行存储；外部记忆存储控制器模块，用于根据当前任务的关键字在所述存储数据中查找与当前任务相似情景下产生的梯度值；情景记忆模块，用于将当前任务的梯度值和查找到的与当前任务相似情景下产生的梯度值进行融合，生成新的梯度值，根据新的梯度值对图像分类模型参数进行优化。

技术总结
本发明涉及图像处理领域，具体涉及一种基于情景记忆的图像分类模型优化方法和系统，用于对图像分类模型参数进行优化，包括：构建若干个任务，每个任务包括一个支持集；将当前任务支持集中的若干图像样本进行处理得到当前任务支持集特征；根据当前任务支持集特征得到当前任务的关键字和梯度值，将当前任务的关键字和梯度值作为存储数据进行存储；根据当前任务的关键字在所述存储数据中查找与当前任务相似情景下产生的梯度值；将当前任务的梯度值和查找到的与当前任务相似情景下产生的梯度值进行融合，生成新的梯度值，根据新的梯度值对图像分类模型参数进行优化。本发明利用情景记忆对图像分类模型进行优化，使模型的预测效果更为精准。果更为精准。果更为精准。


技术研发人员：张磊 左利云 王宝艳 李欣 甄先通
受保护的技术使用者：广东石油化工学院
技术研发日：2023.05.19
技术公布日：2023/8/9