一种主动学习的图像分类方法、系统及存储介质与流程

1.本发明涉及图像分类技术领域，尤其是涉及一种主动学习的图像分类方法、系统及存储介质。


背景技术：

2.图像分类是根据图像所表达的特征将每张图像分为不同类别的一项技术，它根据已有数据集去训练网络模型，对图像做定量分析，使得网络模型从数据集中学得能够区分不同类别图像的知识，从而达到用网络模型去代替人的视觉判断的目的。
3.目前深度学习领域模型训练依赖大量标注数据集，高质量的标注数据集获取困难，需要高昂的时间成本和人力成本。并且，大量的数据集往往充斥着冗余的信息，有些标注样本对模型的训练并没有益处。所以获取有价值的有标注样本成为学界和工业界的研究热点。
4.主动学习是机器学习中的一个分支，它的作用是为了减小数据集的标注量，使得模型使用少量样本就可以获得令人满意的性能，从而达到节约人力成本和时间成本的目的。主动学习的基本思想是：每个样本所具有信息量都是不同的，也就是说不是每个样本都是值得模型学习的。有些样本包含的信息量大，有些样本包含的信息量小，主动学习的目的就是去挑选出所含信息量最大的那部分样本送给模型去学习，因为这类样本是非常值得模型学习的样本。如果将信息量大的样本都能够分类正确，那么对于信息量小的样本应当也能分类正确。总的来讲，在图片分类方面，主动学习能够通过选择策略挑选出最难分辨的样本去进行人工标注工作，再用标注完的样本来优化模型的训练效果。应用主动学习算法可以大大优化了工程投资成本。近年来主动学习一直在不断发展，提出了许多相关算法，对于在实现用小样本量获得更好的模型性能方面取得了不小的进步，对节省标注成本有很重要的意义。
5.目前许多主动学习方法采用了基于不确定性的方法，比如：基于熵的不确定性抽样、基于最小置信度抽样。
6.然而，现有的方法虽然考虑到了不确定性，但只是单纯的基于抽样策略的考量，没有结合模型的优化，对于不确定性的考虑过于单一。


技术实现要素：

7.本发明提供了一种主动学习的图像分类方法、系统及存储介质，以解决现有技术中主动学习的图像分类基于抽样策略的考量，没有结合模型的优化，对于不确定性的考虑过于单一的技术问题。
8.本发明的一个方面在于提供一种主动学习的图像分类方法，所述图像分类方法包括如下方法步骤：
9.s1、获取训练样本集，将训练样本集分为第一有标签样本集d
l
和无标签样本集du；
10.s2、训练查询模型mq，所述查询模型mq包括第一特征提取器第一分类器和
第二分类器
11.对第一有标签样本集d
l
进行数据增广，获取第二有标签样本集将第一有标签样本集d
l
和第二有标签样本集分别送入所述查询模型mq，对所述第一分类器和所述第二分类器的分类能力进行训练，以及对所述第一分类器和所述第二分类器进行最大差异化训练；
12.s3、训练任务模型m
t
，所述任务模型m
t
包括第二特征提取器和第三分类器f
t
；
13.将所述第一特征提取器的参数传送至所述第二特征提取器使所述第一特征提取器与所述第二特征提取器进行参数共享；
14.将第一有标签样本集d
l
送入所述任务模型m
t
，对所述第三分类器f
t
的分类能力进行训练；
15.s4、查询样本，将无标签样本集du送入所述查询模型mq，输出分类结果，根据所述第一分类器和所述第二分类器的分类结果，计算不确定性分数；
16.s5、更新训练样本，根据步骤s4计算得到的不确定性分数，标注不确定分数最大的前k个样本，并将标注的不确定性分数最大的前k个样本放入第一有标签样本集d
l
，同时将标注的不确定分数最大的前k个样本从无标签样本集du剔除；
17.重复步骤s2至s5，循环多次，直至图像分类完成。
18.在一个优选的实施例中，在步骤s2中，对第一有标签样本集d
l
进行数据增广的方法包括：添加噪声、旋转、拉伸、裁剪或空间透视中的一种或多种。
19.在一个优选的实施例中，在步骤s2中，将第一有标签样本集d
l
送入所述查询模型mq，通过所述第一特征提取器提取第一特征图将第一特征图送入所述第一分类器输出第一分类结果
20.将第二有标签样本集送入所述查询模型mq，通过所述第一特征提取器提取第二特征图将第二特征图送入所述第二分类器输出第二分类结果
21.在一个优选的实施例中，在步骤s2中，通过如下损失函数l1，对所述第一分类器和所述第二分类器的分类能力进行训练，以及对所述第一分类器和所述第二分类器进行最大差异化训练：
22.l1＝l
ce1
+l
ce2-λl
dis
，
23.其中，l
ce1
为第一分类交叉熵损失函数，l
ce2
为第二分类交叉熵损失函数，
24.λ为权重超参数。
25.在一个优选的实施例中，第一分类交叉熵损失函数l
ce1
通过如下方式表述：
[0026][0027]
其中，y
ij
为第一有标签样本集d
l
中的第一有标签样本xi的标签值，n1为第一有标签
样本xi的数量，c为第一有标签样本xi的类别数，为第一特征图送入第一分类器输出的第一分类结果；
[0028]
其中，i∈{1，2，
…
，n1}，j∈{1，2，
…
，c}；
[0029]
第二分类交叉熵损失函数l
ce2
通过如下方式表述：
[0030][0031]
其中，为第二有标签样本集中的第二有标签样本的标签值，为第二有标签样本的数量，为第二有标签样本的类别数，为第二特征图送入第二分类器输出的第二分类结果；
[0032]
其中，
[0033]
在一个优选的实施例中，在步骤s3中，将第一有标签样本集d
l
送入所述任务模型m
t
，通过所述第二特征提取器提取第三特征图将第三特征图送入所述第三分类器f
t
，输出第三分类结果
[0034]
在一个优选的实施例中，在步骤s3中，通过第三分类交叉熵损失函数l
ce3
，对所述第三分类器f
t
的分类能力进行训练；
[0035]
其中，第三分类交叉熵损失函数l
ce3
通过如下方式表述：
[0036][0037]
其中，y
ij
为第一有标签样本集d
l
中的第一有标签样本xi的标签值，n1为第一有标签样本xi的数量，c为第一有标签样本xi的类别数，为第三特征图送入第三分类器f
t
输出的第三分类结果。
[0038]
在一个优选的实施例中，在步骤s4中，将无标签样本集du送入所述查询模型mq，通过所述第一特征提取器提取第四特征图将第四特征图分别送入所述第一分类器和所述第二分类器输出第四分类结果和第五分类结果
[0039]
根据所述第一分类器输出的第四分类结果和所述第二分类器输出的第五分类结果计算不确定性分数：
[0040]
其中，m∈{1，2，...，n2}，n2为无标签样本集du中的无标签样本xm的数量。
[0041]
本发明的另一个方面在于提供一种主动学习的图像分类系统，所述图像分类系统包括第一有标签样本集d
l
和无标签样本集du；
[0042]
所述第一有标签样本集d
l
包括n1个第一有标签样本xi，无标签样本集du包括n2个无标签样本xm；
[0043]
数据增广模块，用于对第一有标签样本集d
l
，进行数据增广，获取第二有标签样本集第二有标签样本集包括个第二有标签样本
[0044]
查询模型mq，包括第一特征提取器第一分类器和第二分类器
[0045]
其中，将第一有标签样本集d
l
和第二有标签样本集分别送入所述查询模型mq，对所述第一分类器和所述第二分类器的分类能力进行训练，以及对所述第一分类器和所述第二分类器进行最大差异化训练；
[0046]
任务模型m
t
，包括第二特征提取器和第三分类器f
t
，
[0047]
其中，将所述第一特征提取器的参数传送至所述第二特征提取器使所述第一特征提取器与所述第二特征提取器进行参数共享；
[0048]
将第一有标签样本集d
l
送入所述任务模型m
t
，对所述第三分类器f
t
的分类能力进行训练。
[0049]
本发明的又一个方面在于提供一种存储介质，所述存储介质用于存储计算机执行指令，所述计算机执行指令用于执行本发明提供的一种主动学习的图像分类方法。
[0050]
与现有技术相比，本发明具有以下有益效果：
[0051]
本发明提供的一种主动学习的图像分类方法、系统及存储介质，通过训练两个对抗性的分类器来差异化样本的分布情况，并利用分类器之间的距离来计算样本的不确定性。结合对抗性分类器能够动态的调整样本的分布，进而筛选出不确定性大且靠近边缘分布的样本。
[0052]
本发明提供的一种主动学习的图像分类方法、系统及存储介质，分为查询模型和任务模型，查询模型只关注如何查询到最优价值的样本，任务模型只关注如何提升分类性能，使得各模块更能专注于各自的功能实现。
[0053]
本发明提供的一种主动学习的图像分类方法、系统及存储介质，用最大差异化分类器来获取样本的不确定性分数，从而选择更有价值的样本送入到模型中进行训练，可以达到利用少量样本就能够优化模型，并节省人力成本和时间成本的目的。
附图说明
[0054]
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0055]
图1是本发明一种主动学习的图像分类方法的流程框图。
[0056]
图2是本发明一种主动学习的图像分类系统的结构框图。
[0057]
图3是本发明第一特征提取器和第二特征提取器的结构框图。
[0058]
图4是本发明一个实施例中本发明图像分类识别效果与其他经典主动学习方法的图像分类识别效果对比示意图。
具体实施方式
[0059]
为了使本发明的上述以及其他特征和优点更加清楚，下面结合附图进一步描述本
发明。应当理解，本文给出的具体实施例是出于向本领域技术人员解释的目的，仅是示例性的，而非限制性的。
[0060]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0061]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0062]
如图1所示本发明一种主动学习的图像分类方法的流程框图，图2是本发明一种主动学习的图像分类系统的结构框图，结合图1和图2，根据本发明的实施例，提供一种主动学习的图像分类方法，包括如下方法步骤：
[0063]
步骤s1、获取训练样本集，将训练样本集分为第一有标签样本集d
l
和无标签样本集du。
[0064]
在一个数据集中共有n张图像，每张图像的大小为h
×
h，通道数为b，共分为c个类别。将数据集分为训练样本集d
train
和测试集d
test
，训练样本集d
train
中包括n1张图像(n1个样本)，测试集d
test
中包括n2张图像(n2个样本)。
[0065]
将训练样本集d
train
分为第一有标签样本集d
l 100和无标签样本集du200。具体地，从训练样本集d
train
的n1个样本中随机选取n1个第一有标签样本xi作为第一有标签样本集d
l 100，然后从训练样本集d
train
中剩余的样本中取n2个无标签样本xm作为无标签样本集du200，i∈{1，2，...，n1}，m∈{1，2，...，n2}。
[0066]
在一个实施例中，第一有标签样本xi的数量n1远小于无标签样本xm的数量n2，即n1＜＜n2。
[0067]
第一有标签样本集d
l 100在训练时要用到样本的标签值，对于图像分类任务，图像的标签值就是图像的类别，无标签样本集du200中的样本虽然有标签，但是在训练的过程中不用其标签值，模拟无标签的状态。
[0068]
根据本发明的实施例，通过随机选取的方法将训练样本集d
train
分为第一有标签样本集d
l 100和无标签样本集du200。
[0069]
在一个实施例中，将训练样本集d
train
的n1个样本按顺序从1到n1编号，然后将n1个样本打乱，在打乱之后的n1个样本中取前n1个样本作为第一有标签样本xi，构建第一有标签样本集d
l 100。训练样本集d
train
剩余的样本中再取前n2个样本作为无标签样本xm，构建无标签样本集du200。
[0070]
在另一个实施例中，将训练样本集d
train
的n1个样本按顺序从1到n1编号，然后生成n1个随机数，每个随机数的大小∈[1，n1]，将n1个具有随机数编号的样本挑选出来，构建第一有标签样本集d
l 100。训练样本集d
train
剩余的样本中重新按顺序排序，然后生成n2个随机数，每个随机数的大小∈[1，n
1-n1]，将n2个具有随机数编号的样本挑选出来，构建无标签样本集du200。
[0071]
步骤s2、训练查询模型mq300。查询模型mq300包括第一特征提取器第一分类器和第二分类器
[0072]
对第一有标签样本集d
l
100进行数据增广，获取第二有标签样本集将第一有标签样本集d
l 100和第二有标签样本集分别送入查询模型mq300，对第一分类器和第二分类器的分类能力进行训练，以及对第一分类器和第二分类器进行最大差异化训练。
[0073]
具体地，第一有标签样本集d
l 100包括n1个第一有标签样本xi，xi∈d
l
，i∈{1，2，...，n1}。
[0074]
通过数据增广模块500对第一有标签样本集d
l 100进行数据增广处理，获取第二有标签样本集第二有标签样本集包括个第二有标签样本个第二有标签样本在一些实施例中，
[0075]
在一些实施例中，对第一有标签样本集d
l 100进行数据增广的方法包括：添加噪声、旋转、拉伸、裁剪或空间透视中的一种或多种。
[0076]
根据本发明的实施例，将第一有标签样本集d
l 100送入查询模型mq300，通过第一特征提取器提取第一特征图将第一特征图送入第一分类器输出第一分类结果
[0077]
其中，d为第一特征提取器的通道数，h1为第一特征图的宽和高。
[0078]
其中，元素a
ij
∈(0，1)表示第一有标签样本xi预测为类别j的概率，i∈{1，2，...，n1}，n1表示第一有标签样本xi的数量，j∈{1，2，...，c}，c表示第一有标签样本xi的类别数。
[0079]
将第一特征提取器的参数固定，将第二有标签样本集送入查询模型mq300，通过第一特征提取器提取第二特征图将第二特征匿送入第二分类器输出第二分类结果
[0080]
其中，d为第一特征提取器的通道数，h2为第二特征图的宽和高。
[0081]
其中，元素b
ij
∈(0，1)表示第二有标签样本预测为类别j的概率，表示第二有标签样本的数量，的数量，为第二有标签样本的类别数。
[0082]
在一些实施例中，第一有标签样本xi的类别数c等于第二有标签样本的类别数即
[0083]
如图3所示，本发明第一特征提取器以resnet50为基础结构，resnet-50有四大模块，每个大模块分别由3、4、6、3个基础残差模块组成。基础残差块分为两种，分别是
conv block和identity block。conv block用于改变网络的维度，由1
×
1、3
×
3、1
×
1三个卷积模块串联之后并联一个1
×
1卷积模块组成，结构如图3中(a)所示。identity b1ock用于加深网络，由1
×
1、3
×
3、1
×
1三个卷积模块串联之后直接并联输入组成，结构如图3中(b)所示。网络最前端由1个7
×
7的卷积模块以及平均池化层组成，具体结构如图3中(c)所示。
[0084]
本发明第一分类器为全连接层，其表述为其中，a1为第一分类器的权重，a1∈rs×
t1
，x∈rs，b1为第一分类器的偏置值，b1∈rs，s为批尺寸(batchsize)的大小，t1为第一特征图的个数。
[0085]
第二分类器为全连接层，其表述为其中，a2为第二分类器的权重，a2∈rs×
t2
，x∈rs，b2为第二分类器的偏置值，b2∈rs，s为批尺寸(batchsize)的大小，t2为第二特征图的个数。
[0086]
根据本发明的实施例，通过损失函数l1＝l
ce1
+l
ce2-λl
dis
，对第一分类器和第二分类器的分类能力进行训练，以及对第一分类器和第二分类器进行最大差异化训练。
[0087]
即通过损失函数l1＝l
ce1
+l
ce2-λl
dis
对第一分类器和第二分类器的分类能力，以及第一分类器和第二分类器的最大差异进行联合训练。在一个优选的实施例中，当损失函数l1≤0.01时则停止训练。
[0088]
其中，l
ce1
为第一分类交叉熵损失函数，l
ce2
为第二分类交叉熵损失函数。
[0089]
用于拉大第一分类器第二分类器数据样本的分布差异，最大化分类器的预测结果差异，λ为权重超参数，由实验所得。
[0090]
进一步地，第一分类交叉熵损失函数l
ce1
通过如下方式表述：
[0091]
用于实现训练第一分类器的分类能力，鼓励第一分类器做出正确的预测。
[0092]
其中，y
ij
为第一有标签样本集d
l
中的第一有标签样本xi的标签值，y
ij
为0代表第i个样本不属于类别j，y
ij
为1代表第i个样本属于类别j。n1为第一有标签样本xi的数量，c为第一有标签样本xi的类别数，为第一特征图送入第一分类器输出的第一分类结果，i∈{1，2，...，n1}，j∈{1，2，...，c}。
[0093]
第二分类交叉熵损失函数l
ce2
通过如下方式表述：
[0094]
用于实现训练第二分类器的分类能力，鼓励第二分类器做出正确的预测。
[0095]
其中，为第二有标签样本集中的第二有标签样本的标签值，为0代表第i个样本不属于类别j，为1代表第i个样本属于类别j。为第二有标签样本的数量，为第二有标签样本的类别数，为第二特征图送入第二分类器输出的第二分类结果，
[0096]
步骤s3、训练任务模型m
t
400。任务模型m
t
400包括第二特征提取器和第三分类器f
t
402。
[0097]
将第一特征提取器的参数传送至第二特征提取器使第一特征提取器与第二特征提取器进行参数共享，使得其中，为第一特征提取器的参数，为第二特征提取器的参数。
[0098]
将第一有标签样本集d
l 100送入任务模型m
t
400，对第三分类器f
t
402的分类能力进行训练。
[0099]
根据本发明的实施例，将第一有标签样本集d
l 100送入任务模型m
t
400，通过第二特征提取器提取第三特征图将第三特征图送入第三分类器f
t
402，输出第三分类结果
[0100]
其中，其中，d’为第二特征提取器的通道数，h3为第三特征图的宽和高。
[0101]
其中，元素d
ij
∈(0，1)表示第一有标签样本xi预测为类别j的概率，i∈{1，2，...，n1}，n1表示第一有标签样本xi的数量，j∈{1，2，...，c}，c表示第一有标签样本xi的类别数。
[0102]
如图3所示，本发明第二特征提取器以resnet50为基础结构，resnet-50有四大模块，每个大模块分别由3、4、6、3个基础残差模块组成。基础残差块分为两种，分别是conv block和identity block。conv block用于改变网络的维度，由1
×
1、3
×
3、1
×
1三个卷积模块串联之后并联一个1
×
1卷积模块组成，结构如图3中(a)所示。identity block用于加深网络，由1
×
1、3
×
3、1
×
1三个卷积模块串联之后直接并联输入组成，结构如图3中(b)所示。网络最前端由1个7
×
7的卷积模块以及平均池化层组成，具体结构如图3中(c)所示。
[0103]
第三分类器f
t
402为全连接层，其表述为f
t
(x)＝a
t
x+b
t
，其中，a
t
为第三分类器f
t
402的权重，a
t
∈rs×
t3
，x∈rs，b
t
为第三分类器f
t
402的偏置值，b
t
∈rs，s为批尺寸(batchsize)的大小，t3为第三特征图的个数。
[0104]
根据本发明的实施例，通过第三分类交叉熵损失函数l
ce3
，对第三分类器f
t
402的分类能力进行训练。第三分类交叉熵损失函数l
ce3
通过如下方式表述：
[0105]
用于实现训练第三分类器f
t
402的分类能力，鼓励第三分类器f
t
402做出正确的预测。
[0106]
其中，y
ij
为第一有标签样本集d
l
中的第一有标签样本xi的标签值，n1为第一有标签
样本xi的数量，c为第一有标签样本xi的类别数，为第三特征图送入第三分类器f
t
输出的第三分类结果。
[0107]
步骤s4、查询样本。将无标签样本集du200送入查询模型mq300，输出分类结果，根据第一分类器和第二分类器的分类结果，计算不确定性分数。
[0108]
具体地，将无标签样本集du200送入查询模型mq300，通过第一特征提取器提取第四特征图将第四特征图分别送入第一分类器和第二分类器输出第四分类结果和第五分类结果
[0109]
其中，d为第一特征提取器的通道数，h4为第四特征图的宽和高。
[0110][0111]
其中，元素e
mj
∈(0，1)表示第一分类器预测样本为类别j的概率；gmj∈(0，1)表示第二分类器预测样本为类别j的概率。
[0112]
根据第一分类器输出的第四分类结果和第二分类器输出的第五分类结果计算不确定性分数：
[0113]
其中，m∈{1，2，...，n2}，n2为无标签样本集du中的无标签样本xm的数量，xm∈du。
[0114]
步骤s5、更新训练样本。根据步骤s4计算得到的不确定性分数，标注不确定性分数最大的前k个样本，并将标注的不确定分数最大的前k个样本放入第一有标签样本集d
l
，同时将标注的不确定分数最大的前k个样本从无标签样本集du剔除。
[0115]
具体地，将无标签样本集du中的无标签样本xm根据步骤s4计算得到的不确定性分数从大到小进行排序，不确定性分数越大，代表无标签样本xm越难以识别，挑选不确定分数最大的前k个(top-k，k＜＜n2)无标签样本xm进行标注，并将标注的不确定分数最大的前k个无标签样本xm放入第一有标签样本集d
l
，同时将标注的不确定分数最大的前k个无标签样本xm从无标签样本集du剔除。
[0116]
重复步骤s2至s5，循环多次，直至图像分类完成。
[0117]
本发明图像分类过程中，通过训练查询模型mq300查询最优价值的样本，通过训练任务模型m
t
400提升分类性能，任务模型m
t
400的第三分类器f
t
402输出的第三分类结果为最终的图像分类结果。
[0118]
根据本发明的实施例，提供一种主动学习的图像分类系统，包括第一有标签样本集d
l 100和无标签样本集du200。
[0119]
第一有标签样本集d
l 100包括n1个第一有标签样本xi，无标签样本集du200包括n2个无标签样本xm。
[0120]
数据增广模块500，用于对第一有标签样本集d
l 100进行数据增广，获取第二有标
签样本集第二有标签样本集包括个第二有标签样本
[0121]
查询模型mq300，包括第一特征提取器第一分类器和第二分类器
[0122]
通过将第一有标签样本集d
l 100和第二有标签样本集分别送入查询模型mq300，对第一分类器和第二分类器的分类能力进行训练，以及对第一分类器和第二分类器进行最大差异化训练。
[0123]
任务模型m
t
400，包括第二特征提取器和第三分类器f
t 402。将第一特征提取器的参数传送至第二特征提取器使第一特征提取器与第二特征提取器进行参数共享。
[0124]
通过将第一有标签样本集d
l 100送入任务模型m
t
400，对第三分类器f
t
402的分类能力进行训练。
[0125]
根据本发明的实施例，提供一种存储介质，用于存储计算机执行指令，计算机执行指令用于执行本发明提供的一种主动学习的图像分类方法。
[0126]
下文的实施例中，通过本发明提供的一种主动学习的图像分类方法进行图像分类识别，与其他经典主动学习方法的图像分类识别效果进行对比。
[0127]
使用公开图像分类数据集cifar-10数据集进行实验，该数据集共有60000张图像，每张图像的大小为32
×
32，通道数为3，共分为10个类别，包括飞机、小轿车、鸟、猫等，每个类别共6000张图像。数据集分为测试集和训练样本集，训练样本集包含50000张图像，测试集包含10000张图像。
[0128]
从训练样本集(50000个样本)中随机选取500个样本作为第一有标签样本集d
l
，然后从训练样本集剩余的样本中取25000个样本作为无标签样本集du。
[0129]
通过本发明提供一种主动学习的图像分类方法与其他经典主动学习方法的图像分类识别效果进行对比实验。具体地，选取具有代表性的四个主动学习方法entropy、coreset、ll4al和tod，以及random方法(随机分类)来验证本发明的性能。
[0130]
本实施例在python3.8版本下进行，使用pytorch框架搭建，gpu版本为nvidia geforce rtx 3090，cuda版本为11.4，相关的训练参数设置：每轮运行200个epoch(一代训练)，选用随机梯度下降优化器进行优化，学习率设置为0.01，动量大小设置为0.9，权重衰减为0.001。
[0131]
如图4所示本发明一个实施例中本发明图像分类识别效果与其他经典主动学习方法的图像分类识别效果对比示意图，图4中横坐标代表第一有标签样本集d
l
中的第一有标签样本xi的数量，纵轴坐标代表分类的准确度，mdc(maximum differentiation classifier)为本发明图像分类的分类效果，从图4中可以看出，本发明相比于现有经典的主动学习方法分类准确率更高，分类效果更好。
[0132]
从图4中还可以看出，本发明在每一轮主动学习后图像分类的精度值都是要高于其他方法，最后一轮精度可达到57.13％。本发明从第一轮随机选取样本时就超过其他方法，这是由于本发明任务模型和查询模型共享参数。在对比方法中表现最好的是ll4al，在最后一轮精度达到47.97％。在最后一轮，本发明相比于ll4al方法精度要高9.16％。
[0133]
根据实验结果，本发明大幅度提升了少量图像样本分类任务的实验性能，可以在减少标注样本数目的同时提高分类的精度，证明了本发明在主动学习图像分类领域的有效性。
[0134]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种主动学习的图像分类方法，其特征在于，所述图像分类方法包括如下方法步骤：s1、获取训练样本集，将训练样本集分为第一有标签样本集d
l
和无标签样本集d
u
；s2、训练查询模型m
q
，所述查询模型m
q
包括第一特征提取器第一分类器和第二分类器对第一有标签样本集d
l
进行数据增广，获取第二有标签样本集将第一有标签样本集d
l
和第二有标签样本集分别送入所述查询模型m
q
，对所述第一分类器和所述第二分类器的分类能力进行训练，以及对所述第一分类器和所述第二分类器进行最大差异化训练；s3、训练任务模型m
t
，所述任务模型m
t
包括第二特征提取器和第三分类器f
t
；将所述第一特征提取器的参数传送至所述第二特征提取器使所述第一特征提取器与所述第二特征提取器进行参数共享；将第一有标签样本集d
l
送入所述任务模型m
t
，对所述第三分类器f
t
的分类能力进行训练；s4、查询样本，将无标签样本集d
u
送入所述查询模型m
q
，输出分类结果，根据所述第一分类器和所述第二分类器的分类结果，计算不确定性分数；s5、更新训练样本，根据步骤s4计算得到的不确定性分数，标注不确定分数最大的前k个样本，并将标注的不确定性分数最大的前k个样本放入第一有标签样本集d
l
，同时将标注的不确定分数最大的前k个样本从无标签样本集d
u
剔除；重复步骤s2至s5，循环多次，直至图像分类完成。2.根据权利要求1所述的图像分类方法，其特征在于，在步骤s2中，对第一有标签样本集d
l
进行数据增广的方法包括：添加噪声、旋转、拉伸、裁剪或空间透视中的一种或多种。3.根据权利要求1所述的图像分类方法，其特征在于，在步骤s2中，将第一有标签样本集d
l
送入所述查询模型m
q
，通过所述第一特征提取器提取第一特征图将第一特征图送入所述第一分类器输出第一分类结果将第二有标签样本集送入所述查询模型m
q
，通过所述第一特征提取器提取第二特征图将第二特征图送入所述第二分类器输出第二分类结果4.根据权利要求3所述的图像分类方法，其特征在于，在步骤s2中，通过如下损失函数l1，对所述第一分类器和所述第二分类器的分类能力进行训练，以及对所述第一分类器和所述第二分类器进行最大差异化训练：l1＝l
ce1
+l
ce2-λl
dis
，其中，l
ce1
为第一分类交叉熵损失函数，l
ce2
为第二分类交叉熵损失函数，
λ为权重超参数。5.根据权利要求4所述的图像分类方法，其特征在于，第一分类交叉熵损失函数l
ce1
通过如下方式表述：其中，y
ij
为第一有标签样本集d
l
中的第一有标签样本x
i
的标签值，n1为第一有标签样本x
i
的数量，c为第一有标签样本x
i
的类别数，为第一特征图送入第一分类器输出的第一分类结果；其中，i∈{1,2,...,n1}，j∈{1,2,...,c}；第二分类交叉熵损失函数l
ce2
通过如下方式表述：其中，为第二有标签样本集中的第二有标签样本的标签值，为第二有标签样本的数量，为第二有标签样本的类别数，为第二特征图送入第二分类器输出的第二分类结果；其中，6.根据权利要求1所述的图像分类方法，其特征在于，在步骤s3中，将第一有标签样本集d
l
送入所述任务模型m
t
，通过所述第二特征提取器提取第三特征图将第三特征图送入所述第三分类器f
t
，输出第三分类结果7.根据权利要求6所述的图像分类方法，其特征在于，在步骤s3中，通过第三分类交叉熵损失函数l
ce3
，对所述第三分类器f
t
的分类能力进行训练；其中，第三分类交叉熵损失函数l
ce3
通过如下方式表述：其中，y
ij
为第一有标签样本集d
l
中的第一有标签样本x
i
的标签值，n1为第一有标签样本x
i
的数量，c为第一有标签样本x
i
的类别数，为第三特征图送入第三分类器f
t
输出的第三分类结果。8.根据权利要求1所述的图像分类方法，其特征在于，在步骤s4中，将无标签样本集d
u
送入所述查询模型m
q
，通过所述第一特征提取器提取第四特征图将第四特征图分别送入所述第一分类器和所述第二分类器输出第四分类结果和第五分类结果
根据所述第一分类器输出的第四分类结果和所述第二分类器输出的第五分类结果计算不确定性分数：其中，m∈{1,2,...,n2}，n2为无标签样本集d
u
中的无标签样本x
m
的数量。9.一种主动学习的图像分类系统，其特征在于，所述图像分类系统包括第一有标签样本集d
l
和无标签样本集d
u
；所述第一有标签样本集d
l
包括n1个第一有标签样本x
i
，无标签样本集d
u
包括n2个无标签样本x
m
；数据增广模块，用于对第一有标签样本集d
l
进行数据增广，获取第二有标签样本集第二有标签样本集包括个第二有标签样本查询模型m
q
，包括第一特征提取器第一分类器和第二分类器其中，将第一有标签样本集d
l
和第二有标签样本集分别送入所述查询模型m
q
，对所述第一分类器和所述第二分类器的分类能力进行训练，以及对所述第一分类器和所述第二分类器进行最大差异化训练；任务模型m
t
，包括第二特征提取器和第三分类器f
t
，其中，将所述第一特征提取器的参数传送至所述第二特征提取器使所述第一特征提取器与所述第二特征提取器进行参数共享；将第一有标签样本集d
l
送入所述任务模型m
t
，对所述第三分类器f
t
的分类能力进行训练。10.一种存储介质，其特征在于，所述存储介质用于存储计算机执行指令，所述计算机执行指令用于执行权利要求1至8中任一权利要求所述的图像分类方法。

技术总结
本发明提供了一种主动学习的图像分类方法、系统及存储介质，所述方法包括：S1、将训练样本集分为第一有标签样本集D


技术研发人员：王悦蓉 昝鹏 韩天宇 胡昊昊 许慧妍 钟万军 张国福
受保护的技术使用者：上大合肥产业技术创新中心有限公司
技术研发日：2023.06.30
技术公布日：2023/10/11