一种小样本图像分类方法及系统与流程

1.本发明涉及计算机视觉领域，具体涉及一种小样本图像分类方法及系统。


背景技术：

2.随着深度学习技术的不断发展，对于图像分类的准确性需求也越来越高。然而，目前基于深度学习的分类模型需要大量样本对其中的特征提取与匹配网络进行微调、参数优化等，在面对小样本图像时，计算性能受到限制，导致分类效果不佳，有一定的局限性。
3.为了提升小样本情况下的图像分类准确率，研究人员从数据、模型和优化层面来对其进行研究，以不同角度来解决小样本问题。然而仅从单个方面入手研究，对于小样本图像分类的效率提升程度也是有限的。


技术实现要素：

4.有鉴于此，本技术实施例提供一种小样本图像分类方法及系统，能够实现待预测的小样本类别图像的准确分类，有效解决少量数据情况下传统图像分类模型的过拟合现象，分类效果不佳的问题。
5.本技术实施例提供以下技术方案：一种小样本图像分类方法，包括：
6.s1.接收小样本图像数据集，利用数据增强方法以及生成对抗网络对输入的该小样本图像数据集进行扩充，构建正负样本；其中，正样本为相同类别，负样本为不同类别；
7.s2.对扩充后的待分类图像数据集进行成对训练，利用改进的孪生网络度量模型进行特征提取，提高网络的特征提取能力，将图像空间映射到特征空间，利用正负样本对网络参数进行调整；
8.s3.对待分类图像进行特征提取后，将其特征信息映射到特征空间，与已知类别的特征空间之间进行度量，选择度量结果最接近的类别，输出分类结果。
9.根据本技术一种实施例，s1中，所述数据增强方法是采用包括旋转、模糊、调色的数据变换方式对输入的小样本图像进行增强。
10.根据本技术一种实施例，s1中，所述的生成对抗网络包括，引入批标准化处理层以及adam优化器调整参数，动态更改学习率，实现对图像的增强。
11.根据本技术一种实施例，s2中，对扩充后的待分类图像数据集进行成对训练，利用改进的孪生网络度量模型进行特征提取的过程包括：
12.基于残差卷积的孪生神经网络对成对的图像进行特征提取，映射到相应的特征空间，利用正负样本进行成对训练。
13.根据本技术一种实施例，利用正负样本进行成对训练的过程中，每次将两张图像输入到孪生神经网络中，经过特征提取后得到特征向量，采用对比损失的方式，计算两个特征向量的欧氏距离，利用正负样本信息进行调整，使得正样本输出接近1，负样本输出接近0，训练网络的匹配分类能力。
14.本发明实施例还提供一种小样本图像分类系统，包括：
15.图像增强单元，用于接收小样本图像数据集，利用数据增强方法以及生成对抗网络对输入的该小样本图像数据集进行扩充，构建正负样本；其中，正样本为相同类别，负样本为不同类别；
16.图像特征提取单元，用于对扩充后的待分类图像数据集进行成对训练，利用改进的孪生网络度量模型进行特征提取，提高网络的特征提取能力，将图像空间映射到特征空间，利用正负样本对网络参数进行调整；
17.分类单元，用于对待分类图像进行特征提取后，将其特征信息映射到特征空间，与其他已知类别的特征空间之间进行度量，选择度量结果最接近的类别，输出分类结果。
18.根据本技术一种实施例，所述图像增强单元采用包括旋转、模糊、调色的数据变换方式对输入的小样本图像进行数据增强；以及通过生成对抗网络，引入批标准化处理层以及adam优化器调整参数，动态更改学习率，实现对图像的增强。
19.根据本技术一种实施例，所述图像特征提取单元是通过基于残差卷积的孪生神经网络对成对的图像进行特征提取，映射到相应的特征空间，利用正负样本进行成对训练。
20.本发明面向小样本数据的实现图像分类需求，针对传统深度神经分类网络的局限性，提出一种面向小样本数据的图像分类方法，先基于对小样本图像集利用多种不同方式进行数据增强，有利于提高后续分类网络的效率，再利用改进的孪生网络进行特征提取与度量训练，找到合适的模型参数，从而能够针对待预测的小样本类别图像实现更好的分类效果，有效解决少量数据情况下传统图像分类模型分类效果不佳的问题。
附图说明
21.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
22.图1是本发明实施例的小样本图像分类方法流程图；
23.图2是本发明实施例的小样本图像分类原理示意图。
具体实施方式
24.下面结合附图对本技术实施例进行详细描述。
25.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.如图1所示，本发明实施例提供了一种小样本图像分类方法，包括：
27.s1.接收小样本图像数据集，利用数据增强方法以及生成对抗网络对输入的该小样本图像数据集进行扩充，构建正负样本；其中，正样本为相同类别，负样本为不同类别；
28.本实施例中，对数据集图像进行简单的变换以及通过生成对抗网络生成新图像数据，以达到图像扩充的效果，具体地，采用旋转、模糊、调色等简单数据变换方式对输入图像进行增强；利用生成对抗网络，引入批标准化处理层以及adam优化器调整参数，动态更改学
习率，以便生成效果更好的相近真实的图片，从而实现对图像的增强。
29.s2.对扩充后的待分类图像数据集进行成对训练，利用改进的孪生网络度量模型进行特征提取，提高网络的特征提取能力，将图像空间映射到特征空间，利用正负样本对网络参数进行调整；
30.本实施例中，基于残差卷积的孪生神经网络对成对的图像进行特征提取，映射到相应的特征空间，利用正负样本进行成对训练。利用孪生网络引入残差卷积以及注意力模块来提取更多的语义信息，实现更高的分类准确率要求。
31.s3.对待分类图像进行特征提取后，将其特征信息映射到特征空间，与已知类别的特征空间之间进行度量，选择度量结果最接近的类别作为分类结果，并输出。
32.以基于残差卷积的孪生网络为例，本实施例具体工作原理如图2所示，具体过程为：
33.首先，输入自建的小样本类别的图像集(每类别10-20张)，对其中的图像进行旋转、对称、模糊、调色等简单变换方法。再利用生成对抗网络对图像进行增强，在此过程中，对基础的生成对抗网络添加了adam优化器调整网络参数，并且根据学习情况动态改变学习率。在生成对抗网络中的生成器与判别器中使用到了批标准化层对图像特征进行处理，帮助模型稳定训练。针对生成对抗网络梯度不稳定的问题，引入了梯度裁剪的方法，设置定量阈值，当梯度超过阈值时，强制将其限制在正常范围内，解决梯度爆炸的问题。通过以上两种方式，实现对小样本类别数据的扩充。将扩充后的数据分类为正负样本对，以便后续的训练。
34.其次利用基于残差卷积的孪生网络对正负样本进行特征提取与度量。在此过程中，对传统的孪生网络进行改进，将cnn网络结构替换为残差卷积结构，采用两组感受不同的卷积组合对同一输入进行特征提取与拼接，并且引入注意力机制对提取到的丰富特征进行合适地关注与忽略，从而提高网络在有限样本的情况下提取特征的能力。训练过程中，每次将两张图片输入到孪生网络中，经过特征提取后得到特征向量，采用contrastive loss(对比损失)方式，计算二者的欧氏距离，利用正负样本信息进行调整，使得正样本输出接近1，负样本输出接近0，从而训练网络的匹配分类能力。针对小样本数据，得到一个调整后的孪生度量网络。
35.然后，对于待预测的输入图像进入网络的特征提取模块，利用残差卷积对其进行一系列的特征信息抽取，最终形成特征向量。
36.最后，将其与其他已知类间的特征向量进行度量，得到与其他类别的相似性信息，对比度量的距离结果，筛选出最近的结果，从而可以将其划定为对应的图像类别结果。
37.本发明实施例还提供一种小样本图像分类系统，包括：
38.图像增强单元，用于接收小样本图像数据集，利用数据增强方法以及生成对抗网络对输入的该小样本图像数据集进行扩充，构建正负样本；其中，正样本为相同类别，负样本为不同类别；
39.图像特征提取单元，用于对扩充后的待分类图像数据集进行成对训练，利用改进的孪生网络度量模型进行特征提取，提高网络的特征提取能力，将图像空间映射到特征空间，利用正负样本对网络参数进行调整；
40.分类单元，用于对待分类图像进行特征提取后，将其特征信息映射到特征空间，与
其他已知类别的特征空间之间进行度量，选择度量结果最接近的类别，输出分类结果。
41.本发明实施例中，输入图像集后先进行一系列的增强处理再进行特征提取与微调，最终对输入的待分类图像进行特征提取与度量分类，具体是：对于待分类的输入图像，采用调整后的基于残差卷积的孪生网络提取图像的重要特征，在特征空间中将其与已知类的特征向量进行度量，输出与其距离最近的分类结果。
42.本发明提出的针对小样本数据的图像分类方法，面向特殊数据的难获取性以及不对外公开，数据的高标签成本，少概率出现的重要数据等一系列的图像处理需求，针对训练样本数量较少情况的局限性，基于先对少量样本在一定程度上进行增强再对其进行准确分类的思想，从而实现小样本图像的准确分类，有效解决少量数据情况下传统图像分类模型的过拟合现象，分类效果不佳的问题。
43.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种小样本图像分类方法，其特征在于，包括：s1.接收小样本图像数据集，利用数据增强方法以及生成对抗网络对输入的该小样本图像数据集进行扩充，构建正负样本；其中，正样本为相同类别，负样本为不同类别；s2.对扩充后的待分类图像数据集进行成对训练，利用改进的孪生网络度量模型进行特征提取，提高网络的特征提取能力，将图像空间映射到特征空间，利用正负样本对网络参数进行调整；s3.对待分类图像进行特征提取后，将其特征信息映射到特征空间，与已知类别的特征空间之间进行度量，选择度量结果最接近的类别，输出分类结果。2.根据权利要求1所述的小样本图像分类方法，其特征在于，s1中，所述数据增强方法是采用包括旋转、模糊、调色的数据变换方式对输入的小样本图像进行增强。3.根据权利要求1所述的小样本图像分类方法，其特征在于，s1中，所述的生成对抗网络包括，引入批标准化处理层以及adam优化器调整参数，动态更改学习率，实现对图像的增强。4.根据权利要求1所述的小样本图像分类方法，其特征在于，s2中，对扩充后的待分类图像数据集进行成对训练，利用改进的孪生网络度量模型进行特征提取的过程包括：基于残差卷积的孪生神经网络对成对的图像进行特征提取，映射到相应的特征空间，利用正负样本进行成对训练。5.根据权利要求4所述的小样本图像分类方法，其特征在于，利用正负样本进行成对训练的过程中，每次将两张图像输入到孪生神经网络中，经过特征提取后得到特征向量，采用对比损失的方式，计算两个特征向量的欧氏距离，利用正负样本信息进行调整，使得正样本输出接近1，负样本输出接近0，训练网络的匹配分类能力。6.一种小样本图像分类系统，其特征在于，包括：图像增强单元，用于接收小样本图像数据集，利用数据增强方法以及生成对抗网络对输入的该小样本图像数据集进行扩充，构建正负样本；其中，正样本为相同类别，负样本为不同类别；图像特征提取单元，用于对扩充后的待分类图像数据集进行成对训练，利用改进的孪生网络度量模型进行特征提取，提高网络的特征提取能力，将图像空间映射到特征空间，利用正负样本对网络参数进行调整；分类单元，用于对待分类图像进行特征提取后，将其特征信息映射到特征空间，与其他已知类别的特征空间之间进行度量，选择度量结果最接近的类别，输出分类结果。7.根据权利要求6所述的小样本图像分类系统，其特征在于，所述图像增强单元采用包括旋转、模糊、调色的数据变换方式对输入的小样本图像进行数据增强；以及通过生成对抗网络，引入批标准化处理层以及adam优化器调整参数，动态更改学习率，实现对图像的增强。8.根据权利要求6所述的小样本图像分类系统，其特征在于，所述图像特征提取单元是通过基于残差卷积的孪生神经网络对成对的图像进行特征提取，映射到相应的特征空间，利用正负样本进行成对训练。

技术总结
本发明提供了一种小样本图像分类方法及系统，方法包括：S1.接收小样本图像数据集，利用数据增强以及生成对抗网络对输入的该小样本图像数据集扩充，构建正负样本；正样本为相同类别，负样本为不同类别；S2.对扩充后的待分类图像数据集成对训练，利用改进的孪生网络度量模型进行特征提取，提高网络的特征提取能力，将图像空间映射到特征空间，利用正负样本对网络参数进行调整；S3.对待分类图像进行特征提取后，将其特征信息映射到特征空间，与已知类别的特征空间之间进行度量，选择度量结果最接近的类别，输出分类结果。本发明可实现小样本图像的准确分类，有效解决少量数据情况下传统图像分类模型的过拟合现象，分类效果不佳的问题。的问题。的问题。


技术研发人员：蔡昊昕 李融奇 文鹏程 白林亭 王开 韩炜
受保护的技术使用者：中国航空工业集团公司西安航空计算技术研究所
技术研发日：2022.12.15
技术公布日：2023/7/13