基于通道切片混合和噪声拼接的小样本图像扩增方法、装置、介质和终端与流程

1.本技术涉及深度学习图像识别技术领域，特别是涉及基于通道切片混合和噪声拼接的小样本图像扩增方法、装置、介质和终端。


背景技术：

2.深度学习是通过学习样本数据的内在规律和表示层次来获取其中的信息。然而深度学习领域存在的普遍困境为，目前的深度学习模型可训练的参数量基本为百万级别，但是实际应用中往往由于研究对象的图像数据本身样本体量较小、或由于隐私、安全、伦理等原因导致训练集样本的数据获取困难，从而进一步阻碍了深度学习技术在图像识别领域的应用及推广。而小样本学习就是针对实验数据类别样本不足而进行的学习，使得从稀有样本中得到良好的模型成为了可能。小样本学习常使用数据扩增的手段来提高训练模型在未来的泛化能力。
3.目前常用的数据扩增方法主要有两种：一种为人工数据标注，但此种方式存在耗时长、成本高弊端。另一种常用方式为对原始数据做不发生类别改变的简单变化，例如通过裁剪、平移、水平垂直翻转、不同角度的旋转等操作扩充训练样本量，但该方式存在的问题为，扩增后的图像并没有发生本质的变化，模型无法学习到更深层次，更加复杂的知识，模型的提升效果非常有限。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本技术的目的在于提供基于通道切片混合和噪声拼接的小样本图像扩增方法、装置、介质和终端，用于解决现有技术在解决图像识别领域小样本学习样本不足的同时又带来耗时长、成本高、无效扩增的技术问题。
5.为实现上述目的及其他相关目的，本技术的第一方面提供一种基于通道切片混合和噪声拼接的小样本图像扩增方法，所述方法包括：对带有标签的原始图像样本集以预设格式进行裁剪操作，以得到裁剪后的图像样本集，并从所述裁剪后的图像样本集中选择预设数量的图像样本作为输入图像样本集，对所述输入图像样本集进行切片操作，以得到切片图像样本集，将所述切片图像样本集进行通道混合操作和噪声拼接操作，以得到扩增图像样本集，为所述扩增图像样本集中的每个图像设置一标签，以得到带有标签的扩增图像样本集，其中，为所述扩增图像样本集中的每个图像所设的标签是从所述输入图像样本集所对应的全部标签中随机选择得到的。
6.于本技术的第一方面的一些实施例中，对所述输入图像样本切片操作得到切片图像样本的过程包括：将所述输入图像样本集中的每个图像，按照对称切分方式进行分割操作，以相应得到若干个子图像，将分割操作得到的各个子图像进行多通道分离操作，以得到各所述子图像的多个单通道图像。
7.于本技术的第一方面的一些实施例中，将所述切片图像样本集进行混合操作的过
程包括：将所述输入图像样本集中的图像进行通道混合，以得到通道混合后的图像样本集。将通道混合后的图像样本集中的每个图像所对应的全部单通道图像进行排列组合。
8.于本技术的第一方面的一些实施例中，将所述切片图像样本集进行噪声拼接操作的过程包括：将排列组合得到的单通道图像中靠近分割线的单列像素值替换为噪声像素，按照分割前的图像结构重新拼接形成扩增后的图像样本集。
9.为实现上述目的及其他相关目的，本技术的第二方面提供一种基于通道切片混合和噪声拼接的小样本图像扩增装置，所述装置包括：裁剪模块，用于对带有标签的原始图像样本集以预设格式进行裁剪操作，以得到裁剪后的图像样本集，并从所述裁剪后的图像样本集中选择预设数量的图像样本作为输入图像样本集。切片模块，用于对所述输入图像样本集进行切片操作，以得到切片图像样本集。通道混合拼接模块，用于将所述切片图像样本集进行通道混合操作和噪声拼接操作，以得到扩增图像样本集。图像扩增模块，用于为所述扩增图像样本集中的每个图像设置一标签，以得到带有标签的扩增图像样本集。其中，为所述扩增图像样本集中的每个图像所设的标签是从所述输入图像样本集所对应的全部标签中随机选择得到的。
10.所述切片混合和噪声拼接的小样本图像扩增装置各个模块所包含的功能与上文第一方面中的实施方式中相同，此处不再赘述。
11.为实现上述目的及其他相关目的，本技术的第三方面提供一种基于通道切片混合和噪声拼接的小样本图像扩增方法的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法。
12.为实现上述目的及其他相关目的，本技术的第四方面提供一种基于通道切片混合和噪声拼接的小样本图像扩增方法的电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述方法。
13.如上所述，本技术提供了一种基于通道切片混合和噪声拼接的小样本图像扩增的方法、装置、介质和终端，发明解决了传统图像数据扩增方法存在的成本高、耗时长、标注速度慢，以及经过图像变换产生的新样本没有增加新的特征并且由此产生的模型提升效果不明显的问题，具有以下有益效果：扩增速度快，无需人工标注，扩增后的图片特征丰富多样，模型提升效果进步显著，对图像识别领域小样本学习训练样本不足的问题做出了贡献。
附图说明
14.图1显示为本技术一实施例中基于通道切片混合和噪声拼接的小样本图像扩增的流程示意图。
15.图2显示为本技术一实施例中基于切片混合和噪声拼接的小样本图像扩增中切片操作的流程示意图。
16.图3显示为本技术一实施例中基于通道切片混合和噪声拼接的小样本图像通道混合的流程示意图。
17.图4显示为本技术一实施例中基于通道切片混合和噪声拼接的小样本图像扩增的流程示意图。
18.图5显示为本技术一实施例中对图片x、y、z进行裁剪、切分操作以及对通道混合后
的图片x'进行通道混合切片和噪声拼接的示意图。
19.图6显示为本技术一实施例中基于通道切片混合和噪声拼接的小样本图像扩增装置的结构示意图。
20.图7显示为本技术一实施例中电子终端的结构示意图。
具体实施方式
21.以下通过特定的具体实例说明本技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本技术的其他优点与功效。本技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
22.需要说明的是，在下述描述中，参考附图，附图描述了本技术的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本技术的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本技术的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本技术。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
23.在本技术中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
24.再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a、b和c”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
25.为解决上述背景技术中的问题，本发明提供基于通道切片混合和噪声拼接的小样本图像扩增方法、装置、介质和终端，旨在解决现有技术在解决图像识别领域小样本学习样本不足的同时又带来耗时长、成本高、无效扩增的技术问题
26.与此同时，为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案的进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
27.在对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释：
28.《1》深度学习：深度学习是机器学习领域的一个分支，代表一类模式分析方法的统
称。深度学习是学习样本数据的内在规律和表示层次，使得机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
29.《2》小样本学习：小样本学习指从每个类只有一小部分标注的数据中高效地学习和推广模型的认知能力的学习方式，应用场景包括图像分类，情感分析和模式识别。
30.《3》图像通道：在图像处理中，通道指的是图像像素值的维度。对于灰度图像而言，其深度为1，因为每个像素只有一个灰度值表示其亮度；而对于彩色图像而言，其深度为3(rgb)，因为每个像素由三个通道(红、绿、蓝)的像素值组成，分别表示颜色的强度。
31.《4》高斯噪声：高斯噪声是指噪声的概率密度函数服从高斯分布(即正态分布)。对于图详解进行高斯噪声处理，即对于每个输入像素通过与符合高斯分布的随机数相加，并将得到的引入噪声的像素值进行限制或放缩，最终得到输出像素。
32.《5》卷积操作：卷积操作通过从输入图像中提取特征。卷积操作就是卷积核在原始图片中进行滑动得到特征数据的过程。
33.《6》过拟合：过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。
34.《7》rgb：rgb色彩模式是工业界的颜色标准，是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，rgb即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。
35.《8》bgr：bgr(blue green red)格式的图像适用于opencv开源库的图像分割及通道分离等操作。bgr格式在早期常用于相机及软件领域。
36.《9》rgba：rgba是代表red(红色)green(绿色)blue(蓝色)和alpha的色彩空间。alpha通道一般用作不透明度参数。如果一个像素的alpha通道数值为0％，则该像素为完全透明，而数值为100％的像素则为完全不透明。
37.本发明实施例提供基于通道切片混合和噪声拼接的小样本图像扩增方法、基于通道切片混合和噪声拼接的小样本图像扩增方法的系统、以及存储用于实现基于通道切片混合和噪声拼接的小样本图像扩增方法的可执行程序的存储介质。就基于通道切片混合和噪声拼接的小样本图像扩增方法的实施而言，本发明实施例将对基于通道切片混合和噪声拼接的小样本图像扩增方法的示例性实施场景进行说明。
38.如图1所示，展示了本发明实施例中的基于通道切片混合和噪声拼接的小样本图像扩增的流程示意图。本实施例中的一种基于通道切片混合和噪声拼接的小样本图像扩增的方法主要包括如下各步骤：
39.步骤s1：对带有标签的原始图像样本集以预设格式进行裁剪操作，以得到裁剪后的图像样本集，并从所述裁剪后的图像样本集中选择预设数量的图像样本作为输入图像样本集。
40.在一些示例中，对带有标签的原始图像样本集以预设格式进行裁剪操作，其中的预设格式包括256*256*3。进行裁剪操作的原因在于过大的图片容易导致后续训练中模型过大，在进行卷积操作时，会导致卷积层较少，最终得到输出层的参数过大。合适尺寸的输入图片能有效避免过高的模型复杂度，降低模型的过拟合风险。
41.在一些示例中，对带有标签的原始图像样本集以预设格式进行裁剪操作，其中的裁剪操作是基于图像裁剪算法实现。其中，所述图像裁剪算法包括但不限于使用numpy、opencv、pil等传统python开源库来实现图像裁剪方法，也包含使用机器学习框架tensorflow实现随机裁剪的算法。
42.举例来说：可对带有标签的原始图像样本集按照尺寸为256*256的预设格式进行裁剪操作；在得到裁剪后的图像样本集后，并所述裁剪后的图像样本集中选择3张图像样本作为输入图像样本集。需说明的是，上述实例中所列举的图像样本集包含3张图像样本仅是本发明的其中一个实施例，实际上本发明对于图像样本集中图像的数量并不做任何限定。
43.从所述裁剪后的图像样本集中选择预设数量的图像样本作为输入图像样本集。值得注意的是，此处所选择的预设数量取决于需要扩增样本数据的规模。若扩增样本模型需要的数据量较大，则需要选取较为带有丰富的标签集的大量图像样本作为输入图像样本集进行扩增，以最大程度的扩增出带有较为丰富的图像特征的大量扩增图像样本。
44.步骤s2：对所述输入图像样本集进行切片操作，以得到切片图像样本集。
45.于本发明实施例中，对所述输入图像样本切片操作得到切片图像样本的过程具体如图2所示，包括如下各步骤：
46.步骤s21：将所述输入图像样本集中的每个图像，按照对称切分方式进行分割操作，以相应得到若干个子图像。
47.在一些示例中，所述对称切分方式包括但不限于纵向轴对称切分和横向轴对称切分。
48.下文以纵向轴对称方式为例，对本发明实施例中具体如何按照对称切分方式进行图像分割操作进行解释说明：对每个所述输入图像样本集中的每个图像，按照对称切分方式进行分割操作，其中对称切分方式为竖直方向沿中线分割，使得切分后得到的两张图像格式完全相同，以便后续步骤中的进一步操作。但本发明实施例对裁剪操作的预设格式、输入图像样本集的预设数量以及对称切分方式的具体内容不做限定。
49.步骤s22：将分割操作得到的各个子图像进行多通道分离操作，以得到各所述子图像的多个单通道图像。
50.于本发明实施例中，所述将分割操作得到的各个子图像进行多通道分离操作包括：按照由多种原色通道所构成的多通道方式对各个子图像进行分离操作。进一步地，所述多种原色通道所构成的多通道方式包括但不限于：rgb三通道、bgr三通道、rgba四通道等多通道方式。
51.在一些示例中，将分割操作得到的各个子图像进行多通道分离操作，其中的多通道分离操作是基于算法实现，包括：利用opencv库中的cv2.split分离函数对bgr彩色图像分离为b、g、r单通道图像。但本发明实施例对子图像进行多通道分离的算法及工具的具体内容不做限定。
52.在一些实施例中，带有标签的原始图样本集可以为rgb、bgr、bgrp、rgbp、yuv等由原色通道共同形成的多通道图像格式。但本发明实施例对多通道图像的格式的具体内容不做限定。
53.步骤s3：将所述切片图像样本集进行通道混合操作和噪声拼接操作，以得到扩增图像样本集。
54.于本发明实施例中，对所述切片图像样本集进行通道混合操作和噪声拼接操作的过程具体如图3所示，包括如下各步骤：
55.步骤s31：将所述输入图像样本集中的图像进行通道混合以得到通道混合后的图像样本集。
56.步骤s32：将通道混合后的图像样本集中的每个图像所对应的全部单通道图像进行排列组合。
57.值得注意的是，所述预设数量的图像样本数需与所述输入图像所包含的通道数相对应。但本发明实施例对预设数量的图像样本以及所述输入图像所包含的通道数的具体内容不做限定。下文中以三通道图像为例，对本发明实施例中具体如何进行通道混合及所述单通道图像排列组合进行解释说明。
58.步骤s33：将排列组合得到的单通道图像进行噪声拼接。
59.具体而言，将排列组合得到的单通道图像进行噪声拼接包含一下过程：将排列组合得到的单通道图像中靠近分割线的单列像素值替换为噪声像素，按照分割前的图像结构重新拼接形成扩增后的图像样本集。
60.较为优选地，本发明实施例中的噪声像素包括但不限于：高斯噪声。将通过排列组合的所述单通道图像中靠近分割线的单列像素值替换为高斯噪声，并沿替换的中线对于所述单通道图像进行拼接。引入高斯噪声。
61.步骤s4：为所述扩增图像样本集中的每个图像设置一标签，以得到带有标签的扩增图像样本集；其中，为所述扩增图像样本集中的每个图像所设的标签是从所述输入图像样本集所对应的全部标签中随机选择得到的。
62.为便于本领域技术人员理解，下文结合图4和图5用于对本发明实施例的实施过程做进一步详解的解释说明。
63.在图4和图5所展示的具体实施过程中包含一下步骤：
64.步骤s401：将格式不同的样本图片统一裁剪为256*256*3的格式并选择3张图片x、y、z为扩增样本图片，得到如图5所示裁剪后的样本图片。
65.步骤s402：对于每张扩增样本图片沿中线剪切并得到6张格式为256*128*3图片，分别为(a-a'，b-b'，c-c')，得到如图5所示的图片。
66.步骤s403：对于每张扩增样本图片进行三通道分离并获得18张格式为256*128*1的图片，分别为如图5所示a1、a'1、a2、a'2、a3、a'3；b1、b'1、b2、b'2、b3、b'3；c1、c'1、c2、c'2、c3、c'3。
67.步骤s404：将通道分离后的图像进行通道混合，以得到通道混合后的图像样本集，分别如图5所示x'(a1-a`1，b2-b`2，c3-c`3)；y'(b1-b`1，c2-c`2，a3-a`3)；z'(c1-c`1，a2-a`2，b3-b`3)。
68.步骤s405：对于每张扩增样本图片得到的六张单通道图片进行排列组合得到2160张格式为256*256*3的图片。具体而言，以图像x'为例，如图5所示，将步骤s204中所得到的6张为256*128*1格式的图片a1、a'1、b2、b'2、c3、c'3进行排列组合。值得说明的是，图7中仅举出其中3中排列组合的可能性，而实际上，对于每张图像而言，一共可扩增出6的阶乘张图片，即720张图片。则对于3张图片而言，一共可扩增出2160张图片。
69.步骤s406：如图5所示，对于每张扩增样本图片的每个通道的中线连接处两侧的单
列像素值利用高斯噪声替换。
70.步骤s407：从样本标签中随机选择一个标签作为新样本的训练标签。
71.值得注意的是，本发明实施例中特意将标签选择设置为随机模式，这是因为，本发明的目的是为了构造一个具有强普适性的图像扩增方法及装置，可适用于各类不同场景中(例如工业生产、智慧医疗、教育等领域)，由于这些不同的应用领域对图像标签都有不同的偏好，因此为了适应于各类不同的应用领域，特意将标签选择设置为随机模式，从而大大提升模型的泛化能力，以拓展模型的应用场景范围。
72.应理解的是，出于说明性目的而提供以上示例，并且以上示例不应被理解成是限制性的。同样的，该方法可以另外地或替代地包括其它特征或包括较少的特征，而未背离本技术的范围。
73.如图6所示，展示了本发明一实施例中的基于通道切片混合和噪声拼接的小样本图像扩增装置的结构示意图。
74.在图6中，基于通道切片混合和噪声拼接的小样本图像扩增装置包括如下模块：
75.裁剪模块61，用于对带有标签的原始图像样本集以预设格式进行裁剪操作，以得到裁剪后的图像样本集，并从所述裁剪后的图像样本集中选择预设数量的图像样本作为输入图像样本集。
76.切片模块62，用于对所述输入图像样本集进行切片操作，以得到切片图像样本集。
77.通道混合拼接模块63，用于将所述切片图像样本集进行通道混合操作和噪声拼接操作，以得到扩增图像样本集。
78.图像扩增模块64，用于为所述扩增图像样本集中的每个图像设置一标签，以得到带有标签的扩增图像样本集；其中，为所述扩增图像样本集中的每个图像所设的标签是从所述输入图像样本集所对应的全部标签中随机选择得到的。
79.需要说明的是：上述系统提供的一种基于通道切片混合和噪声拼接的小样本图像扩增装置，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，此处提到的一种基于通道切片混合和噪声拼接的小样本图像扩增装置与上文中提到的一种基于通道切片混合和噪声拼接的小样本图像扩增方法的实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
80.本发明实施例提供的一种基于通道切片混合和噪声拼接的小样本图像扩增方法可以采用终端侧或服务器侧实施，就一种基于通道切片混合和噪声拼接的小样本图像扩增终端的硬件结构而言，请参阅图7，为本发明实施例提供的一种基于通道切片混合和噪声拼接的小样本图像扩增终端700的一个可选的硬件结构示意图，该终端700可以是移动电话、计算机设备、平板设备、个人数字处理设备、工厂后台处理设备等。一种基于通道切片混合和噪声拼接的小样本图像扩增终端700包括：至少一个处理器701、存储器702、至少一个网络接口704和用户接口706。装置中的各个组件通过总线系统705耦合在一起。可以理解的是，总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统。
81.其中，用户接口706可以包括显示器、键盘、鼠标、轨迹球、点击枪、按键、按钮、触感
板或者触摸屏等。
82.可以理解，存储器702可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，staticrandom access memory)、同步静态随机存取存储器(ssram，synchronous static randomaccess memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类别的存储器。
83.本发明实施例中的存储器702用于存储各种类别的数据以支持一种基于通道切片混合和噪声拼接的小样本图像扩增终端700的操作。这些数据的示例包括：用于在一种基于通道切片混合和噪声拼接的小样本图像扩增终端700上操作的任何可执行程序，如操作系统7021和应用程序7022；操作系统7021包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序7022可以包含各种应用程序，例如媒体播放器(mediaplayer)、浏览器(browser)等，用于实现各种应用业务。实现本发明实施例提供的一种基于通道切片混合和噪声拼接的小样本图像扩增方法可以包含在应用程序7022中。
84.上述本发明实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器701可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器701可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的配件优化方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
85.在示例性实施例中，一种基于通道切片混合和噪声拼接的小样本图像扩增终端900可以被一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logicdevice)，用于执行前述方法。
86.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
87.于本技术提供的实施例中，所述计算机可读写存储介质可以包括只读存储器、随机存取存储器、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、u盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(dsl)或者诸如红外线、无线
电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、dsl或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
88.综上所述，本技术提供一种基于通道切片混合和噪声拼接的小样本图像扩增方法、装置、终端及介质。本发明所解决的技术问题为图像识别领域小样本学习训练样本不足的问题。传统图像数据扩增方法存在的成本高、耗时长、标注速度慢，以及经过图像变换产生的新样本没有增加新的特征并且由此产生的模型提升效果不明显的问题。本发明提供了一种无需人工标注、低成本、高效率、扩增速度快、扩增后样本特征丰富的小样本图像数据的样本扩增方法，在图片审核项目中融入本方法后，图片分类模型经过扩增数据集的再训练，在测试集上的准确率由原来的95.6％提高到97.8％，模型推理效果得到显著提升。综上所述，本技术有效克服了现有技术中的种种缺点而具高度产业利用价值。
89.上述实施例仅例示性说明本技术的原理及其功效，而非用于限制本技术。任何熟悉此技术的人士皆可在不违背本技术的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本技术所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本技术的权利要求所涵盖。

技术特征：
1.一种基于通道切片混合和噪声拼接的小样本图像扩增方法，其特征在于，所述方法包括：对带有标签的原始图像样本集以预设格式进行裁剪操作，以得到裁剪后的图像样本集，并从所述裁剪后的图像样本集中选择预设数量的图像样本作为输入图像样本集；对所述输入图像样本集进行切片操作，以得到切片图像样本集；将所述切片图像样本集进行通道混合操作和噪声拼接操作，以得到扩增图像样本集；为所述扩增图像样本集中的每个图像设置一标签，以得到带有标签的扩增图像样本集；其中，为所述扩增图像样本集中的每个图像所设的标签是从所述输入图像样本集所对应的全部标签中随机选择得到的。2.根据权利要求1所述的基于通道切片混合和噪声拼接的小样本图像扩增方法，其特征在于，对所述输入图像样本切片操作得到切片图像样本的过程包括：将所述输入图像样本集中的每个图像，按照对称切分方式进行分割操作，以相应得到若干个子图像；将分割操作得到的各个子图像进行多通道分离操作，以得到各所述子图像的多个单通道图像。3.根据权利要求2所述的基于通道切片混合和噪声拼接的小样本图像扩增方法，其特征在于，将所述切片图像样本集进行混合操作的过程包括：将所述输入图像样本集中的图像进行通道混合，以得到通道混合后的图像样本集；将通道混合后的图像样本集中的每个图像所对应的全部单通道图像进行排列组合。4.根据权利要求3所述的基于通道切片混合和噪声拼接的小样本图像扩增方法，其特征在于，将所述切片图像样本集进行噪声拼接操作的过程包括：将排列组合得到的单通道图像中靠近分割线的单列像素值替换为噪声像素，按照分割前的图像结构重新拼接形成扩增后的图像样本集。5.一种基于通道切片混合和噪声拼接的小样本图像扩增装置，其特征在于，其包括：裁剪模块，用于对带有标签的原始图像样本集以预设格式进行裁剪操作，以得到裁剪后的图像样本集，并从所述裁剪后的图像样本集中选择预设数量的图像样本作为输入图像样本集；切片模块，用于对所述输入图像样本集进行切片操作，以得到切片图像样本集；通道混合拼接模块，用于将所述切片图像样本集进行通道切片混合操作和噪声拼接操作，以得到扩增图像样本集；图像扩增模块，用于为所述扩增图像样本集中的每个图像设置一标签，以得到带有标签的扩增图像样本集；其中，为所述扩增图像样本集中的每个图像所设的标签是从所述输入图像样本集所对应的全部标签中随机选择得到的。6.根据权利要求5所述的基于通道切片混合和噪声拼接的小样本图像扩增装置，其特征在于，所述裁剪模块对所述输入图像样本切片操作得到切片图像样本的过程包括：将所述输入图像样本集中的每个图像，按照对称切分方式进行分割操作，以相应得到若干个子图像；将分割操作得到的各个子图像进行多通道分离操作，以得到各所述子图像的多个单通道图像。7.根据权利要求6所述的基于通道切片混合和噪声拼接的小样本图像扩增装置，其特
征在于，所述通道混合拼接模块将所述切片图像样本集进行通道切片混合操作的过程包括：将所述输入图像样本集中的图像进行通道混合，以得到通道混合后的图像样本集；将通道混合后的图像样本集中的每个图像所对应的全部单通道图像进行排列组合。8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述方法。9.一种电子终端，其特征在于，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至4中任一项所述基于通道切片混合和噪声拼接的小样本图像扩增方法。

技术总结
本申请提出了一种基于通道切片混合和噪声拼接的小样本图像扩增方法、装置、介质和终端。本发明涉及的小样本图像扩增方法通过图像裁剪、切片、通道混合以及噪声拼接的方法使得图像样本可以迅速扩增。与现有技术相比，本发明具备扩增速度快，无需人工标注，扩增后的图片特征丰富等优势，且在图片审核项目中融入本方法后，可将预测准确率由原来的95.6％提高到97.8％。97.8％。97.8％。


技术研发人员：曾传名 陆文渊
受保护的技术使用者：上海企创信息科技有限公司
技术研发日：2023.05.16
技术公布日：2023/9/5