图像分类模型的优化方法及装置、介质、设备与流程

1.本发明涉及图像处理技术领域，尤其是涉及一种图像分类模型的优化方法及装置、介质、设备。


背景技术：

2.随着数字化转型的深入推进，作为与民众息息相关的政务服务业，转型需求越来越迫切，如何利用人工智能等新一代信息技术，高效地实现人脸/行人、卡证、文件印章、签名等分类识别，为政府提供更高效、更智能、更便捷的服务，实现了政务服务的智能化、自动化、人性化，是政务部门的核心诉求。


技术实现要素：

3.针对以上至少一个技术问题，本发明实施例提供一种图像分类模型的优化方法及装置、介质、设备。
4.根据第一方面，本发明实施例提供的图像分类模型的优化方法，包括：
5.构建数据集；
6.利用transformer视觉网络和卷积神经网络构建轻量化图像分类模型；
7.利用所述数据集对所述轻量化图像分类模型进行训练，得到训练收敛的轻量化图像分类模型；
8.对训练收敛的轻量化图像分类模型进行压缩处理，得到优化后的图像分类模型。
9.根据第二方面，本发明实施例提供的图像分类模型的优化装置，包括：
10.数据集构建模块，用于构建数据集；
11.模型构建模块，用于利用transformer视觉网络和卷积神经网络构建轻量化图像分类模型；
12.模型训练模块，用于利用所述数据集对所述轻量化图像分类模型进行训练，得到训练收敛的轻量化图像分类模型；
13.模型压缩模块，用于对训练收敛的轻量化图像分类模型进行压缩处理，得到优化后的图像分类模型。
14.根据第三方面，本发明实施例提供计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现第一方面提供的方法。
15.根据第四方面，本发明实施例提供的计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面提供的方法。
16.本发明实施例提供的图像分类模型的优化方法及装置、介质、设备，首先，构建数据集；利用transformer视觉网络和卷积神经网络构建轻量化图像分类模型；利用所述数据集对所述轻量化图像分类模型进行训练，得到训练收敛的轻量化图像分类模型；对训练收敛的轻量化图像分类模型进行压缩处理，得到优化后的图像分类模型。由于将transformer视觉网络和cnn进行结合，从而构建轻量化图像分类网络，可以层次化提取图像局部和全局
特征，而且由于对训练收敛的模型进行压缩处理，减小模型体积，节省计算资源，为后续模型在智慧政务等领域进行快速和高效的部署应用提供可能，即可以有效地在资源有限的边缘端计算设备上成功部署并投入到政务场景中，提升图像分类速度及边缘部署效率。
附图说明
17.图1为本发明一实施例中图像分类模型的优化方法的流程示意图；
18.图2为本发明一实施例中轻量化图像分类网络的结构示意图；
19.图3为本发明一实施例中图像分类模型的优化方法的流程示意图；
20.图4为本发明一实施例中引入结构重参数混合器后的模型中一个结构的对比变化示意图。
具体实施方式
21.第一方面，本发明实施例提供一种图像分类模型的优化方法，参见图1和图3，该方法包括如下步骤s110～s140：
22.s110、构建数据集；
23.在一个实施例中，所述s110具体可以包括：
24.收集政务场景下的图片，采用标注工具对所述图片进行标注，得到初始样本；使用数据增强技术对所述初始样本进行扩充，得到扩充样本；所述初始样本和所述扩充样本形成所述数据集。
25.其中，收集的图片的范围包括但不限于行人、人脸、证件、印章、签名、文档等。
26.其中，标注工具可以为labelimg标注工具。
27.其中，数据增强技术可以包括随机旋转、水平平移、垂直平移、缩放、水平反转等。
28.其中，可以对数据集进行训练样本子集和测试样本子集的划分，划分比例为7：3。
29.s120、利用transformer视觉网络和卷积神经网络构建轻量化图像分类模型；
30.也就是说，利用transformer视觉网络和卷积神经网络来搭建一个轻量化的图像分类模型。
31.在一个实施例中，参见图2，所述轻量化图像分类模型可以包括：神经网络卷积层、线性映射序列化层、transformer视觉网络、深度可分离卷积模块、全局池化层和全连接层，其中：
32.所述神经网络卷积层用于：从输入的图像中提取出特征信息；
33.所述线性映射序列化层用于：将所述图像分割为多个图像块，为每一个图像块进行位置编码，并将每一个图像块中的特征信息线性映射为一个对应的向量；其中，各个向量形成第一特征序列；
34.所述深度可分离卷积模块用于：将每一个图像块的位置编码嵌入该图像块对应的向量中，各个嵌入位置编码的向量形成第二特征序列；
35.所述transformer视觉网络用于：通过多头自注意力机制，并调用所述深度可分离卷积模块，从所述第二特征序列中进行特征提取；
36.所述全局池化层用于：将所述transformer视觉网络的输出信息进行池化处理，所述全连接层用于：根据池化处理后的信息输出分类结果。
37.其中，神经网络卷积层，例如，3*3的cnn，会学习图像的二维表示并提取特征，得到特征信息。
38.其中，线性映射序列化层的处理分为两部分：一部分是将图像分割为多个图像块，然这些图像块的尺寸固定且相同，然后将每一个图像块进行线性映射，得到一个对应的一维向量；另一部分是为每一个图像块的位置进行编码，得到该图像块的位置编码。
39.例如，针对输入图像a的尺寸为h
×w×
c，h为高度、w为宽度，c为图像的通道数。将图像a裁剪成n个图像块，每一个图像块的尺寸为p
×
p
×
c，则n＝hw/p2。然后将每一个图像块展开形成一个一维的向量，n个一维向量形成第一特征序列。将n个图像块进行位置编码，得到n个位置编码，一个图像块对应一个位置编码。
40.其中，所述深度可分离卷积模块的作用是将每一个图像块的位置编码嵌入该图像块对应的向量中，各个嵌入位置编码的向量形成第二特征序列。
41.例如，将一个图像块的向量x输入至下式中，得到嵌入位置编码的向量
[0042][0043]
其中，d(x)为对向量x进行深度可分离卷积操作的函数。
[0044]
其中，所述transformer视觉网络的作用是结合多头自注意力机制，从所述深度可分离卷积模块输出的第二特征序列中提取出图像的进一步的特征信息。
[0045]
其中，全局池化层的作用是对transformer视觉网络输出的特征信息进行池化处理，进而将池化处理后的信息输入至全连接层中，以供全连接层能够根据池化后的信息输出分类结果。
[0046]
在一个实施例中，参见图2，所述transformer视觉网络具体可以包括：多个依次连接的transformer层，下一个transformer层的输入信息来自上一个transformer层的输出信息和一个深度可分离卷积模块输出的第二特征序列；每一个transformer层中包括编码器和解码器，每一个编码器包括多个依次连接的第一单元，所述解码器包括多个依次连接的第二单元；其中：
[0047]
所述第一单元包括依次连接的层次归一化模块、多头自注意力模块、层次归一化模块、残差连接层、基于位置的全连接前馈网络模块和残差连接层；
[0048]
所述第二单元包括依次连接的层次归一化模块、多头自注意力模块、层次归一化模块、残差连接层、多头自注意力模块、残差连接层、基于位置的全连接前馈网络模块和残差连接层。
[0049]
也就是说，transformer视觉网络包括多个依次连接的transformer层，例如，n个transformer层。第一个transformer层的输入信息来自于深度可分离卷积模块输出的第二特征序列；第二个transformer层的输入信息来自于第一个transformer层的输出信息和一个深度可分离卷积模块输出的第二特征序列，该深度可分离卷积模块输出的第二特征序列的大小、数量和通道数等均与第一个transformer层的输出信息一致，以使第二个transformer层便于信息处理。第三个transformer层的输入信息来自于第二个transformer层的输出信息和一个深度可分离卷积模块输出的第二特征序列，该深度可分离卷积模块输出的第二特征序列的大小、数量和通道数等均与第二个transformer层的输出信息一致，以使第三个transformer层便于信息处理。依次类推，第n个transformer层的输入信息来自于第n-1个transformer层的输出信息和一个深度可分离卷积模块输出的第
二特征序列，该深度可分离卷积模块输出的第二特征序列的大小、数量和通道数等均与第n-1个transformer层的输出信息一致，以使第n个transformer层便于信息处理。
[0050]
其中，每一个transformer层中包括编码器和解码器，每一个编码器包括多个依次连接的第一单元，所述解码器包括多个依次连接的第二单元；其中：
[0051]
所述第一单元包括依次连接的层次归一化模块、多头自注意力模块、层次归一化模块、残差连接层、基于位置的全连接前馈网络模块和残差连接层；
[0052]
所述第二单元包括依次连接的层次归一化模块、多头自注意力模块、层次归一化模块、残差连接层、多头自注意力模块、残差连接层、基于位置的全连接前馈网络模块和残差连接层。
[0053]
其中，编码器的输出信息作为解码器的输入信息。
[0054]
其中，编码器中包括多个依次连接的第一单元，解码器中包括多个依次连接的第二单元。
[0055]
其中，每一个第一单元中包括依次连接的层次归一化模块、多头自注意力模块、层次归一化模块、残差连接层、基于位置的全连接前馈网络模块和残差连接层。
[0056]
其中，层次归一化模块即layer normalization，缩写为ln。
[0057]
其中，多头自注意力模块即multi-head-self-attention，缩写为mhsa。
[0058]
其中，基于位置的全连接前馈网络模块即feed-forwardnetworks，缩写为ffn。
[0059]
其中，残差连接层即add&norm。add是加，norm就是normalization，即归一化，可以起到辅助梯度传播的作用。
[0060]
可见，解码器相对于编码器增加了一个多头自注意力模块、残差连接层，可以对编码器堆栈的输出执行多头注意力操作。
[0061]
编码器和解码器中的各个单元的作用都是已知的，不一一详细解释。
[0062]
其中，深度可分离卷积模块即depthwise separable convolution，简称dsconv，dsconv连续地为各个transformer层提供局部特征细节，层次化提取融合图像局部和全局特征。
[0063]
s130、利用所述数据集对所述轻量化图像分类模型进行训练，得到训练收敛的轻量化图像分类模型；
[0064]
可理解的是，通过s120搭建好轻量化图像分类模型之后，利用数据集中的训练样本子集对轻量化图像分类模型进行训练，训练完毕之后可以利用测试样本子集对轻量化图像分类模型进行测试，如果测试结果满足要求，则认为训练实现了收敛。
[0065]
s140、对训练收敛的轻量化图像分类模型进行压缩处理，得到优化后的图像分类模型。
[0066]
在一个实施例中，s140可以包括：
[0067]
s1、为训练收敛的轻量化图像分类模型中的每一个通道引入缩放因子，所述缩放因子表示对应通道的激活程度；
[0068]
s2、对当前的轻量化图像分类模型中的参数进行稀疏正则化训练，以使冗余的通道的缩放因子减小；
[0069]
s3、在稀疏正则化训练结束后，从各个通道的缩放因子中选择出小于预设阈值的缩放因子，并将小于预设阈值的缩放因子对应的通道进行剪枝处理；
[0070]
s4、对剪枝处理后的轻量化图像分类模型进行调整，并在调整后对轻量化图像分类模型进行性能评估；
[0071]
s5、判断性能评估结果是否满足精度要求；
[0072]
若是，则得到优化后的图像分类模型；
[0073]
否则，返回至s2中继续进行迭代。
[0074]
也就是说，为训练收敛的轻量化图像分类模型的各个通道分别引入缩放因子α；对参数进行稀疏正则化训练，使冗余通道的缩放因子在训练中趋向于0或等于0；稀疏处理后，对所有的缩放因子按照从大到小的顺序进行排序，确定一个预设阈值，然后移除缩放因子小于预设阈值的次要通道；最后通过模型微调来弥补精度损失；然后进行性能评估，如果性能评估结果符合精度要求，则不必再进行剪枝，如果不符合精度要求，则继续返回道s2中继续迭代，进一步压缩。
[0075]
在一个实施例中，在优化后的图像分类模型的应用场景中，在所述图像分类模型中引入一个结构重参数混合器，使用结构重新参数化以移除所述图像分类模型中的跳跃连接和线性过参数化。
[0076]
也就是说，在应用优化后的图像分类模型的场景中，在图像分类模型中引入一个结构重参数混合器，该结构重参数混合器会使用结构重新参数化，从而移除图像分类模型中的跳跃连接和线性过参数化，以此来加块分类速度。
[0077]
具体的，结构重参数混合器会重新设置跳过连接的参数，降低内存访问成本。将层中常见的密集k
×
k卷积替换为其使用训练时间过参数化的因式分解版本。使用分解的k
×
k卷积，通过线性训练时间过参数来提高这些层的容量。例如，对于输入张量x，将其重新参数化为单个深度可分离卷积层：y＝dsconv(x)，使用深度可分离卷积进行信息的空间混合，重新参数化以删除任何分支。
[0078]
例如，参见图4，左侧为图像分类模型中的一个原本的结构，经过结构重参数混合器处理后，变成了右侧的结构，将跳跃连接、线性过参数化的批归一化处理两个分支移除了，这样可以大大提高图像分类模型的分类速度。
[0079]
其中，结构重参数混合器在训练时不引入，只有在模型应用时才引入，因此这些分支在训练时是存在的，而在模型应用时被移除了。
[0080]
可理解的是，本发明实施例中，将transformer视觉网络和cnn进行结合，从而构建轻量化图像分类网络，层次化提取图像局部和全局特征，利用深度可分离卷积、模型剪枝量化等方法，减小模型体积，节省计算资源，为后续模型在智慧政务等领域进行快速和高效的部署应用提供可能，即可以有效地在资源有限的边缘端计算设备上成功部署并投入到政务场景中，提升图像分类速度及边缘部署效率。而且在应用时引入了结构重参数混合器，可以进一步实现快速分类。
[0081]
第二方面，本发明实施例提供一种图像分类模型的优化装置，包括：
[0082]
数据集构建模块，用于构建数据集；
[0083]
模型构建模块，用于利用transformer视觉网络和卷积神经网络构建轻量化图像分类模型；
[0084]
模型训练模块，用于利用所述数据集对所述轻量化图像分类模型进行训练，得到训练收敛的轻量化图像分类模型；
[0085]
模型压缩模块，用于对训练收敛的轻量化图像分类模型进行压缩处理，得到优化后的图像分类模型。
[0086]
在一个实施例中，所述模型压缩模块包括：
[0087]
因子引入单元，用于执行s1、为训练收敛的轻量化图像分类模型中的每一个通道引入缩放因子，所述缩放因子表示对应通道的激活程度；
[0088]
第一训练单元，用于执行s2、对当前的轻量化图像分类模型中的参数进行稀疏正则化训练，以使冗余的通道的缩放因子减小；
[0089]
通道剪枝单元，用于s3、在稀疏正则化训练结束后，从各个通道的缩放因子中选择出小于预设阈值的缩放因子，并将小于预设阈值的缩放因子对应的通道进行剪枝处理；
[0090]
性能评估单元，用于执行s4、对剪枝处理后的轻量化图像分类模型进行调整，并在调整后对轻量化图像分类模型进行性能评估；
[0091]
性能判断单元，用于执行s5、判断性能评估结果是否满足精度要求；
[0092]
若是，则得到优化后的图像分类模型；
[0093]
否则，返回至所述第一训练单元执行s2以继续进行迭代。
[0094]
在一个实施例中，所述轻量化图像分类模型包括：神经网络卷积层、线性映射序列化层、transformer视觉网络、深度可分离卷积模块、全局池化层和全连接层，其中：
[0095]
所述神经网络卷积层用于：从输入的图像中提取出特征信息；
[0096]
所述线性映射序列化层用于：将所述图像分割为多个图像块，为每一个图像块进行位置编码，并将每一个图像块中的特征信息线性映射为一个对应的向量；其中，各个向量形成第一特征序列；
[0097]
所述深度可分离卷积模块用于：将每一个图像块的位置编码嵌入该图像块对应的向量中，各个嵌入位置编码的向量形成第二特征序列；
[0098]
所述transformer视觉网络用于：通过多头自注意力机制，并调用所述深度可分离卷积模块，从所述第二特征序列中提取特征信息；
[0099]
所述全局池化层用于：将所述transformer视觉网络的输出信息进行池化处理，所述全连接层用于：根据池化处理后的信息输出分类结果。
[0100]
在一个实施例中，所述transformer视觉网络包括多个依次连接的transformer层，下一个transformer层的输入信息来自上一个transformer层的输出信息和一个深度可分离卷积模块输出的第二特征序列；每一个transformer层中包括编码器和解码器，每一个编码器包括多个依次连接的第一单元，所述解码器包括多个依次连接的第二单元；其中：
[0101]
所述第一单元包括依次连接的层次归一化模块、多头自注意力模块、层次归一化模块、残差连接层、基于位置的全连接前馈网络模块和残差连接层；
[0102]
所述第二单元包括依次连接的层次归一化模块、多头自注意力模块、层次归一化模块、残差连接层、多头自注意力模块、残差连接层、基于位置的全连接前馈网络模块和残差连接层。
[0103]
在一个实施例中，数据集构建模块具体用于：收集政务场景下的图片，采用标注工具对所述图片进行标注，得到初始样本；使用数据增强技术对所述初始样本进行扩充，得到扩充样本；所述初始样本和所述扩充样本形成所述数据集。
[0104]
在一个实施例中，在优化后的图像分类模型的应用场景中，在所述图像分类模型
中引入一个结构重参数混合器，使用结构重新参数化以移除所述图像分类模型中的跳跃连接和线性过参数化。
[0105]
可理解的是，本发明实施例提供的装置中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。
[0106]
第三方面，本发明实施例提供一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行第一方面提供的方法。
[0107]
具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
[0108]
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
[0109]
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
[0110]
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
[0111]
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展模块上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
[0112]
可理解的是，本发明实施例提供的计算机可读介质中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。
[0113]
第四方面，本说明书一个实施例提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现执行说明书中任一个实施例中的方法。
[0114]
可理解的是，本发明实施例提供的计算设备中有关内容的解释、具体实施方式、有益效果、举例等内容可以参见第一方面提供的方法中的相应部分，此处不再赘述。
[0115]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0116]
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、挂件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
[0117]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应
包括在本发明的保护范围之内。

技术特征：
1.一种图像分类模型的优化方法，其特征在于，包括：构建数据集；利用transformer视觉网络和卷积神经网络构建轻量化图像分类模型；利用所述数据集对所述轻量化图像分类模型进行训练，得到训练收敛的轻量化图像分类模型；对训练收敛的轻量化图像分类模型进行压缩处理，得到优化后的图像分类模型。2.根据权利要求1所述的方法，其特征在于，所述轻量化图像分类模型包括：神经网络卷积层、线性映射序列化层、transformer视觉网络、深度可分离卷积模块、全局池化层和全连接层，其中：所述神经网络卷积层用于：从输入的图像中提取出特征信息；所述线性映射序列化层用于：将所述图像分割为多个图像块，为每一个图像块进行位置编码，并将每一个图像块中的特征信息线性映射为一个对应的向量；其中，各个向量形成第一特征序列；所述深度可分离卷积模块用于：将每一个图像块的位置编码嵌入该图像块对应的向量中，各个嵌入位置编码的向量形成第二特征序列；所述transformer视觉网络用于：通过多头自注意力机制，并调用所述深度可分离卷积模块，从所述第二特征序列中提取特征信息；所述全局池化层用于：将所述transformer视觉网络的输出信息进行池化处理，所述全连接层用于：根据池化处理后的信息输出分类结果。3.根据权利要求2所述的方法，其特征在于，所述transformer视觉网络包括多个依次连接的transformer层，下一个transformer层的输入信息来自上一个transformer层的输出信息和一个深度可分离卷积模块输出的第二特征序列；每一个transformer层中包括编码器和解码器，每一个编码器包括多个依次连接的第一单元，所述解码器包括多个依次连接的第二单元；其中：所述第一单元包括依次连接的层次归一化模块、多头自注意力模块、层次归一化模块、残差连接层、基于位置的全连接前馈网络模块和残差连接层；所述第二单元包括依次连接的层次归一化模块、多头自注意力模块、层次归一化模块、残差连接层、多头自注意力模块、残差连接层、基于位置的全连接前馈网络模块和残差连接层。4.根据权利要求1所述的方法，其特征在于，所述对训练收敛的轻量化图像分类模型进行压缩处理，得到优化后的图像分类模型，包括：s1、为训练收敛的轻量化图像分类模型中的每一个通道引入缩放因子，所述缩放因子表示对应通道的激活程度；s2、对当前的轻量化图像分类模型中的参数进行稀疏正则化训练，以使冗余的通道的缩放因子减小；s3、在稀疏正则化训练结束后，从各个通道的缩放因子中选择出小于预设阈值的缩放因子，并将小于预设阈值的缩放因子对应的通道进行剪枝处理；s4、对剪枝处理后的轻量化图像分类模型进行调整，并在调整后对轻量化图像分类模型进行性能评估；
s5、判断性能评估结果是否满足精度要求；若是，则得到优化后的图像分类模型；否则，返回至s2中继续进行迭代。5.根据权利要求1所述的方法，其特征在于，所述构建数据集，包括：收集政务场景下的图片，采用标注工具对所述图片进行标注，得到初始样本；使用数据增强技术对所述初始样本进行扩充，得到扩充样本；所述初始样本和所述扩充样本形成所述数据集。6.根据权利要求1所述的方法，其特征在于，在优化后的图像分类模型的应用场景中，在所述图像分类模型中引入一个结构重参数混合器，使用结构重新参数化以移除所述图像分类模型中的跳跃连接和线性过参数化。7.一种图像分类模型的优化装置，其特征在于，包括：数据集构建模块，用于构建数据集；模型构建模块，用于利用transformer视觉网络和卷积神经网络构建轻量化图像分类模型；模型训练模块，用于利用所述数据集对所述轻量化图像分类模型进行训练，得到训练收敛的轻量化图像分类模型；模型压缩模块，用于对训练收敛的轻量化图像分类模型进行压缩处理，得到优化后的图像分类模型。8.根据权利要求7所述的装置，其特征在于，所述模型压缩模块包括：因子引入单元，用于执行s1、为训练收敛的轻量化图像分类模型中的每一个通道引入缩放因子，所述缩放因子表示对应通道的激活程度；第一训练单元，用于执行s2、对当前的轻量化图像分类模型中的参数进行稀疏正则化训练，以使冗余的通道的缩放因子减小；通道剪枝单元，用于s3、在稀疏正则化训练结束后，从各个通道的缩放因子中选择出小于预设阈值的缩放因子，并将小于预设阈值的缩放因子对应的通道进行剪枝处理；性能评估单元，用于执行s4、对剪枝处理后的轻量化图像分类模型进行调整，并在调整后对轻量化图像分类模型进行性能评估；性能判断单元，用于执行s5、判断性能评估结果是否满足精度要求；若是，则得到优化后的图像分类模型；否则，返回至所述第一训练单元执行s2以继续进行迭代。9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现实现权利要求1～6中的任一项所述的方法。10.一种计算设备，其特征在于，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1～6中的任一项所述的方法。

技术总结
本发明实施例提供一种图像分类模型的优化方法及装置、介质、设备。方法包括：构建数据集；利用Transformer视觉网络和卷积神经网络构建轻量化图像分类模型；利用所述数据集对所述轻量化图像分类模型进行训练，得到训练收敛的轻量化图像分类模型；对训练收敛的轻量化图像分类模型进行压缩处理，得到优化后的图像分类模型。本发明实施例可以有效地在资源有限的边缘端计算设备上成功部署并投入到政务场景中，提升图像分类速度及边缘部署效率。提升图像分类速度及边缘部署效率。提升图像分类速度及边缘部署效率。


技术研发人员：杨彤 李雪 段强 姜凯
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：2023.04.19
技术公布日：2023/7/18