一种图像识别网络效率加速方法、装置、设备及介质与流程

1.本发明涉及神经网络轻量化与图像识别加速领域，特别涉及一种图像识别网络效率加速方法、装置、设备及介质。


背景技术：

2.随着神经网络过参数化的发展，图像识别网络成为常用的机器视觉智能处理工具。图像识别网络难以直接部署在计算和存储资源受限的设备上，并且图像识别网络的压缩过程本身的构造效率低，需要耗费大量的训练时间和计算资源。现有技术中，研究人员提出推理时剪枝方法，在图像识别网络的前向推理过程中逐层剪枝，剪枝的选择标准是启发式的，然而剪枝造成的准确率损失逐层增大，单次微调需要消耗的训练时间仍然非常可观，迁移学习适用于跨域或者跨任务的机器学习场景，其中深度迁移学习针对解决神经网络在不同数据域之间的泛化问题或者不同任务之间的知识迁移问题等，目前，研究人员仅提出了以下的结合深度迁移学习与网络剪枝结合的网络压缩方案：迁移通道剪枝tcp(transfer channel pruning，传输通道修剪)方法采用了基于泰勒展开式的剪枝规则，在网络训练过程中以最小化剪枝引起的网络损失的改变为优化目标，保留并优化一组对于源域和目标域都很重要的权重参数，结构化差分剪枝sdp(structured diff pruning，结构化差异修剪)方法对训练过程中参数改变量施加掩码向量，向量中元素由服从concrete分布的变量生成，通过对掩码向量进行幅度剪枝将需要微调的参数量控制到目标值。剪枝-分配-校准网络pac-net(pruning-allocation-calibration net)将剪枝应用于归纳迁移学习，tcp方法将剪枝应用于多种域适应网络的非监督学习，sdp方法将剪枝用于提高迁移学习过程中的参数学习效率。
3.由上可见，如何结合迁移学习和结构重参数化的推理时剪枝，从而实现结构化图像识别网络压缩与加速，提高图像识别网络效率是本领域有待解决的问题。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种图像识别网络效率加速方法、装置、设备及介质，能够结合迁移学习和结构重参数化的推理时剪枝，从而实现结构化图像识别网络压缩与加速，提高图像识别网络效率。其具体方案如下：
5.第一方面，本技术公开了一种图像识别网络效率加速方法，包括：
6.获取初始图像识别网络，并确定出与所述初始图像识别网络对应的初始卷积核权重；
7.对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值；
8.确定出所述第二最大均值差异值和所述均值之间的大小关系，若所述第二最大均值差异值不大于所述均值，则构建第一优化函数，对所述第一优化函数进行求解，以得到卷
积核权重改变量，基于所述卷积核权重改变量对所述初始卷积核权重进行更新，以便对图像识别网络效率进行加速。
9.可选的，所述对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值，包括：
10.对所述初始图像识别网络进行随机输入通道剪枝操作，计算出第一最大均值差异值，然后计算出所述第一最大均值差异值的均值；
11.对所述初始图像识别网络进行随机剪枝操作，以得到第二最大均值差异值。
12.可选的，所述对所述初始图像识别网络进行随机输入通道剪枝操作，计算出第一最大均值差异值，包括：
13.对所述初始图像识别网络进行随机输入通道剪枝操作，以得图像识别网络，根据所述初始图像识别网络和所述图像识别网络计算出第一最大均值差异值。
14.可选的，所述根据所述初始图像识别网络和所述图像识别网络计算出第一最大均值差异值，包括：
15.确定出所述初始图像识别网络的初始特征图和所述图像识别网络的特征图；
16.基于所述初始图像识别网络的初始特征图和所述图像识别网络的特征图计算出第一最大均值差异值。
17.可选的，所述基于所述初始图像识别网络的初始特征图和所述图像识别网络的特征图计算出第一最大均值差异值，包括：
18.采用高斯核算法并基于所述初始图像识别网络的初始特征图和所述图像识别网络的特征图计算出第一最大均值差异值。
19.可选的，所述采用高斯核算法并基于所述初始图像识别网络的初始特征图和所述图像识别网络的特征图计算出第一最大均值差异值，包括：
20.对所述初始特征图进行降维操作，以得到降维后的特征图；
21.采用高斯核算法对所述降维后的初始特征图和所述降维后的特征图进行计算，以得到第一最大均值差异值。
22.可选的，所述对所述初始特征图进行降维操作，以得到降维后的特征图，包括：
23.对所述初始特征图进行特征图维度降低操作，以得到降维后的初始特征图；
24.对所述特征图进行特征图维度降低操作，以得到降维后的特征图。
25.可选的，所述对所述初始图像识别网络进行随机输入通道剪枝操作，计算出第一最大均值差异值，包括：
26.对所述初始图像识别网络进行随机输入通道剪枝操作，以得图像识别网络，记录执行次数，基于所述执行次数确定是否计算第一最大均值差异值。
27.可选的，所述基于所述执行次数确定是否计算第一最大均值差异值，包括：
28.判断所述执行次数是否等于预设次数值；
29.若所述执行次数等于预设次数值，则获取所有的第一最大均值差异值，然后根据所有的所述第一最大均值差异值计算出第一最大均值差异值的均值。
30.可选的，所述判断所述执行次数是否等于预设次数值之后，还包括：
31.若所述执行次数不等于预设次数值，则重复执行对所述初始图像识别网络进行随
机输入通道剪枝操作的步骤，并相应的计算出各第一最大均值差异值，直至所述执行次数等于预设次数值，然后根据所有的所述第一最大均值差异值计算出第一最大均值差异值的均值。
32.可选的，所述确定出所述第二最大均值差异值和所述均值之间的大小关系，若所述第二最大均值差异值不大于所述均值，则构建第一优化函数，包括：
33.判断所述第二最大均值差异值是否大于所述均值；
34.若所述第二最大均值差异值不大于所述均值，则根据所述初始图像识别网络和所述图像识别网络构建出第一优化函数。
35.可选的，所述判断所述第二最大均值差异值是否大于所述均值之后，还包括：
36.若所述第二最大均值差异值大于所述均值，则基于所述图像识别网络直接构建出第二优化函数，然后跳转至所述对所述第一优化函数进行求解的步骤，对所述第二优化函数进行求解，以便对所述初始卷积核权重进行更新。
37.可选的，所述根据所述初始图像识别网络和所述图像识别网络构建出第一优化函数，包括：
38.基于所述初始图像识别网络和所述图像识别网络计算出特征图差；
39.根据所述特征图差构建出第一优化函数。
40.可选的，所述对所述第一优化函数进行求解，以得到卷积核权重改变量，包括：
41.基于所述图像识别网络确定出输出特征图；
42.根据所述输出特征图对所述第一优化函数进行求解，以得到卷积核权重改变量。
43.可选的，所述根据所述输出特征图对所述第一优化函数进行求解，以得到卷积核权重改变量，包括：
44.基于所述输出特征图和所述特征图差，并利用最小二乘法对所述第一优化函数进行求解，以得到卷积核权重改变量。
45.可选的，所述基于所述卷积核权重改变量对所述初始卷积核权重进行更新，包括：
46.根据所述卷积核权重改变量计算出目标卷积核权重；
47.基于所述目标卷积核权重对所述初始卷积核权重进行更新。
48.可选的，所述基于所述卷积核权重改变量对所述初始卷积核权重进行更新，包括：
49.将所述卷积核权重改变量叠加至所述初始卷积核权重，以计算出所述目标卷积核权重，然后基于所述目标卷积核权重对所述初始卷积核权重进行更新。
50.第二方面，本技术公开了一种图像识别网络效率加速装置，包括：
51.初始卷积核权重确定模块，用于获取初始图像识别网络，并确定出与所述初始图像识别网络对应的初始卷积核权重；
52.最大均值差异值计算模块，用于对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值；
53.图像识别网络效率加速模块，用于确定出所述第二最大均值差异值和所述均值之间的大小关系，若所述第二最大均值差异值不大于所述均值，则构建第一优化函数，对所述第一优化函数进行求解，以得到卷积核权重改变量，基于所述卷积核权重改变量对所述初始卷积核权重进行更新，以便对图像识别网络效率进行加速。
54.第三方面，本技术公开了一种电子设备，包括：
55.存储器，用于保存计算机程序；
56.处理器，用于执行所述计算机程序，以实现前述的图像识别网络效率加速方法。
57.第四方面，本技术公开了一种计算机存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的图像识别网络效率加速方法的步骤。
58.可见，本技术提供了一种图像识别网络效率加速方法，包括获取初始图像识别网络，并确定出与所述初始图像识别网络对应的初始卷积核权重；对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值；确定出所述第二最大均值差异值和所述均值之间的大小关系，若所述第二最大均值差异值不大于所述均值，则构建第一优化函数，对所述第一优化函数进行求解，以得到卷积核权重改变量，基于所述卷积核权重改变量对所述初始卷积核权重进行更新，以便对图像识别网络效率进行加速。本技术提出的图像识别网络加速方法是一种推理时剪枝方法，通过在重构压缩后卷积核权重过程中应用结构重参数化，保存了原卷积核权重参数的图像识别知识，有效提高了在小尺寸特征图上的卷积核权重参数重构效果；并且计算最大平均差异mmd值作为决策依据来选择是否应用结构重参数化，进而减小了逐层剪枝累积的误差，减小了微调压缩后网络时所需的迭代次数，优化图像识别网络压缩过程的构建效率。
附图说明
59.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
60.图1为本技术公开的一种图像识别网络效率加速方法流程图；
61.图2为本技术公开的一种图像识别网络效率加速方法流程图；
62.图3为本技术公开的一种图像识别网络效率加速方法点的具体流程图；
63.图4为本技术公开的一种图像识别网络效率加速装置结构示意图；
64.图5为本技术提供的一种电子设备结构图。
具体实施方式
65.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
66.随着神经网络过参数化的发展，图像识别网络成为常用的机器视觉智能处理工具。图像识别网络难以直接部署在计算和存储资源受限的设备上，并且图像识别网络的压缩过程本身的构造效率低，需要耗费大量的训练时间和计算资源。现有技术中，研究人员提出推理时剪枝方法，在图像识别网络的前向推理过程中逐层剪枝，剪枝的选择标准是启发式的，然而剪枝造成的准确率损失逐层增大，单次微调需要消耗的训练时间仍然非常可观，
迁移学习适用于跨域或者跨任务的机器学习场景，其中深度迁移学习针对解决神经网络在不同数据域之间的泛化问题或者不同任务之间的知识迁移问题等，目前，研究人员仅提出了以下的结合深度迁移学习与网络剪枝结合的网络压缩方案：迁移通道剪枝tcp(transfer channel pruning，传输通道修剪)方法采用了基于泰勒展开式的剪枝规则，在网络训练过程中以最小化剪枝引起的网络损失的改变为优化目标，保留并优化一组对于源域和目标域都很重要的权重参数，结构化差分剪枝sdp(structured diff pruning，结构化差异修剪)方法对训练过程中参数改变量施加掩码向量，向量中元素由服从concrete分布的变量生成，通过对掩码向量进行幅度剪枝将需要微调的参数量控制到目标值。剪枝-分配-校准网络pac-net(pruning-allocation-calibration net)将剪枝应用于归纳迁移学习，tcp方法将剪枝应用于多种域适应网络的非监督学习，sdp方法将剪枝用于提高迁移学习过程中的参数学习效率。由上可见，如何结合迁移学习和结构重参数化的推理时剪枝，从而实现结构化图像识别网络压缩与加速，提高图像识别网络效率是本领域有待解决的问题。
67.本技术设计了一种结合迁移学习和结构重参数化的推理时剪枝方法。本发明所提方法是一种结构化图像识别网络压缩与加速方法，依据网络层的输入通道被压缩前和被压缩后输出特征图的最大均值差异mmd(maximum mean discrepancy)构建决策规则，选择是否在重构压缩后网络层的权重参数时应用结构重参数化，以减小权重参数的重构误差，降低逐层剪枝所累积的误差，进而减小压缩后微调所需要的迭代次数。
68.参见图1所示，本发明实施例公开了一种图像识别网络效率加速方法，具体可以包括：
69.步骤s11：获取初始图像识别网络，并确定出与所述初始图像识别网络对应的初始卷积核权重。
70.步骤s12：对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值。
71.本实施例中，对所述初始图像识别网络进行随机输入通道剪枝操作，以得图像识别网络，记录执行次数，判断所述执行次数是否等于预设次数值，若所述执行次数等于预设次数值，则获取所有的第一最大均值差异值，然后根据所有的所述第一最大均值差异值计算出第一最大均值差异值的均值，若所述执行次数不等于预设次数值，则重复执行对所述初始图像识别网络进行随机输入通道剪枝操作的步骤，并相应的计算出各第一最大均值差异值，直至所述执行次数等于预设次数值，然后根据所有的所述第一最大均值差异值计算出第一最大均值差异值的均值；对所述初始图像识别网络进行随机剪枝操作，以得到第二最大均值差异值。
72.本实施例中，计算第一最大均值差异值的过程如下：确定出所述初始图像识别网络的初始特征图和所述图像识别网络的特征图；基于所述初始图像识别网络的初始特征图和所述图像识别网络的特征图计算出第一最大均值差异值，具体的，对所述初始特征图进行特征图维度降低操作，以得到降维后的初始特征图，对所述特征图进行特征图维度降低操作，以得到降维后的特征图，然后采用高斯核算法对所述降维后的初始特征图和所述降维后的特征图进行计算，以得到第一最大均值差异值。
73.本技术中基于结构重参数化的卷积核重构过程，首先在初始图像识别网络的输入
图像数据x上计算卷积核的输入通道被压缩前与被压缩后的输出特征图之间的差δf；进而以此差分为目标，通过最小二乘法估计压缩后卷积核权重值的改变量δw，即求解优化函数min|δw*x-δf|；最终基于结构重参数化技术获得更新的压缩后卷积核权重w
′
，即w
′
＝w+δw。这样的权重参数估算方式可以保留卷积核原始权值对图像识别任务的知识，简单直接地实现迁移学习改善基于最小二乘法的权重参数重构方案的非线性拟合效果。本发明方法中基于迁移学习的决策过程，首先在初始图像识别网络的输入图像数据x上对输入通道进行r轮随机输入通道剪枝操作，每轮单独计算卷积核的输入通道被压缩前与被压缩后的输出特征图之间的最大均值差异mmd值mr，并计算均值
[0074][0075]
将此mmd均值作为阈值，对输入通道进行一次随机剪枝并计算压缩前后输出特征图之间的mmd值，若该mmd值小于阈值则选择在卷积核权重参数重构过程中采用结构重参数化，否则不采用结构重参数化。
[0076]
步骤s13：确定出所述第二最大均值差异值和所述均值之间的大小关系，若所述第二最大均值差异值不大于所述均值，则构建第一优化函数，对所述第一优化函数进行求解，以得到卷积核权重改变量，基于所述卷积核权重改变量对所述初始卷积核权重进行更新，以便对图像识别网络效率进行加速。
[0077]
本实施例中，获取初始图像识别网络，并确定出与所述初始图像识别网络对应的初始卷积核权重；对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值；确定出所述第二最大均值差异值和所述均值之间的大小关系，若所述第二最大均值差异值不大于所述均值，则构建第一优化函数，对所述第一优化函数进行求解，以得到卷积核权重改变量，基于所述卷积核权重改变量对所述初始卷积核权重进行更新，以便对图像识别网络效率进行加速。本技术提出的图像识别网络加速方法是一种推理时剪枝方法，通过在重构压缩后卷积核权重过程中应用结构重参数化，保存了原卷积核权重参数的图像识别知识，有效提高了在小尺寸特征图上的卷积核权重参数重构效果；并且计算最大平均差异mmd值作为决策依据来选择是否应用结构重参数化，进而减小了逐层剪枝累积的误差，减小了微调压缩后网络时所需的迭代次数，优化图像识别网络压缩过程的构建效率。
[0078]
参见图2所示，本发明实施例公开了一种图像识别网络效率加速方法，具体可以包括：
[0079]
步骤s21：获取初始图像识别网络，并确定出与所述初始图像识别网络对应的初始卷积核权重。
[0080]
步骤s22：对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值。
[0081]
步骤s23：判断所述第二最大均值差异值是否大于所述均值，若所述第二最大均值差异值不大于所述均值，则根据所述初始图像识别网络和所述图像识别网络构建出第一优
化函数，基于所述图像识别网络确定出输出特征图，根据所述输出特征图对所述第一优化函数进行求解，以得到卷积核权重改变量，根据所述卷积核权重改变量计算出目标卷积核权重，基于所述目标卷积核权重对所述初始卷积核权重进行更新，以便对图像识别网络效率进行加速。
[0082]
本实施例中，构建出第一优化函数的具体流程如下：基于所述初始图像识别网络和所述图像识别网络计算出特征图差；根据所述特征图差构建出第一优化函数。
[0083]
具体的根据所述输出特征图对所述第一优化函数进行求解的过程为：基于所述输出特征图和所述特征图差，并利用最小二乘法对所述第一优化函数进行求解，以得到卷积核权重改变量。
[0084]
具体的更新过程为：将所述卷积核权重改变量叠加至所述初始卷积核权重，以计算出所述目标卷积核权重，然后基于所述目标卷积核权重对所述初始卷积核权重进行更新。
[0085]
步骤s24：若所述第二最大均值差异值大于所述均值，则基于所述图像识别网络直接构建出第二优化函数，然后跳转至所述对所述第一优化函数进行求解的步骤，对所述第二优化函数进行求解，以便对所述初始卷积核权重进行更新。
[0086]
本技术中计算图像识别网络的指定层被压缩前后的输出特征图之间mmd值的过程，首先通过逐通道取均值将当前批次输入图像数据在未压缩的指定层的输出特征图的维度由b
×c×n×
n降低为b
×c×
1，其中b是当前批次输入图像数量，c是图像识别网络指定层的输出通道数，n是每个输出通道的特征图的大小；同样通过逐通道取均值将当前批次输入图像数据在输入通道压缩后的指定层的输出特征图降维；基于高斯核计算前两步获得的特征图之间的多核mmd值。具体的，计算图像识别网络的指定层被压缩前后的输出特征图之间多核mmd值的过程按照如下步骤顺序执行：(1)获得初始图像识别网络在未压缩的指定层的输出特征图，再通过逐通道取均值，将特征图维度由b
×c×n×
n降低为b
×c×
1，其中b是当前批次输入图像数量，c是图像识别网络指定层的输出通道数，n是每个输出通道的特征图的大小，获得降维后的输出特征图fd；(2)获得初始图像识别网络在输入通道压缩后的指定层的输出特征图，再通过逐通道取均值，将特征图维度由b
×c×n×
n降低为b
×c×
1，获得降维后的输出特征图fd′
；(3)采用高斯核计算特征图fd和fd′
之间的多核mmd值。
[0087]
本技术的图像识别网络压缩流程中，各网络层在不同批次输入图像数据上单独被压缩；首先执行基于迁移学习的决策过程，将决策过程中最后一次随机通道剪枝结果作为最终层级剪枝结果；然后根据决策过程的结果执行基于结构重参数化的卷积核重构过程或者一般卷积核重构过程。其中一般卷积核重构过程，以减小压缩前与压缩后输出特征图的差异为优化目标，直接求解压缩后卷积核的新权重参数。具体的流程如图3所示，第一步，对所述初始图像识别网络第l层的输入通道进行随机输入通道剪枝操作，以得图像识别网络，记录执行次数，判断所述执行次数是否等于预设次数值r；若所述执行次数不等于预设次数值，则重复执行对所述初始图像识别网络进行随机输入通道剪枝操作的步骤，并相应的计算出各第一最大均值差异值，直至所述执行次数等于预设次数值，若所述执行次数等于预设次数值，则根据所有的所述第一最大均值差异值计算出第一最大均值差异值的均值，作为决策阈值，第二步，对所述初始图像识别网络进行随机剪枝操作，以得到第二最大均值差异mmd值m，第三步，判断所述第二最大均值差异值m是否大于所述均值若所述第二最
大均值差异值不大于所述均值，则基于所述初始图像识别网络和所述图像识别网络并按照上述特征图差计算方法计算出特征图差δf，第四步，根据所述特征图差δf构建出第一优化函数min|δw*x-δf|，并根据当前批次输入图像经图像识别网络前l-1层的输出特征图x来求解第一优化函数，第五步，依据结构重参数化技术，将卷积核权重值改变量叠加到初始卷积核权重，以得到目标卷积核权重w
′
，最终基于所述目标卷积核权重对所述初始卷积核权重进行更新，以便对图像识别网络效率进行加速；第三步中，若所述第二最大均值差异值m大于所述均值则基于所述图像识别网络直接构建出第二优化函数min|w
′
*x-f|，并跳转至对所述第一优化函数进行求解的步骤，以便对所述初始卷积核权重进行更新。
[0088]
本技术基于结构重参数化的卷积核重构过程，通过最小二乘法估计压缩后卷积核权重值的改变量δw，而不是直接获取压缩后卷积核的新权重值，这样可以保留卷积核原始权值对图像识别任务的知识。以推理时剪枝的方式输出轻量化的图像识别网络，可以部署于基于fpga的神经网络加速应用或者ai加速芯片的软件平台中，本技术方案可以减少图像识别网络的参数量和计算量，降低图像识别的时延。
[0089]
本实施例中，获取初始图像识别网络，并确定出与所述初始图像识别网络对应的初始卷积核权重；对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值；确定出所述第二最大均值差异值和所述均值之间的大小关系，若所述第二最大均值差异值不大于所述均值，则构建第一优化函数，对所述第一优化函数进行求解，以得到卷积核权重改变量，基于所述卷积核权重改变量对所述初始卷积核权重进行更新，以便对图像识别网络效率进行加速。本技术提出的图像识别网络加速方法是一种推理时剪枝方法，通过在重构压缩后卷积核权重过程中应用结构重参数化，保存了原卷积核权重参数的图像识别知识，有效提高了在小尺寸特征图上的卷积核权重参数重构效果；并且计算最大平均差异mmd值作为决策依据来选择是否应用结构重参数化，进而减小了逐层剪枝累积的误差，减小了微调压缩后网络时所需的迭代次数，优化图像识别网络压缩过程的构建效率。
[0090]
参见图4所示，本发明实施例公开了一种图像识别网络效率加速装置，具体可以包括：
[0091]
初始卷积核权重确定模块11，用于获取初始图像识别网络，并确定出与所述初始图像识别网络对应的初始卷积核权重；
[0092]
最大均值差异值计算模块12，用于对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值；
[0093]
图像识别网络效率加速模块13，用于确定出所述第二最大均值差异值和所述均值之间的大小关系，若所述第二最大均值差异值不大于所述均值，则构建第一优化函数，对所述第一优化函数进行求解，以得到卷积核权重改变量，基于所述卷积核权重改变量对所述初始卷积核权重进行更新，以便对图像识别网络效率进行加速。
[0094]
本实施例中，获取初始图像识别网络，并确定出与所述初始图像识别网络对应的初始卷积核权重；对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值
和第二最大均值差异值；确定出所述第二最大均值差异值和所述均值之间的大小关系，若所述第二最大均值差异值不大于所述均值，则构建第一优化函数，对所述第一优化函数进行求解，以得到卷积核权重改变量，基于所述卷积核权重改变量对所述初始卷积核权重进行更新，以便对图像识别网络效率进行加速。本技术提出的图像识别网络加速方法是一种推理时剪枝方法，通过在重构压缩后卷积核权重过程中应用结构重参数化，保存了原卷积核权重参数的图像识别知识，有效提高了在小尺寸特征图上的卷积核权重参数重构效果；并且计算最大平均差异mmd值作为决策依据来选择是否应用结构重参数化，进而减小了逐层剪枝累积的误差，减小了微调压缩后网络时所需的迭代次数，优化图像识别网络压缩过程的构建效率。
[0095]
在一些具体实施例中，所述最大均值差异值计算模块12，具体可以包括：
[0096]
随机输入通道剪枝模块，用于对所述初始图像识别网络进行随机输入通道剪枝操作，计算出第一最大均值差异值，然后计算出所述第一最大均值差异值的均值；
[0097]
随机剪枝模块，用于对所述初始图像识别网络进行随机剪枝操作，以得到第二最大均值差异值。
[0098]
在一些具体实施例中，所述最大均值差异值计算模块12，具体可以包括：
[0099]
第一最大均值差异值计算模块，用于对所述初始图像识别网络进行随机输入通道剪枝操作，以得图像识别网络，根据所述初始图像识别网络和所述图像识别网络计算出第一最大均值差异值。
[0100]
在一些具体实施例中，所述最大均值差异值计算模块12，具体可以包括：
[0101]
特征图确定模块，用于确定出所述初始图像识别网络的初始特征图和所述图像识别网络的特征图；
[0102]
第一最大均值差异值计算模块，用于基于所述初始图像识别网络的初始特征图和所述图像识别网络的特征图计算出第一最大均值差异值。
[0103]
在一些具体实施例中，所述最大均值差异值计算模块12，具体可以包括：
[0104]
第一最大均值差异值计算模块，用于采用高斯核算法并基于所述初始图像识别网络的初始特征图和所述图像识别网络的特征图计算出第一最大均值差异值。
[0105]
在一些具体实施例中，所述最大均值差异值计算模块12，具体可以包括：
[0106]
降维模块，用于对所述初始特征图进行降维操作，以得到降维后的特征图；
[0107]
第一最大均值差异值计算模块，用于采用高斯核算法对所述降维后的初始特征图和所述降维后的特征图进行计算，以得到第一最大均值差异值。
[0108]
在一些具体实施例中，所述最大均值差异值计算模块12，具体可以包括：
[0109]
特征图维度降低模块，用于对所述初始特征图进行特征图维度降低操作，以得到降维后的初始特征图；
[0110]
降维后的特征图确定模块，用于对所述特征图进行特征图维度降低操作，以得到降维后的特征图。
[0111]
在一些具体实施例中，所述最大均值差异值计算模块12，具体可以包括：
[0112]
次数记录模块，用于对所述初始图像识别网络进行随机输入通道剪枝操作，以得图像识别网络，记录执行次数，基于所述执行次数确定是否计算第一最大均值差异值。
[0113]
在一些具体实施例中，所述最大均值差异值计算模块12，具体可以包括：
[0114]
判断模块，用于判断所述执行次数是否等于预设次数值；
[0115]
均值计算模块，用于若所述执行次数等于预设次数值，则获取所有的第一最大均值差异值，然后根据所有的所述第一最大均值差异值计算出第一最大均值差异值的均值。
[0116]
在一些具体实施例中，所述最大均值差异值计算模块12，具体可以包括：
[0117]
均值计算模块，用于若所述执行次数不等于预设次数值，则重复执行对所述初始图像识别网络进行随机输入通道剪枝操作的步骤，并相应的计算出各第一最大均值差异值，直至所述执行次数等于预设次数值，然后根据所有的所述第一最大均值差异值计算出第一最大均值差异值的均值。
[0118]
在一些具体实施例中，所述图像识别网络效率加速模块13，具体可以包括：
[0119]
判断模块，用于判断所述第二最大均值差异值是否大于所述均值；
[0120]
第一优化函数构建模块，用于若所述第二最大均值差异值不大于所述均值，则根据所述初始图像识别网络和所述图像识别网络构建出第一优化函数。
[0121]
在一些具体实施例中，所述图像识别网络效率加速模块13，具体可以包括：
[0122]
第二优化函数求解模块，用于若所述第二最大均值差异值大于所述均值，则基于所述图像识别网络直接构建出第二优化函数，然后跳转至所述对所述第一优化函数进行求解的步骤，对所述第二优化函数进行求解，以便对所述初始卷积核权重进行更新。
[0123]
在一些具体实施例中，所述图像识别网络效率加速模块13，具体可以包括：
[0124]
特征图差模块，用于基于所述初始图像识别网络和所述图像识别网络计算出特征图差；
[0125]
第一优化函数构建模块，用于根据所述特征图差构建出第一优化函数。
[0126]
在一些具体实施例中，所述图像识别网络效率加速模块13，具体可以包括：
[0127]
输出特征图确定模块，用于基于所述图像识别网络确定出输出特征图；
[0128]
卷积核权重改变量确定模块，用于根据所述输出特征图对所述第一优化函数进行求解，以得到卷积核权重改变量。
[0129]
在一些具体实施例中，所述图像识别网络效率加速模块13，具体可以包括：
[0130]
卷积核权重改变量确定模块，用于基于所述输出特征图和所述特征图差，并利用最小二乘法对所述第一优化函数进行求解，以得到卷积核权重改变量。
[0131]
在一些具体实施例中，所述图像识别网络效率加速模块13，具体可以包括：
[0132]
目标卷积核权重确定模块，用于根据所述卷积核权重改变量计算出目标卷积核权重；
[0133]
初始卷积核权重更新模块，用于基于所述目标卷积核权重对所述初始卷积核权重进行更新。
[0134]
在一些具体实施例中，所述图像识别网络效率加速模块13，具体可以包括：
[0135]
初始卷积核权重更新模块，用于将所述卷积核权重改变量叠加至所述初始卷积核权重，以计算出所述目标卷积核权重，然后基于所述目标卷积核权重对所述初始卷积核权重进行更新。
[0136]
图5为本技术实施例提供的一种电子设备的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并
执行，以实现前述任一实施例公开的由电子设备执行的图像识别网络效率加速方法中的相关步骤。
[0137]
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
[0138]
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
[0139]
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中数据223的运算与处理，其可以是windows、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的图像识别网络效率加速方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括图像识别网络效率加速设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
[0140]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0141]
进一步的，本技术实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的图像识别网络效率加速方法步骤。
[0142]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0143]
以上对本发明所提供的一种图像识别网络效率加速方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种图像识别网络效率加速方法，其特征在于，包括：获取初始图像识别网络，并确定出与所述初始图像识别网络对应的初始卷积核权重；对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值；确定出所述第二最大均值差异值和所述均值之间的大小关系，若所述第二最大均值差异值不大于所述均值，则构建第一优化函数，对所述第一优化函数进行求解，以得到卷积核权重改变量，基于所述卷积核权重改变量对所述初始卷积核权重进行更新，以便对图像识别网络效率进行加速。2.根据权利要求1所述的图像识别网络效率加速方法，其特征在于，所述对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值，包括：对所述初始图像识别网络进行随机输入通道剪枝操作，计算出第一最大均值差异值，然后计算出所述第一最大均值差异值的均值；对所述初始图像识别网络进行随机剪枝操作，以得到第二最大均值差异值。3.根据权利要求2所述的图像识别网络效率加速方法，其特征在于，所述对所述初始图像识别网络进行随机输入通道剪枝操作，计算出第一最大均值差异值，包括：对所述初始图像识别网络进行随机输入通道剪枝操作，以得图像识别网络，根据所述初始图像识别网络和所述图像识别网络计算出第一最大均值差异值。4.根据权利要求3所述的图像识别网络效率加速方法，其特征在于，所述根据所述初始图像识别网络和所述图像识别网络计算出第一最大均值差异值，包括：确定出所述初始图像识别网络的初始特征图和所述图像识别网络的特征图；基于所述初始图像识别网络的初始特征图和所述图像识别网络的特征图计算出第一最大均值差异值。5.根据权利要求4所述的图像识别网络效率加速方法，其特征在于，所述基于所述初始图像识别网络的初始特征图和所述图像识别网络的特征图计算出第一最大均值差异值，包括：采用高斯核算法并基于所述初始图像识别网络的初始特征图和所述图像识别网络的特征图计算出第一最大均值差异值。6.根据权利要求5所述的图像识别网络效率加速方法，其特征在于，所述采用高斯核算法并基于所述初始图像识别网络的初始特征图和所述图像识别网络的特征图计算出第一最大均值差异值，包括：对所述初始特征图进行降维操作，以得到降维后的特征图；采用高斯核算法对所述降维后的初始特征图和所述降维后的特征图进行计算，以得到第一最大均值差异值。7.根据权利要求6所述的图像识别网络效率加速方法，其特征在于，所述对所述初始特征图进行降维操作，以得到降维后的特征图，包括：对所述初始特征图进行特征图维度降低操作，以得到降维后的初始特征图；对所述特征图进行特征图维度降低操作，以得到降维后的特征图。
8.根据权利要求2所述的图像识别网络效率加速方法，其特征在于，所述对所述初始图像识别网络进行随机输入通道剪枝操作，计算出第一最大均值差异值，包括：对所述初始图像识别网络进行随机输入通道剪枝操作，以得图像识别网络，记录执行次数，基于所述执行次数确定是否计算第一最大均值差异值。9.根据权利要求8所述的图像识别网络效率加速方法，其特征在于，所述基于所述执行次数确定是否计算第一最大均值差异值，包括：判断所述执行次数是否等于预设次数值；若所述执行次数等于预设次数值，则获取所有的第一最大均值差异值，然后根据所有的所述第一最大均值差异值计算出第一最大均值差异值的均值。10.根据权利要求9所述的图像识别网络效率加速方法，其特征在于，所述判断所述执行次数是否等于预设次数值之后，还包括：若所述执行次数不等于预设次数值，则重复执行对所述初始图像识别网络进行随机输入通道剪枝操作的步骤，并相应的计算出各第一最大均值差异值，直至所述执行次数等于预设次数值，然后根据所有的所述第一最大均值差异值计算出第一最大均值差异值的均值。11.根据权利要求1所述的图像识别网络效率加速方法，其特征在于，所述确定出所述第二最大均值差异值和所述均值之间的大小关系，若所述第二最大均值差异值不大于所述均值，则构建第一优化函数，包括：判断所述第二最大均值差异值是否大于所述均值；若所述第二最大均值差异值不大于所述均值，则根据所述初始图像识别网络和所述图像识别网络构建出第一优化函数。12.根据权利要求11所述的图像识别网络效率加速方法，其特征在于，所述判断所述第二最大均值差异值是否大于所述均值之后，还包括：若所述第二最大均值差异值大于所述均值，则基于所述图像识别网络直接构建出第二优化函数，然后跳转至所述对所述第一优化函数进行求解的步骤，对所述第二优化函数进行求解，以便对所述初始卷积核权重进行更新。13.根据权利要求11所述的图像识别网络效率加速方法，其特征在于，所述根据所述初始图像识别网络和所述图像识别网络构建出第一优化函数，包括：基于所述初始图像识别网络和所述图像识别网络计算出特征图差；根据所述特征图差构建出第一优化函数。14.根据权利要求1所述的图像识别网络效率加速方法，其特征在于，所述对所述第一优化函数进行求解，以得到卷积核权重改变量，包括：基于所述图像识别网络确定出输出特征图；根据所述输出特征图对所述第一优化函数进行求解，以得到卷积核权重改变量。15.根据权利要求14所述的图像识别网络效率加速方法，其特征在于，所述根据所述输出特征图对所述第一优化函数进行求解，以得到卷积核权重改变量，包括：基于所述输出特征图和所述特征图差，并利用最小二乘法对所述第一优化函数进行求解，以得到卷积核权重改变量。16.根据权利要求1所述的图像识别网络效率加速方法，其特征在于，所述基于所述卷
积核权重改变量对所述初始卷积核权重进行更新，包括：根据所述卷积核权重改变量计算出目标卷积核权重；基于所述目标卷积核权重对所述初始卷积核权重进行更新。17.根据权利要求16所述的图像识别网络效率加速方法，其特征在于，所述基于所述卷积核权重改变量对所述初始卷积核权重进行更新，包括：将所述卷积核权重改变量叠加至所述初始卷积核权重，以计算出所述目标卷积核权重，然后基于所述目标卷积核权重对所述初始卷积核权重进行更新。18.一种图像识别网络效率加速装置，其特征在于，包括：初始卷积核权重确定模块，用于获取初始图像识别网络，并确定出与所述初始图像识别网络对应的初始卷积核权重；最大均值差异值计算模块，用于对所述初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到所述初始图像识别网络和所述图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值；图像识别网络效率加速模块，用于确定出所述第二最大均值差异值和所述均值之间的大小关系，若所述第二最大均值差异值不大于所述均值，则构建第一优化函数，对所述第一优化函数进行求解，以得到卷积核权重改变量，基于所述卷积核权重改变量对所述初始卷积核权重进行更新，以便对图像识别网络效率进行加速。19.一种电子设备，其特征在于，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序，以实现如权利要求1至17任一项所述的图像识别网络效率加速方法。20.一种计算机可读存储介质，其特征在于，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述的图像识别网络效率加速方法。

技术总结
本申请公开了一种图像识别网络效率加速方法、装置、设备及介质，涉及神经网络轻量化与图像识别加速领域，包括：获取初始图像识别网络，并确定出与初始图像识别网络对应的初始卷积核权重；对初始图像识别网络分别进行随机输入通道剪枝操作和随机剪枝操作，以得到初始图像识别网络和图像识别网络之间的第一最大均值差异值的均值和第二最大均值差异值；确定出第二最大均值差异值和均值之间的大小关系，若第二最大均值差异值不大于均值，则构建第一优化函数，对第一优化函数进行求解，以得到卷积核权重改变量，基于卷积核权重改变量对初始卷积核权重进行更新，以便对图像识别网络效率进行加速。本申请能够实现结构化图像识别网络压缩与加速。缩与加速。缩与加速。


技术研发人员：尹文枫 董刚 曹其春 杨宏斌
受保护的技术使用者：浪潮电子信息产业股份有限公司
技术研发日：2023.06.09
技术公布日：2023/9/6