基于自适应累积系数的深度学习优化器的图像分类方法

1.本发明属于基于模式识别、机器学习技术领域，具体涉及一种基于自适应累积系数的深度学习优化器的图像分类方法。


背景技术：

2.深度学习技术在机器视觉任务(如图像分类)中取得很好的效果。神经网络模型和数据集的规模是深度学习拥有强大性能的重要原因。复杂的神经网络模型和更大的数据集能是深度学习展现更好的性能，但需要付出的代价就是更长的训练时间和更庞大的计算量。故工业界与学术界对在大型集群设备(如gpu)上通过分布式进行深度学习训练的需求激增。数据并行已成为分布式训练的主要实现方式。
3.基于并行模式的图像分类方法，工业界与学术界的研发人员普遍采用adam优化器作为神经网络模型训练优化器。但基于adam训练的图像分类方法存在一个难以回避的问题：除了优化器学习率以外，还需要人为设定其他参数，如adam优化器的一阶动量和二阶动量的累积系数，对于人为因素依赖性过高，从而降低了效率与泛化性能。因此，如何在保证图像分类精度的情况下设计高效稳定的深度学习优化器具有十分重要的意义。


技术实现要素：

4.有鉴于此，本发明提供了一种基于自适应累积系数的深度学习优化器的图像分类方法，根据当前的迭代次数计算获取相应的adam优化器的一阶动量和二阶动量的累积系数，提升图像分类精度。
5.基于自适应累积系数的深度学习优化器的图像分类方法，包括：
6.步骤1、对输入的图像进行预处理，分别得到训练图像数据和待分类图像数据；图像分类神经网络模型的输入是单张或批量的彩色图像，输出为图像的类别标签；
7.步骤2、构建深度学习优化器adame；迭代次数k初始值设为1；迭代总次数为m；深度学习优化器adame的输入为当前第k-1次迭代后的图像分类神经网络模型参数值的梯度g
k-1
，输出为第k次迭代所设置的图像分类神经网络模型的参数值gk，具体过程包括：
8.s21、根据公式(1)和(2)分别获取第k次迭代的adam优化器一阶动量和二阶动量的累积系数；
[0009][0010]
βk＝1-αkꢀꢀ
(2)
[0011]
其中，αk为深度学习优化器adame在第k次迭代中的一阶动量累积系数；βk为深度学习优化器adame在第k次迭代中的中二阶动量累积系数；
[0012]
s22、根据公式(3)和(4)分别获取深度学习优化器adame在第k次迭代的一阶动量和二阶动量；
[0013]dk
＝αk×dk-1
+(1-αk)
×gk
ꢀꢀ
(3)
[0014][0015]
其中，gk为深度学习优化器adame在第k次迭代输出的图像分类神经网络模型参数的梯度；dk和d
k-1
为深度学习优化器adame在第k次和第k-1次迭代的一阶动量；sk和s
k-1
为adam优化器在第k次和第k-1次迭代的二阶动量；
[0016]
s23、根据公式(5)获取第k次迭代的图像分类神经网络模型参数
[0017][0018]
其中，和为深度学习优化器adame在第k次和第k-1次迭代的图像分类神经网络模型参数，η
adame
为深度学习优化器adame的初始学习率；为hadamard内积；ε》0为光滑系数；
[0019]
步骤3、基于当前第k次迭代获得的图像分类神经网络模型参数对图像分类神经网络模型参数进行更新，利用训练图像数据对神经网络模型进行训练；将k值累计1次；当满足k≤m，返回到s21，进行下一次迭代；如果k》m，执行下一步；
[0020]
步骤4、获取当前参数更新后的图像分类神经网络模型，将待分类的图像输入到训练好的图像分类神经网络模型，输出图像的类别标签，实现图像分类。
[0021]
本发明具有如下有益效果：
[0022]
本发明提供了一种基于自适应累积系数的深度学习优化器的图像分类方法，根据当前的迭代次数计算获取相应的adame优化器的一阶动量和二阶动量的累积系数，提升图像分类精度，在保证训练效率的同时也能保证训练精度，提高了深度学习优化器的泛化性能。
附图说明
[0023]
图1为采用本发明方法与现有方法的对比曲线图。
具体实施方式
[0024]
下面结合附图并举实施例，对本发明进行详细描述。
[0025]
本发明提供的一种基于自适应累积系数的深度学习优化器的图像分类方法，构建一种新的深度学习优化器adame，利用图像训练数据和构建的深度学习优化器adame训练神经网络模型，获取训练好的图像分类神经网络模型，将待分类的包含预定义类别的彩色图像输入到训练好的图像分类神经网络模型，即可输出图像的类别标签，实现图像分类，具体包括以下步骤：
[0026]
步骤1、对输入的图像进行预处理，分别得到训练图像数据和待分类图像数据；神经网络的输入是单张或批量的彩色图像，输出为图像的类别标签。
[0027]
步骤2、构建深度学习优化器adame；迭代次数k初始值设为1；迭代总次数为m；深度学习优化器adame的输入为当前第k-1次迭代后的图像分类网络模型参数值的梯度g
k-1
，输
出为第k次迭代所设置的图像分类网络模型的参数值gk，具体过程如下：
[0028]
s21、根据公式(1)和(2)分别获取第k次迭代的adam优化器一阶动量和二阶动量的累积系数；
[0029][0030]
βk＝1-αkꢀꢀ
(2)
[0031]
其中，αk为深度学习优化器adame在第k次迭代中的一阶动量累积系数；βk为深度学习优化器adame在第k次迭代中的中二阶动量累积系数；
[0032]
s22、根据公式(3)和(4)分别获取深度学习优化器adame在第k次迭代的一阶动量和二阶动量；
[0033]dk
＝αk×dk-1
+(1-αk)
×gk
ꢀꢀ
(3)
[0034][0035]
其中，gk为深度学习优化器adame在第k次迭代输出的神经网络模型参数的梯度；dk和d
k-1
为深度学习优化器adame在第k次和第k-1次迭代的一阶动量；sk和s
k-1
为adam优化器在第k次和第k-1次迭代的二阶动量；
[0036]
s23、根据公式(5)获取第k次迭代的神经网络参数
[0037][0038]
其中，和为优化器在第k次和第k-1次迭代的神经网络参数，η
adame
为优化器的初始学习率；为hadamard内积；ε》0为光滑系数；
[0039]
步骤3、基于当前迭代获得的神经网络参数对神经网络参数进行更新，利用训练数据对神经网络模型进行一次训练；k值累计1次；当满足k≤m，返回到s21，进行下一次迭代；如果k》m，执行下一步。
[0040]
步骤4、获取当前参数更新后的神经网络模型，将待分类的包含预定义类别的图像输入到训练好的图像分类神经网络模型，即可输出图像的类别标签，实现图像分类。
[0041]
实施例：
[0042]
本实施例采用本发明提供的一种基于深度学习优化器的图像分类方法，选择神经网络模型capsual network作为图像分类网络模型完成图像分类过程，具体包括如下步骤：
[0043]
s1、建立训练样本集数据来自于公开数据集mnist，包含n＝60000张图片，其中第i张图片xi的图片尺寸为28
×
28的包含分类物体的黑白图片；yi表示第i张图片对应的类别标签，yi为取值为0或1的10维向量，yi中取值为1的位置k表示图片属于第k类别，取值0表示不属于相应类别。
[0044]
s2、将训练样本集中的样本图像输入图像分类网络模型得到样本图像的标签，再采用深度学习优化器adame优化图像分类网络模型的参数值，完成对图像分类网络模型的
训练。
[0045]
本实施例中，设置了随机深度机制，选取交叉熵损失函数，设定的数量批的值为128，训练迭代次数阈值为10，数量批是指每次迭代时输入网络模型的图片数量，例如输入图片数量为256张。
[0046]
为验证本发明方法的高效性，选取另外3种已公开的深度学习优化器adabelief、adabound和adam进行对比测试。
[0047]
具体参数设置如下：
[0048]
将adabelief、adabound、adam和adame深度学习优化器的初始学习率设置为0.01，采用本发明建立的优化器训练神经网络模型capsual network的图像分类结果，与采用现有优化器训练神经网络模型capsual network的图像分类结果，其测试精度(％)对比如图1所示。由图1可见，本发明提供的adame优化器的收敛速度与泛化性能均优于其他优化器。
[0049]
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于自适应累积系数的深度学习优化器的图像分类方法，其特征在于，包括：步骤1、对输入的图像进行预处理，分别得到训练图像数据和待分类图像数据；步骤2、构建深度学习优化器adame；迭代次数k初始值设为1；迭代总次数为m；深度学习优化器adame的输入为当前第k-1次迭代后的图像分类神经网络模型参数值的梯度g
k-1
，输出为第k次迭代所设置的图像分类神经网络模型的参数值g
k
，具体过程包括：s21、根据公式(1)和(2)分别获取第k次迭代的adam优化器一阶动量和二阶动量的累积系数；β
k
＝1-α
k
(2)其中，α
k
为深度学习优化器adame在第k次迭代中的一阶动量累积系数；β
k
为深度学习优化器adame在第k次迭代中的中二阶动量累积系数；s22、根据公式(3)和(4)分别获取深度学习优化器adame在第k次迭代的一阶动量和二阶动量；d
k
＝α
k
×
d
k-1
+(1-α
k
)
×
g
k
(3)其中，g
k
为深度学习优化器adame在第k次迭代输出的图像分类神经网络模型参数的梯度；d
k
和d
k-1
为深度学习优化器adame在第k次和第k-1次迭代的一阶动量；s
k
和s
k-1
为adam优化器在第k次和第k-1次迭代的二阶动量；s23、根据公式(5)获取第k次迭代的图像分类神经网络模型参数s23、根据公式(5)获取第k次迭代的图像分类神经网络模型参数其中，和为深度学习优化器adame在第k次和第k-1次迭代的图像分类神经网络模型参数，η
adame
为深度学习优化器adame的初始学习率；为hadamard内积；ε>0为光滑系数；步骤3、基于当前第k次迭代获得的图像分类神经网络模型参数对图像分类神经网络模型参数进行更新，利用训练图像数据对神经网络模型进行训练；将k值累计1次；当满足k≤m，返回到s21，进行下一次迭代；如果k>m，执行下一步；步骤4、获取当前参数更新后的图像分类神经网络模型，将待分类的图像输入到训练好的图像分类神经网络模型，输出图像的类别标签，实现图像分类。

技术总结
本发明提供了一种基于自适应累积系数的深度学习优化器的图像分类方法，根据当前的迭代次数计算获取相应的AdamE优化器的一阶动量和二阶动量的累积系数，提升图像分类精度，在保证训练效率的同时也能保证训练精度，提高了深度学习优化器的泛化性能。深度学习优化器的泛化性能。深度学习优化器的泛化性能。


技术研发人员：邹伟东 夏元清 李慧芳 张金会 翟弟华 戴荔 刘坤 闫莉萍
受保护的技术使用者：北京理工大学
技术研发日：2023.05.24
技术公布日：2023/8/6