一种融合课程学习策略的脉冲神经网络优化方法

1.本发明涉及一种融合课程学习策略的脉冲神经网络优化方法，属于机器学习、深度学习领域。


背景技术：

2.脉冲神经网络，是模拟人类大脑处理信息的方式神经网络。相比于传统人工神经网络，脉冲神经网络具有低能耗、高效处理时序信息等优点。经过发展，脉冲神经网络当前有三种主要的学习方式：监督学习、无监督学习、人工神经网络转脉冲神经网络。
3.脉冲神经网络中通过脉冲神经元传递0/1离散的脉冲信号，对每一个脉冲神经元，接收到输入时，神经元膜电位根据神经元动力学方程进行变化。若接收输入后，膜电位超过既定阈值，则神经元输出1，发放一个脉冲，并恢复到静息电位；否则神经元输出0，保持静默。这就是脉冲神经元的充电、放电和重置过程。
4.而当前的脉冲神经网络模型在训练过程中总是平等的对待所有样本，没有考虑当前状态下模型的学习能力是否可以有效的学习相对复杂而困难的知识，这并不合理，也不符合人类学习的自然规律，因而具有较低的生物可解释性。


技术实现要素：

5.为了克服现有技术中存在的缺陷，本发明旨在提供一种融合课程学习策略的脉冲神经网络优化方法。
6.本发明解决上述技术问题所提供的技术方案是：一种融合课程学习策略的脉冲神经网络优化方法，包括以下步骤：
7.步骤s10、随机初始化脉冲神经网络的各参数；
8.步骤s20、基于训练集中的训练样本对初始化后的脉冲神经网络进行训练，获得预测结果；
9.步骤s30、将预测结果与训练集中的样本标签对比，并计算得到训练样本交叉熵损失li；
10.步骤s40、利用步骤s30中得到的交叉熵损失li，计算得到各训练样本的置信度σi；
11.步骤s50、利用步骤s30得到的交叉熵损失li和步骤s40中得到的置信度σi，计算得到置信度损失li；
12.步骤s60、将步骤s50中得到的置信度损失li最小为目标函数，逐层向前求导，更新脉冲神经网络中每一层各神经元的参数；
13.步骤s70、重复步骤s20-s60，不断更新优化脉冲神经网络的参数，直到迭代完成设定好的轮次，得到脉冲神经网络优化后的脉冲神经网络模型。
14.进一步的技术方案是，所述步骤s20中训练样本编码为脉冲序列。
15.进一步的技术方案是，所述步骤s20的具体步骤为：
16.步骤s21、将训练集中的训练样本编码为脉冲序列，并输入脉冲神经网络中；
17.步骤s22、逐层向后根据lif神经元的动力学公式进行计算处理；
18.步骤s23、根据输出层各神经元发放脉冲的频率，得到模型预测的结果。
19.进一步的技术方案是，所述步骤s40中的计算公式为：
[0020][0021][0022]
式中：li为交叉熵损失；σi为置信度。
[0023]
进一步的技术方案是，所述步骤s50中的计算公式为：
[0024]
l
λ
(li,σi)＝(l
i-τ)σi+λ(logσi)2[0025]
式中：li为置信度损失；li为交叉熵损失；σi为置信度。
[0026]
一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现上述的一种融合课程学习策略的脉冲神经网络优化方法。
[0027]
一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的一种融合课程学习策略的脉冲神经网络优化方法。
[0028]
本发明具有以下有益效果：本发明通过样本的交叉熵损失li来评价该样本对当前状态下模型的难度，损失li越大，样本越难，同时计算得到的置信度σi越低，即降低该较难样本在反向传播过程中对参数更新的影响；相反的，若li越小，表示当前样本的可信度较高，即赋予其较大的置信度σi，放大其对网络参数更新的影响。这个根据样本难度进行置信度缩放的过程，实现了课程学习的核心原理，即网络模型从简单到难的学习，模拟人类学习新知识的过程，实现了脉冲神经网络的高生物合理。
附图说明
[0029]
图1为引入课程学习策略的脉冲神经网络结构示意图。
[0030]
实施方式
[0031]
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
本发明的一种融合课程学习策略的脉冲神经网络优化方法，包括以下步骤：
[0033]
一、模型训练；
[0034]
s0：随机初始化脉冲神经网络的各参数；
[0035]
s1：训练集样本数据编码为脉冲序列输入网络；
[0036]
s2：逐层向后根据lif神经元的动力学公式进行计算处理；
[0037]
s3：在输出层，根据输出层各神经元发放脉冲的频率，得到模型预测的分类结果；
[0038]
s4：将预测结果与样本标签对比，并计算得到训练样本交叉熵损失li；
[0039]
s5：利用s4中得到的交叉熵损失li，对各样本的难易度进行评价，根据公式计算得到各样本的置信度σi；
[0040][0041]
其中
[0042]
s6:利用s4得到的交叉熵损失li和s5中得到的置信度σi，根据公式计算得到新的基于置信度的损失li；
[0043]
l
λ
(li,σi)＝(l
i-τ)σi+λ(logσi)2[0044]
s7：以使s6中求得的置信度损失li最小为目标函数，逐层向前求导，更新每一层各神经元的参数；
[0045]
s8：重复s1-s7，不断更新优化网络的参数，直到迭代完成设定好的轮次，得到脉冲神经网络优化后的脉冲神经网络模型。
[0046]
二、模型测试：
[0047]
s9：测试集样本数据编码为脉冲序列输入训练完成的脉冲神经网络。
[0048]
s10：逐层向后根据lif神经元的动力学公式进行计算处理。
[0049]
s11：在网络输出层，根据输出层各神经元发放脉冲的频率，得到模型预测的分类结果。
[0050]
s12：将模型预测与样本标签对比，一致则表明模型预测正确，否则预测错误，计算模型分类正确率。
[0051]
本发明在脉冲神经网络中引入课程学习，在训练过程中动态的评价样本的难度，扩大对模型当前状态来说较简单的样本在反向传播中的贡献，对当前较难的样本，则减少对参数更新的影响。此脉冲神经网络优化策略具有高生物合理性，有效的实现了在脉冲神经网络中模拟人类学习新知识的过程。
[0052]
在mnist、cifar10、fashion-mnist、n-mnist数据集上进行图像分类实验，得到我们的cl-snn模型的分类正确率与已有的backeisnn模型结果对比如下：
[0053]
数据集backeisnncl-snnmnist99.6799.71cifar1090.9392.74fashion-mnist93.4594.54n-mnist99.5799.58
[0054]
以上所述，并非对本发明作任何形式上的限制，虽然本发明已通过上述实施例揭示，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，可利用上述揭示的技术内容作出些变动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

技术特征：
1.一种融合课程学习策略的脉冲神经网络优化方法，其特征在于，包括以下步骤：步骤s10、随机初始化脉冲神经网络的各参数；步骤s20、基于训练集中的训练样本对初始化后的脉冲神经网络进行训练，获得预测结果；步骤s30、将预测结果与训练集中的样本标签对比，并计算得到训练样本交叉熵损失l
i
；步骤s40、利用步骤s30中得到的交叉熵损失l
i
，计算得到各训练样本的置信度σ
i
；步骤s50、利用步骤s30得到的交叉熵损失l
i
和步骤s40中得到的置信度σ
i
，计算得到置信度损失l
i
；步骤s60、将步骤s50中得到的置信度损失l
i
最小为目标函数，逐层向前求导，更新脉冲神经网络中每一层各神经元的参数；步骤s70、重复步骤s20-s60，不断更新优化脉冲神经网络的参数，直到迭代完成设定好的轮次，得到脉冲神经网络优化后的脉冲神经网络模型。2.根据权利要求1所述的一种融合课程学习策略的脉冲神经网络优化方法，其特征在于，所述步骤s20中训练样本编码为脉冲序列。3.根据权利要求1所述的一种融合课程学习策略的脉冲神经网络优化方法，其特征在于，所述步骤s20的具体步骤为：步骤s21、将训练集中的训练样本编码为脉冲序列，并输入脉冲神经网络中；步骤s22、逐层向后根据lif神经元的动力学公式进行计算处理；步骤s23、根据输出层各神经元发放脉冲的频率，得到模型预测的结果。4.根据权利要求1所述的一种融合课程学习策略的脉冲神经网络优化方法，其特征在于，所述步骤s40中的计算公式为：于，所述步骤s40中的计算公式为：式中：l
i
为交叉熵损失；σ
i
为置信度。5.根据权利要求1所述的一种融合课程学习策略的脉冲神经网络优化方法，其特征在于，所述步骤s50中的计算公式为：l
λ
(l
i
,σ
i
)＝(l
i-τ)σ
i
+λ(logσ
i
)2式中：l
i
为置信度损失；l
i
为交叉熵损失；σ
i
为置信度。6.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的一种融合课程学习策略的脉冲神经网络优化方法。7.一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的一种融合课程学习策略的脉冲神经网络优化方法。

技术总结
本发明公开了一种融合课程学习策略的脉冲神经网络优化方法，包括基于训练集中的训练样本对初始化后的脉冲神经网络进行训练，获得预测结果；将预测结果与训练集中的样本标签对比，并计算得到置信度损失；将置信度损失最小为目标函数，逐层向前求导，更新脉冲神经网络中每一层各神经元的参数；不断更新优化脉冲神经网络的参数，直到迭代完成设定好的轮次。本发明在脉冲神经网络中引入课程学习，在训练过程中动态的评价样本的难度，扩大对模型当前状态来说较简单的样本在反向传播中的贡献，对当前较难的样本，则减少对参数更新的影响。此脉冲神经网络优化策略具有高生物合理性，有效的实现了在脉冲神经网络中模拟人类学习新知识的过程。的过程。的过程。


技术研发人员：储节磊 唐玲玲
受保护的技术使用者：西南交通大学
技术研发日：2023.06.13
技术公布日：2023/8/23