基于自适应算法的应用方法、系统、设备及存储介质

1.本发明涉及供应系统技术领域，特别涉及一种基于自适应算法的应用方法、系统、设备及存储介质。


背景技术：

2.近年来，深度神经网络在计算机视觉的多个领域里取得了显著的成功。基于卷积层的网络已经被广泛的应用，从基本的图像分类、识别任务，到更高级的使用，如：目标检测。
3.深度神经网络的性能优于传统的计算机视觉方法，然而，分布式冷热电联产供应系统具有较高的计算复杂度和大量的参数使得训练这类系统极其困难，诸如，vgg16有大量的卷积层和1.38亿个参数，需要10g的flops才能只对一幅图像进行分类，这样耗时且需要大内存的模型很容易超过移动设备的资源限制，或导致较高的预测延迟。因此，模型的压缩和加速成为了近年来深度学习网络中的一种重要的待解决问题。


技术实现要素：

4.为了解决现有技术中如何压缩和加速深度学习网络的问题，本发明提供了一种基于自适应算法的应用方法、系统、设备及存储介质，以提高分布式冷热电联产供应系统的训练效率以及保证其精度。
5.本发明的技术内容如下：
6.一种基于自适应算法的应用方法，应用于分布式冷热电联产供应系统，包括：
7.构建一个参数少、计算成本低的模型，并确定模型中每一层节点的百分比；
8.根据需求添加参数并进行预处理，将预处理后的参数作为样本对模型进行训练；
9.通过梯度稳定性比往模型的特定层中添加节点，判断梯度是否合适；
10.若判断为肯定，即确定梯度，输出需求模型，若判断为否定，即调整梯度，继续添加节点，直至判断为肯定，停止添加节点，训练并输出需求模型。
11.进一步地，所述参数的预处理包括：
12.非结构化修剪与结构化修剪。
13.进一步地，所述梯度稳定性比通过：
14.样本均方的平方根及梯度的方差进行确定。
15.进一步地，所述节点的添加包括：
16.通过将完整模型的节点的增量百分比进行添加。
17.进一步地，所述调整梯度包括：
18.通过缩放权重补偿所添加的节点，保持梯度稳定性比。
19.本发明提供了一种基于自适应算法的应用系统，所述应用系统为分布式冷热电联产供应系统，包括：
20.分布式冷热电联产供应模块，用于供暖、制冷及供电；
21.自适应算法模块，用于所述分布式冷热电联产供应系统中构建模型。
22.进一步地，所述自适应算法模块包括模型训练单元与梯度调整单元。
23.进一步地，所述模型训练单元是根据深度神经网络中进行预处理后的参数对模型进行训练。
24.进一步地，所述梯度调整单元是根据梯度稳定性比对添加进模型中的节点的增量百分比进行调整。
25.本发明提供了一种基于自适应算法设备，包括：
26.存储器，所述存储器至少存储有一条指令；
27.处理器，用于加载并执行所述指令以实现上述任意一项所述的基于自适应算法的应用方法的操作。
28.本公司还提供了一种计算机存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行时，实现上述任意一项所述的基于自适应算法的应用方法的操作。
29.本发明的有益效果至少包括：
30.(1)通过动态增加必要的节点来减少模型的训练时间，以提高分布式冷热电联产供应系统的训练效率，同时保证不损失精度；
31.(2)本发明通过训练一个只有原始模型部分参数的较小模型，然后训练网络，并将节点添加到由梯度稳定性比决定的特定层中，直到节点增量百分比达到阈值，停止节点添加，训练模型，直到精度收敛，确定模型。
附图说明
32.图1为本发明的基于自适应算法的冷热电联产供应系统的应用框图。
具体实施方式
33.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.结合图1所示，本发明提供了一种基于自适应算法的应用方法，应用于分布式冷热电联产供应系统，包括：
35.构建一个参数少、计算成本低的模型，并确定模型中每一层节点的百分比；
36.本发明构造了一个初始分数为f的小模型，即每个初始模型中的每一层节点的百分比将为f。
37.根据需求添加参数并进行预处理，将预处理后的参数作为样本对模型进行训练；
38.本发明通过随机梯度下降来更新权值，在通过层传播后，梯度可能会显著地增加或减少，不同层之间的数据尺度不同，以及所构建的参数少、计算成本低的模型无法提供足够的准确性，在梯度经过多层后可能会出现不稳定的现象，这种不稳定可能会导致发散或训练速度变慢。因此，为了补救不稳定梯度，本发明通过在这些层中添加节点以稳定梯度。
39.通过梯度稳定性比往模型的特定层中添加节点，判断梯度是否合适；节点添加到
由梯度稳定性决定的特定层中，节点的加入会提高模型的精度，稳定梯度，具有更多节点的一层可以识别出更复杂的功能，并为识别提高更多有用的信息。
40.若判断为肯定，即确定梯度，输出需求模型，若判断为否定，即调整梯度，继续添加节点，直至判断为肯定，停止添加节点，训练并输出需求模型。
41.本发明通过提出一种早期停止的机制，确定停止百分比，跟踪训练过程中节点的数量，当当前节点的百分比达到停止标准时，即停止添加节点。
42.也就是说，节点的添加将在网络增长到其全部大小之前停止，以节省计算。在mobilenet模型和cifar100数据集上的实验表明，早期停止训练比全尺寸模型训练要快得多。具体来说，网络模型从0.25模型开始，然后在0.5模型中停止。它只使用了原始模型计算成本的24％，精度损失只有2％。此外，早期停止机制将创建一个比全尺寸模型更小的模型，并且它有一个更快的推理速度。
43.进一步地，所述参数的预处理包括：
44.非结构化修剪与结构化修剪。
45.由于深度神经网络中的许多参数都是冗余的，并且对输出不贡献信息，从神经网络中剪除参数是减少网络训练时间的一种方式。
46.非结构化修剪，即删除所有接近与零的权重；
47.结构化修剪，即删除节点和连接到这些节点的所有边。
48.进一步地，所述梯度稳定性比通过：
49.样本均方的平方根及梯度的方差进行确定。
50.根据均方根和梯度的方差，定义两组类型的梯度稳定比，均方根为样本均方的平方根，等于长度除以数据数的平方根，如下式：
[0051][0052]
其中，r表示均方根函数。
[0053]
方差梯度稳定性比通过表示，由式(2)定义：
[0054][0055]
其中，v表示一个随机变量的方差，在式(1)、式(2)中，δχ1都是第1层输入的梯度。
[0056]
本发明通过调和平均值定义了第i层的一批的梯度稳定性比，用r
l
表示：
[0057][0058]
其中，i是第1层第i批的梯度稳定性比，b是批次大小，gl。
[0059]
进一步地，所述节点的添加包括：
[0060]
通过将完整模型的节点的增量百分比进行添加。
[0061]
选定需要扩展的层之后，将完整模型的节点的增量百分比添加到层中，因为一个完整模型的层中，节点的数量有显著差异，因此，节点的添加是一个恒定的百分比，不是固定数量的节点数量。
[0062]
进一步地，所述调整梯度包括：
[0063]
通过缩放权重补偿所添加的节点，保持梯度稳定性比。
[0064]
所选图层中新添加的节点将为下一个图层创建额外的边，这些添加的节点改变了所选层中参数的平均值和方差，本发明通过缩放权重来补偿所添加的节点，在添加节点后，根据一个因子来调整选定层中的节点的权重，通过下式：
[0065]
w0＝w
·
nn+。w0 (4)；
[0066]
w0和w是缩放前后的权重，n是添加节点之前的节点数，a是添加到改层中的节点数，通过梯度调整能大幅度减少冷热电联产供应系统的训练时间。
[0067]
本发明提供了一种基于自适应算法的应用系统，所述应用系统为分布式冷热电联产供应系统，包括：
[0068]
分布式冷热电联产供应模块，用于供暖、制冷及供电；
[0069]
自适应算法模块，用于所述分布式冷热电联产供应系统中构建模型。
[0070]
供应系统如图1所示，包含供暖、制冷、供电功能，自适应算法模块设置在供应系统内，根据需求通过自适应算法模块进行对模型的训练，构建需求模型。
[0071]
进一步地，所述自适应算法模块包括模型训练单元与梯度调整单元。
[0072]
进一步地，所述模型训练单元是根据深度神经网络中进行预处理后的参数对模型进行训练。
[0073]
进一步地，所述梯度调整单元是根据梯度稳定性比对添加进模型中的节点的增量百分比进行调整。
[0074]
本发明提供了一种基于自适应算法设备，包括：
[0075]
存储器，所述存储器至少存储有一条指令；
[0076]
处理器，用于加载并执行所述指令以实现上述任意一项所述的基于自适应算法的应用方法的操作。
[0077]
本公司还提供了一种计算机存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行时，实现上述任意一项所述的基于自适应算法的应用方法的操作。
[0078]
本发明通过动态增加必要的节点来减少训练时间，以提高分布式冷热电联产供应系统对模型的训练效率，同时保证不损失模型精度。
[0079]
本发明通过构建一个只有原始模型部分参数的较小模型，然后添加参数，建立新样本，训练模型，在模型梯度稳定性比不稳定时，再通过添加节点到特定层中，直到梯度满足，稳定梯度后，继续对模型进行训练，达到精度收敛的效果，该模型可以在计算能力和存储空间都有限的环境中快速推理。
[0080]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种基于自适应算法的应用方法，应用于分布式冷热电联产供应系统，其特征在于：包括：构建一个参数少、计算成本低的模型，并确定模型中每一层节点的百分比；根据需求添加参数并进行预处理，将预处理后的参数作为样本对模型进行训练；通过梯度稳定性比往模型的特定层中添加节点，判断梯度是否合适；若判断为肯定，即确定梯度，输出需求模型，若判断为否定，即调整梯度，继续添加节点，直至判断为肯定，停止添加节点，训练并输出需求模型。2.根据权利要求1所述的基于自适应算法的应用方法，其特征在于：所述参数的预处理包括：非结构化修剪与结构化修剪。3.根据权利要求1所述的基于自适应算法的应用方法，其特征在于：所述梯度稳定性比通过：样本均方的平方根及梯度的方差进行确定。4.根据权利要求1所述的基于自适应算法的应用方法，其特征在于：所述节点的添加包括：通过将完整模型的节点的增量百分比进行添加。5.根据权利要求1所述的基于自适应算法的应用方法，其特征在于：所述调整梯度包括：通过缩放权重补偿所添加的节点，保持梯度稳定性比。6.一种基于自适应算法的应用系统，所述应用系统为分布式冷热电联产供应系统，其特征在于：包括：分布式冷热电联产供应模块，用于供暖、制冷及供电；自适应算法模块，用于所述分布式冷热电联产供应系统中构建模型。7.根据权利要求6所述的基于自适应算法的应用系统，其特征在于：所述自适应算法模块包括模型训练单元与梯度调整单元。8.根据权利要求7所述的基于自适应算法的应用系统，其特征在于：所述模型训练单元是根据深度神经网络中进行预处理后的参数对模型进行训练，所述梯度调整单元是根据梯度稳定性比对添加进模型中的节点的增量百分比进行调整。9.一种基于自适应算法设备，其特征在于：包括：存储器，所述存储器至少存储有一条指令；处理器，用于加载并执行所述指令以实现权利要求1-5任意一项所述的基于自适应算法的应用方法的操作。10.一种计算机存储介质，所述存储介质中存储有至少一条指令，其特征在于：所述指令由处理器加载并执行时，实现权利要求1-5任意一项所述的基于自适应算法的应用方法的操作。

技术总结
本发明涉及供应系统技术领域，公开了一种基于自适应算法的应用方法、系统、设备及存储介质，构建一个参数少、计算成本低的模型，并确定模型中每一层节点的百分比；根据需求添加参数并进行预处理，将预处理后的参数作为样本对模型进行训练；通过梯度稳定性比往模型的特定层中添加节点，判断梯度是否合适；若判断为肯定，即确定梯度，输出需求模型，若判断为否定，即调整梯度，继续添加节点，直至判断为肯定，停止添加节点，训练并输出需求模型。本发明通过训练一个只有原始模型部分参数的较小模型，然后训练网络，并将节点添加到由梯度稳定性比决定的特定层中，直到节点增量百分比达到阈值，停止节点添加，训练模型，直到精度收敛，确定模型。型。型。


技术研发人员：赵菊敏 李灯熬 陈志超
受保护的技术使用者：太原理工大学
技术研发日：2023.03.01
技术公布日：2023/7/21