一种基于GA-AM-GRU的流程工业能耗预测方法与流程

一种基于ga-am-gru的流程工业能耗预测方法
技术领域
1.本发明涉及工业生产能耗预测技术领域，尤其是一种基于ga-am-gru的流程工业能耗预测方法。


背景技术：

2.流程工业上为了做生产能耗预测，往往建立一个以生产变量为输入特征，以生产能耗为输出的一个模型，建立能耗预测模型的目标是通过预测能耗情况来结合生产过程优化从而降低生产能耗。流程工业的生产能耗是个复杂的非线性问题，输入特征多而复杂，包括不限于工业原料中各种工业指标类特征、关键反应炉的各项操作类指标等。因此，流程工业生产过程中能耗模型难以用纯数学解析式方式建模。
3.在能耗预测模型的研究工作中，有的现有方法选择bp神经网络来建模分析。但是流程工业生产数据有一定的时序性特征，即输入向量各个维度间存在隐式的时间关联。因此，虽然基于bp神经网络的能耗预测模型可以达到一定精度，但是bp神经网络不能很好的对这种时序关系进行抽象建模。现有方法在bp神经网络的基础之上以差分进化算法来优化随机选取bp网络初始阈值和权值过程，加快模型收敛和减少迭代次数。然而，仅使用差分进化算法优化网络的初始阈值和权值对网络加速有限，忽略了网络拓扑结构(网络的超参数)对于收敛速度和最终预测精度的更为重要的影响。
4.此外，也有现有技术提出了基于lstm的冷水机组能耗预测方法，对模拟建筑和实际建筑中的冷水机组能耗进行了预测。相比于bp、mlr等能耗预测模型，发挥了其兼顾时序性和非线性问题的优势。但是，目前流程工业数据集数据维度较低，数据量偏少，lstm网络单元结构较为复杂，且没有引入较好的方法来确定lstm网络超参数和初始权值与偏置，容易造成过拟合现象。


技术实现要素：

5.鉴于循环神经网络在处理时序数据集上的优越表现，但是存在参数量较大、易产生梯度爆炸和消失、模型预测的精度有限、算法运行性能等问题，本发明的目的在于提出一种大大降低网络参数量、提升网络的预测能力、提高算法运行效率的基于ga-am-gru的流程工业能耗预测方法。
6.为实现上述目的，本发明采用了以下技术方案：一种基于ga-am-gru的流程工业能耗预测方法，该方法包括下列顺序的步骤：
7.(1)采集数据，划分数据集并进行预处理；
8.(2)构建am-gru能耗预测网络模型，并初始化am-gru能耗预测网络模型的超参数；
9.(3)初始化am-gru能耗预测网络模型的权值和阈值；
10.(4)采用ga算法进行ga种群初始化；
11.(5)确定适应度函数；
12.(6)进行选择操作；
13.(7)评估适应度值；
14.(8)迭代更新直至产生最优解；
15.(9)设置am-gru能耗预测网络模型并进行训练，输出预测结果。
16.所述步骤(1)具体包括以下步骤：
17.(1a)采集数据并进行数据预处理，包括：
18.数据清洗，对原始数据进行清洗，去除重复值、缺失值和异常值；
19.数据标准化，将数据进行标准化，包括z-score标准化和min-max标准化；
20.数据归一化，将数据缩放到相同的范围内，包括最小-最大归一化和均值归一化；
21.(1b)进行特征选择，从原始数据中选取最具有代表性的特征，减少模型的复杂度和提高模型的泛化能力；
22.(1c)在数据预处理和特征选择之后，将数据集按7：3的比例分割成训练集和测试集。
23.所述步骤(2)具体是指：在gru门控循环单元网络上加入am注意力机制模块，得到am-gru网络，初始化am-gru网络，设定am-gru能耗预测网络模型的超参数，包括隐藏层节点的个数和gru门控循环单元网络的层数，完成am-gru能耗预测网络模型的搭建；
24.所述整个gru门控循环单元网络在t时刻的计算公式如下：
25.r
t
＝σ(wr×
[c
t-1
,x
t
])
[0026]zt
＝σ(wz×
[c
t-1
,x
t
])
[0027][0028][0029]
其中,x
t
为t时刻的输入,c
t-1
为上一个时刻的记忆,w,wr,wz为权值矩阵,σ为sigmoid激活函数,tanh为tanh激活函数,r
t
为重置门,z
t
为更新门,为中间状态，c
t
表示输出和输入下一个时刻的记忆。
[0030]
所述步骤(3)具体是指：通过xavier初始化来设置am-gru能耗预测网络模型的权值和阈值，根据前一层神经元的数量和输入数据的维度来计算每个神经元的权值，使得每个神经元的权值都接近于一个单位矩阵的逆矩阵除以输入数据维度的平方根。
[0031]
所述步骤(4)具体是指：随机生成一定数量的个体，每个个体都代表一个可能的解，每一个解由am-gru能耗预测网络模型的超参数、权值和阈值的信息组成，初始种群的规模设置为10，迭代上限设置为50次，具体步骤如下：
[0032]
(4a)初始化ga算法的参数，设其种群规模为10，最大迭代次数为50；
[0033]
(4b)ga算法中每个个体的位置是由am-gru能耗预测网络模型的超参数、权值和阈值信息编码组成的一个向量；
[0034]
(4c)ga算法中每个个体依据位置向量解码成对应的网络，并计算该网络在训练集上的训练误差作为该个体的适应度函数值；
[0035]
(4d)ga算法中每个个体依据适应度函数值的好坏进行选择、交叉和变异操作，生成新的种群；
[0036]
(4e)重复步骤(4d)，直到ga算法达到最大迭代次数，输出其最终的结果。
[0037]
所述步骤(5)具体是指：将am-gru能耗预测网络模型的误差设为适应度函数，设置均方根误差rmse为适应度函数，其计算公式如下：
[0038][0039]
其中，yi表示真实值，表示预测值，n表示样本数量。
[0040]
在步骤(6)中，所述选择操作是指从当前种群中选择一部分个体进行单点交叉、多点交叉和均匀变异，以产生新的个体。
[0041]
所述步骤(7)具体是指：依据适应度函数即目标函数计算ga算法中每个个体的适应度值，根据适应度值选择个体进行交叉、变异产生新的个体。
[0042]
所述步骤(8)具体是指：返回步骤(6)和步骤(7)进行选择操作和评估适应度值，直到达到终止条件为止；当达到终止条件时，从种群中选择适应度最高的个体作为最优解，该最优解即为am-gru能耗预测网络模型的最佳超参数、权值和阈值。
[0043]
所述步骤(9)具体是指：根据最优解设置am-gru能耗预测网络模型的超参数、权值和阈值，并在训练集上进行模型训练；利用训练好的am-gru能耗预测网络模型在测试集上进行测试，输出预测结果，即各种情况下的总耗能e。
[0044]
由上述技术方案可知，本发明的有益效果为：第一，针对流程工业数据特征的时序相关性，选择对时序信号敏感的循环神经网络对特征进行建模，来弥补bp网络和mlr网络的缺点；针对标准循环神经网络参数量较大，且容易产生梯度爆炸和消失等问题，选择其变体网络gru门控循环单元网络来替代标准循环神经网络，而且在目前根据流程工业数据量的特点，gru门控循环单元网络优于其另一种变体网络lstm，将网络参数量大大降低；第二，单一的变体循环神经网络lstm或gru的能耗预测精度有限，为了进一步提高预测精度，将am注意力机制模块作引入gru门控循环单元网络，产生注意力感知的特征，抑制无关的信息，提高模型的预测效率；第三，传统的人工调参方法具有较大的随机性和偶然性，费时费力，为了改善这一情况，本发明采用遗传算法ga来优化超参数和初始权值、阈值的搜索过程，避免网络陷入局部最优，在避免算法早衰的同时，进一步提升网络的预测能力。
附图说明
[0045]
图1为gru门控循环单元网络的结构图；
[0046]
图2为am-gru能耗预测模型图；
[0047]
图3为本发明的方法流程图。
具体实施方式
[0048]
如图3所示，一种基于ga-am-gru的流程工业能耗预测方法，该方法包括下列顺序的步骤：
[0049]
(1)采集数据，划分数据集并进行预处理；
[0050]
(2)构建am-gru能耗预测网络模型，并初始化am-gru能耗预测网络模型的超参数；
[0051]
(3)初始化am-gru能耗预测网络模型的权值和阈值；
[0052]
(4)采用ga算法进行ga种群初始化；
[0053]
(5)确定适应度函数；
[0054]
(6)进行选择操作；
[0055]
(7)评估适应度值；
[0056]
(8)迭代更新直至产生最优解；
[0057]
(9)设置am-gru能耗预测网络模型并进行训练，输出预测结果。
[0058]
所述步骤(1)具体包括以下步骤：
[0059]
(1a)采集数据并进行数据预处理，包括：
[0060]
数据清洗，对原始数据进行清洗，去除重复值、缺失值和异常值；
[0061]
数据标准化，将数据进行标准化，包括z-score标准化和min-max标准化；
[0062]
数据归一化，将数据缩放到相同的范围内，包括最小-最大归一化和均值归一化；
[0063]
(1b)进行特征选择，从原始数据中选取最具有代表性的特征，减少模型的复杂度和提高模型的泛化能力；
[0064]
(1c)在数据预处理和特征选择之后，将数据集按7：3的比例分割成训练集和测试集。
[0065]
所述步骤(2)具体是指：在gru门控循环单元网络上加入am注意力机制模块，得到am-gru网络，初始化am-gru网络，设定am-gru能耗预测网络模型的超参数，包括隐藏层节点的个数和gru门控循环单元网络的层数，完成am-gru能耗预测网络模型的搭建；如隐藏层节点的个数可初步设置为128、gru门控循环单元网络的层数可初步设置为单层或双层。
[0066]
am-gru能耗预测网络模型使用注意力机制改进门控循环单元网络实现流程工业能耗的预测，整个am-gru能耗预测网络模型输入层接收输入向量，这些特征之间是存在时序相关性的，通过gru门控循环单元网络对这种隐式的关系进行建模，使用全连接层对gru门控循环单元网络的结果进行映射，并使用am注意力机制模块对结果进行评判最终映射到指定维度的输出。
[0067]
如图2所示，输入向量(x1,x2,x3,...,xn)经过gru门控循环单元网络，输出包含时序特点的序列向量(y1,y2,y3,...,yn)，再通过全连接层(dense)映射一次，将映射的结果分配不同注意力(通过softmax激活函数压缩值域至0～1，再与其本身做乘积)，最后再通过一次全连接缩减维度，得到期望维度的预测结果y。
[0068]
如图1所示，所述整个gru门控循环单元网络在t时刻的计算公式如下：
[0069]rt
＝σ(wr×
[c
t-1
,x
t
])
[0070]zt
＝σ(wz×
[c
t-1
,x
t
])
[0071][0072][0073]
其中,x
t
为t时刻的输入,c
t-1
为上一个时刻的记忆,w,wr,wz为权值矩阵,σ为sigmoid激活函数,tanh为tanh激活函数,r
t
为重置门,z
t
为更新门,为中间状态，c
t
表示输出和输入下一个时刻的记忆。
[0074]
所述步骤(3)具体是指：通过xavier初始化来设置am-gru能耗预测网络模型的权值和阈值，根据前一层神经元的数量和输入数据的维度来计算每个神经元的权值，使得每
个神经元的权值都接近于一个单位矩阵的逆矩阵除以输入数据维度的平方根。xavier初始化是一种用于神经网络权重初始化的方法，旨在帮助网络更快地收敛并避免梯度消失或爆炸的问题。这种方法的原理是根据网络前一层的输入和后一层的输出的数量自适应地初始化权重。具体来说，xavier初始化将权重随机初始化为均匀分布或正态分布中的小随机值，其标准差由前一层输入和后一层输出的数量共同决定。
[0075]
所述步骤(4)具体是指：随机生成一定数量的个体，每个个体都代表一个可能的解，每一个解由am-gru能耗预测网络模型的超参数、权值和阈值的信息组成，初始种群的规模设置为10，迭代上限设置为50次，具体步骤如下：
[0076]
(4a)初始化ga算法的参数，设其种群规模为10，最大迭代次数为50；
[0077]
(4b)ga算法中每个个体的位置是由am-gru能耗预测网络模型的超参数、权值和阈值信息编码组成的一个向量；
[0078]
(4c)ga算法中每个个体依据位置向量解码成对应的网络，并计算该网络在训练集上的训练误差作为该个体的适应度函数值；
[0079]
(4d)ga算法中每个个体依据适应度函数值的好坏进行选择、交叉和变异操作，生成新的种群；
[0080]
(4e)重复步骤(4d)，直到ga算法达到最大迭代次数，输出其最终的结果。
[0081]
ga算法是一种基于自然选择和遗传学原理的优化算法，它通过模拟生物进化过程来搜索最优解，具有较强的全局寻优能力和鲁棒性，在本发明中用于优化超参数、权重与阈值，主要包括选择、交叉、变异等步骤。
[0082]
所述步骤(5)具体是指：将am-gru能耗预测网络模型的误差设为适应度函数，设置均方根误差rmse为适应度函数，其计算公式如下：
[0083][0084]
其中，yi表示真实值，表示预测值，n表示样本数量。
[0085]
在步骤(6)中，所述选择操作是指从当前种群中选择一部分个体进行单点交叉、多点交叉和均匀变异，以产生新的个体。
[0086]
所述步骤(7)具体是指：依据适应度函数即目标函数计算ga算法中每个个体的适应度值，根据适应度值选择个体进行交叉、变异产生新的个体。
[0087]
所述步骤(8)具体是指：返回步骤(6)和步骤(7)进行选择操作和评估适应度值，直到达到终止条件为止；当达到终止条件时，从种群中选择适应度最高的个体作为最优解，该最优解即为am-gru能耗预测网络模型的最佳超参数、权值和阈值。
[0088]
以下是几种常见的遗传算法的终止条件：
[0089]
1.达到最大迭代次数
[0090]
遗传算法的一个常见终止条件是达到最大迭代次数。在算法开始时，可以设置一个预定的最大迭代次数，当算法迭代次数达到该值时，遗传算法会停止演化并输出当前最优解。
[0091]
2.达到最大适应度阈值
[0092]
在算法开始时，可以设置一个预定的最大适应度值，当种群中某个个体的适应度
达到该值时，遗传算法会停止演化并输出当前最优解。
[0093]
3.适应度值连续若干代没有改进
[0094]
如果遗传算法在连续若干代中没有找到更好的解，那么可能已经陷入局部最优解，此时可以选择终止算法并输出当前最优解。
[0095]
4.达到问题的解决要求
[0096]
如果问题的解决要求已经满足，那么可以选择终止遗传算法并输出当前最优解。例如，如果问题的解必须满足某些约束条件，当最优解满足所有约束条件时，可以停止算法运行。
[0097]
终止条件的选择应该结合具体问题和算法的实现来考虑，以达到最优的效果为止。
[0098]
所述步骤(9)具体是指：根据最优解设置am-gru能耗预测网络模型的超参数、权值和阈值，并在训练集上进行模型训练；利用训练好的am-gru能耗预测网络模型在测试集上进行测试，输出预测结果，即各种情况下的总耗能e。
[0099]
综上所述，本发明提出了利用am注意力机制模块改进的gru门控循环单元网络有较强的提取时序信息的能力，比bp、mlr等网络更适用于流程工业能耗预测，而且比lstm的参数量少。另外，将遗传算法ga作为同时优化整个am-gru能耗预测网络模型超参数、权值与阈值的策略，较单一的优化网络超参数或权值与阈值方式预测精度更高。
[0100]
以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里给出与描述的图例。

技术特征：
1.一种基于ga-am-gru的流程工业能耗预测方法，其特征在于：该方法包括下列顺序的步骤：(1)采集数据并进行预处理，进行特征选择，划分数据集；(2)构建am-gru能耗预测网络模型，并初始化am-gru能耗预测网络模型的超参数；(3)初始化am-gru能耗预测网络模型的权值和阈值；(4)采用ga算法进行ga种群初始化；(5)确定适应度函数；(6)进行选择操作；(7)评估适应度值；(8)迭代更新直至产生最优解；(9)设置am-gru能耗预测网络模型并进行训练，输出预测结果。2.根据权利要求1所述的基于ga-am-gru的流程工业能耗预测方法，其特征在于：所述步骤(1)具体包括以下步骤：(1a)采集数据并进行数据预处理，包括：数据清洗，对原始数据进行清洗，去除重复值、缺失值和异常值；数据标准化，将数据进行标准化，包括z-score标准化和min-max标准化；数据归一化，将数据缩放到相同的范围内，包括最小-最大归一化和均值归一化；(1b)进行特征选择，从原始数据中选取最具有代表性的特征，减少模型的复杂度和提高模型的泛化能力；(1c)在数据预处理和特征选择之后，将数据集按7：3的比例分割成训练集和测试集。3.根据权利要求1所述的基于ga-am-gru的流程工业能耗预测方法，其特征在于：所述步骤(2)具体是指：在gru门控循环单元网络上加入am注意力机制模块，得到am-gru网络，初始化am-gru网络，设定am-gru能耗预测网络模型的超参数，包括隐藏层节点的个数和gru门控循环单元网络的层数，完成am-gru能耗预测网络模型的搭建；所述整个gru门控循环单元网络在t时刻的计算公式如下：r
t
＝σ(w
r
×
[c
t-1
,x
t
])z
t
＝σ(w
z
×
[c
t-1
,x
t
])])其中,x
t
为t时刻的输入,c
t-1
为上一个时刻的记忆,w,w
r
,w
z
为权值矩阵,σ为sigmoid激活函数,tanh为tanh激活函数,r
t
为重置门,z
t
为更新门,为中间状态，c
t
表示输出和输入下一个时刻的记忆。4.根据权利要求1所述的基于ga-am-gru的流程工业能耗预测方法，其特征在于：所述步骤(3)具体是指：通过xavier初始化来设置am-gru能耗预测网络模型的权值和阈值，根据前一层神经元的数量和输入数据的维度来计算每个神经元的权值，使得每个神经元的权值都接近于一个单位矩阵的逆矩阵除以输入数据维度的平方根。5.根据权利要求1所述的基于ga-am-gru的流程工业能耗预测方法，其特征在于：所述
步骤(4)具体是指：随机生成一定数量的个体，每个个体都代表一个可能的解，每一个解由am-gru能耗预测网络模型的超参数、权值和阈值的信息组成，初始种群的规模设置为10，迭代上限设置为50次，具体步骤如下：(4a)初始化ga算法的参数，设其种群规模为10，最大迭代次数为50；(4b)ga算法中每个个体的位置是由am-gru能耗预测网络模型的超参数、权值和阈值信息编码组成的一个向量；(4c)ga算法中每个个体依据位置向量解码成对应的网络，并计算该网络在训练集上的训练误差作为该个体的适应度函数值；(4d)ga算法中每个个体依据适应度函数值的好坏进行选择、交叉和变异操作，生成新的种群；(4e)重复步骤(4d)，直到ga算法达到最大迭代次数，输出其最终的结果。6.根据权利要求1所述的基于ga-am-gru的流程工业能耗预测方法，其特征在于：所述步骤(5)具体是指：将am-gru能耗预测网络模型的误差设为适应度函数，设置均方根误差rmse为适应度函数，其计算公式如下：其中，y
i
表示真实值，表示预测值，n表示样本数量。7.根据权利要求1所述的基于ga-am-gru的流程工业能耗预测方法，其特征在于：在步骤(6)中，所述选择操作是指从当前种群中选择一部分个体进行单点交叉、多点交叉和均匀变异，以产生新的个体。8.根据权利要求1所述的基于ga-am-gru的流程工业能耗预测方法，其特征在于：所述步骤(7)具体是指：依据适应度函数即目标函数计算ga算法中每个个体的适应度值，根据适应度值选择个体进行交叉、变异产生新的个体。9.根据权利要求1所述的基于ga-am-gru的流程工业能耗预测方法，其特征在于：所述步骤(8)具体是指：返回步骤(6)和步骤(7)进行选择操作和评估适应度值，直到达到终止条件为止；当达到终止条件时，从种群中选择适应度最高的个体作为最优解，该最优解即为am-gru能耗预测网络模型的最佳超参数、权值和阈值。10.根据权利要求1所述的基于ga-am-gru的流程工业能耗预测方法，其特征在于：所述步骤(9)具体是指：根据最优解设置am-gru能耗预测网络模型的超参数、权值和阈值，并在训练集上进行模型训练；利用训练好的am-gru能耗预测网络模型在测试集上进行测试，输出预测结果，即各种情况下的总耗能e。

技术总结
本发明涉及一种基于GA-AM-GRU的流程工业能耗预测方法，包括：采集数据并进行预处理，进行特征选择，划分数据集；构建AM-GRU能耗预测网络模型，并初始化超参数；初始化AM-GRU能耗预测网络模型的权值和阈值；采用GA算法进行GA种群初始化；确定适应度函数；进行选择操作；评估适应度值；迭代更新直至产生最优解；设置AM-GRU能耗预测网络模型并进行训练，输出预测结果。本发明提出了利用AM注意力机制模块改进的GRU门控循环单元网络有较强的提取时序信息的能力，比BP、MLR等网络更适用于流程工业能耗预测，而且比LSTM的参数量少。另外，将遗传算法GA作为同时优化整个AM-GRU能耗预测网络模型超参数、权值与阈值的策略，较单一的优化网络超参数或权值与阈值方式预测精度更高。参数或权值与阈值方式预测精度更高。参数或权值与阈值方式预测精度更高。


技术研发人员：谢贻富 王显 王卫 李晓洁 邱锋 沈亚 项本杰
受保护的技术使用者：安徽祯欣互联科技有限公司
技术研发日：2023.07.19
技术公布日：2023/10/15