基于代理辅助进化神经网络结构搜索的风电功率预测方法

1.本发明涉及风电功率预测技术领域，尤其涉及基于代理辅助进化神经网络结构搜索的风电功率预测方法。


背景技术：

2.随着全球化石燃料的燃烧对环境的污染加剧，促使了可再生能源的需求和发展，而风能由于其低成本以及无污染特性，已成为各国电力系统组成的关键部分。然而，风能的间歇性和随机性以及风电场输出功率的不稳定性给预测、规划和安全有效的将其整合到电力系统带来了各种挑战。准确的风电功率预测能有助于电网系统、能源市场等稳定电能供应，并协助调度备用电源和管理供应，以满足电力需求。
3.目前，风电功率预测方法大致可分为物理方法、统计学方法、人工智能方法和混合方法四个方法。随着传感器和检测技术的发展，基于数据驱动的人工智能预测方法为目前最广泛的方法。但风电功率具有较强的高维非线性时空特征，传统机器学习方法并不能很好的捕捉这种非线性关系。深度神经网络(dnn)因具有较强的非线性拟合能力，并且可以从大量的训练数据中学习风电功率潜在的变化关系。近年来，基于dnn的风电功率预测方法被不断的提出。尽管dnn在风电功率具有较好的预测性能，但如何设计一个好的dnn结构成了较大难题。在风电功率预测中，只有当dnn结构、结构相关的权重以及嵌入的延迟变量同时达到最优合时，dnn的性能才会达到最佳。在实际中，最先进的dnn结构确定和延迟变量选择是极其困难的。神经网络结构搜索(nas)旨在实现自动化设计神经网络结构的方法。原则上，nas是一个复杂的优化问题，涉及各种挑战，例如，复杂约束、离散表示和计算成本高等问题。进化神经网络结构搜索(enas)是一种基于进化计算的nas算法，在解决nas的全自动、复杂约束、多目标等问题上起到关键作用。即便en as已经取得了一些研究进展。但是，现有的enas算法还存在很多的局限性。一方面，目前的enas算法对计算资源的巨大需求，即便在微量的数据集中，也需要大量的计算时间。另一方面，即便在时间序列预测中，现有的enas算法也是针对神经网络自身的结构，而忽略了延迟变量的选择也是影响神经网络结构性能关键因素。


技术实现要素：

4.针对现有技术的不足，本发明提供了一种基于代理辅助神经网络结构搜索的风电功率预测方法，有效提高了预测模型的准确性以及大量减少了模型的训练时间。
5.本发明为解决技术问题采用如下技术方案：本发明提供一种基于代理辅助进化神经网络结构搜索的风电功率预测方法，所述方法包括以下步骤：
6.步骤1收集风电场两年内完整的原始历史风速、风向、功率序列数据d
raw
∈rm×3，根据不同的预测时长构造建模数据集d。
7.步骤2定义结构搜索空间，然后对结构搜索空间进行采样，最后对采样的结构进行整数编码。
8.步骤3将采样的结构进行预训练，并在验证集上得到采样结构的验证误差；
9.步骤4将步骤2采样的结构与步骤3得到的验证误差分别以特征、标签的形式构建为新的训练集x
new
，并将其构建为代理辅助模型；
10.步骤5利用进化计算算法，用代理模型间接评价适应度，然后迭代优化得到最优的神经网络结构；
11.步骤6使用风电功率训练数据对搜索得到的最优结构进行训练调优，收敛后并使用其在测试集上表征模型性能。
12.进一步地，所述步骤1中历史风电场运行数据，d＝{x，y}，其中m为样本个数，n＝f
×
l，f为特征数；本发明将风电数据视为多变量时间序列处理，输入特征为历史风速、风向、功率，因此f＝3，l为延迟变量数，需要凭takens理论设计一个最大延迟变量数，y为预测变量即风电功率实际值；并根据时间顺序，将数据划分为d
y1
，d
y2
两年数据。将d
y1
作为训练集，d
y2
中第一季度的数据为验证集d
val
，剩余三个季度的数据分别为测试集d
test1
、d
test2
、d
test3
。
13.进一步地，所述步骤2定义搜索空间、结构采样和结构编码，具体过程如下：
14.(1)定义搜索空间：根据dnn自身的结构以及时间序列预测自身参数，如神经网络层数，神经元个数以及延迟变量等，预定义一个较大的搜索空间。
15.(2)结构采样：搜索空间主要包括两部分，一是dnn结构参数，另一个是输入的延迟变量，在定义的搜索空间中随机采样获得n个结构样本。
16.(3)结构编码：随机初始化的个体为dnn结构和延迟变量的选择，本发明采用联合编码方式，将dnn结构用整数编码，延迟变量的选择用二进制编码，1、0分别代表当前时刻的延迟变量是否选择。此外，dnn是由自身结构组成，如隐藏层神经元个数、神经网络层数等，所以它的长度是固定的；延迟变量块为延迟变量的选择，它的长度不是固定的，为步骤2设计的最大延迟变量数。
17.进一步地，所述步骤3用训练集d
y1
训练采样的dnn结构和延迟变量选择，并保存为dnnn，用验证集d
val
，得到dnnn的预测值yn，最后计算d
val
在dnnn上的均方根误差(rmse)，rmse计算公式如下：
[0018][0019]
其中，n
val
为验证集的样本个数，yi分别为预测值和真实值。
[0020]
进一步地，所述步骤4利用训练集{(x
sur
，y
sur
))，构建代理辅助模型model
sur
。其中，x
sur
为采样后的dnn结构与延迟变量选择，y
sur
为步骤4得到的均方根误差。具体训练步骤如下：
[0021]
(1)将步骤3采样得到的m个样本及其对应的rmse，分别作为特征、标签保存为数据集x
new
。
[0022]
(2)数据归一化。将数据集x
new
进行标准化处理，标准化公式如下式所示：
[0023][0024]
其中，为归一化后的数据集，μ为样本均值，σ为样本标准差。
[0025]
(3)代理模型的选取原则上是任意的回归模型。但不同的回归模型对不同维度的训练集拟合优势显著不同，与其他回归模型相比，随机森林的优点是直接接受离散数据作为输入，几乎不需要额外的参数进行调优，也不依赖于大量的训练数据。这些优点正是构建代理模型所需要的。为此，本发明采用随机森林作为代理模型，并用数据集x
new
训练随机森林代理模型。随机森林代理模型构建如下：
[0026]
1)首先，对输入特征进行随机特征选择，构成k个特征子集；
[0027]
2)随后，每个随机特征子集均训练得到一个决策树，训练得到k个决策树；
[0028]
3)最后，将k个决策树进行集成得到最终结果。采用的训练原则是最小化均方误差(mse)，即对于任意划分特征a，对应的任意划分点s两边划分成的数据集d1和d2，求出使和各自集合的均方差最小，同时d1和d2的均方差之和最小所对应的特征和特征值划分点。表达式为：
[0029][0030]
其中，c1、c2分别为d1、d2数据集的样本输出均值，xi为第i个样本，yi为第i个样本输出真实值。
[0031]
预测时，每一个决策树最终的预测结果为该样本点所到叶节点的均值，随机森林最终的预测结果为所有决策树预测结果的均值。
[0032]
进一步地，所述步骤5利用进化算法，以model
sur
间接评价适应度，迭代优化得到最优的神经网络结构。具体优化步骤如下：
[0033]
(1)在预定义的搜索空间中，随机初始化n个代表dnn结构和延迟变量选择的个体，组成初始种群。
[0034]
(2)将每个个体映射到相应的dnn结构和延迟变量，用model
sur
计算每个个体的预测均方根误差用于适应度评价；
[0035]
(3)根据适应度值选择父解，然后通过交叉和变异操作生成具有预定义搜索空间相同大小新的后代dnn结构和延迟变量；
[0036]
(4)对组合后的种群进行环境选择，选择一个能存活到下一代的新种群；
[0037]
(5)如果不满足终止条件，转到步骤(3)。否则，选择最适合的个体并终止进化过程。
[0038]
进一步地，所述步骤6使用小批量随机梯度下降算法对最优结构进行训练调优，收敛后在测试集上获得模型性能。
[0039]
与现有技术相比，本发明具有以下技术效果：深度神经网络能较好捕捉风电数据的高维非线性时空特征，而高性能的dnn预测模型依赖于合理的深度神经网络结构，但设计好的深度神经网络非常困难，同时延迟变量的确定也影响风电功率预测的准确性。本发明针对深度神经网络的结构和延迟变量选择困难、现有进化神经网络结构搜索计算效率低等问题，通过代理辅助模型去间接评价适应度，以提高搜索效率。具体步骤为：首先，使用深度神经网络去捕捉高维非线性时空特征，同时将延迟变量纳入进化神经网络结构搜索；其次，将深度神经网络结构与延迟变量进行联合编码；然后，使用代理模型提升进化神经网络结构搜索的搜索效率，得到最优神经网络结构；最后，对最优神经网络结构进行重训练调优，得到其网络权重。本发明将代理模型引入到进化神经网络结构搜索中，与传统的进化神经
网络搜索方法相比具有较高的预测性能和较低的时间消耗。
附图说明
[0040]
图1为所提方法风电功率预测流程图；
[0041]
图2为所提方法结构联合编码示例图；
[0042]
图3为提前1和2小时预测中不同预测方法的性能对比图(截取测试集前400个样本)。
具体实施方式
[0043]
以下结合附图和具体实施例对本发明的技术方案作进一步详细说明。
[0044]
实施例1
[0045]
本案例研究的实际风能数据来自国际新能源实验室。将历史风速、风向、功率为输入，当前功率为输出，基于代理辅助神经网络结构搜索预测风电功率。
[0046]
步骤1：选取国际新能源实验室的2011和2012年两年数据，2011年和2012年以5分钟的采样时间采集16mw风力机数据。下采样后，获得210，242个样本，采样间隔为15分钟。选取风速、风向和风电功率等三个重要特征作为输入变量。在实验中，建模数据被分为训练集、验证集和测试集三个部分，如表1所示。
[0047]
表1实验中使用的数据集的划分
[0048][0049]
步骤2：本实施例以门控循环单元神经网络(gru)为实验对象。定义搜索空间，然后对结构搜索空间进行采样，最后对采样的结构进行整数联合编码。具体实施步骤如下：
[0050]
(1)定义搜索空间。隐藏层神经元个数h∈{1，2，...，100}；gru层数n∈{1，2，3}；延迟变量长度d＝20。
[0051]
(2)结构采样。搜索空间主要包括两部分，一是gru结构参数，另一个是输入的延迟变量，在搜索空间中随机采样获得600个样本。
[0052]
(3)结构编码。随机初始化的个体为gru模型结构，本发明采用一种联合编码方式，将gru结构用整数编码，延迟变量的选择用二进制编码，1、0分别代表当前时刻的延迟变量是否选择。一个联合编码的结构表现型如图2所示。其中，gru块是由隐藏层神经元个数以及gru层数组成，所以它的长度固定为2；延迟变量块为延迟变量的选择，它的长度不是固定的。根据时间序列的延迟变量选择规律，延迟变量的长度必须要大于当前预测步长，但其不能选择过长，因为选择太远时刻的延迟变量对未来某时刻的功率相关性较低。基于此，针对本实施例数据的特性，选择最大延迟变量数为20，再在20个延迟变量中进一步搜索。
[0053]
步骤3：在搜索空间中随机采样gru神经网络的结构和延迟变量，一共采样600个样本。然后，以2011年整年的原始数据为训练集，预训练出600个结构样本所对应的gru神经网络。随后，以2012年第一季度的原始数据为验证集，得到600个结构样本对应的模型预测均
方根误差，最后将结构、验证误差分别为特征、标签的形式以保存为一个新的数据集{(x
sur
，y
sur
)}。此外，gru神经元更新公式如下所示：
[0054]rt
＝σ(w
t
·
[h
t-1
，x
t
])
[0055]zt
＝σ(wz·
[h
t-1
，x
t
])
[0056][0057][0058]
其中，v(
·
)和tanh均为激活函数；r
t
和z
t
分别是重置门和更新门的输出；是候选隐藏状态，h
t
是隐藏状态，w
t
、wz、wh是通过优化更新的权重矩阵。
[0059]
步骤4：将步骤3的新的训练集{(x
sur
，y
sur
)}，构建为代理辅助模型model
sur
。其中，x
sur
为采样后的gru结构和延迟变量，y
sur
为得到的均方根误差；具体实施步骤如下：
[0060]
(1)将步骤采样得到的600个样本及其对应的rmse，分别作为特征、标签的形式保存为数据集{(x
sur
，y
sur
))。
[0061]
(2)数据归一化。将数据集x
new
进行标准化处理，标准化公式如下式所示：
[0062][0063]
其中，为归一化后的数据集，μ为样本均值，σ为样本标准差。
[0064]
(3)在数据集上构建随机森林代理辅助模型。首先，对输入特征进行随机特征选择，构成k个特征子集；随后，每个随机特征子集均训练得到一个决策树，训练得到k个决策树；最后，将k个决策树进行集成得到最终结果。采用的训练原则是最小化均方误差(mse)，即对于任意划分特征a，对应的任意划分点s两边划分成的数据集d1和d2，求出使和各自集合的均方差最小，同时d1和d2的均方差之和最小所对应的特征和特征值划分点。预测时，每一个决策树最终的预测结果为该样本点所到叶节点的均值，随机森林最终的预测结果为所有决策树预测结果的均值。
[0065]
步骤5：利用进化算法，用model
sur
间接评价适应度，迭代优化得到最优的神经网络结构。具体优化步骤如下：
[0066]
(1)在预定义的搜索空间中，随机初始化50个代表gru结构和延迟变量选择的个体，组成初始种群。
[0067]
(2)将每个个体映射到相应的gru结构和延迟变量，用model
sur
计算每个个体的预测均方根误差即适应度计算；
[0068]
(3)根据适应度值选择父解，然后通过交叉和变异操作生成具有预定义搜索空间相同大小的后代gru结构和延迟变量；
[0069]
(4)对组合后的种群进行环境选择，选择一个能存活到下一代的新种群；
[0070]
(5)如果不满足终止条件，请转到步骤(3)；否则，选择最适合的个体并终止进化过程；
[0071]
步骤6：使用小批量随机梯度下降算法对最优结构进行训练调优，收敛后在测试集上获得模型性能。
[0072]
本发明比较了如下方法：
[0073]
(1)最佳采样法(sample
best
)：采样一系列的gru结构，训练并选择最优的gru结构；
[0074]
(2)基于低保真估计的进化神经网络结构搜索算法(lfe-enas)：减少迭代次数，训
练样本，以提高enas的搜索效率；
[0075]
(3)进化神经网络结构搜索算法(enas)：标准的enas算法；
[0076]
(4)基于代理辅助进化神经网络结构搜索算法(sa-enas)：本发明所提的enas算法。
[0077]
本发明的实验方法以时间t为搜索效率评价指标、决定系数r2和均方根误差rmse为性能评价指标，其计算式：
[0078][0079][0080]
其中，n
test
为测试集样本个数，yi分别为第i个样本的预测值和真实值。
[0081]
表2、表3分别展示了所提方法和其余三个方法在训练时间、最优结构的表现型的区别以及在不同预测时长上的性能对比，其中数据集以季节划分。
[0082]
表2不同预测方法的训练时间与最优结构表现型的对比
[0083][0084]
表3不同预测方法的预测性能比较
[0085][0086]
从表2、表3中可以总结出以下结论：本实施例所提方法在不同时间尺度上的计算效率均优于其他方法，即在更短的时间内获得最优的神经网络架构；其搜索出的神经网络结构与其他方法有显著差异，且所有预测性能均优于其他方法。随着预测时间尺度的增大，所提方法的优势越来越明显，2小时预测性能提升显著。与sample
best
、lfe-enas和enas相比，提前两小时预测的rmse平均分别降低了10.50％、13.78％和7.86％。
[0087]
需要说明的是，本发明不仅限于保护实施例与某个案例，实施例所述的内容仅仅是对发明构思的实现形式的列举，在本发明的精神和权利要求保护范围内，未对本发明做
出的任何修改或改进，都将受到本发明的保护范围限制。

技术特征：
1.一种基于代理辅助进化神经网络结构搜索的风电功率预测方法，其特征在于，所述方法包括以下步骤：步骤1收集风电场两年内完整的原始历史风速、风向、功率序列数据d
raw
∈r
m
×3，根据不同的预测时长构造建模数据集d；步骤2定义结构搜索空间，并对结构搜索空间进行采样，最后对采样的结构进行整数编码；步骤3将采样的结构进行预训练，并在验证集上得到采样结构的验证误差；步骤4将步骤2采样的结构与步骤3得到的验证误差分别以特征、标签的形式构建为新的训练集x
new
，并将其构建为代理辅助模型；步骤5用步骤4的代理模型间接评价适应度，利用进化计算算法，迭代优化得到最优的神经网络结构；步骤6使用风电功率训练集对搜索得到的最优结构进行训练调优，收敛后在测试集上获得模型性能。2.根据权利要求1所述的基于代理辅助进化神经网络结构搜索的风电功率预测方法，其特征在于：所述步骤1中历史风电场运行数据，d＝{x，y}，其中m为样本个数，n＝f
×
l，f为特征数，l为延迟变量数；需要凭takens理论设计一个最大延迟变量数，y为预测变量即风电功率实际值；并根据时间顺序，将数据划分为d
y1
，d
y2
两年数据；将d
y1
作为训练集，d
y2
中第一季度的数据为验证集d
val
，剩余三个季度的数据分别为测试集d
test1
、d
test2
、d
test3
。3.根据权利要求1所述的基于代理辅助进化神经网络结构搜索的风电功率预测方法，其特征在于：所述步骤2定义搜索空间、结构采样和结构编码，具体过程如下：(1)定义搜索空间：根据dnn自身的结构以及时间序列预测自身参数，预定义一个搜索空间；(2)结构采样：搜索空间主要包括两部分，一是dnn结构参数，另一个是输入的延迟变量，在定义的搜索空间中随机采样获得n个结构样本；(3)结构编码：随机初始化的个体为dnn结构和延迟变量的选择，采用联合编码方式，将dnn结构用整数编码，延迟变量的选择用二进制编码，1、0分别代表当前时刻的延迟变量是否选择；延迟变量块为延迟变量的选择，它的长度不是固定的，为步骤2设计的最大延迟变量数。4.根据权利要求1所述的基于代理辅助进化神经网络结构搜索的风电功率预测方法，其特征在于：所述步骤3用训练集d
y1
训练采样的dnn结构和延迟变量选择，并保存为dnn
n
，用验证集d
val
，得到dnn
n
的预测值y
n
，最后计算d
val
在dnn
n
上的均方根误差rmse，rmse计算公式如下：其中，n
val
为验证集的样本个数，y
i
分别为预测值和真实值。5.根据权利要求1所述的基于代理辅助进化神经网络结构搜索的风电功率预测方法，
其特征在于：所述步骤4利用新的训练集{(x
sur
，y
sur
)}，构建代理辅助模型model
sur
；其中，x
sur
为采样后的dnn结构与延迟变量选择，y
sur
为步骤4得到的均方根误差；具体训练步骤如下：(1)将步骤3采样得到的m个样本及其对应的rmse，分别作为特征、标签保存为数据集x
new
；(2)数据归一化将数据集x
new
进行标准化处理，标准化公式如下式所示：其中，为归一化后的数据集，μ为样本均值，σ为样本标准差；(3)采用随机森林作为代理模型，并用数据集x
new
训练随机森林代理模型，随机森林代理模型构建如下：1)首先，对输入特征进行随机特征选择，构成k个特征子集；2)随后，每个随机特征子集均训练得到一个决策树，训练得到k个决策树；3)最后，将k个决策树进行集成得到最终结果，采用的训练原则是最小化均方误差mse，即对于任意划分特征a，对应的任意划分点s两边划分成的数据集d1和d2，求出使和各自集合的均方差最小，同时d1和d2的均方差之和最小所对应的特征和特征值划分点，表达式为：其中，c1、c2分别为d1、d2数据集的样本输出均值，x
i
为第i个样本，y
i
为第i个样本输出真实值；预测时，每一个决策树最终的预测结果为该样本点所到叶节点的均值，随机森林最终的预测结果为所有决策树预测结果的均值。6.根据权利要求1所述的基于代理辅助进化神经网络结构搜索的风电功率预测方法，其特征在于：所述步骤5利用进化算法，以model
sur
间接评价适应度，迭代优化得到最优的神经网络结构，具体优化步骤如下：(1)在预定义的搜索空间中，随机初始化n个代表dnn结构和延迟变量选择的个体，组成初始种群；(2)将每个个体映射到相应的dnn结构和延迟变量，用model
sur
计算每个个体的预测均方根误差用于适应度评价；(3)根据适应度值选择父解，然后通过交叉和变异操作生成具有预定义搜索空间相同大小新的后代dnn结构和延迟变量；(4)对组合后的种群进行环境选择，选择一个能存活到下一代的新种群；(5)如果不满足终止条件，转到步骤(3)，否则，选择最适合的个体并终止进化过程。7.根据权利要求1所述的基于代理辅助进化神经网络结构搜索的风电功率预测方法，其特征在于：所述步骤6使用小批量随机梯度下降算法对最优结构进行训练调优，收敛后在测试集上获得模型性能。

技术总结
本发明公开了一种基于代理辅助进化神经网络结构搜索的风电功率预测方法。本发明针对深度神经网络的结构和延迟变量选择困难、现有进化神经网络结构搜索计算效率低等问题，通过代理辅助模型去间接评价适应度，以提高搜索效率。具体步骤为：首先，使用深度神经网络去捕捉高维非线性时空特征，同时将延迟变量纳入进化神经网络结构搜索；其次，将深度神经网络结构与延迟变量进行联合编码；然后使用代理模型提升进化神经网络结构搜索的搜索效率，得到最优神经网络结构；最后，对最优神经网络结构进行重训练调优，得到其网络权重。本发明将代理模型引入到进化神经网络结构搜索中，与传统的进化神经网络搜索方法相比具有较高的预测性能和较低的时间消耗。和较低的时间消耗。和较低的时间消耗。


技术研发人员：金怀平 张克豪 金怀康 王彬 杨彪 钱斌
受保护的技术使用者：昆明理工大学
技术研发日：2023.04.14
技术公布日：2023/7/20