一种鲁棒强化学习的配网潮流优化方法及计算机可读介质

1.本技术涉及电网调度信息领域，具体涉及一种鲁棒强化学习的配网潮流优化方法及计算机可读介质。


背景技术：

2.配电网潮流优化是配电网分析、规划与调度运行的重要基础，对保证电力系统可靠、安全、高效运行具有重要意义。传统配电网潮流优化方法包括梯度下降算法、牛顿法以及启发式算法等。传统优化方法在面对复杂配电网环境时存在计算效率低下、无法保证收敛精度的缺陷，难以应对愈发复杂的现代电力系统。近年来，大量研究利用深度强化学习有效提升了复杂配电网环境下潮流优化计算的计算效率和精度。
3.然而，大多数基于深度强化学习的配电网潮流优化方法都无法推广到现实配电网环境中。新能源发电和分布式储能单元的大规模集成显著加剧了复杂性、不确定性和波动性。模拟电网环境和现实电网环境之间存在一定差距，传感器观测误差或者新能源发电单元的出力预测偏差以及负荷预测偏差误差均可以被视为深度强化学习泛用问题中不可忽视的干扰。这些问题导致智能体利用深度强化学习学习到的最优策略方法无法转移到现实配电网环境中。


技术实现要素：

4.针对大多数基于深度强化学习的配电网潮流优化方法都无法推广到现实配电网环境中的问题，本发明提出了一种鲁棒强化学习的配网潮流优化方法及计算机可读介质。
5.本发明方法的技术方案为一种鲁棒强化学习的配网潮流优化方法，包括以下步骤：
6.步骤1：获取配电网模型，分别选择多节点配电网模型中k1个节点作为多个火力发电节点、k2个节点作为多个分布式发电节点、k3个节点作为多个分布式储能节点、k4个节点作为多个负荷节点，获取多个时刻的每个火力发电节点出力的有功、多个时刻的每个火力发电节点出力的无功、多个时刻的每个分布式储能节点出力的有功、多个时刻的每个分布式储能节点出力的无功、多个时刻的每个负荷节点的有功、多个时刻的每个负荷节点的无功、多个时刻的每个分布式发电节点出力的最大有功、多个时刻的每个分布式发电节点出力的最大无功、多个时刻的每个分布式发电节点出力的有功、多个时刻的每个分布式发电节点出力的无功、多个时刻的每个分布式储能节点的荷电状态；
7.步骤2：依次构建配电网节点的有功平衡约束、配电网有功潮流约束、配电网无功潮流约束、火力发电单元的有功约束、火力发电单元的无功约束、分布式发电单元的有功约束、分布式发电单元的无功约束、分布式储能单元的荷电状态约束、负荷单元的有功约束，构建配电网综合损耗，以配电网综合损耗最小化作为潮流优化目标；
8.步骤3：根据每个时刻的每个火力发电节点出力的有功、每个时刻的每个分布式储能节点出力的有功、每个时刻的每个负荷节点的有功、每个时刻的每个负荷节点的无功、每
个时刻的每个分布式发电节点出力的最大有功、每个时刻的每个分布式发电节点出力的最大无功、每个时刻的每个分布式储能节点的荷电状态构建每个时刻的状态集合，根据每个时刻的每个分布式发电节点的有功削减量、每个时刻的每个分布式发电节点的无功削减量、每个时刻的每个分布式储能节点的有功调节量、每个时刻的每个分布式储能节点的无功调节量构建每个时刻的主智能体动作集合，将每个时刻的状态集合进行扰动构建每个时刻的攻击型智能体动作集合，结合每个时刻的状态集合、每个时刻的主智能体动作集合分别计算每个时刻的主智能体的奖励值、每个时刻的主智能体的惩罚值，结合每个时刻的状态集合、每个时刻的攻击型智能体动作集合分别计算每个时刻的攻击型智能体的奖励值、每个时刻的攻击型智能体的惩罚值；通过多个时刻的状态集合、多个时刻的主智能体动作集合、多个时刻的主智能体奖励函数、多个时刻的主智能体惩罚函数构建配电网潮流优化主智能体；通过多个时刻的状态集合、多个时刻的攻击型智能体动作集合、多个时刻的攻击型智能体奖励函数、多个时刻的攻击型智能体惩罚函数构建配电网攻击型智能体；
9.步骤4：根据步骤3所述的主智能体和攻击型智能体构建双智能体零和博弈鲁棒强化学习模型，通过ta-lag-trpo算法求解双智能体零和博弈鲁棒强化学习模型，实现配电网鲁棒性增强的潮流优化。
10.作为优选，步骤1所述多个时刻的每个火力发电节点出力的有功，定义如下：
[0011][0012]
t∈[1,t]
[0013]
tg∈[1,k1]
[0014]itg
∈[1,m]
[0015]
其中，t表示时刻的数量，k1表示火力发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第tg个火力发电节点的出力的有功，即表示第t个时刻配电网模型中第i
tg
个节点接入的火力发电节点的出力的有功；
[0016]
步骤1所述多个时刻的每个火力发电节点出力的无功，定义如下：
[0017][0018]
t∈[1,t]
[0019]
tg∈[1,k1]
[0020]itg
∈[1,m]
[0021]
其中，t表示时刻的数量，k1表示火力发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第tg个火力发电节点的出力的无功，即表示第t个时刻配电网模型中第i
tg
个节点接入的火力发电节点的出力的无功；
[0022]
步骤1所述多个时刻的每个分布式储能节点出力的有功，定义如下：
[0023][0024]
t∈[1,t]
[0025]
des∈[1,k3]
[0026]ides
∈[1,m]
[0027]
其中，t表示时刻的数量，k3表示分布式储能节点的数量，m表示配电网模型中节点
的数量，表示第t个时刻第des个分布式储能节点的出力的有功，即表示第t个时刻配电网模型中第i
des
个节点接入的分布式储能节点的出力的有功；
[0028]
作为优选，步骤1所述多个时刻的每个分布式储能节点出力的无功，定义如下：
[0029][0030]
t∈[1,t]
[0031]
des∈[1,k3]
[0032]ides
∈[1,m]
[0033]
其中，t表示时刻的数量，k3表示分布式储能节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第des个分布式储能节点的出力的无功，即表示第t个时刻配电网模型中第i
des
个节点接入的分布式储能节点的出力的无功；
[0034]
步骤1所述多个时刻的每个负荷节点的有功，定义如下：
[0035][0036]
t∈[1,t]
[0037]
l∈[1,k4]
[0038]il
∈[1,m]
[0039]
其中，t表示时刻的数量，k4表示负荷节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第l个负荷节点的出力的有功，即表示第t个时刻配电网模型中第i
l
个节点接入的负荷节点的出力的有功；
[0040]
步骤1所述多个时刻的每个负荷节点的无功，定义如下：
[0041][0042]
t∈[1,t]
[0043]
l∈[1,k4]
[0044]il
∈[1,m]
[0045]
其中，t表示时刻的数量，k4表示负荷节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第l个负荷节点的出力的无功，即表示第t个时刻配电网模型中第i
l
个节点接入的负荷节点的出力的无功；
[0046]
步骤1所述多个时刻的每个分布式发电节点出力的最大有功，定义如下：
[0047][0048]
t∈[1,t]
[0049]
dg∈[1,k2]
[0050]idg
∈[1,m]
[0051]
其中，t表示时刻的数量，k2表示分布式发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第dg个分布式发电节点的出力的最大有功，即表示第t个时刻配电网模型中第i
dg
个节点接入的分布式发电节点的出力的最大有功；
[0052]
步骤1所述多个时刻的每个分布式发电节点出力的最大无功，定义如下：
[0053]
[0054]
t∈[1,t]
[0055]
dg∈[1,k2]
[0056]idg
∈[1,m]
[0057]
其中，t表示时刻的数量，k2表示分布式发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第dg个分布式发电节点的出力的最大无功，即表示第t个时刻配电网模型中第i
dg
个节点接入的分布式发电节点的出力的最大无功；
[0058]
步骤1所述多个时刻的每个分布式发电节点出力的有功，定义如下：
[0059][0060]
t∈[1,t]
[0061]
dg∈[1,k2]
[0062]idg
∈[1,m]
[0063]
其中，t表示时刻的数量，k2表示分布式发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第dg个分布式发电节点的出力的有功，即表示第t个时刻配电网模型中第i
dg
个节点接入的分布式发电节点的出力的有功；
[0064]
步骤1所述多个时刻的每个分布式发电节点出力的无功，定义如下：
[0065][0066]
t∈[1,t]
[0067]
dg∈[1,k2]
[0068]idg
∈[1,m]
[0069]
其中，t表示时刻的数量，k2表示分布式发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第dg个分布式发电节点的出力的无功，即表示第t个时刻配电网模型中第i
dg
个节点接入的分布式发电节点的出力的无功；
[0070]
步骤1所述多个时刻的每个分布式储能节点的荷电状态，定义如下：
[0071][0072]
t∈[1,t]
[0073]
des∈[1,k3]
[0074]ides
∈[1,m]
[0075]
其中，t表示时刻的数量，k3表示分布式储能节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第des个分布式储能节点的荷电状态，即表示第t个时刻配电网模型中第i
des
个节点接入的分布式储能节点的荷电状态；
[0076]
作为优选，步骤2所述配电网节点的有功平衡约束，定义如下：
[0077][0078]
其中，m表示配电网模型中节点的数量，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻
第des个分布式储能节点的出力的有功，表示第t个时刻第l个负荷节点的出力的有功，k1表示火力发电节点的数量，k2表示分布式发电节点的数量，k3表示分布式储能节点的数量，k4表示负荷节点的数量；
[0079]
步骤2所述配电网有功潮流约束，定义如下：
[0080]
p
ij
＝(v
i2-v
ivj
cosθ
ij
)g
ij-v
ivjbij
sinθ
ij
[0081]
i∈[1,m]
[0082]
j∈[1,m]
[0083]
其中，p
ij
为节点i到节点j的有功潮流，vi和vj分别为节点i和节点j处的节点电压，θ
ij
为节点i到节点j的相角，g
ij
为节点i到节点j的电导，b
ij
为节点i到节点j的电纳,m表示配电网模型中节点的数量；
[0084]
步骤2所述配电网无功潮流约束，定义如下：
[0085]qij
＝-v
ivjgij
sinθ
ij-(v
i2-v
ivj
cosθ
ij
)b
ij
[0086]
i∈[1,m]
[0087]
j∈[1,m]
[0088]
其中，q
ij
为节点i到节点j的无功潮流，vi和vj分别为节点i和节点j处的节点电压，θ
ij
和g
ij
分别为节点电压相角和支路电导,m表示配电网模型中节点的数量；
[0089]
步骤2所述火力发电单元和分布式发电单元的有功约束，定义如下：
[0090][0091][0092]
其中，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的最大有功，的值随时间以及自然气象变化而上下浮动；m表示配电网模型中节点的数量；
[0093]
步骤2所述火力发电单元和分布式发电单元的无功约束，定义如下：
[0094][0095][0096]
其中，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的最大有功；
[0097]
步骤2所述分布式储能单元的荷电状态约束，定义如下：
[0098][0099]
其中，表示第t个时刻第des个分布式储能节点的荷电状态，和分别为第t个时刻第des个分布式储能节点的最小荷电状态、第t个时刻第des个分布式储能
节点的最大荷电状态，η∈[0,1]为分布式储能单元充放电效率系数，
△
t表示配电网络决策时刻t的变化量；
[0100]
步骤2所述负荷单元的有功约束，定义如下：
[0101][0102]
其中，表示第t个时刻第l个负荷节点的出力的有功，表示第t个时刻第l个负荷节点的出力的最小有功；
[0103]
步骤2所述配电网综合损耗，定义如下：
[0104][0105]
其中，表示第t个时刻分布式发电节点在削减出力过程中的能量损耗；表示第t个时刻电力线路能量损耗；表示第t个时刻分布式储能节点在储、放电能过程的电能损耗，t表示时刻的数量；
[0106][0107][0108][0109]
其中，表示第t个时刻分布式发电节点在削减出力过程中的能量损耗；表示第t个时刻电力线路能量损耗；表示第t个时刻分布式储能节点在储、放电能过程的电能损耗,表示第t个时刻第dg个分布式发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第des个分布式储能节点的出力的有功，表示第t个时刻第l个负荷节点的出力的有功，δ表示求t到t+1时刻的变化量，k1表示火力发电节点的数量，k2表示分布式发电节点的数量，k3表示分布式储能节点的数量，k4表示负荷节点的数量；
[0110]
作为优选，步骤3所述每个时刻的状态集合，具体定义如下：
[0111][0112]
其中，t表示时刻的数量，s
t
表示第t个时刻的状态集合，分别表示第t个时刻第tg个火力发电节点的出力的有功、无功，分别表示第t个时刻第dg个分布
式发电节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的有功、无功，分别表示第t个时刻第des个分布式储能节点的出力的有功和无功，分别表示第t个时刻第l个负荷节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的最大有功、无功，表示第t个时刻第des个分布式储能节点的荷电状态；
[0113]
步骤3所述每个时刻的主智能体动作集合，具体定义如下：
[0114][0115]
其中，a
1,t
表示第t个时刻的主智能体动作集合；和分别代表第t个时刻第dg个分布式发电节点的有功值、无功削减值；和分别表示第t个时刻第des个分布式储能节点的有功值、无功注入值。
[0116]
步骤3所述将每个时刻的状态集合进行扰动构建每个时刻的攻击型智能体动作集合，具体过程如下：
[0117]
攻击型智能体的动作是对主智能体的马尔可夫观测状态施加扰动其动作集合a
2,t
与s
t
形式与维度相同；
[0118][0119]
其中，a
2,t
表示第t个时刻的主智能体动作集合，分别表示第t个时刻第tg个火力发电节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的有功、无功，分别表示第t个时刻第des个分布式储能节点的出力的有功、无功，分别表示第t个时刻第l个负荷节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的最大有功、无功，表示第t个时刻第des个分布式储能节点的荷电状态；
[0120]
步骤3所述计算每个时刻的主智能体的奖励值，具体过程如下：
[0121][0122]
其中，r
t
为即时奖励值，表示第t个时刻分布式发电节点在削减出力过程中的能量损耗；表示第t个时刻电力线路能量损耗；表示第t个时刻分布式储能节点在储、放电能过程的电能损耗；
[0123][0124][0125][0126]
其中，表示第t个时刻第dg个分布式发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第des个分布式储能节点的出力的有功，表示第t个时刻第l个负荷节点的出力的有功，δ表示求t到t+1时刻的变化量。
[0127]
步骤3所述计算每个时刻的主智能体的惩罚值，具体过程如下：
[0128][0129]
其中，vi为节点i的电压值，v
imax
为节点i的最大电压幅值，v
imin
为节点i的最小电压幅值，m表示配电网模型中节点的数量。
[0130][0131]
其中，s
ij
(s
ji
)为节点i(j)到j(i)的功率值，为节点i到节点j的最大视在潮流，为节点i的最小视在潮流，m表示配电网模型中节点的数量。
[0132]
步骤3所述计算每个时刻的攻击型智能体的奖励值，具体过程如下：
[0133]
攻击型智能体的奖励值为主智能体的奖励值的相反数：
[0134][0135]
其中，r
t
为即时奖励值，表示第t个时刻分布式发电节点在削减出力过程中的能量损耗；表示第t个时刻电力线路能量损耗；表示第t个时刻分布式储能节点在储、放电能过程的电能损耗；
[0136][0137]
[0138][0139]
其中，表示第t个时刻第dg个分布式发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第des个分布式储能节点的出力的有功，表示第t个时刻第l个负荷节点的出力的有功，δ表示求t到t+1时刻的变化量。
[0140]
步骤3所述计算每个时刻的攻击型智能体的惩罚值，具体过程如下：
[0141]
攻击型智能体的惩罚值与主智能体的惩罚值相同：
[0142][0143]
其中，vi为节点i的电压值，v
imax
为节点i的最大电压幅值，v
imin
为节点i的最小电压幅值，m表示配电网模型中节点的数量。
[0144][0145]
其中，s
ij
(s
ji
)为节点i(j)到j(i)的功率值，为节点i到节点j的最大视在潮流，为节点i的最小视在潮流，m表示配电网模型中节点的数量。
[0146]
作为优选，步骤4所述构建双智能体零和博弈鲁棒强化学习模型，具体如下：
[0147]
主智能体通过深度强化学习算法和步骤3定义的主智能体、攻击型智能体状态集合、动作集合更新潮流优化策略μ的神经网络参数θ，策略μ使得主智能体的奖励函数期望值最大化，同时使得主智能体的惩罚函数期望值低于约束阈值k：
[0148][0149][0150]
其中，μ
θ
为主智能体人工神经网络参数为θ的潮流优化策略，v
θ
′
为攻击型智能体人工神经网络参数为θ’的状态扰动策略，s
t
为主智能体和攻击型智能体的第t个时刻的状态集合，a
1,t
为主智能体的第t个时刻的动作集合，a
2,
t为攻击型智能体的第t个时刻的动作集合，r
t
为第t个时刻的奖励值，a
1,t
～μ
θ
(s
t
)表示输入为状态集合s
t
时利用潮流优化策略μ
θ
输出动作集合a
1,t
，a
2,t
～v
θ
′
(s
t
)表示输入为状态集合s
t
时利用状态扰动策略v
θ
′
输出动作集合a
2,t
，为主智能体利用潮流优化策略μ
θ
获取到的奖励函数期望值，为主智能体利用潮流优化策略μ
θ
获取到的惩罚函数期望值，t表示时刻的数量，c1为电压越限惩罚值，c2为潮流越限惩罚值，γ∈(0,1]为折扣因子，反映未来收益的重要程度，k为约束阈值，max表示利用潮流优化策略μ
θ
获取最大值，e表示求期望。
[0151]
攻击型智能体的目标是学习到状态扰动策略ν的最优网络参数θ’，对主智能体的
观测状态进行扰动。与主智能体相反，攻击型智能体使其奖励函数期望值最小化，同时满足其惩罚函数期望值低于约束阈值k：
[0152][0153][0154]
其中，μ
θ
为主智能体人工神经网络参数为θ的潮流优化策略，v
θ
′
为攻击型智能体人工神经网络参数为θ’的状态扰动策略，s
t
为主智能体和攻击型智能体的第t个时刻的状态集合，a
1,t
为主智能体的第t个时刻的动作集合，a
2,t
为攻击型智能体的第t个时刻的动作集合，r
t
为第t个时刻的奖励值，a
1,t
～μ
θ
(s
t
)表示输入为状态集合s
t
时利用潮流优化策略μ
θ
输出动作集合a
1,t
，a
2,t
～v
θ
′
(s
t
)表示输入为状态集合s
t
时利用状态扰动策略v
θ
′
输出动作集合a
2,t
，为攻击型智能体利用状态扰动策略v
θ
′
获取到的奖励函数期望值，为攻击型智能体利用状态扰动策略v
θ
′
获取到的惩罚函数期望值，t表示时刻的数量，c1为电压越限惩罚值，c2为潮流越限惩罚值，γ∈(0,1]为折扣因子，反映未来收益的重要程度，k为约束阈值，min表示利用状态扰动策略v
θ
′
获取最小值，e表示求期望。
[0155]
本质上，两智能体的目标、约束函数共同构成了双智能体零和博弈鲁棒强化学习模型目标约束形式：
[0156][0157][0158]
其中，maxmin表示利用状态扰动策略v
θ
′
获取最小值的同时利用潮流优化策略μ
θ
获取最大值,为主智能体潮流优化策略μ
θ
和攻击型智能体状态扰动策略v
θ
′
共同作用的奖励函数期望值，为主智能体潮流优化策略μ
θ
和攻击型智能体状态扰动策略v
θ
′
共同作用的惩罚函数期望值，k为约束阈值；
[0159]
将拉格朗日乘子法应用于上述目标约束优化问题，使其转换为无约束优化问题。主智能体得到无约束目标形式：
[0160][0161]
攻击智能体得到无约束目标形式：
[0162][0163]
其中，为主智能体潮流优化策略μ
θ
的无约束优化目标，为攻击型智能体潮流优化策略v
θ
′
的无约束优化目标，为主智能体利用潮流优化策略μ
θ
获取到的奖励函数期望值，为主智能体利用潮流优化策略μ
θ
获取到的惩罚函数期望值，为攻击型智能体利用状态扰动策略v
θ
′
获取到的奖励函数期望值，为攻击型智能体利用状态扰动策略v
θ
′
获取到的惩罚函数期望值，β为可迭代更新的拉格朗日乘子参数，λ为可迭代更新的拉格朗日乘子参数，用于权衡智能体的决策策略神经网络参数在奖励和惩罚之间的取舍更新，a
1,t
为主智能体的第t个时刻的动作集合，a
2,t
为攻击型智能体的第t个时刻的动作集合。
[0164]
根据上述分析，可以将双智能体零和博弈鲁棒强化学习模型目标约束形式转化为如下双智能体零和博弈鲁棒强化学习模型无约束目标形式：
[0165][0166]
为主智能体潮流优化策略μ
θ
和攻击型智能体状态扰动策略v
θ
′
共同作用的无约束优化目标，得到双智能体零和博弈鲁棒强化学习模型的求解目标；
[0167]
步骤4所通过ta-lag-trpo算法求解双智能体零和博弈鲁棒强化学习模型，具体如下：
[0168]
构建目标函数，具体如下：：
[0169][0170][0171][0172]
其中，argmax表示是求函数最大化的参数，e为求期望，为奖励函数的时序差分残差，将其定义为优势函数。d
kl
为使用kl散度来衡量新人工神经网络参数θ
new
和旧人工神经网络参数θ之间的更新距离，为主智能体的惩罚函数期望值，表示输入状态为s时，利用潮流优化策略输出动作a的概率，μ
θ
(a|s)表示输入状态为s时，利用潮流优化策略μ
θ
输出动作a的概率，δ为kl距离的阈值，k为约束阈值。
[0173]
首先利用泰勒展开公式对其进行近似处理：
[0174][0175][0176]
其中，argmax表示是求函数最大化的参数，g表示求解目标项的梯度，h表示求新人工神经网络参数θ
new
和旧人工神经网络参数θ之间平均kl距离的黑塞矩阵，δ为kl距离的阈值；
[0177]
构建lag-trpo算法，具体如下：
[0178]
再利用拉格朗日乘子法将带惩罚函数期望值约束项变换到求解目标项上成为无约束形式，通过人工神经网络梯度下降法使得拉格朗日乘子β自适应收敛到合适的值，从而实现有约束到无约束优化问题的等价转换；所述ta-lag-trpo算法具体如下：
[0179]
实现的是主智能体和攻击型智能体之间的零和博弈训练过程；
[0180]
固定攻击型智能体的扰动策略v，主智能体学习决策策略μ以及如何防御攻击型智能体的状态扰动攻击；在t步决策中，lag-trpo算法根据第n次迭代的决策参数θn、第n-1次迭代的扰动参数θ
′
n-1
依次做出决策a
1,t
，a
2,t
，同时对训练序列日志数据{s
t
,a
1,t
,a
2,t
,r
t
,c
t
}进行采样，评价所做决策并更新优化决策参数θn。t步决策后，固定住主智能体的调度决策策略μ，攻击型智能体学习如何攻击和干扰主智能体的决策，与上述过程相似。在t步决策中，lag-trpo算法根据第n次迭代的决策参数θn、第n次迭代的扰动参数θ
′n依次做出决策a
1,t
，a
2,t
，同时对训练序列日志数据{s
t
,a
1,t
,a
2,t
,r
t
,c
t
}进行采样，评价所做决策并更新扰
动策略ν参数θ
′n。交替进行上述过程直至循环结束，返回主智能体决策策略μ参数θn，攻击型智能体扰动策略ν参数θ'n，n≤n，n为最大迭代次数；
[0181]
本发明还提供了一种计算机可读介质，所述计算机可读介质存储电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，执行所述鲁棒强化学习的配网潮流优化方法的步骤。
[0182]
与现有技术相比，本发明的有益效果是：
[0183]
本发明能够充分考虑模拟配电网仿真模型与现实电网环境之间的差距，建立对潮流优化主智能体施加观测状态扰动的攻击型智能体。该攻击型智能体与潮流优化主智能体交替式训练、异步执行，相互对抗博弈，形成一个基于maximin策略的零和博弈。潮流优化主智能体在与攻击型智能体进行基于maximin策略零和博弈训练的过程中将逐渐提升对外界干扰的鲁棒性以及外部攻击下配电网潮流优化的安全性。该方法旨在优化解决大多数基于深度强化学习的配电网潮流优化问题，提升配电网潮流优化方法的鲁棒性与安全性、保障配电网的安全运行。
[0184]
充分考虑模拟电网环境和现实电网环境之间的差距，建立面向提高对外界干扰的鲁棒性以及外部攻击下的配电网电网潮流优化模型；
[0185]
模拟了电网环境和现实电网环境之间的差距，重点关注因电力环境建模误差或者训练、测试输入数据误差以导致智能体利用深度强化学习算法学习到的最优策略无法转移到现实世界中的问题；
[0186]
将maximin方法用于鲁棒强化学习，并提出了一种新的基于ma-lag-trpo算法的maximin学习目标。该潮流优化模型旨在优化提高配电网自动化调度、优化过程中的鲁棒性和安全性，改善配电网的安全运行可靠性、提高配电网的投资效益。
附图说明
[0187]
图1：本发明实施例的方法流程图。
[0188]
图2：本发明实施例的配电网环境建模示意图。
[0189]
图3：本发明实施例的基于配电网潮流优化马尔可夫零和博弈模型总体框架图。
[0190]
图4：本发明实施例的ta-lag-trpo算法流程图。
具体实施方式
[0191]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0192]
图1为本发明实施例提供的基于鲁棒强化学习的配电网潮流优化方法的流程图。如图1所示，该方法包括：
[0193]
步骤1：获取配电网模型，分别选择多节点配电网模型中k1个节点作为多个火力发电节点、k2个节点作为多个分布式发电节点、k3个节点作为多个分布式储能节点、k4个节点作为多个负荷节点，获取多个时刻的每个火力发电节点出力的有功、多个时刻的每个火力发电节点出力的无功、多个时刻的每个分布式储能节点出力的有功、多个时刻的每个分布式储能节点出力的无功、多个时刻的每个负荷节点的有功、多个时刻的每个负荷节点的无
功、多个时刻的每个分布式发电节点出力的最大有功、多个时刻的每个分布式发电节点出力的最大无功、多个时刻的每个分布式发电节点出力的有功、多个时刻的每个分布式发电节点出力的无功、多个时刻的每个分布式储能节点的荷电状态；
[0194]
步骤1所述多个时刻的每个火力发电节点出力的有功，定义如下：
[0195][0196]
t∈[1,t]
[0197]
tg∈[1,k1]
[0198]itg
∈[1,m]
[0199]
其中，t表示时刻的数量，k1表示火力发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第tg个火力发电节点的出力的有功，即表示第t个时刻配电网模型中第i
tg
个节点接入的火力发电节点的出力的有功；
[0200]
步骤1所述多个时刻的每个火力发电节点出力的无功，定义如下：
[0201][0202]
t∈[1,t]
[0203]
tg∈[1,k1]
[0204]itg
∈[1,m]
[0205]
其中，t表示时刻的数量，k1表示火力发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第tg个火力发电节点的出力的无功，即表示第t个时刻配电网模型中第i
tg
个节点接入的火力发电节点的出力的无功；
[0206]
步骤1所述多个时刻的每个分布式储能节点出力的有功，定义如下：
[0207][0208]
t∈[1,t]
[0209]
des∈[1,k3]
[0210]ides
∈[1,m]
[0211]
其中，t表示时刻的数量，k3表示分布式储能节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第des个分布式储能节点的出力的有功，即表示第t个时刻配电网模型中第i
des
个节点接入的分布式储能节点的出力的有功；
[0212]
步骤1所述多个时刻的每个分布式储能节点出力的无功，定义如下：
[0213][0214]
t∈[1,t]
[0215]
des∈[1,k3]
[0216]ides
∈[1,m]
[0217]
其中，t表示时刻的数量，k3表示分布式储能节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第des个分布式储能节点的出力的无功，即表示第t个时刻配电网模型中第i
des
个节点接入的分布式储能节点的出力的无功；
[0218]
步骤1所述多个时刻的每个负荷节点的有功，定义如下：
[0219]
[0220]
t∈[1,t]
[0221]
l∈[1,k4]
[0222]il
∈[1,m]
[0223]
其中，t表示时刻的数量，k4表示负荷节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第l个负荷节点的出力的有功，即表示第t个时刻配电网模型中第i
l
个节点接入的负荷节点的出力的有功；
[0224]
步骤1所述多个时刻的每个负荷节点的无功，定义如下：
[0225][0226]
t∈[1,t]
[0227]
l∈[1,k4]
[0228]il
∈[1,m]
[0229]
其中，t表示时刻的数量，k4表示负荷节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第l个负荷节点的出力的无功，即表示第t个时刻配电网模型中第i
l
个节点接入的负荷节点的出力的无功；
[0230]
步骤1所述多个时刻的每个分布式发电节点出力的最大有功，定义如下：
[0231][0232]
t∈[1,t]
[0233]
dg∈[1,k2]
[0234]idg
∈[1,m]
[0235]
其中，t表示时刻的数量，k2表示分布式发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第dg个分布式发电节点的出力的最大有功，即表示第t个时刻配电网模型中第i
dg
个节点接入的分布式发电节点的出力的最大有功；
[0236]
步骤1所述多个时刻的每个分布式发电节点出力的最大无功，定义如下：
[0237][0238]
t∈[1,t]
[0239]
dg∈[1,k2]
[0240]idg
∈[1,m]
[0241]
其中，t表示时刻的数量，k2表示分布式发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第dg个分布式发电节点的出力的最大无功，即表示第t个时刻配电网模型中第i
dg
个节点接入的分布式发电节点的出力的最大无功；
[0242]
步骤1所述多个时刻的每个分布式发电节点出力的有功，定义如下：
[0243][0244]
t∈[1,t]
[0245]
dg∈[1,k2]
[0246]idg
∈[1,m]
[0247]
其中，t表示时刻的数量，k2表示分布式发电节点的数量，m表示配电网模型中节点
的数量，表示第t个时刻第dg个分布式发电节点的出力的有功，即表示第t个时刻配电网模型中第i
dg
个节点接入的分布式发电节点的出力的有功；
[0248]
步骤1所述多个时刻的每个分布式发电节点出力的无功，定义如下：
[0249][0250]
t∈[1,t]
[0251]
dg∈[1,k2]
[0252]idg
∈[1,m]
[0253]
其中，t表示时刻的数量，k2表示分布式发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第dg个分布式发电节点的出力的无功，即表示第t个时刻配电网模型中第i
dg
个节点接入的分布式发电节点的出力的无功；
[0254]
步骤1所述多个时刻的每个分布式储能节点的荷电状态，定义如下：
[0255][0256]
t∈[1,t]
[0257]
des∈[1,k3]
[0258]ides
∈[1,m]
[0259]
其中，t表示时刻的数量，k3表示分布式储能节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第des个分布式储能节点的荷电状态，即表示第t个时刻配电网模型中第i
des
个节点接入的分布式储能节点的荷电状态；
[0260]
图2是本发明实施例的配电网环境建模示意图。如图2所示：
[0261]
配电网模拟环境具有包含火力发电和分布式发电的发电单元、与配电网实现能源双向流动的分布式储能单元、具有一定负荷特性的负荷单元。步骤1已经选择多节点配电网模型中k1、k2、k3、k4个节点作为火力发电、分布式发电、分布式储能、负荷节点。获取多个时刻每个节点的有、无功出力和最大有、无功出力，分布式储能节点的荷电状态。配电网潮流优化模拟环境需要考虑潮流优化目标-约束模型，步骤2依次构建各约束和目标。
[0262]
步骤2：依次构建配电网节点的有功平衡约束、配电网支路有功约束、配电网无功潮流等式约束、火力发电单元的有功约束、火力发电单元的无功约束、分布式储能单元的荷电状态约束、负荷单元的有功约束，构建配电网综合损耗，以配电网综合损耗最小化作为潮流优化目标；
[0263]
步骤2所述配电网节点的有功平衡约束，定义如下：
[0264][0265]
其中，m表示配电网模型中节点的数量，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第des个分布式储能节点的出力的有功，表示第t个时刻第l个负荷节点的出力的有功，k1表示火力发电节点的数量，k2表示分布式发电节点的数量，k3表示分布式储能节点的数量，k4表示负荷节点的数量；
[0266]
步骤2所述配电网支路有功潮流约束，定义如下：
[0267]
p
ij
＝(v
i2-v
ivj
cosθ
ij
)g
ij-v
ivjbij
sinθ
ij
[0268]
i∈[1,m]
[0269]
j∈[1,m]
[0270]
其中，p
ij
为节点i到节点j的有功潮流，vi和vj分别为节点i和节点j处的节点电压，θ
ij
为节点i到节点j的相角，g
ij
为节点i到节点j的电导，b
ij
为节点i到节点j的电纳,m表示配电网模型中节点的数量；
[0271]
步骤2所述配电网无功潮流约束，定义如下：
[0272]qij
＝-v
ivjgij
sinθ
ij-(v
i2-v
ivj
cosθ
ij
)b
ij
[0273]
i∈[1,m]
[0274]
j∈[1,m]
[0275]
其中，q
ij
为节点i到节点j的无功潮流，vi和vj分别为节点i和节点j处的节点电压，θ
ij
和g
ij
分别为节点电压相角和支路电导,m表示配电网模型中节点的数量；
[0276]
步骤2所述火力发电单元和分布式发电单元的有功约束，定义如下：
[0277][0278][0279]
其中，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的最大有功，的值随时间以及自然气象变化而上下浮动；m表示配电网模型中节点的数量；
[0280]
步骤2所述火力发电单元和分布式发电单元的无功约束，定义如下：
[0281]
布式发电单元的有功约束，定义如下：
[0282][0283][0284]
其中，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的最大有功；
[0285]
步骤2所述分布式储能单元的荷电状态约束，定义如下：
[0286][0287]
其中，表示第t个时刻第des个分布式储能节点的荷电状态，和分别为第t个时刻第des个分布式储能节点的最小荷电状态、第t个时刻第des个分布式储能节点的最大荷电状态，η∈[0,1]为分布式储能单元充放电效率系数，
△
t表示配电网络决策时刻t的变化量；
[0288]
步骤2所述负荷单元的有功约束，定义如下：
[0289][0290]
其中，表示第t个时刻第l个负荷节点的出力的有功，表示第t个时刻第l个负荷节点的出力的最小有功；
[0291]
步骤2所述配电网综合损耗，定义如下：
[0292][0293]
其中，表示第t个时刻分布式发电节点在削减出力过程中的能量损耗；表示第t个时刻电力线路能量损耗；表示第t个时刻分布式储能节点在储、放电能过程的电能损耗，t表示时刻的数量；
[0294][0295][0296][0297]
其中，表示第t个时刻分布式发电节点在削减出力过程中的能量损耗；表示第t个时刻电力线路能量损耗；表示第t个时刻分布式储能节点在储、放电能过程的电能损耗,表示第t个时刻第dg个分布式发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第des个分布式储能节点的出力的有功，表示第t个时刻第l个负荷节点的出力的有功，δ表示求t到t+1时刻的变化量，k1表示火力发电节点的数量，k2表示分布式发电节点的数量，k3表示分布式储能节点的数量，k4表示负荷节点的数量；
[0298]
图3是本发明实施例的基于配电网潮流优化马尔可夫零和博弈模型总体框架图。如图3所示：
[0299]
基于配电网潮流优化马尔可夫零和博弈模型主要模拟实现配电网潮流优化主智能体与攻击型智能体之间的双智能体零和博弈。其中，将配电网仿真模型与现实配网环境之间的差距建模为攻击型智能体。其训练目标是对配电网主智能体的马尔可夫观测状态施加外界扰动，企图干扰配网潮流优化过程。两智能体具有相反的奖励函数和相同的惩罚约束条件，构成零和博弈。步骤3依次构建配电网潮流优化主智能体和攻击型智能体的状态、动作、奖励、惩罚集合。
[0300]
步骤3：根据每个时刻的每个火力发电节点出力的有功、每个时刻的每个分布式储能节点出力的有功、每个时刻的每个负荷节点的有功、每个时刻的每个负荷节点的无功、每个时刻的每个分布式发电节点出力的最大有功、每个时刻的每个分布式发电节点出力的最
大无功、每个时刻的每个分布式储能节点的荷电状态构建每个时刻的状态集合，根据每个时刻的每个分布式发电节点的有功削减量、每个时刻的每个分布式发电节点的无功削减量、每个时刻的每个分布式储能节点的有功调节量、每个时刻的每个分布式储能节点的无功调节量构建每个时刻的主智能体动作集合，将每个时刻的状态集合进行扰动构建每个时刻的攻击型智能体动作集合，结合每个时刻的状态集合、每个时刻的主智能体动作集合分别计算每个时刻的主智能体的奖励值、每个时刻的主智能体的惩罚值，结合每个时刻的状态集合、每个时刻的攻击型智能体动作集合分别计算每个时刻的攻击型智能体的奖励值、每个时刻的攻击型智能体的惩罚值；通过多个时刻的状态集合、多个时刻的主智能体动作集合、多个时刻的主智能体奖励函数、多个时刻的主智能体惩罚函数构建配电网潮流优化主智能体；通过多个时刻的状态集合、多个时刻的攻击型智能体动作集合、多个时刻的攻击型智能体奖励函数、多个时刻的攻击型智能体惩罚函数构建配电网攻击型智能体；
[0301]
步骤3所述每个时刻的状态集合，具体定义如下：
[0302][0303]
其中，t表示时刻的数量，s
t
表示第t个时刻的状态集合，分别表示第t个时刻第tg个火力发电节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的有功、无功，分别表示第t个时刻第des个分布式储能节点的出力的有功和无功，分别表示第t个时刻第l个负荷节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的最大有功、无功，表示第t个时刻第des个分布式储能节点的荷电状态；
[0304]
步骤3所述每个时刻的主智能体动作集合，具体定义如下：
[0305][0306]
其中，a
1,t
表示第t个时刻的主智能体动作集合；和分别代表第t个时刻第dg个分布式发电节点的有功值、无功削减值；和分别表示第t个时刻第des个分布式储能节点的有功值、无功注入值。
[0307]
步骤3所述将每个时刻的状态集合进行扰动构建每个时刻的攻击型智能体动作集合，具体过程如下：
[0308]
攻击型智能体的动作是对主智能体的马尔可夫观测状态施加扰动其动作集合a
2,t
与s
t
形式与维度相同；
[0309][0310]
其中，a
2,t
表示第t个时刻的主智能体动作集合，分别表示第t个时刻第tg个火力发电节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的有功、无功，分别表示第t个时刻第des个分布式储能节点的出力的有功、无功，分别表示第t个时刻第l个负荷节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的最大有功、无功，表示第t个时刻第des个分布式储能节点的荷电状态；
[0311]
步骤3所述计算每个时刻的主智能体的奖励值，具体过程如下：
[0312][0313]
其中，r
t
为即时奖励值，表示第t个时刻分布式发电节点在削减出力过程中的能量损耗；表示第t个时刻电力线路能量损耗；表示第t个时刻分布式储能节点在储、放电能过程的电能损耗；
[0314][0315][0316][0317]
其中，表示第t个时刻第dg个分布式发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第des个分布式储能节点的出力的有功，表示第t个时刻第l个负荷节点的出力的有功，δ表示求t到t+1时刻的变化量。
[0318]
步骤3所述计算每个时刻的主智能体的惩罚值，具体过程如下：
[0319][0320]
其中，vi为节点i的电压值，v
imax
为节点i的最大电压幅值，v
imin
为节点i的最小电压
幅值，m表示配电网模型中节点的数量。
[0321][0322]
其中，s
ij
(s
ji
)为节点i(j)到j(i)的功率值，为节点i到节点j的最大视在潮流，为节点i的最小视在潮流，m表示配电网模型中节点的数量。
[0323]
步骤3所述计算每个时刻的攻击型智能体的奖励值，具体过程如下：
[0324]
攻击型智能体的奖励值为主智能体的奖励值的相反数：
[0325][0326]
其中，r
t
为即时奖励值，表示第t个时刻分布式发电节点在削减出力过程中的能量损耗；表示第t个时刻电力线路能量损耗；表示第t个时刻分布式储能节点在储、放电能过程的电能损耗；
[0327][0328][0329][0330]
其中，表示第t个时刻第dg个分布式发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第des个分布式储能节点的出力的有功，表示第t个时刻第l个负荷节点的出力的有功，δ表示求t到t+1时刻的变化量。
[0331]
步骤3所述计算每个时刻的攻击型智能体的惩罚值，具体过程如下：
[0332]
攻击型智能体的惩罚值与主智能体的惩罚值相同：
[0333][0334]
其中，vi为节点i的电压值，v
imax
为节点i的最大电压幅值，v
imin
为节点i的最小电压幅值，m表示配电网模型中节点的数量。
[0335][0336]
其中，s
ij
(s
ji
)为节点i(j)到j(i)的功率值，为节点i到节点j的最大视在潮流，
为节点i的最小视在潮流，m表示配电网模型中节点的数量。
[0337]
步骤4：根据步骤3所述的主智能体和攻击型智能体构建双智能体零和博弈鲁棒强化学习模型，通过ta-lag-trpo算法求解双智能体零和博弈鲁棒强化学习模型，实现配电网鲁棒性增强的潮流优化。
[0338]
步骤4所述构建双智能体零和博弈鲁棒强化学习模型，具体如下：
[0339]
主智能体通过深度强化学习算法和步骤3定义的主智能体、攻击型智能体状态集合、动作集合更新潮流优化策略μ的神经网络参数θ，策略μ使得主智能体的奖励函数期望值最大化，同时使得主智能体的惩罚函数期望值低于约束阈值k：
[0340][0341][0342]
其中，μ
θ
为主智能体人工神经网络参数为θ的潮流优化策略，v
θ
′
为攻击型智能体人工神经网络参数为θ’的状态扰动策略，s
t
为主智能体和攻击型智能体的第t个时刻的状态集合，a
1,t
为主智能体的第t个时刻的动作集合，a
2,t
为攻击型智能体的第t个时刻的动作集合，r
t
为第t个时刻的奖励值，a
1,t
～μ
θ
(s
t
)表示输入为状态集合s
t
时利用潮流优化策略μ
θ
输出动作集合a
1,t
，a
2,t
～v
θ
′
(s
t
)表示输入为状态集合s
t
时利用状态扰动策略v
θ
′
输出动作集合a
2,t
，为主智能体利用潮流优化策略μ
θ
获取到的奖励函数期望值，为主智能体利用潮流优化策略μ
θ
获取到的惩罚函数期望值，t表示时刻的数量，c1为电压越限惩罚值，c2为潮流越限惩罚值，γ∈(0,1]为折扣因子，反映未来收益的重要程度，k为约束阈值，max表示利用潮流优化策略μ
θ
获取最大值，e表示求期望。
[0343]
攻击型智能体的目标是学习到状态扰动策略ν的最优网络参数θ’，对主智能体的观测状态进行扰动。与主智能体相反，攻击型智能体使其奖励函数期望值最小化，同时满足其惩罚函数期望值低于约束阈值k：
[0344][0345][0346]
其中，μ
θ
为主智能体人工神经网络参数为θ的潮流优化策略，v
θ
′
为攻击型智能体人工神经网络参数为θ’的状态扰动策略，s
t
为主智能体和攻击型智能体的第t个时刻的状态集合，a
1,t
为主智能体的第t个时刻的动作集合，a
2,t
为攻击型智能体的第t个时刻的动作集合，r
t
为第t个时刻的奖励值，a
1,t
～μ
θ
(s
t
)表示输入为状态集合s
t
时利用潮流优化策略μ
θ
输出动作集合a
1,t
，a
2,t
～v
θ
′
(s
t
)表示输入为状态集合s
t
时利用状态扰动策略v
θ
′
输出动作集合a
2,t
，为攻击型智能体利用状态扰动策略v
θ
′
获取到的奖励函数期望值，为攻击型智能体利用状态扰动策略v
θ
′
获取到的惩罚函数期望值，t表示时刻的数量，c1为电压越限惩罚值，c2为潮流越限惩罚值，γ∈(0,1]为折扣因子，反映未来收益的重要程度，k为约束阈值，min表示利用状态扰动策略v
θ
′
获取最小值，e表示求期望。
[0347]
本质上，两智能体的目标、约束函数共同构成了双智能体零和博弈鲁棒强化学习模型目标约束形式：
[0348][0349][0350]
其中，maxmin表示利用状态扰动策略v
θ
′
获取最小值的同时利用潮流优化策略μ
θ
获取最大值,为主智能体潮流优化策略μ
θ
和攻击型智能体状态扰动策略v
θ
′
共同作用的奖励函数期望值，为主智能体潮流优化策略μ
θ
和攻击型智能体状态扰动策略v
θ
′
共同作用的惩罚函数期望值，k为约束阈值；
[0351]
将拉格朗日乘子法应用于上述目标约束优化问题，使其转换为无约束优化问题。主智能体得到无约束目标形式：
[0352][0353]
攻击智能体得到无约束目标形式：
[0354][0355]
其中，为主智能体潮流优化策略μ
θ
的无约束优化目标，为攻击型智能体潮流优化策略v
θ
′
的无约束优化目标，为主智能体利用潮流优化策略μ
θ
获取到的奖励函数期望值，为主智能体利用潮流优化策略μ
θ
获取到的惩罚函数期望值，为攻击型智能体利用状态扰动策略v
θ
′
获取到的奖励函数期望值，为攻击型智能体利用状态扰动策略v
θ
′
获取到的惩罚函数期望值，β为可迭代更新的拉格朗日乘子参数，λ为可迭代更新的拉格朗日乘子参数，用于权衡智能体的决策策略神经网络参数在奖励和惩罚之间的取舍更新，a
1,t
为主智能体的第t个时刻的动作集合，a
2,t
为攻击型智能体的第t个时刻的动作集合。
[0356]
根据上述分析，可以将双智能体零和博弈鲁棒强化学习模型目标约束形式转化为如下双智能体零和博弈鲁棒强化学习模型无约束目标形式：
[0357][0358]
为主智能体潮流优化策略μ
θ
和攻击型智能体状态扰动策略v
θ
′
共同作用的无约束优化目标，得到双智能体零和博弈鲁棒强化学习模型的求解目标；
[0359]
步骤4所通过ta-lag-trpo算法求解双智能体零和博弈鲁棒强化学习模型，具体如下：
[0360]
构建目标函数，具体如下：：
[0361][0362][0363][0364]
其中，argmax表示是求函数最大化的参数，e为求期望，为奖励函数的时序差分残差，将其定义为优势函数。d
kl
为使用kl散度来衡量新人工神经网络参数θ
new
和旧人工神经
网络参数θ之间的更新距离，为主智能体的惩罚函数期望值，表示输入状态为s时，利用潮流优化策略输出动作a的概率，μ
θ
(a|s)表示输入状态为s时，利用潮流优化策略μ
θ
输出动作a的概率，δ为kl距离的阈值，k为约束阈值。
[0365]
首先利用泰勒展开公式对其进行近似处理：
[0366][0367][0368]
其中，argmax表示是求函数最大化的参数，g表示求解目标项的梯度，h表示求新人工神经网络参数θ
new
和旧人工神经网络参数θ之间平均kl距离的黑塞矩阵，δ为kl距离的阈值；
[0369]
构建lag-trpo算法，具体如下：
[0370]
再利用拉格朗日乘子法将带惩罚函数期望值约束项变换到求解目标项上成为无约束形式，通过人工神经网络梯度下降法使得拉格朗日乘子β自适应收敛到合适的值，从而实现有约束到无约束优化问题的等价转换；
[0371]
针对双智能体零和博弈鲁棒强化学习模型无约束目标形式，结合trpo算法以及拉格朗日乘子法，提出了一种ta-lag-trpo算法来实现主智能体和攻击型智能体的博弈训练，求解双智能体零和博弈鲁棒强化学习模型。所述ta-lag-trpo算法具体如下：
[0372]
图4是本发明实施例的ma-lag-trpo算法流程图：
[0373]
具体实现的是主智能体和攻击型智能体之间的零和博弈训练过程。固定攻击型智能体的扰动策略v，主智能体学习决策策略μ以及如何防御攻击型智能体的状态扰动攻击；在t步决策中，lag-trpo算法根据第n次迭代的决策参数θn、第n-1次迭代的扰动参数θn'-1
依次做出决策a
1,t
，a
2,t
，同时对训练序列日志数据{s
t
,a
1,t
,a
2,t
,r
t
,c
t
}进行采样，评价所做决策并更新优化决策参数θn。t步决策后，固定住主智能体的调度决策策略μ，攻击型智能体学习如何攻击和干扰主智能体的决策，与上述过程相似。在t步决策中，lag-trpo算法根据第n次迭代的决策参数θn、第n次迭代的扰动参数θn'依次做出决策a
1,t
，a
2,t
，同时对训练序列日志数据{s
t
,a
1,t
,a
2,t
,r
t
,c
t
}进行采样，评价所做决策并更新扰动策略ν参数θn'。交替进行上述过程直至循环结束，返回主智能体决策策略μ参数θn，攻击型智能体扰动策略ν参数θ'n，n≤n，n为最大迭代次数；
[0374]
本发明的具体实施例还提供了一种计算机可读介质。
[0375]
所述计算机可读介质为服务器工作站；
[0376]
所述服务器工作站存储电子设备执行的计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行本发明实施例的鲁棒强化学习的配网潮流优化方法的步骤。
[0377]
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
[0378]
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

技术特征：
1.一种鲁棒强化学习的配网潮流优化方法，其特征在于：获取配电网模型、分布式发电节点、分布式储能节点、火力发电节点、负荷节点出力的数据；构建配电网综合损耗，以配电网综合损耗最小化作为潮流优化目标；构建每个时刻的状态集合、每个时刻的主智能体动作集合、每个时刻的攻击型智能体动作集合，进一步构建配电网潮流优化主智能体、配电网攻击型智能体；构建双智能体零和博弈鲁棒强化学习模型，通过ta-lag-trpo算法求解双智能体零和博弈鲁棒强化学习模型。2.根据权利要求1所述的鲁棒强化学习的配网潮流优化方法，其特征在于，包括以下步骤：步骤1：获取配电网模型，分别选择多节点配电网模型中k1个节点作为多个火力发电节点、k2个节点作为多个分布式发电节点、k3个节点作为多个分布式储能节点、k4个节点作为多个负荷节点，获取多个时刻的每个火力发电节点出力的有功、多个时刻的每个火力发电节点出力的无功、多个时刻的每个分布式储能节点出力的有功、多个时刻的每个分布式储能节点出力的无功、多个时刻的每个负荷节点的有功、多个时刻的每个负荷节点的无功、多个时刻的每个分布式发电节点出力的最大有功、多个时刻的每个分布式发电节点出力的最大无功、多个时刻的每个分布式发电节点出力的有功、多个时刻的每个分布式发电节点出力的无功、多个时刻的每个分布式储能节点的荷电状态；步骤2：依次构建配电网节点的有功平衡约束、配电网有功潮流约束、配电网无功潮流约束、火力发电单元的有功约束、火力发电单元的无功约束、分布式发电单元的有功约束、分布式发电单元的无功约束、分布式储能单元的荷电状态约束、负荷单元的有功约束，构建配电网综合损耗，以配电网综合损耗最小化作为潮流优化目标；步骤3：根据每个时刻的每个火力发电节点出力的有功、每个时刻的每个分布式储能节点出力的有功、每个时刻的每个负荷节点的有功、每个时刻的每个负荷节点的无功、每个时刻的每个分布式发电节点出力的最大有功、每个时刻的每个分布式发电节点出力的最大无功、每个时刻的每个分布式储能节点的荷电状态构建每个时刻的状态集合，根据每个时刻的每个分布式发电节点的有功削减量、每个时刻的每个分布式发电节点的无功削减量、每个时刻的每个分布式储能节点的有功调节量、每个时刻的每个分布式储能节点的无功调节量构建每个时刻的主智能体动作集合，将每个时刻的状态集合进行扰动构建每个时刻的攻击型智能体动作集合，结合每个时刻的状态集合、每个时刻的主智能体动作集合分别计算每个时刻的主智能体的奖励值、每个时刻的主智能体的惩罚值，结合每个时刻的状态集合、每个时刻的攻击型智能体动作集合分别计算每个时刻的攻击型智能体的奖励值、每个时刻的攻击型智能体的惩罚值；通过多个时刻的状态集合、多个时刻的主智能体动作集合、多个时刻的主智能体奖励函数、多个时刻的主智能体惩罚函数构建配电网潮流优化主智能体；通过多个时刻的状态集合、多个时刻的攻击型智能体动作集合、多个时刻的攻击型智能体奖励函数、多个时刻的攻击型智能体惩罚函数构建配电网攻击型智能体；步骤4：根据主智能体和攻击型智能体构建双智能体零和博弈鲁棒强化学习模型，通过ta-lag-trpo算法求解双智能体零和博弈鲁棒强化学习模型，实现配电网鲁棒性增强的潮流优化。
3.根据权利要求2所述的鲁棒强化学习的配网潮流优化方法，其特征在于：步骤1所述多个时刻的每个火力发电节点出力的有功，定义如下：其中，t表示时刻的数量，k1表示火力发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第tg个火力发电节点的出力的有功，即表示第t个时刻配电网模型中第i
tg
个节点接入的火力发电节点的出力的有功；步骤1所述多个时刻的每个火力发电节点出力的无功，定义如下：其中，t表示时刻的数量，k1表示火力发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第tg个火力发电节点的出力的无功，即表示第t个时刻配电网模型中第i
tg
个节点接入的火力发电节点的出力的无功；步骤1所述多个时刻的每个分布式储能节点出力的有功，定义如下：其中，t表示时刻的数量，k3表示分布式储能节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第des个分布式储能节点的出力的有功，即表示第t个时刻配电网模型中第i
des
个节点接入的分布式储能节点的出力的有功；步骤1所述多个时刻的每个分布式储能节点出力的无功，定义如下：其中，t表示时刻的数量，k3表示分布式储能节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第des个分布式储能节点的出力的无功，即表示第t个时刻配电网模型中第i
des
个节点接入的分布式储能节点的出力的无功；步骤1所述多个时刻的每个负荷节点的有功，定义如下：
其中，t表示时刻的数量，k4表示负荷节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第l个负荷节点的出力的有功，即表示第t个时刻配电网模型中第i
l
个节点接入的负荷节点的出力的有功；步骤1所述多个时刻的每个负荷节点的无功，定义如下：其中，t表示时刻的数量，k4表示负荷节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第l个负荷节点的出力的无功，即表示第t个时刻配电网模型中第i
l
个节点接入的负荷节点的出力的无功；步骤1所述多个时刻的每个分布式发电节点出力的最大有功，定义如下：其中，t表示时刻的数量，k2表示分布式发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第dg个分布式发电节点的出力的最大有功，即表示第t个时刻配电网模型中第i
dg
个节点接入的分布式发电节点的出力的最大有功；步骤1所述多个时刻的每个分布式发电节点出力的最大无功，定义如下：其中，t表示时刻的数量，k2表示分布式发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第dg个分布式发电节点的出力的最大无功，即表示第t个时刻配电网模型中第i
dg
个节点接入的分布式发电节点的出力的最大无功；步骤1所述多个时刻的每个分布式发电节点出力的有功，定义如下：
其中，t表示时刻的数量，k2表示分布式发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第dg个分布式发电节点的出力的有功，即表示第t个时刻配电网模型中第i
dg
个节点接入的分布式发电节点的出力的有功；步骤1所述多个时刻的每个分布式发电节点出力的无功，定义如下：其中，t表示时刻的数量，k2表示分布式发电节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第dg个分布式发电节点的出力的无功，即表示第t个时刻配电网模型中第i
dg
个节点接入的分布式发电节点的出力的无功；步骤1所述多个时刻的每个分布式储能节点的荷电状态，定义如下：其中，t表示时刻的数量，k3表示分布式储能节点的数量，m表示配电网模型中节点的数量，表示第t个时刻第des个分布式储能节点的荷电状态，即表示第t个时刻配电网模型中第i
des
个节点接入的分布式储能节点的荷电状态。4.根据权利要求3所述的鲁棒强化学习的配网潮流优化方法，其特征在于：步骤2所述配电网节点的有功平衡约束，定义如下：其中，m表示配电网模型中节点的数量，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第des个分布式储能节点的出力的有功，表示第t个时刻第l个负荷节点的出力的有功，k1表示火力发电节点的数量，k2表示分布式发电节点的数量，k3表示分布式储能节点的数量，k4表示负荷节点的数量；步骤2所述配电网有功潮流约束，定义如下：p
ij
＝(v
i2-v
ivj
cosθ
ij
)g
ij-v
ivj
b
ij
sinθ
ij
i∈[1,m]
j∈[1,m]其中，p
ij
为节点i到节点j的有功潮流，v
i
和v
j
分别为节点i和节点j处的节点电压，θ
ij
为节点i到节点j的相角，g
ij
为节点i到节点j的电导，b
ij
为节点i到节点j的电纳,m表示配电网模型中节点的数量；步骤2所述配电网无功潮流约束，定义如下：q
ij
＝-v
ivj
g
ij
sinθ
ij-(v
i2-v
ivj
cosθ
ij
)b
ij
i∈[1,m]j∈[1,m]其中，q
ij
为节点i到节点j的无功潮流，v
i
和v
j
分别为节点i和节点j处的节点电压，θ
ij
和g
ij
分别为节点电压相角和支路电导,m表示配电网模型中节点的数量；步骤2所述火力发电单元和分布式发电单元的有功约束，定义如下：步骤2所述火力发电单元和分布式发电单元的有功约束，定义如下：其中，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的最大有功，的值随时间以及自然气象变化而上下浮动；m表示配电网模型中节点的数量；步骤2所述火力发电单元和分布式发电单元的无功约束，定义如下：步骤2所述火力发电单元和分布式发电单元的无功约束，定义如下：其中，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的最大有功；步骤2所述分布式储能单元的荷电状态约束，定义如下：其中，表示第t个时刻第des个分布式储能节点的荷电状态，和分别为第t个时刻第des个分布式储能节点的最小荷电状态、第t个时刻第des个分布式储能节点的最大荷电状态，η∈[0,1]为分布式储能单元充放电效率系数，
△
t表示配电网络决策时刻t的变化量；步骤2所述负荷单元的有功约束，定义如下：其中，表示第t个时刻第l个负荷节点的出力的有功，表示第t个时刻第l个负荷
节点的出力的最小有功。5.根据权利要求4所述的鲁棒强化学习的配网潮流优化方法，其特征在于：步骤2所述配电网综合损耗，定义如下：其中，表示第t个时刻分布式发电节点在削减出力过程中的能量损耗；表示第t个时刻电力线路能量损耗；表示第t个时刻分布式储能节点在储、放电能过程的电能损耗，t表示时刻的数量；损耗，t表示时刻的数量；损耗，t表示时刻的数量；其中，表示第t个时刻分布式发电节点在削减出力过程中的能量损耗；表示第t个时刻电力线路能量损耗；表示第t个时刻分布式储能节点在储、放电能过程的电能损耗,表示第t个时刻第dg个分布式发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第des个分布式储能节点的出力的有功，表示第t个时刻第l个负荷节点的出力的有功，δ表示求t到t+1时刻的变化量，k1表示火力发电节点的数量，k2表示分布式发电节点的数量，k3表示分布式储能节点的数量，k4表示负荷节点的数量。6.根据权利要求5所述的鲁棒强化学习的配网潮流优化方法，其特征在于：步骤3所述每个时刻的状态集合，具体定义如下：其中，t表示时刻的数量，s
t
表示第t个时刻的状态集合，分别表示第t个时刻第tg个火力发电节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的有功、无功，分别表示第t个时刻第des个分布式储能节点的出力的有功和无
功，分别表示第t个时刻第l个负荷节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的最大有功、无功，表示第t个时刻第des个分布式储能节点的荷电状态；步骤3所述每个时刻的主智能体动作集合，具体定义如下：其中，a
1,t
表示第t个时刻的主智能体动作集合；和分别代表第t个时刻第dg个分布式发电节点的有功值、无功削减值；和分别表示第t个时刻第des个分布式储能节点的有功值、无功注入值；步骤3所述将每个时刻的状态集合进行扰动构建每个时刻的攻击型智能体动作集合，具体过程如下：攻击型智能体的动作是对主智能体的马尔可夫观测状态施加扰动其动作集合a
2,t
与s
t
形式与维度相同；其中，a
2,t
表示第t个时刻的主智能体动作集合，分别表示第t个时刻第tg个火力发电节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的有功、无功，分别表示第t个时刻第des个分布式储能节点的出力的有功、无功，分别表示第t个时刻第l个负荷节点的出力的有功、无功，分别表示第t个时刻第dg个分布式发电节点的出力的最大有功、无功，表示第t个时刻第des个分布式储能节点的荷电状态。7.根据权利要求6所述的鲁棒强化学习的配网潮流优化方法，其特征在于：步骤3所述计算每个时刻的主智能体的奖励值，具体过程如下：其中，r
t
为即时奖励值，表示第t个时刻分布式发电节点在削减出力过程中的能量损耗；表示第t个时刻电力线路能量损耗；表示第t个时刻分布式储能节点在储、放电能过程的电能损耗；
其中，表示第t个时刻第dg个分布式发电节点的出力的最大有功，表示第t个时刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第des个分布式储能节点的出力的有功，表示第t个时刻第l个负荷节点的出力的有功，δ表示求t到t+1时刻的变化量；步骤3所述计算每个时刻的主智能体的惩罚值，具体过程如下：其中，v
i
为节点i的电压值，v
imax
为节点i的最大电压幅值，v
imin
为节点i的最小电压幅值，m表示配电网模型中节点的数量；其中，s
ij
(s
ji
)为节点i(j)到j(i)的功率值，为节点i到节点j的最大视在潮流，为节点i的最小视在潮流，m表示配电网模型中节点的数量；步骤3所述计算每个时刻的攻击型智能体的奖励值，具体过程如下：攻击型智能体的奖励值为主智能体的奖励值的相反数：其中，r
t
为即时奖励值，表示第t个时刻分布式发电节点在削减出力过程中的能量损耗；表示第t个时刻电力线路能量损耗；表示第t个时刻分布式储能节点在储、放电能过程的电能损耗；电能过程的电能损耗；其中，表示第t个时刻第dg个分布式发电节点的出力的最大有功，表示第t个时
刻第dg个分布式发电节点的出力的有功，表示第t个时刻第tg个火力发电节点的出力的有功，表示第t个时刻第des个分布式储能节点的出力的有功，表示第t个时刻第l个负荷节点的出力的有功，δ表示求t到t+1时刻的变化量；步骤3所述计算每个时刻的攻击型智能体的惩罚值，具体过程如下：攻击型智能体的惩罚值与主智能体的惩罚值相同：其中，v
i
为节点i的电压值，v
imax
为节点i的最大电压幅值，v
imin
为节点i的最小电压幅值，m表示配电网模型中节点的数量；其中，s
ij
(s
ji
)为节点i(j)到j(i)的功率值，为节点i到节点j的最大视在潮流，为节点i的最小视在潮流，m表示配电网模型中节点的数量。8.根据权利要求7所述的鲁棒强化学习的配网潮流优化方法，其特征在于：步骤4所述构建双智能体零和博弈鲁棒强化学习模型，具体如下：主智能体通过深度强化学习算法和步骤3定义的主智能体、攻击型智能体状态集合、动作集合更新潮流优化策略μ的神经网络参数θ，策略μ使得主智能体的奖励函数期望值最大化，同时使得主智能体的惩罚函数期望值低于约束阈值k：化，同时使得主智能体的惩罚函数期望值低于约束阈值k：其中，μ
θ
为主智能体人工神经网络参数为θ的潮流优化策略，v
θ
′
为攻击型智能体人工神经网络参数为θ’的状态扰动策略，s
t
为主智能体和攻击型智能体的第t个时刻的状态集合，a
1,t
为主智能体的第t个时刻的动作集合，a
2,t
为攻击型智能体的第t个时刻的动作集合，r
t
为第t个时刻的奖励值，a
1,t
～μ
θ
(s
t
)表示输入为状态集合s
t
时利用潮流优化策略μ
θ
输出动作集合a
1,t
，a
2,t
～v
θ
′
(s
t
)表示输入为状态集合s
t
时利用状态扰动策略v
θ
′
输出动作集合a
2,t
，为主智能体利用潮流优化策略μ
θ
获取到的奖励函数期望值，为主智能体利用潮流优化策略μ
θ
获取到的惩罚函数期望值，t表示时刻的数量，c1为电压越限惩罚值，c2为潮流越限惩罚值，γ∈(0,1]为折扣因子，反映未来收益的重要程度，k为约束阈值，max表示利用潮流优化策略μ
θ
获取最大值，e表示求期望；攻击型智能体的目标是学习到状态扰动策略ν的最优网络参数θ’，对主智能体的观测状态进行扰动；与主智能体相反，攻击型智能体使其奖励函数期望值最小化，同时满足其惩罚函数期望值低于约束阈值k：
其中，μ
θ
为主智能体人工神经网络参数为θ的潮流优化策略，v
θ
′
为攻击型智能体人工神经网络参数为θ’的状态扰动策略，s
t
为主智能体和攻击型智能体的第t个时刻的状态集合，a
1,t
为主智能体的第t个时刻的动作集合，a
2,t
为攻击型智能体的第t个时刻的动作集合，r
t
为第t个时刻的奖励值，a
1,t
～μ
θ
(s
t
)表示输入为状态集合s
t
时利用潮流优化策略μ
θ
输出动作集合a
1,t
，a
2,t
～v
θ
′
(s
t
)表示输入为状态集合s
t
时利用状态扰动策略v
θ
′
输出动作集合a
2,t
，为攻击型智能体利用状态扰动策略v
θ
′
获取到的奖励函数期望值，为攻击型智能体利用状态扰动策略v
θ
′
获取到的惩罚函数期望值，t表示时刻的数量，c1为电压越限惩罚值，c2为潮流越限惩罚值，γ∈(0,1]为折扣因子，反映未来收益的重要程度，k为约束阈值，min表示利用状态扰动策略v
θ
′
获取最小值，e表示求期望；两智能体的目标、约束函数共同构成了双智能体零和博弈鲁棒强化学习模型目标约束形式：形式：其中，maxmin表示利用状态扰动策略v
θ
′
获取最小值的同时利用潮流优化策略μ
θ
获取最大值,为主智能体潮流优化策略μ
θ
和攻击型智能体状态扰动策略v
θ
′
共同作用的奖励函数期望值，为主智能体潮流优化策略μ
θ
和攻击型智能体状态扰动策略v
θ
′
共同作用的惩罚函数期望值，k为约束阈值；将拉格朗日乘子法应用于上述目标约束优化问题，使其转换为无约束优化问题；主智能体得到无约束目标形式：攻击智能体得到无约束目标形式：其中，为主智能体潮流优化策略μ
θ
的无约束优化目标，为攻击型智能体潮流优化策略v
θ
′
的无约束优化目标，r
μθ
为主智能体利用潮流优化策略μ
θ
获取到的奖励函数期望值，为主智能体利用潮流优化策略μ
θ
获取到的惩罚函数期望值，为攻击型智能体利用状态扰动策略v
θ
′
获取到的奖励函数期望值，为攻击型智能体利用状态扰动策略v
θ
′
获取到的惩罚函数期望值，β为可迭代更新的拉格朗日乘子参数，λ为可迭代更新的拉格朗日乘子参数，用于权衡智能体的决策策略神经网络参数在奖励和惩罚之间的取舍更新，a
1,t
为主智能体的第t个时刻的动作集合，a
2,t
为攻击型智能体的第t个时刻的动作集合；根据上述分析，可以将双智能体零和博弈鲁棒强化学习模型目标约束形式转化为如下双智能体零和博弈鲁棒强化学习模型无约束目标形式：
为主智能体潮流优化策略μ
θ
和攻击型智能体状态扰动策略v
θ
′
共同作用的无约束优化目标，得到双智能体零和博弈鲁棒强化学习模型的求解目标。9.根据权利要求8所述的鲁棒强化学习的配网潮流优化方法，其特征在于：步骤4所通过ta-lag-trpo算法求解双智能体零和博弈鲁棒强化学习模型，具体如下：构建目标函数，具体如下：：构建目标函数，具体如下：：构建目标函数，具体如下：：其中，argmax表示是求函数最大化的参数，e为求期望，为奖励函数的时序差分残差，将其定义为优势函数；d
kl
为使用kl散度来衡量新人工神经网络参数θ
new
和旧人工神经网络参数θ之间的更新距离，为主智能体的惩罚函数期望值，表示输入状态为s时，利用潮流优化策略输出动作a的概率，μ
θ
(a|s)表示输入状态为s时，利用潮流优化策略μ
θ
输出动作a的概率，δ为kl距离的阈值，k为约束阈值；首先利用泰勒展开公式对其进行近似处理：首先利用泰勒展开公式对其进行近似处理：其中，argmax表示是求函数最大化的参数，g表示求解目标项的梯度，h表示求新人工神经网络参数θ
new
和旧人工神经网络参数θ之间平均kl距离的黑塞矩阵，δ为kl距离的阈值；构建lag-trpo算法，具体如下：再利用拉格朗日乘子法将带惩罚函数期望值约束项变换到求解目标项上成为无约束形式，通过人工神经网络梯度下降法使得拉格朗日乘子β自适应收敛到合适的值，从而实现有约束到无约束优化问题的等价转换；所述ta-lag-trpo算法具体如下：实现的是主智能体和攻击型智能体之间的零和博弈训练过程；固定攻击型智能体的扰动策略v，主智能体学习决策策略μ以及如何防御攻击型智能体的状态扰动攻击；在t步决策中，lag-trpo算法根据第n次迭代的决策参数θ
n
、第n-1次迭代的扰动参数θ
′
n-1
依次做出决策a
1,t
，a
2,t
，同时对训练序列日志数据{s
t
,a
1,t
,a
2,t
,r
t
,c
t
}进行采样，评价所做决策并更新优化决策参数θ
n
。t步决策后，固定住主智能体的调度决策策略μ，攻击型智能体学习如何攻击和干扰主智能体的决策，与上述过程相似。在t步决策中，lag-trpo算法根据第n次迭代的决策参数θ
n
、第n次迭代的扰动参数θ
′
n
依次做出决策a
1,t
，a
2,t
，同时对训练序列日志数据{s
t,
a
1,t
,a
2,t
,r
t
,c
t
}进行采样，评价所做决策并更新扰动策略ν参数θ
′
n
。交替进行上述过程直至循环结束，返回主智能体决策策略μ参数θ
n
，攻击型智能体扰动策略ν参数θ'
n
，n≤n，n为最大迭代次数。10.一种计算机可读介质，其特征在于，其存储电子设备执行的计算机程序，当所述计
算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-9任一项所述方法的步骤。

技术总结
本发明公开了涉及一种鲁棒强化学习的配网潮流优化方法及计算机可读介质。本发明选择多节点配电网模型中多个节点作为火力发电、分布式发电、分布式储能、负荷节点。获取多个时刻每个节点的有、无功出力和最大有、无功出力，分布式储能节点的荷电状态；构建配电网的各约束条件，包括节点有功平衡、支路有、无功潮流、发电单元有、无功、分布式储能单元荷电状态和负荷单元有功约束。优化目标为最小化配电网的综合损耗；构建配电网潮流优化主智能体和攻击型智能体的状态、动作、奖励、惩罚集合；通过TA-Lag-TRPO算法求解主智能体和攻击型智能体的零和博弈鲁棒强化学习模型。本发明可解决配电网鲁棒性增强的潮流优化问题，提升配电网潮流优化过程中的安全性和抗干扰能力。优化过程中的安全性和抗干扰能力。优化过程中的安全性和抗干扰能力。


技术研发人员：李晓旭 田猛 龚立 郑涵 朱紫阳 王先培
受保护的技术使用者：武汉大学
技术研发日：2023.04.20
技术公布日：2023/8/9