一种电量交易报价决策的生成方法及系统与流程

1.本发明属于电力市场技术领域，尤其涉及一种电量交易报价决策的生成方法及系统。


背景技术：

2.中国电力市场改革和建设已进入实质性的关键阶段，随着市场主体不断增多，市场化电量不断扩大，涵盖不同交易周期、不同交易品种、不同交易模式的市场机制也逐渐建立起来，可见，目前电力市场具有多元异构、海量数据、多主体多步重复推演等特征。
3.如何根据目前电力交易市场的特点确定出合理的电力市场的申报电价，制定科学的电力市场交易策略，对实现电力市场市场交易收益最大化和可持续健康发展尤为重要。


技术实现要素：

4.为了解决或者改善上述问题，本发明提供了一种电量交易报价决策的生成方法及系统，具体技术方案如下：
5.本发明提供了一种一种电量交易报价决策的生成方法，包括：
6.步骤1：基于年度负荷预测结果，将合同电量分解到各月，得到发电厂年度合同电量的月度分解电量步骤2：基于电量的市场需求因素，建立发电厂的月度电力电量集中竞价交易模型，从而确定出市场的供给电量qs以及电力用户总需求电量qd。步骤3：利用发电厂在月度集中竞价交易的成交电量以及市场交易价格p
mc
建立发电厂的市场收入模型；利用所述发电厂年度合同电量的月度分解电量以及所述发电厂在月度集中竞价交易的成交电量建立发电成本模型；利用所述发电厂的市场收入模型以及所述发电成本模型建立环境奖励交互模型确定出发电厂在月度集中竞价交易的环境奖励步骤4：确定电力市场状态、发电厂状态以及发电厂动作空间；利用所述市场电量供给qs以及所述电力用户总电量需求qd确定出所述电力市场状态；利用发电厂的月度剩余最大发电量以及所述电力用户总电量需求qd确定发电厂状态；计算发电厂在月度集中竞价交易中的申报电量以及发电厂在月度集中竞价交易中的申报电价从而确定发电厂动作空间。步骤5，建立训练样本集：利用所述电力市场状态、所述发电厂自身状态以及所述发电厂动作空间建立策略网络的训练样本集，输入为所述电力市场状态以及所述发电厂自身状态，输出为所述发电厂动作空间；利用所述电力市场状态、所述发电厂自身状态以及所述环境奖励建立价值网络的训练样本集，输入为所述电力市场状态以及所述发电厂自身状态，输出为所述环境奖励步骤6：基于所述策略网络训练样本集以及所述价值网络训练样本集，通过近端策略优化算法的训练机制得到发电厂的最优报价网络模
型。步骤7：向所述最优报价网络模型输入当前市场状态和发电厂自身状态，即可得到发电厂报价策略。
7.优选的，所述步骤1包括以下步骤：
8.步骤101：获取下一年度每月的负荷预测曲线以及全年总发电量q
p
。步骤102：在所述每月的负荷预测曲线的基础上减去未参与市场机组的出力曲线,得到参与市场竞价机组的月出力曲线p
mt
(t)。步骤103：利用发电机组i所签的合同总量全年总发电量q
p
以及尚未参与市场的非竞价机组的总计划发电量确定每个发电机组的合同电量同参与市场竞价的总发电量的比例ki，其中i代表发电机组。步骤104：利用所述参与市场竞价机组的月出力曲线以及所述比例ki，计算出发电机组a在各月的合同分解发电量，计算表达式如下，
[0009][0010]
式中，为发电机组a在t月的合同分解量。
[0011]
步骤105：利用所述发电机组a在t月的合同分解量计算出发电厂的年度合同电量的月度分解电量表达式如下，
[0012][0013]
式中，g为发电厂发电机的总数量。
[0014]
优选的，所述步骤2具体包括：
[0015]
步骤201：根据合同用电方按申报价格从大到小的优先级排序以及合同供电方按申报价格从小到大的优先级排序的原理构建所述发电厂的月度电力电量集中竞价交易模型，表达式如下，
[0016][0017][0018][0019][0020]
式中，为用合同用电方i和合同供电方j的市场总效用；为合同用电方i的申报电价；为合同供电方j的申报电价；为合同用电方i和合同供电方j的成交电量；为合同用电方i的申报电量；为合同供电方j的申报电量，n为合同用电方的总个数，m为合同供电方的总个数。
[0021]
步骤202：求解得到合同用电方的总成交电量和合同供电方的总成交电量如下所示，
[0022]
[0023][0024]
式中，为合同用电方i的总成交量；为合同供电方j的总成交量。
[0025]
步骤203：利用合同用电方i的总成交量确定所述电力用户总电量需求qd，表达式如下，
[0026][0027]
利用合同供电方j的总成交量确定所述市场电量供给qs，表达式如下，
[0028][0029]
优选的，所述步骤3包括以下步骤：
[0030]
步骤301，建立发电厂的市场收入模型：计算发电厂在月度集中竞价的收入表达式如下，
[0031][0032]
式中，为发电厂在月度集中竞价交易的成交电量，p
mc
为市场交易价格。
[0033]
步骤302，建立发电成本模型：计算发电厂月度平均发电出力对应的边际成本表达式如下：
[0034][0035]
式中，αg为发电厂在月度集中竞价交易中的申报电量决策系数，βg为发电厂在月度集中竞价交易中的申报电价决策系数，t
mon
为月度小时数，为发电厂年度合同电量的月度分解电量。
[0036]
步骤303：基于所述发电厂的市场收入模型与所述发电成本模型，确定出发电厂在月度集中竞价交易的环境奖励表达式如下：
[0037][0038]
优选的，所述步骤4包括以下步骤：
[0039]
步骤401：确定电力市场状态，所述电力市场状态表征为市场供需比r，表达式如下，
[0040][0041]
式中，qs为市场电量供给，qd为电力用户总电量需求。
[0042]
步骤402：确定所述发电厂状态，所述发电厂状态表征为发电厂的市场份额sg，表达式如下，
[0043]
[0044]
式中，为发电厂的月度剩余最大发电量。
[0045]
步骤403：确定发电厂动作空间，所述发电厂动作空间表征为所述发电厂在月度集中竞价交易中的申报电量以及所述发电厂在月度集中竞价交易中的申报电价
[0046]
所述发电厂在月度集中竞价交易中的申报电量表达式如下，
[0047][0048]
式中，αg为发电厂在月度集中竞价交易中的申报电量决策系数；
[0049]
所述发电厂在月度集中竞价交易中的申报电价表达式如下，
[0050][0051]
式中，βg为发电厂在月度集中竞价交易中的申报电价决策系数，为发电厂的月度平均边际发电成本。
[0052]
优选的，所述申报电量决策系数αg：其取值范围为[0,1]。
[0053]
优选的，所述申报电价决策系数βg：其取值范围为[1,1.2]。
[0054]
优选的，所述步骤6中的训练机制包括以下步骤：
[0055]
步骤601：获取发电厂与市场环境交互路径τ，
[0056]
τ＝(s1,a1,s2,a2,
···
,s
t
,a
t
)；
[0057]
式中，s
t
为发电厂在进行第t个步骤时的状态空间s里的取值，a
t
为发电厂在进行第t个步骤时的动作空间a里的取值，t为一共需要进行的步骤数。
[0058]
步骤602：根据环境奖励获取t步的累计奖励r(τ)为：
[0059][0060]
式中，γ
t-1
为随步数变化的奖励系数；为发电厂在第t步时获取的总环境奖励；
[0061]
随后计算发电厂在策略为π
θ
情况下，即计及各条决策路径的概率下，选取动作的累计奖励期望为：
[0062][0063]
式中，p
θ
(τ)为在策略π
θ
下选取路径为τ的概率。
[0064]
步骤603：更新梯度表达式如下，
[0065][0066]
式中，θ为策略π
θ
的参数，θ'为策略π
θ'
的参数，π
θ'
为采集样本数据，p
θ
(a
t
|s
t
)为采取策略π
θ
时在发电厂的状态空间取值为s
t
的情况下发电厂动作空间取值为a
t
的概率，p
θ'
(a
t
|s
t
)为采取策略π
θ'
时在发电厂的状态空间取值为s
t
的情况下发电厂动作空间取值为a
t
的概
率，a'(s
t
,a
t
)表示以策略π
θ'
计算得到的优势函数；
[0067]
所述优势函数a
′
(s
t
,a
t
)表达式如下，
[0068]a′
(s
t
,a
t
)＝q
′
(s
t
,a
t
)-v
′
(s
t
,a
t
)；
[0069]
式中，q'和v'分别表示策略π
θ'
根据累计奖励期望计算的动作价值与状态价值。
[0070]
步骤604：建立近端策略优化算法的优化目标为：
[0071][0072][0073]
式中，clip(r1(θ),1-ε,1+ε)表示限定r1(θ)的范围为[1-ε,1+ε]，ε为防止分母为0的一个常量。
[0074]
步骤605：计算更新梯度随后更新参数θ：
[0075][0076]
式中，η为网络学习率。
[0077]
基于相同的发明构思，本发明还提出一种电量交易报价决策的生成系统，其特征在于，包括：
[0078]
数据计算单元：用于计算发电厂年度合同电量的月度分解电量确定市场电量供给qs以及电力用户总电量需求qd，建立发电厂的市场收入模型，建立发电成本模型，确定发电厂在月度集中竞价交易的环境奖励确定所述电力市场状态、发电厂状态以及发电厂动作空间；
[0079]
训练样本建立单元：用于利用所述电力市场状态、所述发电厂自身状态以及发电厂动作空间建立策略网络的训练样本集，利用所述电力市场状态、所述发电厂自身状态以及所述环境奖励建立价值网络的训练样本集；
[0080]
训练单元：用于基于所述策略网络训练样本集以及所述价值网络训练样本集，通过近端策略优化算法的训练机制得到发电厂的最优报价网络模型；
[0081]
策略生成单元：用于通过所述最优报价网络模型得到发电厂报价策略。
[0082]
本发明的有益效果为：本发明通过深度学习实现电量交易报价在线决策的生成，根据目前电力交易市场多元异构、海量数据、多主体多步重复推演的特点确定出合理的电力市场的申报电价，制定科学的电力市场交易策略，够推动人工智能在电力系统的应用和发展，促进中长期电力电量交易效率提升和电力资源优化配置，支撑电力体制改革。
附图说明
[0083]
图1是根据本发明一实施例提供的一种电量交易报价决策的生成方法的方法流程图。
[0084]
图2是根据本发明一实施例提供的一种电量交易报价决策的生成系统的系统原理框图。
具体实施方式
[0085]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0086]
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0087]
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0088]
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0089]
为确定出复合目前电力交易市场的特征的合理电力市场的申报电价，制定科学的电力市场交易策略，本发明提出如图1所示的一种电量交易报价决策的生成方法，包括：
[0090]
步骤1：基于年度负荷预测结果，将合同电量分解到各月，得到发电厂年度合同电量的月度分解电量
[0091]
具体的，步骤1具体包括以下步骤：
[0092]
步骤101：获取下一年度每月的负荷预测曲线以及全年总发电量q
p
。
[0093]
步骤102：在所述每月的负荷预测曲线的基础上减去未参与市场机组的出力曲线,得到参与市场竞价机组的月出力曲线p
mt
(t)。
[0094]
步骤103：利用发电机组i所签的合同总量全年总发电量q
p
以及尚未参与市场的非竞价机组的总计划发电量确定每个发电机组的合同电量同参与市场竞价的总发电量的比例ki，其中i代表发电机组。
[0095]
在实际应用中，每个发电机组的合同电量同参与市场竞价的总发电量的比例ki的计算表达式为：
[0096][0097]
式中，表示参与市场竞价的总发电量，为发电机组i所签的合同总量，q
p
为全年总发电量，为尚未参与市场的非竞价机组的总计划发电量。
[0098]
步骤104：利用所述参与市场竞价机组的月出力曲线以及所述比例ki，计算出发电机组a在各月的合同分解发电量，计算表达式如下，
[0099][0100]
式中，为发电机组a在t月的合同分解量。
[0101]
步骤105：利用所述发电机组a在t月的合同分解量计算出发电厂的年度合同电量的月度分解电量表达式如下，
[0102][0103]
式中，g为发电厂发电机的总数量。
[0104]
步骤2：基于电量的市场需求因素，建立发电厂的月度电力电量集中竞价交易模型，从而确定出市场的供给电量qs以及电力用户总需求电量qd。
[0105]
具体的，步骤2具体包括如下步骤：
[0106]
步骤201：根据合同用电方按申报价格从大到小的优先级排序以及合同供电方按申报价格从小到大的优先级排序的原理构建所述发电厂的月度电力电量集中竞价交易模型，表达式如下，
[0107][0108][0109][0110][0111]
式中，为用合同用电方i和合同供电方j的市场总效用；为合同用电方i的申报电价；为合同供电方j的申报电价；为合同用电方i和合同供电方j的成交电量；为合同用电方i的申报电量；为合同供电方j的申报电量，n为合同用电方的总个数，m为合同供电方的总个数；
[0112]
步骤202：求解得到合同用电方的总成交电量和合同供电方的总成交电量如下所示，
[0113][0114][0115]
式中，为合同用电方i的总成交量；为合同供电方j的总成交量；
[0116]
步骤203：利用合同用电方i的总成交量确定所述电力用户总电量需求qd，表达式如下，
[0117][0118]
利用合同供电方j的总成交量确定所述市场电量供给qs，表达式如下，
[0119][0120]
步骤3：利用发电厂在月度集中竞价交易的成交电量以及市场交易价格p
mc
建立发电厂的市场收入模型。
[0121]
具体的，计算发电厂在月度集中竞价的收入建立发电厂的市场收入模型，
表达式如下：
[0122][0123]
式中，为发电厂在月度集中竞价交易的成交电量，p
mc
为市场交易价格。
[0124]
利用所述发电厂年度合同电量的月度分解电量以及所述发电厂在月度集中竞价交易的成交电量建立发电成本模型。
[0125]
具体的，计算发电厂月度平均发电出力对应的边际成本建立发电成本模型，表达式如下：
[0126][0127]
式中，αg为发电厂在月度集中竞价交易中的申报电量决策系数，βg为发电厂在月度集中竞价交易中的申报电价决策系数，t
mon
为月度小时数，为发电厂年度合同电量的月度分解电量。
[0128]
利用所述发电厂的市场收入模型以及所述发电成本模型建立环境奖励交互模型确定出发电厂在月度集中竞价交易的环境奖励
[0129]
具体的，发电厂在月度集中竞价交易的环境奖励计算表达式如下：
[0130][0131]
步骤4：确定电力市场状态、发电厂状态以及发电厂动作空间。
[0132]
利用所述市场电量供给qs以及所述电力用户总电量需求qd确定出所述电力市场状态。
[0133]
具体的，所述力市场状态表征为市场供需比r，表达式如下：
[0134][0135]
式中，qs为市场电量供给，qd为电力用户总电量需求，在实际应用中市场供需比r的范围通常为[0,2]。
[0136]
利用发电厂的月度剩余最大发电量以及所述电力用户总电量需求qd确定发电厂状态。
[0137]
具体的，所述发电厂状态表征为发电厂的市场份额sg，表达式如下：
[0138][0139]
式中，为发电厂的月度剩余最大发电量，在实际应用中发电厂的市场份额sg的范围通常为[0,1]。
[0140]
计算发电厂在月度集中竞价交易中的申报电量以及发电厂在月度集中竞
价交易中的申报电价从而确定发电厂动作空间。
[0141]
具体的，所述发电厂动作空间表征为所述发电厂在月度集中竞价交易中的申报电量以及所述发电厂在月度集中竞价交易中的申报电价
[0142]
所述发电厂在月度集中竞价交易中的申报电量表达式如下，
[0143][0144]
式中，αg为发电厂在月度集中竞价交易中的申报电量决策系数；
[0145]
所述发电厂在月度集中竞价交易中的申报电价表达式如下，
[0146][0147]
式中，βg为发电厂在月度集中竞价交易中的申报电价决策系数，为发电厂的月度平均边际发电成本。
[0148]
在实际应用中，申报电量决策系数αg：其取值范围为[0,1]；申报电价决策系数βg：其取值范围为[1,1.2]。
[0149]
步骤5，建立训练样本集：
[0150]
步骤501：利用所述电力市场状态、所述发电厂自身状态以及所述发电厂动作空间建立策略网络的训练样本集，输入为所述电力市场状态以及所述发电厂自身状态，输出为所述发电厂动作空间。
[0151]
具体的，建立策略网络的步骤包括：设置卷积神经网络层、反卷积神经网络层、全连接神经网络层，设置激活函数、正则化层，导入优化器并初始化网络参数。
[0152]
在实际应用中：
[0153]
(1)卷积神经网络层输出维度如下所示：
[0154][0155]
(2)反卷积神经网络层输出维度如下所示：
[0156][0157]
式中，padding_size为样本填充尺寸，w表示输入样本宽度，h表示输入样本高度w_out表示输出样本宽度，h_out表示输出样本高度，f表示卷积核尺寸，s表示卷积核移动步长。
[0158]
(3)全连接神经网络层如下所示：
[0159][0160]
式中，n表示特征输入神经元个数，q表示输出神经元个数，p表示隐含层神经元个数，k为样本索引值，w与b分别为神经元之间的连接权值与偏置，f(.)表示激活函数表达式，hih(k)与hoh(k)分别表示对于第k个样本，第h个隐含层在激活函数前的输出与经激活函数后的输出，yio(k)与yoo(k)分别表示对于第k个样本，第h个输出层神经元在激活函数前的输出与经激活函数后的输出；
[0161]
(4)设置激活函数，激活函数包括基于relu的激活函数层以及基于leakyrelu的激活函数层。
[0162]
基于relu的激活函数层如下所示：
[0163][0164]
基于leakyrelu的激活函数层如下所示：
[0165][0166]
式中，α为学习率。
[0167]
(5)基于批归一化的正则化层如下所示：
[0168][0169]
式中，x
(k)
和y
(k)
分别是原始数据的数据和经过批归一化处理后的输出数据，μ
(k)
和δ
(k)
分别是原始数据的均值和标准差。上标k表示数据的第k维，ε是为防止分母为0的一个小常量。
[0170]
(6)导入优化器adam，如下所示：
[0171]
[0172]
式中，分别表示第n次迭代时网络参数的权值与偏置，和分别是损失函数在前n次迭代过程中累积的二阶梯度动量，β1与β2为动量梯度系数，α为学习率，为梯度修正量，ε是为防止分母为0的一个小常量。
[0173]
步骤502：利用所述电力市场状态、所述发电厂自身状态以及所述环境奖励建立价值网络的训练样本集，输入为所述电力市场状态以及所述发电厂自身状态，输出为所述环境奖励
[0174]
具体的，建立价值网络的步骤包括：设置卷积神经网络层、反卷积神经网络层、全连接神经网络层，设置激活函数、正则化层，导入优化器并初始化网络参数。
[0175]
在实际应用中：
[0176]
(1)卷积神经网络层输出维度如下所示：
[0177][0178]
(2)反卷积神经网络层输出维度如下所示：
[0179][0180]
式中，padding_size为样本填充尺寸，w表示输入样本宽度，h表示输入样本高度w_out表示输出样本宽度，h_out表示输出样本高度，f表示卷积核尺寸，s表示卷积核移动步长。
[0181]
(3)全连接神经网络层如下所示：
[0182][0183]
式中，n表示特征输入神经元个数，q表示输出神经元个数，p表示隐含层神经元个数，k为样本索引值，w与b分别为神经元之间的连接权值与偏置，f(.)表示激活函数表达式，hih(k)与hoh(k)分别表示对于第k个样本，第h个隐含层在激活函数前的输出与经激活函数后的输出，yio(k)与yoo(k)分别表示对于第k个样本，第h个输出层神经元在激活函数前的输出与经激活函数后的输出。
[0184]
(4)设置激活函数，激活函数包括基于sigmoid的激活函数层，如下所示：
[0185][0186]
(5)基于批归一化的正则化层如下所示：
[0187][0188]
式中，x
(k)
和y
(k)
分别是原始数据的数据和经过批归一化处理后的输出数据，μ
(k)
和δ
(k)
分别是原始数据的均值和标准差。上标k表示数据的第k维，ε是为防止分母为0的一个小常量。
[0189]
(6)导入优化器rmsprop，如下所示：
[0190][0191]
式中，分别表示第n次迭代时网络参数的权值与偏置，和分别是损失函数在前n次迭代过程中累积的二阶梯度动量，β1与β2为动量梯度系数，α为学习率，ε是为防止分母为0的一个小常量。
[0192]
步骤6：基于所述策略网络训练样本集以及所述价值网络训练样本集，通过近端策略优化算法的训练机制得到发电厂的最优报价网络模型。
[0193]
具体的，步骤6当中的训练机制包括如下步骤：
[0194]
步骤601：获取发电厂与市场环境交互路径τ，
[0195]
τ＝(s1,a1,s2,a2,
···
,s
t
,a
t
)；
[0196]
式中，s
t
为发电厂在进行第t个步骤时的状态空间s里的取值，a
t
为发电厂在进行第t个步骤时的动作空间a里的取值，t为一共需要进行的步骤数。
[0197]
步骤602：根据环境奖励获取t步的累计奖励r(τ)为：
[0198][0199]
式中，γ
t-1
为随步数变化的奖励系数；为发电厂在第t步时获取的总环境奖励。
[0200]
随后计算发电厂在策略为π
θ
情况下，即计及各条决策路径的概率下，选取动作的累计奖励期望为：
[0201][0202]
式中，p
θ
(τ)为在策略π
θ
下选取路径为τ的概率。
[0203]
步骤603：更新梯度表达式如下，
[0204][0205]
式中，θ为策略π
θ
的参数，θ'为策略π
θ'
的参数，π
θ'
为采集样本数据，p
θ
(a
t
|s
t
)为采取策略π
θ
时在发电厂的状态空间取值为s
t
的情况下发电厂动作空间取值为a
t
的概率，p
θ'
(a
t
|st
)为采取策略π
θ'
时在发电厂的状态空间取值为s
t
的情况下发电厂动作空间取值为a
t
的概率，a'(s
t
,a
t
)表示以策略π
θ'
计算得到的优势函数。
[0206]
所述优势函数a'(s
t
,a
t
)表达式如下，
[0207]
a'(s
t
,a
t
)＝q'(s
t
,a
t
)-v'(s
t
,a
t
)；
[0208]
式中，q'和v'分别表示策略π
θ'
根据累计奖励期望计算的动作价值与状态价值。
[0209]
步骤604：建立近端策略优化算法的优化目标为：
[0210][0211][0212]
式中，clip(r1(θ),1-ε,1+ε)表示限定r1(θ)的范围为[1-ε,1+ε]，ε为防止分母为0的一个常量。
[0213]
步骤605：计算更新梯度随后更新参数θ：
[0214][0215]
式中，η为网络学习率。
[0216]
步骤7：向所述最优报价网络模型输入当前市场状态和发电厂自身状态，即可得到发电厂报价策略。
[0217]
在本发明的另一个实施例中，本发明基于相同的发明构思提出如图2所示的一种电量交易报价决策的生成系统，包括：
[0218]
数据计算单元：用于计算发电厂年度合同电量的月度分解电量确定市场电量供给qs以及电力用户总电量需求qd，建立发电厂的市场收入模型，建立发电成本模型，确定发电厂在月度集中竞价交易的环境奖励确定所述电力市场状态、发电厂状态以及发电厂动作空间；
[0219]
训练样本建立单元：用于利用所述电力市场状态、所述发电厂自身状态以及发电厂动作空间建立策略网络的训练样本集，利用所述电力市场状态、所述发电厂自身状态以及所述环境奖励建立价值网络的训练样本集；
[0220]
训练单元：用于基于所述策略网络训练样本集以及所述价值网络训练样本集，通过近端策略优化算法的训练机制得到发电厂的最优报价网络模型；
[0221]
策略生成单元：用于通过所述最优报价网络模型得到发电厂报价策略。
[0222]
综上所述，本发明的有益效果为：本发明通过深度学习实现电量交易报价在线决策的生成，根据目前电力交易市场多元异构、海量数据、多主体多步重复推演的特点确定出合理的电力市场的申报电价，制定科学的电力市场交易策略，够推动人工智能在电力系统的应用和发展，促进中长期电力电量交易效率提升和电力资源优化配置，支撑电力体制改革。
[0223]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成。这些功能究竟以硬件
还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。在本技术所提供的实施例中，应该理解到，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0224]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

技术特征：
1.一种电量交易报价决策的生成方法，其特征在于，包括以下步骤：步骤1：基于年度负荷预测结果，将合同电量分解到各月，得到发电厂年度合同电量的月度分解电量步骤2：基于电量的市场需求因素，建立发电厂的月度电力电量集中竞价交易模型，从而确定出市场的供给电量q
s
以及电力用户总需求电量q
d
；步骤3：利用发电厂在月度集中竞价交易的成交电量以及市场交易价格p
mc
建立发电厂的市场收入模型；利用所述发电厂年度合同电量的月度分解电量以及所述发电厂在月度集中竞价交易的成交电量建立发电成本模型；利用所述发电厂的市场收入模型以及所述发电成本模型建立环境奖励交互模型确定出发电厂在月度集中竞价交易的环境奖励步骤4：确定电力市场状态、发电厂状态以及发电厂动作空间；利用所述市场电量供给q
s
以及所述电力用户总电量需求q
d
确定出所述电力市场状态；利用发电厂的月度剩余最大发电量以及所述电力用户总电量需求q
d
确定发电厂状态；计算发电厂在月度集中竞价交易中的申报电量以及发电厂在月度集中竞价交易中的申报电价从而确定发电厂动作空间；步骤5：建立训练样本集；利用所述电力市场状态、所述发电厂自身状态以及所述发电厂动作空间建立策略网络的训练样本集，输入为所述电力市场状态以及所述发电厂自身状态，输出为所述发电厂动作空间；利用所述电力市场状态、所述发电厂自身状态以及所述环境奖励建立价值网络的训练样本集，输入为所述电力市场状态以及所述发电厂自身状态，输出为所述环境奖励步骤6：基于所述策略网络训练样本集以及所述价值网络训练样本集，通过近端策略优化算法的训练机制得到发电厂的最优报价网络模型；步骤7：向所述最优报价网络模型输入当前市场状态和发电厂自身状态，即可得到发电厂报价策略。2.根据权利要求1所述的一种电量交易报价决策的生成方法，其特征在于，所述步骤1包括以下步骤：步骤101：获取下一年度每月的负荷预测曲线以及全年总发电量q
p
；步骤102：在所述每月的负荷预测曲线的基础上减去未参与市场机组的出力曲线,得到参与市场竞价机组的月出力曲线p
mt
(t)；
步骤103：利用发电机组i所签的合同总量全年总发电量q
p
以及尚未参与市场的非竞价机组的总计划发电量确定每个发电机组的合同电量同参与市场竞价的总发电量的比例k
i
，其中i代表发电机组；步骤104：利用所述参与市场竞价机组的月出力曲线以及所述比例k
i
，计算出发电机组a在各月的合同分解发电量，计算表达式如下，式中，为发电机组a在t月的合同分解量；步骤105：利用所述发电机组a在t月的合同分解量计算出发电厂的年度合同电量的月度分解电量表达式如下，式中，g为发电厂发电机的总数量。3.根据权利要求1所述的一种电量交易报价决策的生成方法，其特征在于，所述步骤2具体包括：步骤201：根据合同用电方按申报价格从大到小的优先级排序以及合同供电方按申报价格从小到大的优先级排序的原理构建所述发电厂的月度电力电量集中竞价交易模型，表达式如下，达式如下，达式如下，达式如下，式中，为用合同用电方i和合同供电方j的市场总效用；为合同用电方i的申报电价；为合同供电方j的申报电价；为合同用电方i和合同供电方j的成交电量；为合同用电方i的申报电量；为合同供电方j的申报电量，n为合同用电方的总个数，m为合同供电方的总个数；步骤202：求解得到合同用电方的总成交电量和合同供电方的总成交电量如下所示，所示，式中，为合同用电方i的总成交量；为合同供电方j的总成交量；
步骤203：利用合同用电方i的总成交量确定所述电力用户总电量需求q
d
，表达式如下，利用合同供电方j的总成交量确定所述市场电量供给q
s
，表达式如下，4.根据权利要求1所述的一种电量交易报价决策的生成方法，其特征在于，所述步骤3包括以下步骤：步骤301，建立发电厂的市场收入模型：计算发电厂在月度集中竞价的收入表达式如下，式中，为发电厂在月度集中竞价交易的成交电量，p
mc
为市场交易价格；步骤302，建立发电成本模型：计算发电厂月度平均发电出力对应的边际成本表达式如下：式中，α
g
为发电厂在月度集中竞价交易中的申报电量决策系数，β
g
为发电厂在月度集中竞价交易中的申报电价决策系数，t
mon
为月度小时数，为发电厂年度合同电量的月度分解电量；步骤303：基于所述发电厂的市场收入模型与所述发电成本模型，确定出发电厂在月度集中竞价交易的环境奖励表达式如下：5.根据权利要求1所述的一种电量交易报价决策的生成方法，其特征在于，所述步骤4包括以下步骤：步骤401：确定电力市场状态，所述电力市场状态表征为市场供需比r，表达式如下，式中，q
s
为市场电量供给，q
d
为电力用户总电量需求；步骤402：确定所述发电厂状态，所述发电厂状态表征为发电厂的市场份额s
g
，表达式如下，式中，为发电厂的月度剩余最大发电量；
步骤403：确定发电厂动作空间，所述发电厂动作空间表征为所述发电厂在月度集中竞价交易中的申报电量以及所述发电厂在月度集中竞价交易中的申报电价所述发电厂在月度集中竞价交易中的申报电量表达式如下，式中，α
g
为发电厂在月度集中竞价交易中的申报电量决策系数；所述发电厂在月度集中竞价交易中的申报电价表达式如下，式中，β
g
为发电厂在月度集中竞价交易中的申报电价决策系数，为发电厂的月度平均边际发电成本。6.根据权利要求5所述的一种电量交易报价决策的生成方法，其特征在于，所述申报电量决策系数α
g
：其取值范围为[0,1]。7.根据权利要求5所述的一种电量交易报价决策的生成方法，其特征在于，所述申报电价决策系数β
g
：其取值范围为[1,1.2]。8.根据权利要求1所述的一种电量交易报价决策的生成方法，其特征在于，所述步骤6中的训练机制包括以下步骤：步骤601：获取发电厂与市场环境交互路径τ，τ＝(s1，a1,s2,a2,
…
，s
t
，a
t
)；式中，s
t
为发电厂在进行第t个步骤时的状态空间s里的取值，a
t
为发电厂在进行第t个步骤时的动作空间a里的取值，t为一共需要进行的步骤数；步骤602：根据环境奖励获取t步的累计奖励r(τ)为：式中，γ
t-1
为随步数变化的奖励系数；为发电厂在第t步时获取的总环境奖励；随后计算发电厂在策略为π
θ
情况下，即计及各条决策路径的概率下，选取动作的累计奖励期望为：式中，p
θ
(τ)为在策略π
θ
下选取路径为τ的概率；步骤603：更新梯度表达式如下，式中，θ为策略π
θ
的参数，θ'为策略π
θ'
的参数，π
θ'
为采集样本数据，p
θ
(a
t
|s
t
)为采取策略π
θ
时在发电厂的状态空间取值为s
t
的情况下发电厂动作空间取值为a
t
的概率，p
θ'
(a
t
|s
t
)为采取策略π
θ'
时在发电厂的状态空间取值为s
t
的情况下发电厂动作空间取值为a
t
的概率，a'
(s
t
,a
t
)表示以策略π
θ'
计算得到的优势函数；所述优势函数a'(s
t
,a
t
)表达式如下，a'(s
t
,a
t
)＝q'(s
t
,a
t
)-v'(s
t
,a
t
):式中，q'和v'分别表示策略π
θ'
根据累计奖励期望计算的动作价值与状态价值；步骤604：建立近端策略优化算法的优化目标为：为：式中，clip(r1(θ),1-ε,1+ε)表示限定r1(θ)的范围为[1-ε,1+ε]，ε为防止分母为0的一个常量；步骤605：计算更新梯度随后更新参数θ：式中，η为网络学习率。9.一种电量交易报价决策的生成系统，其特征在于，包括：数据计算单元：用于计算发电厂年度合同电量的月度分解电量确定市场电量供给q
s
以及电力用户总电量需求q
d
，建立发电厂的市场收入模型，建立发电成本模型，确定发电厂在月度集中竞价交易的环境奖励确定所述电力市场状态、发电厂状态以及发电厂动作空间；训练样本建立单元：用于利用所述电力市场状态、所述发电厂自身状态以及发电厂动作空间建立策略网络的训练样本集，利用所述电力市场状态、所述发电厂自身状态以及所述环境奖励建立价值网络的训练样本集；训练单元：用于基于所述策略网络训练样本集以及所述价值网络训练样本集，通过近端策略优化算法的训练机制得到发电厂的最优报价网络模型；策略生成单元：用于通过所述最优报价网络模型得到发电厂报价策略。

技术总结
本发明提出一种电量交易报价决策的生成方法及系统，所述方法包括：确定发电厂在月度集中竞价交易的环境奖励，确定所述电力市场状态、发电厂状态以及发电厂动作空间；利用所述电力市场状态、所述发电厂自身状态以及发电厂动作空间建立策略网络的训练样本集，利用所述电力市场状态、所述发电厂自身状态以及所述环境奖励建立价值网络的训练样本集；基于所述策略网络的训练样本集以及所述价值网络的训练样本集，通过近端策略优化算法的训练机制得到发电厂的最优报价网络模型，实现发电厂电量交易报价的决策。本发明在满足一定经营目标的前提下，确定合理的电力市场申报电价，制定科学的电力市场交易策略，实现收益最大化和电力市场的可持续健康发展。场的可持续健康发展。场的可持续健康发展。


技术研发人员：孙志媛 彭博雅 刘默斯 凌武能 李秋文 孙艳 李一铭 李明珀 宋益 郑琨 胡弘 蒙宣任
受保护的技术使用者：广西电网有限责任公司电力科学研究院
技术研发日：2023.03.28
技术公布日：2023/8/5