一种多类型资源复合调频模型的构建方法及装置与流程

1.本发明涉及电网有功频率调节技术领域，尤其涉及一种多类型资源复合调频模型的构建方法及装置。


背景技术：

2.大力发展可再生绿色能源，增强广域电力输送能力，将是电力系统未来发展的主要趋势。未来电网“高比例可再生能源、高比例电力电子接口”的特征愈加明显。一方面在能源供给侧大量清洁能源将替代传统常规能源，电网向高占比新能源电力系统演进；另一方面在能源消费侧，电动汽车、电采暖、地源热泵以及冰蓄冷等多元负荷资源不断涌现。电动汽车、柔性负荷等用能终端的出现使负荷侧用能规律多变、接口特性多样化，与新能源的随机性、间歇性和波动性共同作用使得系统平衡难度加大，实时电网频率控制成为未来系统运行的难点之一。
3.负荷将逐渐呈现能源消费和供给的双重角色，因此亟需挖掘引导各类可调节资源参与电网调频，增加电网调节资源、保障电力系统安全稳定和支撑清洁能源消纳。不同类型储能与可调节负荷控制特性差异大，并且可调节负荷控制响应过程离散程度高、控制不确定性大，采用传统确定性建模与控制策略很难满足协调控制要求。


技术实现要素：

4.本发明实施例提供了一种多类型资源复合调频模型的构建方法及装置，以解决传统确定性建模与控制策略难以满足储能、可调负荷参与电网频率调节控制的问题。
5.第一方面，本发明实施例提供了一种多类型资源复合调频模型的构建方法，包括：
6.基于电网的历史运行数据获得训练集，其中，所述电网包括多种类型的储能和可调负荷，所述历史运行数据包括各储能和可调负荷的有功功率、电网的有功频率。
7.基于所述电网构建强化学习模型，其中，以各储能和可调负荷的有功功率作为强化学习模型的状态集，以各储能和可调负荷的有功功率的调整量作为强化学习模型的动作集。
8.以所述训练集作为环境训练所述强化学习模型，获得多类型资源复合调频模型，其中，所述强化学习模型的奖励函数包括所述调整量在所述训练集中对应的电网有功频率变化。
9.在一种可能的实现方式中，所述基于电网的历史运行数据获得训练集包括：
10.获取电网的历史运行数据。
11.基于电网的历史运行数据校验电网的仿真模型，获得校验后的仿真模型。
12.基于所述校验后的仿真模型，生成模拟运行数据，其中，所述模拟运行数据包括各储能和可调负荷在不同有功功率的调整量时对应的所述电网的有功频率变化。
13.基于所述历史运行数据和所述模拟运行数据获得训练集。
14.在一种可能的实现方式中，所述基于所述历史运行数据和所述模拟运行数据获得
训练集包括：对所述历史运行数据和所述模拟运行数据中各储能和可调负荷的有功功率的调整量、电网的有功频率变化进行聚类，获得训练集。
15.在一种可能的实现方式中，在获取电网的历史运行数据之后还包括：对所述历史运行数据中电网的有功频率进行聚类，获得电网的多个典型运行场景。
16.相应的，所述基于所述校验后的仿真模型，生成模拟运行数据包括：基于所述校验后的仿真模型，生成电网在各典型运行场景下的模拟运行数据，其中，所述模拟运行数据包括电网在各典型运行场景下，各储能和可调负荷在不同有功功率的调整量时对应的所述电网的有功频率变化。
17.在一种可能的实现方式中，所述强化学习模型的奖励函数还包括：各储能和可调负荷的调整量对应的调频成本、调节容量以及电网调频响应速度。
18.第二方面，本发明实施例提供了一种多类型资源复合调频模型的应用方法，基于第一方面中任一项可能的实现方式所述构建方法得到的多类型资源复合调频模型，所述应用方法包括：
19.对所述历史运行数据中电网的有功频率变化进行聚类，获得电网的多个典型有功频率调节需求。
20.基于各所述典型有功频率调节需求，通过所述多类型资源复合调频模型，获得对应的有功频率调节策略集。
21.第三方面，本发明实施例提供了一种多类型资源复合调频模型的构建装置，包括：
22.训练集获得模块，用于基于电网的历史运行数据获得训练集，其中，所述电网包括多种类型的储能和可调负荷，所述历史运行数据包括各储能和可调负荷的有功功率、电网的有功频率。
23.模型构建模块，用于基于所述电网构建强化学习模型，其中，以各储能和可调负荷的有功功率作为强化学习模型的状态集，以各储能和可调负荷的有功功率的调整量作为强化学习模型的动作集。
24.模型训练模块，用于以所述训练集作为环境训练所述强化学习模型，获得多类型资源复合调频模型，其中，所述强化学习模型的奖励函数包括所述调整量在所述训练集中对应的电网有功频率变化。
25.在一种可能的实现方式中，所述训练集获得模块包括：
26.数据获取单元，用于获取电网的历史运行数据。
27.校验单元，用于基于电网的历史运行数据校验电网的仿真模型，获得校验后的仿真模型。
28.数据生成单元，用于基于所述校验后的仿真模型，生成模拟运行数据，其中，所述模拟运行数据包括各储能和可调负荷在不同有功功率的调整量时对应的所述电网的有功频率变化。
29.训练集获得单元，用于基于所述历史运行数据和所述模拟运行数据获得训练集。
30.第四方面，本发明实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
31.第五方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储
介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
32.本发明实施例提供一种多类型资源复合调频模型的构建方法及装置，该构建方法包括：基于电网的历史运行数据获得训练集，其中，电网包括多种类型的储能和可调负荷，历史运行数据包括各储能和可调负荷的有功功率、电网的有功频率。基于电网构建强化学习模型，其中，以各储能和可调负荷的有功功率作为强化学习模型的状态集，以各储能和可调负荷的有功功率的调整量作为强化学习模型的动作集。以训练集作为环境训练强化学习模型，获得多类型资源复合调频模型，其中，强化学习模型的奖励函数包括调整量在训练集中对应的电网有功频率变化。本发明基于强化学习，将各储能和可调负荷的有功功率作为状态集、有功功率调整量作为动作集，将基于电网历史运行数据形成的训练集作为环境，将有功功率调整量对应的电网有功频率变化作为奖励函数，构建基于强化学习的多类型资源复合调频模型。上述模型可用于基于电网频率调节需求输出各储能、可调负荷的有功功率调节策略。解决了传统确定性建模与控制策略难以满足储能、可调负荷参与电网频率调节控制的问题。
附图说明
33.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
34.图1是本发明实施例提供的多类型资源复合调频模型构建方法的应用场景图；
35.图2是本发明实施例提供的多类型资源复合调频模型构建方法的实现流程图；
36.图3是本发明实施例提供的训练集获取方法的实现流程图；
37.图4是本发明实施例提供的多类型资源复合调频模型的应用方法实现流程图；
38.图5是本发明实施例提供的多类型资源复合调频模型的构建装置结构示意图；
39.图6是本发明实施例提供的电子设备的示意图。
具体实施方式
40.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
41.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。
42.图1为本发明实施例提供的多类型资源复合调频模型构建方法的应用场景图。如图1所示，电网正常运行时，发电设备产生的电能全部被用电设备消耗，电网频率维持在相对稳定的状态。如果供电功率和用电功率出现不匹配，会导致电网频率波动。为了抑制电网的频率波动需要对发电设备以及储能系统的充放能状态进行调整。
43.目前大力发展可再生绿色能源，增强广域电力输送能力，将是电力系统未来发展
的主要趋势。未来电网“高比例可再生能源、高比例电力电子接口”的特征愈加明显。随着能源变革的发展，预计到2050年能源清洁化率和终端电气化率将双双超过50％。一方面在能源供给侧大量清洁能源将替代传统常规能源，电网向高占比新能源电力系统演进。另一方面在能源消费侧，电动汽车、电采暖、地源热泵以及冰蓄冷等多元负荷资源不断涌现。由于风电、光伏等新能源的占比提高和直流特高压技术的发展，常规同步发电机占比逐渐降低，系统惯量随之下降，阻尼特性变化，系统的有功平衡能力遭到削弱。电动汽车、柔性负荷等用能终端的出现使负荷侧用能规律多变、接口特性多样化，与新能源的随机性、间歇性和波动性共同作用使得系统平衡难度加大，实时电网频率控制成为未来系统运行的难点之一。
44.频发的电网频率事故凸显了系统实时频率控制技术的难度和重要性。在“源网荷”不确定性、多样性交织增加的背景下，大电网有功频率失控风险愈发突出，如何实现对系统的有功、频率特性准确识别和安全控制，充分发挥各方资源的调节潜力，将是未来电力系统规划运行的核心工作。
45.受制于“源网荷”各环节不断上升的不确定性，传统有功实时控制方式，未有效发挥负荷侧、储能端调频资源的协调优化调频作用。在目前新能源占比不断提升的情况下，有必要发挥可调负荷、储能系统在系统调频中的作用，以进一步提高系统有功控制能力频率安全，保障电网安全稳定运行。
46.可调负荷将逐渐呈现能源消费和供给的双重角色，因此亟需挖掘引导各类可调节资源参与电网调频，增加电网调节资源、保障电力系统安全稳定和支撑清洁能源消纳。不同类型储能与可调节负荷控制特性差异大，并且可调节负荷控制响应过程离散程度高、控制不确定性大，采用传统确定性建模与控制策略很难满足协调控制要求。例如，传统确定性建模很难满足协调控制的经济性、安全性要求。
47.本发明实施例提供了一种多类型资源复合调频模型的构建方法、应用方法及装置，以解决传统确定性建模与控制策略难以满足储能、可调负荷参与电网频率调节控制的问题。
48.图2是本发明实施例提供的多类型资源复合调频模型构建方法的实现流程图。参照图2，详述如下：
49.在s101中、基于电网的历史运行数据获得训练集，其中，电网包括多种类型的储能和可调负荷，历史运行数据包括各储能和可调负荷的有功功率、电网的有功频率。
50.储能即电网中的储能系统。储能系统是电网频率快速调节的辅助手段。储能系统在电网频率过高时将电网多余的电能储存起来，在电网频率过低时向电网释放电能，使电网的频率维持在相对平衡状态。示例性的，储能的类型包括抽水蓄能、电化学储能和飞轮储能。
51.可调负荷又称为可调节负荷，是指能够根据电网需求实现启停、调整运行状态或调整运行时段的需求侧用电设备。可调负荷的类型包括充电桩、分布式储能和电蓄热等。可调负荷可包括工业企业生产负荷、生产辅助负荷、楼宇负荷、居民电器负荷及分散式储能和电动汽车等。可调负荷可呈现能源消费和供给的双重角色。
52.示例性的，电网的历史运行数据包括电网有功功率和电网的有功频率。例如，可以是电网长期正常运行状态下积累的随时间变化的电网有功功率和电网有功频率。通常，电网有功功率和电网有功频率在时间上相互对应。示例性的，上述历史运行数据中电网有功
功率包括各储能和可调负荷的有功功率。电网正常运行状态下，储能和可调负荷的有功功率随时间的变化对应了电网有功频率随时间的变化。历史运行数据中的上述对应关系体现了，在实际电网中各储能和可调负荷的有功功率调整如何影响电网有功频率。
53.在s102中、基于电网构建强化学习模型，其中，以各储能和可调负荷的有功功率作为强化学习模型的状态集，以各储能和可调负荷的有功功率的调整量作为强化学习模型的动作集。
54.强化学习模型通过执行的动作改变其当前状态，获得环境对强化学习模型当前动作的反馈，基于反馈再执行下一个动作改变其状态，最终得到最优的状态组合，即最优策略。
55.以各储能和可调负荷的有功功率作为强化学习模型的状态集，即以储能设备和可调负荷设备的有功功率作为状态，各设备的有功功率构成可调资源的整体的状态。可基于电网实际运行情况，设置各储能和可调负荷的有功功率的不同的初始值，即初始状态。
56.以各储能和可调负荷的有功功率的调整量作为强化学习模型的动作集。储能和可调负荷执行调整动作后，有功功率改变，构成新的状态。调整量可以是增加功率也可以是减少功率。调整后储能可以是储能也可是供能。各储能和可调负荷的有功功率的调整量构成可调资源的调整策略。
57.在s103中、以训练集作为环境训练强化学习模型，获得多类型资源复合调频模型，其中，强化学习模型的奖励函数包括调整量在训练集中对应的电网有功频率变化。
58.训练集中包含了储能和可调负荷的有功功率与电网有功频率的对应关系。训练集可用于模拟电网在不同储能和可调负荷的有功功率下的真实调频反馈。
59.强化学习模型通过执行不同动作改变状态，通过训练集模拟电网的调频结果，获得奖励函数反馈，完成训练。
60.奖励函数包括调整量在训练集中对应的电网有功频率变化。示例性的，储能和可调负荷的有功功率越小、对应电网频率变化越大，奖励函数的反馈值越大。
61.本发明实施例基于强化学习，将各储能和可调负荷的有功功率作为状态集、有功功率调整量作为动作集，将基于电网历史运行数据形成的训练集作为环境，将有功功率调整量对应的电网有功频率变化作为奖励函数，构建基于强化学习的多类型资源复合调频模型。上述模型可用于基于电网频率调节需求输出各储能、可调负荷的有功功率调节策略。解决了传统确定性建模与控制策略难以满足储能、可调负荷参与电网频率调节控制的问题。
62.本发明实施例可从实时调控层面解决未来电力系统频率安全形势恶化的问题，可为含大规模新能源区域电网、多回直流送入的受端电网控制提供方法支撑。可应用于提升新能源富集地区、负荷中心地区的电网运行水平。
63.本发明实施例的多类型储能与可调负荷参与有功频率调节控制策略，可应用于调频资源紧缺电网的频率辅助稳控工作。储能和可调负荷协调控制策略将为已建成或规划在建大规模储能电站的电网建立工程范本。应用本发明实施例后，可有效防范各类频率风险进而避免各类事件发生，经济效益巨大。应用本发明实施例可以提高新能源利用效率、促进能量跨区安全平衡，有助于加快能源系统绿色低碳转型进程，有利于缓解化石能源短缺所带来的能源危机和全球气候变暖问题。
64.电网运行过程中积累的历史数据较少，通常只有小范围的频率波动数据，对储能
和可调负荷的有功功率调整范围也较小。而强化学习需要大量的运行基础数据和合适的评价方式进行训练，才能得出合适的知识模型。
65.图3是本发明实施例提供的训练集获取方法的实现流程图。参照图3：
66.在一种可能的实现方式中，基于电网的历史运行数据获得训练集包括：
67.在s1011中、获取电网的历史运行数据。
68.示例性的，获取电网在正常运行时积累的历史运行数据，即电网频率的偏差在设定范围内的历史运行数据。示例性的，历史运行数据包括各储能和可调负荷的有功功率、电网的有功频率。
69.在s1012中、基于电网的历史运行数据校验电网的仿真模型，获得校验后的仿真模型。
70.随着电力系统仿真技术的发展，目前可针对大型交直流混合电网规划、设计、建设和运行问题，建立电力系统动态模拟、数字模拟混合仿真模型，实现运行和安全监控等试验研究，可开展电网规划、跨区互联电网、交直流并联电网、多直流接入受端电网安全稳定运行和大电网仿真技术等重大关键技术研究和开发。电力系统仿真模型具备了从电磁暂态、机电暂态到中长期动态的多时间尺度全过程仿真能力，从设备、厂站到大规模交直流电网的多空间尺度仿真试验能力，可实现大规模电网从毫秒到数小时的动态全过程仿真、多达6回超/特高压直流输电物理模型的数模混合仿真、品质因数高达38的特高压交流输电线路和大功率电力电子设备的物理动态模拟、20000节点级电网监控系统的闭环试验研究。
71.基于当前电网正常运行时的历史运行数据校验电网的仿真模型，可获得能够准确模拟当前电网运行结果的仿真模型。
72.在s1013中、基于校验后的仿真模型，生成模拟运行数据，其中，模拟运行数据包括各储能和可调负荷在不同有功功率的调整量时对应的电网的有功频率变化。
73.示例性的，在电网频率的不同状态，各储能和可调负荷有功功率的不同状态，将各储能和可调负荷有功功率的不同调整量输入仿真模型，获得电网对应的有功频率变化、最终的有功频率值。
74.在s1014中、基于历史运行数据和模拟运行数据获得训练集。
75.将电网正常运行时积累的历史运行数据与仿真模型生成的模拟运行数据合并，构成训练集。
76.本发明实施例通过基于校验后的电网仿真模型，生成模拟运行数据，扩充强化学习模型的训练集。从有限的实际运行样本中通过仿真、数据推理的方式获得大量训练样本集，进而基于扩充后的训练样本集进行强化学习，提高了强化学习模型的准确性。
77.电网中储能和可调负荷的数量庞大。在电网频率的不同状态、可调资源的不同状态、可调资源的不同调整量组合下生成的模拟运行数据量同样庞大。这会导致强化学习模型训练时间较长。
78.在一种可能的实现方式中，基于历史运行数据和模拟运行数据获得训练集包括：对历史运行数据和模拟运行数据中各储能和可调负荷的有功功率的调整量、电网的有功频率变化进行聚类，获得训练集。
79.示例性的，上述聚类算法包括k-means聚类算法、分层聚类、自组织映射或基于密度的聚类。
80.本发明实施例得到大量的电网运行基础学习数据后，采用聚类等方式构建典型运行场景训练数据集。强化学习模型基于聚类得到的典型场景进行训练，匹配典型应用场景，减少了无效数据，提高了模型构建效率；基于典型场景进行训练，匹配实际应用场景，提高了频率调整精确度。
81.上述对生成的模拟运行数据进行聚类的方式，提高了模型构建效率，但是基于海量设备在不同条件下的组合，仿真模型生成的数据量大，生成模拟运行数据的效率仍然较低。生成模拟运行数据存在大量与实际运行无关的数据，相似、冗余的数据，导致强化学习模型训练时间较长。
82.在一种可能的实现方式中，在获取电网的历史运行数据之后还包括：对历史运行数据中电网的有功频率进行聚类，获得电网的多个典型运行场景。
83.相应的，基于校验后的仿真模型，生成模拟运行数据包括：基于校验后的仿真模型，生成电网在各典型运行场景下的模拟运行数据，其中，模拟运行数据包括电网在各典型运行场景下，各储能和可调负荷在不同有功功率的调整量时对应的电网的有功频率变化。
84.在获取电网的历史运行数据之后，对历史运行数据中电网的有功频率进行聚类，获得电网的多个典型运行场景。基于电网的历史运行数据校验电网的仿真模型，获得校验后的仿真模型。基于校验后的仿真模型，生成电网在各典型运行场景下的模拟运行数据。基于历史运行数据和模拟运行数据获得训练集，用于训练强化学习模型。
85.示例性的，上述聚类算法包括k-means聚类算法、分层聚类、自组织映射或基于密度的聚类。
86.示例性的，对历史运行数据中电网的有功频率进行聚类，获得电网的多个典型运行场景包括：基于历史运行数据进行概率抽样，获得大量初始场景。对大量初始场景进行k-means聚类，获得场景缩减后的多个典型场景。通过概率抽样、场景聚类获得电网正常运行时出现的可能性较大的典型场景。基于典型场景进行训练生成的强化学习模型更符合实际应用。
87.示例性的，对历史运行数据中电网的有功频率、有功功率，以及储能和可调负荷有功功率、有功功率调整值进行聚类，获得电网的多个典型运行场景。
88.本发明实施例通过在生成模拟运行数据之前对历史运行数据进行场景聚类，基于实际使用中的典型场景生成训练集，缩减了生成数据量，提高了强化学习模型训练效率。
89.在一种可能的实现方式中，强化学习模型的奖励函数还包括：各储能和可调负荷的调整量对应的调频成本、调节容量以及电网调频响应速度。
90.示例性的，各储能和可调负荷的调整量对应的调频成本越高，奖励函数对应的奖励值越小。各储能和可调负荷的调整量对应的调频成本越低，奖励函数对应的奖励值越大。
91.示例性的，各储能和可调负荷的调整量对应的调节容量越大，奖励函数对应的奖励值越大。各储能和可调负荷的调整量对应的调节容量越小，奖励函数对应的奖励值越小。
92.示例性的，各储能和可调负荷的调整量对应的调频响应速度越快，奖励函数对应的奖励值越大。各储能和可调负荷的调整量对应的调频响应速度越慢，奖励函数对应的奖励值越小。
93.示例性的，可基于不同的频率调节目标设置不同的奖励函数规则。例如，设置多个评估指标，各评估指标设置计算权重，总奖励值为各评估指标的奖励值乘以对应权重后相
加。针对不同的频率调节目标对各评估指标设置不同的权重。利用不同的频率调节目标和各类调频资源的特性(例如，可提供的频率调节容量、频率的响应速度、调频成本和频率调节产生的收益等)来指导奖励函数的修正方向。调节目标可选择全面反映电网调节特性和经济特性的综合指标。
94.基于上述任一项可能的实现方式的构建方法得到的多类型资源复合调频模型，根据电网频率调节需求，生成最优的调节策略，用于控制各储能和可调负荷的有功功率。但是电网频率调节需求变化快、随机性强，需要调频模型运行效率高、响应速度快。
95.图4是本发明实施例提供的多类型资源复合调频模型的应用方法实现流程图。参照图4：
96.本发明实施例提供了一种多类型资源复合调频模型的应用方法，基于上述任一项可能的实现方式的构建方法得到的多类型资源复合调频模型，应用方法包括：
97.在s201中、对历史运行数据中电网的有功频率变化进行聚类，获得电网的多个典型有功频率调节需求。
98.获取电网的历史运行数据。对历史运行数据中电网的有功频率、有功频率的变化进行聚类，获得电网运行中的多个典型调节需求。基于具体的强化学习模型，还可以对应奖励函数设置：对各储能和可调负荷的调整量对应的调频成本、调节容量或电网调频响应速度进行聚类，获得典型调节需求。
99.在s202中、基于各典型有功频率调节需求，通过多类型资源复合调频模型，获得对应的有功频率调节策略集。
100.基于各典型有功频率调节需求，基于训练后的强化学习模型，即多类型资源复合调频模型，生成调节策略集。上述调节策略集中包含了对应各典型有功频率调节需求的调节策略。
101.本发明实施例通过基于历史需求聚类构建典型应用场景，基于典型应用场景，利用调频模型生成对应策略集。在实际应用时，可将当前电网调节需求与典型应用场景匹配(例如计算相似度)，将策略集中最接近的典型场景对应的策略作为当前调节策略。
102.本发明实施例基于强化学习的储能与可调负荷协调优化知识模型，提出典型控制场景下的优化调节策略，构建典型控制场景、控制需求下多类型储能与可调负荷协调优化策略集。
103.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
104.以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。
105.图5示出了本发明实施例提供的多类型资源复合调频模型的构建装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
106.如图5所示，一种多类型资源复合调频模型的构建装置3包括：
107.训练集获得模块31，用于基于电网的历史运行数据获得训练集，其中，电网包括多种类型的储能和可调负荷，历史运行数据包括各储能和可调负荷的有功功率、电网的有功频率。
108.模型构建模块32，用于基于电网构建强化学习模型，其中，以各储能和可调负荷的有功功率作为强化学习模型的状态集，以各储能和可调负荷的有功功率的调整量作为强化学习模型的动作集。
109.模型训练模块33，用于以训练集作为环境训练强化学习模型，获得多类型资源复合调频模型，其中，强化学习模型的奖励函数包括调整量在训练集中对应的电网有功频率变化。
110.本发明实施例基于强化学习，将各储能和可调负荷的有功功率作为状态集、有功功率调整量作为动作集，将基于电网历史运行数据形成的训练集作为环境，将有功功率调整量对应的电网有功频率变化作为奖励函数，构建基于强化学习的多类型资源复合调频模型。上述模型可用于基于电网频率调节需求输出各储能、可调负荷的有功功率调节策略。解决了传统确定性建模与控制策略难以满足储能、可调负荷参与电网频率调节控制的问题。
111.在一种可能的实现方式中，训练集获得模块包括：
112.数据获取单元，用于获取电网的历史运行数据。
113.校验单元，用于基于电网的历史运行数据校验电网的仿真模型，获得校验后的仿真模型。
114.数据生成单元，用于基于校验后的仿真模型，生成模拟运行数据，其中，模拟运行数据包括各储能和可调负荷在不同有功功率的调整量时对应的电网的有功频率变化。
115.训练集获得单元，用于基于历史运行数据和模拟运行数据获得训练集。
116.在一种可能的实现方式中，基于历史运行数据和模拟运行数据获得训练集包括：
117.对历史运行数据和模拟运行数据中各储能和可调负荷的有功功率的调整量、电网的有功频率变化进行聚类，获得训练集。
118.在一种可能的实现方式中，在获取电网的历史运行数据之后还包括：对历史运行数据中电网的有功频率进行聚类，获得电网的多个典型运行场景。
119.相应的，基于校验后的仿真模型，生成模拟运行数据包括：基于校验后的仿真模型，生成电网在各典型运行场景下的模拟运行数据，其中，模拟运行数据包括电网在各典型运行场景下，各储能和可调负荷在不同有功功率的调整量时对应的电网的有功频率变化。
120.在一种可能的实现方式中，强化学习模型的奖励函数还包括：各储能和可调负荷的调整量对应的调频成本、调节容量以及电网调频响应速度。
121.图6是本发明实施例提供的电子设备的示意图。如图6所示，该实施例的电子设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个多类型资源复合调频模型的构建方法实施例中的步骤，例如图2所示的步骤s101至步骤s103。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能，例如图5所示模块31至33的功能。
122.示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述电子设备4中的执行过程。例如，所述计算机程序42可以被分割成图5所示的模块31至33。
123.所述电子设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备4可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图6仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。
124.所称处理器40可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
125.所述存储器41可以是所述电子设备4的内部存储单元，例如电子设备4的硬盘或内存。所述存储器41也可以是所述电子设备4的外部存储设备，例如所述电子设备4上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器41还可以既包括所述电子设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
126.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
127.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
128.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
129.在本发明所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
130.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显
示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
131.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
132.所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个多类型资源复合调频模型的构建方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质等。
133.以上所述实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

技术特征：
1.一种多类型资源复合调频模型的构建方法，其特征在于，包括：基于电网的历史运行数据获得训练集，其中，所述电网包括多种类型的储能和可调负荷，所述历史运行数据包括各储能和可调负荷的有功功率、电网的有功频率；基于所述电网构建强化学习模型，其中，以各储能和可调负荷的有功功率作为强化学习模型的状态集，以各储能和可调负荷的有功功率的调整量作为强化学习模型的动作集；以所述训练集作为环境训练所述强化学习模型，获得多类型资源复合调频模型，其中，所述强化学习模型的奖励函数包括所述调整量在所述训练集中对应的电网有功频率变化。2.根据权利要求1所述的多类型资源复合调频模型的构建方法，其特征在于，所述基于电网的历史运行数据获得训练集包括：获取电网的历史运行数据；基于电网的历史运行数据校验电网的仿真模型，获得校验后的仿真模型；基于所述校验后的仿真模型，生成模拟运行数据，其中，所述模拟运行数据包括各储能和可调负荷在不同有功功率的调整量时对应的所述电网的有功频率变化；基于所述历史运行数据和所述模拟运行数据获得训练集。3.根据权利要求2所述的多类型资源复合调频模型的构建方法，其特征在于，所述基于所述历史运行数据和所述模拟运行数据获得训练集包括：对所述历史运行数据和所述模拟运行数据中各储能和可调负荷的有功功率的调整量、电网的有功频率变化进行聚类，获得训练集。4.根据权利要求2所述的多类型资源复合调频模型的构建方法，其特征在于，在获取电网的历史运行数据之后还包括：对所述历史运行数据中电网的有功频率进行聚类，获得电网的多个典型运行场景；相应的，所述基于所述校验后的仿真模型，生成模拟运行数据包括：基于所述校验后的仿真模型，生成电网在各典型运行场景下的模拟运行数据，其中，所述模拟运行数据包括电网在各典型运行场景下，各储能和可调负荷在不同有功功率的调整量时对应的所述电网的有功频率变化。5.根据权利要求1所述的多类型资源复合调频模型的构建方法，其特征在于，所述强化学习模型的奖励函数还包括：各储能和可调负荷的调整量对应的调频成本、调节容量以及电网调频响应速度。6.一种多类型资源复合调频模型的应用方法，其特征在于，基于上述权利要求1至5中任一项所述构建方法得到的多类型资源复合调频模型，所述应用方法包括：对所述历史运行数据中电网的有功频率变化进行聚类，获得电网的多个典型有功频率调节需求；基于各所述典型有功频率调节需求，通过所述多类型资源复合调频模型，获得对应的有功频率调节策略集。7.一种多类型资源复合调频模型的构建装置，其特征在于，包括：训练集获得模块，用于基于电网的历史运行数据获得训练集，其中，所述电网包括多种类型的储能和可调负荷，所述历史运行数据包括各储能和可调负荷的有功功率、电网的有功频率；模型构建模块，用于基于所述电网构建强化学习模型，其中，以各储能和可调负荷的有
功功率作为强化学习模型的状态集，以各储能和可调负荷的有功功率的调整量作为强化学习模型的动作集；模型训练模块，用于以所述训练集作为环境训练所述强化学习模型，获得多类型资源复合调频模型，其中，所述强化学习模型的奖励函数包括所述调整量在所述训练集中对应的电网有功频率变化。8.根据权利要求7所述的多类型资源复合调频模型的构建装置，其特征在于，所述训练集获得模块包括：数据获取单元，用于获取电网的历史运行数据；校验单元，用于基于电网的历史运行数据校验电网的仿真模型，获得校验后的仿真模型；数据生成单元，用于基于所述校验后的仿真模型，生成模拟运行数据，其中，所述模拟运行数据包括各储能和可调负荷在不同有功功率的调整量时对应的所述电网的有功频率变化；训练集获得单元，用于基于所述历史运行数据和所述模拟运行数据获得训练集。9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上的权利要求1至5中任一项所述多类型资源复合调频模型的构建方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上的权利要求1至5中任一项所述多类型资源复合调频模型的构建方法的步骤。

技术总结
本发明提供一种多类型资源复合调频模型的构建方法及装置。该方法基于强化学习构建的多类型资源复合调频模型，可用于基于电网频率调节需求输出各储能、可调负荷的有功功率调节策略。解决了传统确定性建模与控制策略难以满足储能、可调负荷参与电网频率调节控制的问题。从有限的实际运行样本中通过仿真的方式扩充训练样本集，提高了多类型资源复合调频模型的准确性。基于强化学习的储能与可调负荷协调优化知识模型，提出典型控制场景下的优化调节策略，构建典型控制场景、控制需求下多类型储能与可调负荷协调优化策略集。多类型资源复合调频模型基于聚类得到的典型场景进行训练，匹配典型应用场景，减少了无效数据，提高了频率调整精确度。调整精确度。调整精确度。


技术研发人员：梁纪峰 戎士洋 曾四鸣 姜山 李先妹 于腾凯 王蕾报
受保护的技术使用者：国网河北能源技术服务有限公司 国家电网有限公司
技术研发日：2023.03.31
技术公布日：2023/7/22