一种电力通信网自主规划方法及系统与流程

1.本发明涉及电力通信网络自主规划技术领域，尤其是涉及一种电力通信网自主规划方法及系统。


背景技术：

2.随着高比例清洁能源、海量电力传感器的接入，各类电网业务的产生的数据量呈爆发时增长，导致传输带宽资源有限的电力通信网路面临严峻挑战。为保证电网三大典型业务(保护控制、移动应用、数据采集)的准确运行，有必要对电力通信网络的路由规划能力展开研究。
3.为了满足电力系统运行和控制智能化及实时化的需求，电力通信网需要能够根据网络状态及业务到达状态进行实时地业务量调整，然而，现有的路由规划技术无法及时感知网络状态，限制了电力通信网路由规划的灵活性，无法适配大规模并发接入电力业务的传输需求。目前关于电力通信网的路由规划问题，主要采用静态规划算法和动态规划算法进行解决，其中静态算法包括精确算法、启发式算法和智能优化算法，动态规划算法包括动态启发式算法和学习型算法。然而现有的静态规划算法对网络全局信息完备性的要求高，要求提前预知所有业务的到达情况和需求等信息，并且静态规划算法中的启发式算法收敛性差，容易产生局部最优结果。而动态规划算法中的学习型算法则需要进行大量业务请求试验探索最优规划策略，由此带来的时间开销限制电力通信网规划的自主性，难以适配大规模并发接入电力业务的传输需求，且其收敛慢，无法根据业务和网络的实时状态进行调整，导致最终学习结果容易陷入局部最优，业务保障性差。


技术实现要素：

4.本发明旨在提供一种电力通信网自主规划方法及系统，以解决上述技术问题，通过构建能够反映物理实体域网络状态的数字化网络，以实现对物理实体域的业务队列调度的模拟，再基于强化学习算法对业务队列调度策略的优化，该方法学习收敛速度快，有效提升电力通信网络的自主规划能力。
5.为了解决上述技术问题，本发明提供了一种电力通信网自主规划方法，包括以下步骤：
6.构建用于实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟；
7.基于数字化网络的模拟情况，利用强化学习算法对业务队列调度策略进行优化，以实现电力通信网的自主规划。
8.上述方案中，通过构建能够反映物理实体域网络状态的数字化网络，可以同步数字化网络和物理实体域的业务队列信息，实现对物理实体域的业务队列调度的模拟，再利用强化学习算法对业务队列调度策略进行优化，避免了物理实体域中出现大量业务队列调度试验而导致的时间开销大的问题，加快学习收敛的速度，有效提升电力通信网络的自主
规划能力。
9.上述方案还解决现有学习型算法需要进行大量业务请求试验探索最优规划策略，限制电力通信网规划的自主性，难以适配大规模并发接入电力业务的传输需求的问题，提高电力通信网络自主规划的效率。
10.进一步地，所述构建用于实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟，具体为：
11.构建用于实时反映电力通信网物理实体域网络状态的数字化网络；
12.获取物理实体域的业务队列并建立时隙模型，通过时隙模型获取每个业务队列的表示；
13.基于每个业务队列的表示，利用数字化网络实现对物理实体域的业务队列调度的模拟。
14.进一步地，在所述获取物理实体域的业务队列并建立时隙模型，通过时隙模型获取每个业务队列的表示后，还包括：
15.采用网络效用函数，根据每个业务队列的业务类型对电网安全稳定运行的影响程度，对每个业务队列进行加权，以使对电网安全稳定运行的影响程度高的业务队列优先传输。
16.上述方案所采用的网络效用函数，其优先考虑的是每个业务队列的业务类型对电网安全稳定运行的影响程度，即在网络效用函数中优先级参数越高的业务队列，其业务将更为关键和重要，应当优先传输。网络效用函数的采用可以在未全面获取业务需求前，对已获取的业务类型进行排序，以令后续强化学习算法可在未全面获取业务到达和需求信息情况下进行电力通信网络最优规划策略的在线学习，提高电力通信网络自主规划效率。
17.进一步地，所述基于每个业务队列的表示，利用数字化网络实现对物理实体域的业务队列调度的模拟，具体为：
18.基于每个业务队列的表示，获取物理实体域的业务队列调度策略；
19.根据业务队列调度策略，利用数字化网络实现对物理实体域的业务队列调度的模拟。
20.进一步地，所述基于数字化网络的模拟情况，利用强化学习算法对业务队列调度策略进行优化，以实现电力通信网的自主规划，具体为：
21.利用强化学习算法将业务队列调度策略进行建模，获取队列调度优化问题；
22.基于改进ε-greedy算法求解队列调度优化问题，令业务队列调度可自适应调整，从而获取优化策略，实现电力通信网的自主规划。
23.上述方案中，强化学习算法收敛性好，利用其将业务队列调度策略进行建模所获取的队列调度优化问题求解后，其结果能够有效适配差异化电力业务的传输需求。而通过改进ε-greedy算法，实现业务队列调度的可自适应调整，在进行探索的同时保证队列积压在数字化网络中的均衡分布，从而解决传统ε-greedy策略盲目探索，无法根据业务和网络的实时状态调整探索的策略，导致最终学习结果容易陷入局部最优的技术问题。
24.本发明提供一种电力通信网自主规划系统，用于实现一种电力通信网自主规划方法，其包括物理实体域和数字孪生域；其中：
25.所述物理实体域搭建有电力通信网，其基于自主规划策略运行；
26.所述数字孪生域用于构建实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟；并基于数字化网络的模拟情况，利用强化学习算法对业务队列调度策略进行优化，获取电力通信网的自主规划策略并传输至所述物理实体域。
27.上述方案提供的系统，通过在数字孪生域中构建能够反映物理实体域网络状态的数字化网络，将数字化网络和物理实体域的业务队列信息进行同步，实现对物理实体域的业务队列调度的模拟，再利用强化学习算法对业务队列调度策略进行优化，避免了物理实体域中出现大量业务队列调度试验而导致的时间开销大的问题，加快学习收敛的速度，有效提升电力通信网络的自主规划能力。
28.上述方案提供的系统架构简单，实现方便，其还可以解决现有学习型算法需要进行大量业务请求试验探索最优规划策略，限制电力通信网规划的自主性，难以适配大规模并发接入电力业务的传输需求的问题，提高电力通信网络自主规划的效率。
29.进一步地，在所述数字孪生域中，所述构建实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟，具体为：
30.构建用于实时反映电力通信网物理实体域网络状态的数字化网络；
31.获取物理实体域的业务队列并建立时隙模型，通过时隙模型获取每个业务队列的表示；
32.基于每个业务队列的表示，利用数字化网络实现对物理实体域的业务队列调度的模拟。
33.进一步地，在所述数字孪生域中，在获取物理实体域的业务队列并建立时隙模型，通过时隙模型获取每个业务队列的表示后，还包括：
34.采用网络效用函数，根据每个业务队列的业务类型对电网安全稳定运行的影响程度，对每个业务队列进行加权，以使对电网安全稳定运行的影响程度高的业务队列优先传输。
35.上述系统所采用的网络效用函数，其优先考虑的是每个业务队列的业务类型对电网安全稳定运行的影响程度，即在网络效用函数中优先级参数越高的业务队列，其业务将更为关键和重要，应当优先传输。网络效用函数的采用可以在未全面获取业务需求前，对已获取的业务类型进行排序，以令后续强化学习算法可在未全面获取业务到达和需求信息情况下进行电力通信网络最优规划策略的在线学习，提高电力通信网络自主规划效率。
36.进一步地，在所述数字孪生域中，所述基于每个业务队列的表示，利用数字化网络实现对物理实体域的业务队列调度的模拟，具体为：
37.基于每个业务队列的表示，获取物理实体域的业务队列调度策略；
38.根据业务队列调度策略，利用数字化网络实现对物理实体域的业务队列调度的模拟。
39.进一步地，在所述数字孪生域中，基于数字化网络的模拟情况，利用强化学习算法对业务队列调度策略进行优化，以实现电力通信网的自主规划，具体为：
40.利用强化学习算法将业务队列调度策略进行建模，获取队列调度优化问题；
41.基于改进ε-greedy算法求解队列调度优化问题，令业务队列调度可自适应调整，从而获取优化策略，实现电力通信网的自主规划。
42.上述系统中，利用强化学习算法收敛性好的技术优势，利用其将业务队列调度策略进行建模所获取的队列调度优化问题求解后，其结果能够有效适配差异化电力业务的传输需求。而通过改进ε-greedy算法，实现业务队列调度的可自适应调整，在进行探索的同时保证队列积压在数字化网络中的均衡分布，从而解决传统ε-greedy策略盲目探索，无法根据业务和网络的实时状态调整探索的策略，导致最终学习结果容易陷入局部最优的技术问题。
附图说明
43.图1为本发明一实施例中提供的一种电力通信网自主规划方法的流程示意图；
44.图2为本发明一实施例中提供的强化学习算法的应用流程示意图；
45.图3为本发明一实施例中提供的一种电力通信网自主规划系统的架构示意图。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.请参见图1，本实施例提供一种电力通信网自主规划方法，包括以下步骤：
48.s1：构建用于实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟；
49.s2：基于数字化网络的模拟情况，利用强化学习算法对业务队列调度策略进行优化，以实现电力通信网的自主规划。
50.在本实施例中，通过构建能够反映物理实体域网络状态的数字化网络，可以同步数字化网络和物理实体域的业务队列信息，实现对物理实体域的业务队列调度的模拟，再利用强化学习算法对业务队列调度策略进行优化，避免了物理实体域中出现大量业务队列调度试验而导致的时间开销大的问题，加快学习收敛的速度，有效提升电力通信网络的自主规划能力。
51.本实施例还解决现有学习型算法需要进行大量业务请求试验探索最优规划策略，限制电力通信网规划的自主性，难以适配大规模并发接入电力业务的传输需求的问题，提高电力通信网络自主规划的效率。
52.进一步地，所述构建用于实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟，具体为：
53.构建用于实时反映电力通信网物理实体域网络状态的数字化网络；
54.获取物理实体域的业务队列并建立时隙模型，通过时隙模型获取每个业务队列的表示；
55.基于每个业务队列的表示，利用数字化网络实现对物理实体域的业务队列调度的模拟。
56.本实施例通过时隙模型获取每个业务队列的表示，其过程具体可以为：将整体的队列调度周期划分为t个等长间隔的时隙，用集合t＝{1,...,t,...,t}表示，每个时隙开始
时，依据一定规则选取一些队列进行数据传输。其中，假设总共包含i个业务队列，用集合i＝{1,...,i,...,i}表示，每个业务队列在时隙初的队列积压为qi(t)，业务队列积压随时隙的变化情况可被表示为：
57.qi(t+1)＝qi(t)+ai(t-1)-ri(t)
58.式中，ri(t)表示时隙t通过电力通信网传输离开的数据量，ai(t)表示时隙t内累计到达的数据量，并且在下一个时隙才进入业务队列中进行传输。设定每个时隙进行数据传输的业务队列选择指示变量为ci(t)∈{0,1}，其中ci(t)＝1表示第t个时隙时选择对第i个数据队列进行调度，允许其通过电力通信网进行数据传输，否则
59.列积压的大小，即ri(t)≤qi(t)+ai(t-1)。此外，受限于当前时隙电力通信网络的传输能力限制，所有队列累计传输的数据量不应当超过网络传输容量限制，即其中r
max
(t)表示当前时隙电力通信网所能承载的业务数据总量。
60.进一步地，网络实际应用过程中，为每个队列预留的缓冲区大小往往是有限的，其大小被设置为q
i,max
，当业务队列持续积压时，会导致业务数据因溢出而产生丢失，关键业务数据的丢失将会危及电网的安全稳定运行，因此，为维护网络安全性，避免业务数据丢失，当时隙t时选取c
max
个业务队列进行数据传输时，每个业务队列可以获得传输容量为：
[0061][0062]
且业务队列i实际传输的数据量还应当满足ri(t)≤r
iget
(t)，获取到每个业务队列的表示。
[0063]
进一步地，在所述获取物理实体域的业务队列并建立时隙模型，通过时隙模型获取每个业务队列的表示后，还包括：
[0064]
采用网络效用函数，根据每个业务队列的业务类型对电网安全稳定运行的影响程度，对每个业务队列进行加权，以使对电网安全稳定运行的影响程度高的业务队列优先传输。
[0065]
需要说明的是，网络效用函数可以建立为带权重的网络吞吐量，具体表示为：
[0066]
ui(t)＝λiqi(t)ri(t)
[0067]
其中，λi表示第i个业务队列的优先级参数，表示该类型业务对于电网安全稳定运行的影响程度，优先级参数越高，表明该业务更为关键和重要，应当优先传输。权重qi(t)同样为维护网络公平性而设置，避免业务队列的持续积压。由上式可看出，在传输等量数据的情况下，该业务队列优先级越高、当前队列积压越大，可获得的网络效用越大。
[0068]
本实施例所采用的网络效用函数，其优先考虑的是每个业务队列的业务类型对电网安全稳定运行的影响程度，即在网络效用函数中优先级参数越高的业务队列，其业务将更为关键和重要，应当优先传输。网络效用函数的采用可以在未全面获取业务需求前，对已获取的业务类型进行排序，以令后续强化学习算法可在未全面获取业务到达和需求信息情况下进行电力通信网络最优规划策略的在线学习，提高电力通信网络自主规划效率。
[0069]
进一步地，所述基于每个业务队列的表示，利用数字化网络实现对物理实体域的
业务队列调度的模拟，具体为：
[0070]
基于每个业务队列的表示，获取物理实体域的业务队列调度策略；
[0071]
根据业务队列调度策略，利用数字化网络实现对物理实体域的业务队列调度的模拟。
[0072]
进一步地，所述基于数字化网络的模拟情况，利用强化学习算法对业务队列调度策略进行优化，以实现电力通信网的自主规划，具体为：
[0073]
利用强化学习算法将业务队列调度策略进行建模，获取队列调度优化问题；
[0074]
基于改进ε-greedy算法求解队列调度优化问题，令业务队列调度可自适应调整，从而获取优化策略，实现电力通信网的自主规划。
[0075]
需要说明的是，通过强化学习算法对业务队列调度策略进行建模，旨在优化网络的长期效用，其最终获取的队列调度优化问题可表示为：
[0076][0077]
c1代表队列选择决策的取值约束，c2代表网络支持的最大业务接入数量约束，c3、c4、c5代表可传输的数据量约束。
[0078]
进一步地，考虑时变的网络信息与动态到达的业务请求，使得有关网络全局信息的获取和预测变得困难，因此实施例将上述队列调度问题再建模为一个多臂老虎机问题，每个业务队列被视作一个摇臂，网络同时选择多个摇臂进行传输，会获得一定的回报，该回报作为未来决策的统计先验信息。多臂老虎机中的一个关键问题是探索与利用之间的权衡，探索指随机选择在未来可能获得更高回报的摇臂，利用指基于已有信息选择目前期望回报最高的摇臂，如何平衡探索与利用，使得网络获得长期回报更大，是本实施例要解决的一个关键问题。
[0079]
ε-greedy算法(ε∈[0,1])作为解决上述问题的一个有效数学工具，通过随机置数的方式来选择探索还是利用，并通过设置ε的大小实现探索与利用力度的调整。然而，传统的ε-greedy算法中ε的大小往往是不变的，因此无法有效适应动态变化的电力通信网环境，因此本实施例结合电力通信业务传输特性，在传统ε-greedy算法的基础上加以改进，提出基于改进ε-greedy算法的电力通信网自主规划方法。
[0080]
在本实施例中，强化学习算法收敛性好，利用其将业务队列调度策略进行建模所获取的队列调度优化问题求解后，其结果能够有效适配差异化电力业务的传输需求。而通过改进ε-greedy算法，实现业务队列调度的可自适应调整，在进行探索的同时保证队列积压在数字化网络中的均衡分布，从而解决传统ε-greedy策略盲目探索，无法根据业务和网络的实时状态调整探索的策略，导致最终学习结果容易陷入局部最优的技术问题。
[0081]
本实施例还充分发挥数字孪生技术的优势，通过在数字孪生域进行模拟实验，实时反映物理实体域内网络状态及业务状态，加快学习的收敛速度，保障业务的可靠传输。
[0082]
进一步地，为了进一步凸显本发明中强化学习算法及改进ε-greedy算法的技术实现过程，凸显其技术优势，本实施例具体提供一种强化学习算法的应用流程，其步骤可参见图2。该强化学习算法共包含初始化、决策、学习更新三个阶段，其中：
[0083]
初始化阶段：
[0084]
步骤1.1：t＝0时，队列调度决策变量ci(t)被初始化为0，每次学习的回报值大小被定义为与优化目标一致的数学量，即ui(t)，学习回报的历史均值同样被初始化为0。数字孪生域模拟实验的最大轮数被设置为r
max
。
[0085]
决策阶段：
[0086]
步骤2.1：每个时隙开始时，数字孪生域与物理实体域进行同步，初始化模拟实验轮数r＝1；
[0087]
步骤2.2：依据调度每个业务队列获得学习回报的历史均值将业务队列进行降序排列，若不同队列的相同，则其位置被随机给定，初始化调度轮数k＝1；
[0088]
步骤2.3：取降序排列后排位在最前的业务队列，令：
[0089][0090]
取随机数εk∈[0,1]，若εk＜ε，则选择调度该队列，否则从剩余业务队列中随机选择一个队列进行调度，通过ε的自适应调整优先保障数据队列积压大的业务队列进行传输，从而避免业务数据溢出。选择完成后，将选择的队列移除，令k＝k+1，若k＞c
max
，进入步骤2.4，否则重复步骤2.3。
[0091]
步骤2.4：计算此时的累积网络效用，并更新令r＝r+1，若r＞r
max
，进入步骤2.5，否则回到步骤2.2；
[0092]
步骤2.5：取共计r
max
轮中累积网络效用值最大的队列调度决策方案，并下发至物理实体域。
[0093]
学习更新阶段：
[0094]
步骤3.1：令t＝t+1，若t＞t，结束，否则回到决策阶段。
[0095]
本实施例本引入强化学习算法，将电力通信网络规划问题描述为一个业务队列选择的马尔可夫决策过程，通过建立网络效用函数，可在未全面获取业务到达和需求信息情况下进行电力通信网络最优规划策略的在线学习，且算法收敛性好，能够有效适配差异化电力业务的传输需求；且提出一种改进ε-greedy策略，其参数ε通过评估最长队列积压占比自适应调整业务队列调度，在进行探索的同时保证队列积压在网络中的均衡分布，从而解决传统ε-greedy策略盲目探索，无法根据业务和网络的实时状态调整探索的策略，导致最终学习结果容易陷入局部最优的问题。
[0096]
请参见图3，本实施例提供一种电力通信网自主规划系统，用于实现一种电力通信网自主规划方法，其包括物理实体域和数字孪生域；其中：
[0097]
所述物理实体域包括路由器、链路等电力通信网络实体，由电力通信网络实体搭
建成电力通信网，其基于自主规划策略运行；物理实体域中业务的动态到达和离开形成业务队列，实现对业务数据的实时传输。
[0098]
所述数字孪生域用于构建实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟，具体包括业务模型、网络模型和拓扑模型。数字孪生域基于业务模型、网络模型和拓扑模型共同实现对物理实体域网络状态的模拟，通过与底层数据交互，实现对物理实体域网络信息的学习。其利用强化学习算法对业务队列调度策略进行优化，获取电力通信网的自主规划策略并传输至所述物理实体域，实现对物理实体域队列调度的策略优化，支撑电力通信网大规模并发业务请求数据传输高效自主规划。
[0099]
本实施例提供的系统，通过在数字孪生域中构建能够反映物理实体域网络状态的数字化网络，将数字化网络和物理实体域的业务队列信息进行同步，实现对物理实体域的业务队列调度的模拟，再利用强化学习算法对业务队列调度策略进行优化，避免了物理实体域中出现大量业务队列调度试验而导致的时间开销大的问题，加快学习收敛的速度，有效提升电力通信网络的自主规划能力。
[0100]
本实施例提供的系统架构简单，实现方便，其还可以解决现有学习型算法需要进行大量业务请求试验探索最优规划策略，限制电力通信网规划的自主性，难以适配大规模并发接入电力业务的传输需求的问题，提高电力通信网络自主规划的效率。
[0101]
进一步地，在所述数字孪生域中，所述构建实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟，具体为：
[0102]
构建用于实时反映电力通信网物理实体域网络状态的数字化网络；
[0103]
获取物理实体域的业务队列并建立时隙模型，通过时隙模型获取每个业务队列的表示；
[0104]
基于每个业务队列的表示，利用数字化网络实现对物理实体域的业务队列调度的模拟。
[0105]
进一步地，在所述数字孪生域中，在获取物理实体域的业务队列并建立时隙模型，通过时隙模型获取每个业务队列的表示后，还包括：
[0106]
采用网络效用函数，根据每个业务队列的业务类型对电网安全稳定运行的影响程度，对每个业务队列进行加权，以使对电网安全稳定运行的影响程度高的业务队列优先传输。
[0107]
本实施例提供的系统所采用的网络效用函数，其优先考虑的是每个业务队列的业务类型对电网安全稳定运行的影响程度，即在网络效用函数中优先级参数越高的业务队列，其业务将更为关键和重要，应当优先传输。网络效用函数的采用可以在未全面获取业务需求前，对已获取的业务类型进行排序，以令后续强化学习算法可在未全面获取业务到达和需求信息情况下进行电力通信网络最优规划策略的在线学习，提高电力通信网络自主规划效率。
[0108]
进一步地，在所述数字孪生域中，所述基于每个业务队列的表示，利用数字化网络实现对物理实体域的业务队列调度的模拟，具体为：
[0109]
基于每个业务队列的表示，获取物理实体域的业务队列调度策略；
[0110]
根据业务队列调度策略，利用数字化网络实现对物理实体域的业务队列调度的模
拟。
[0111]
进一步地，在所述数字孪生域中，基于数字化网络的模拟情况，利用强化学习算法对业务队列调度策略进行优化，以实现电力通信网的自主规划，具体为：
[0112]
利用强化学习算法将业务队列调度策略进行建模，获取队列调度优化问题；
[0113]
基于改进ε-greedy算法求解队列调度优化问题，令业务队列调度可自适应调整，从而获取优化策略，实现电力通信网的自主规划。
[0114]
在本实施例提供的系统中，利用强化学习算法收敛性好的技术优势，利用其将业务队列调度策略进行建模所获取的队列调度优化问题求解后，其结果能够有效适配差异化电力业务的传输需求。而通过改进ε-greedy算法，实现业务队列调度的可自适应调整，在进行探索的同时保证队列积压在数字化网络中的均衡分布，从而解决传统ε-greedy策略盲目探索，无法根据业务和网络的实时状态调整探索的策略，导致最终学习结果容易陷入局部最优的技术问题。
[0115]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

技术特征：
1.一种电力通信网自主规划方法，其特征在于，包括以下步骤：构建用于实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟；基于数字化网络的模拟情况，利用强化学习算法对业务队列调度策略进行优化，以实现电力通信网的自主规划。2.根据权利要求1所述的一种电力通信网自主规划方法，其特征在于，所述构建用于实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟，具体为：构建用于实时反映电力通信网物理实体域网络状态的数字化网络；获取物理实体域的业务队列并建立时隙模型，通过时隙模型获取每个业务队列的表示；基于每个业务队列的表示，利用数字化网络实现对物理实体域的业务队列调度的模拟。3.根据权利要求2所述的一种电力通信网自主规划方法，其特征在于，在所述获取物理实体域的业务队列并建立时隙模型，通过时隙模型获取每个业务队列的表示后，还包括：采用网络效用函数，根据每个业务队列的业务类型对电网安全稳定运行的影响程度，对每个业务队列进行加权，以使对电网安全稳定运行的影响程度高的业务队列优先传输。4.根据权利要求2或3所述的一种电力通信网自主规划方法，其特征在于，所述基于每个业务队列的表示，利用数字化网络实现对物理实体域的业务队列调度的模拟，具体为：基于每个业务队列的表示，获取物理实体域的业务队列调度策略；根据业务队列调度策略，利用数字化网络实现对物理实体域的业务队列调度的模拟。5.根据权利要求4所述的一种电力通信网自主规划方法，其特征在于，所述基于数字化网络的模拟情况，利用强化学习算法对业务队列调度策略进行优化，以实现电力通信网的自主规划，具体为：利用强化学习算法将业务队列调度策略进行建模，获取队列调度优化问题；基于改进ε-greedy算法求解队列调度优化问题，令业务队列调度可自适应调整，从而获取优化策略，实现电力通信网的自主规划。6.一种电力通信网自主规划系统，其特征在于，包括物理实体域和数字孪生域；其中：所述物理实体域搭建有电力通信网，其基于自主规划策略运行；所述数字孪生域用于构建实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟；并基于数字化网络的模拟情况，利用强化学习算法对业务队列调度策略进行优化，获取电力通信网的自主规划策略并传输至所述物理实体域。7.根据权利要求6所述的一种电力通信网自主规划系统，其特征在于，在所述数字孪生域中，所述构建实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟，具体为：构建用于实时反映电力通信网物理实体域网络状态的数字化网络；获取物理实体域的业务队列并建立时隙模型，通过时隙模型获取每个业务队列的表示；
基于每个业务队列的表示，利用数字化网络实现对物理实体域的业务队列调度的模拟。8.根据权利要求7所述的一种电力通信网自主规划系统，其特征在于，在所述数字孪生域中，在获取物理实体域的业务队列并建立时隙模型，通过时隙模型获取每个业务队列的表示后，还包括：采用网络效用函数，根据每个业务队列的业务类型对电网安全稳定运行的影响程度，对每个业务队列进行加权，以使对电网安全稳定运行的影响程度高的业务队列优先传输。9.根据权利要求7或8所述的一种电力通信网自主规划系统，其特征在于，在所述数字孪生域中，所述基于每个业务队列的表示，利用数字化网络实现对物理实体域的业务队列调度的模拟，具体为：基于每个业务队列的表示，获取物理实体域的业务队列调度策略；根据业务队列调度策略，利用数字化网络实现对物理实体域的业务队列调度的模拟。10.根据权利要求9所述的一种电力通信网自主规划系统，其特征在于，在所述数字孪生域中，基于数字化网络的模拟情况，利用强化学习算法对业务队列调度策略进行优化，以实现电力通信网的自主规划，具体为：利用强化学习算法将业务队列调度策略进行建模，获取队列调度优化问题；基于改进ε-greedy算法求解队列调度优化问题，令业务队列调度可自适应调整，从而获取优化策略，实现电力通信网的自主规划。

技术总结
本发明提供了一种电力通信网自主规划方法及系统，该方法包括以下步骤：构建用于实时反映电力通信网物理实体域网络状态的数字化网络，实现对物理实体域的业务队列调度的模拟；基于数字化网络的模拟情况，利用强化学习算法对业务队列调度策略进行优化，以实现电力通信网的自主规划。本发明提供的一种电力通信网自主规划方法，通过构建能够反映物理实体域网络状态的数字化网络，可以同步数字化网络和物理实体域的业务队列信息，实现对物理实体域的业务队列调度的模拟，利用强化学习算法对业务队列调度策略进行优化，避免了物理实体域中出现大量业务队列调度试验而导致的时间开销大问题的出现，加快学习收敛的速度，提升电力通信网络的自主规划能力。通信网络的自主规划能力。通信网络的自主规划能力。


技术研发人员：李溢杰 梁文娟 张正峰 李星南 李波 邓晓智
受保护的技术使用者：广东电网有限责任公司电力调度控制中心
技术研发日：2023.04.28
技术公布日：2023/7/12