一种基于深度学习的通信通道规划方法及装置与流程

1.本发明涉及电力通信通道规划技术领域，尤其涉及一种基于深度学习的通信通道规划方法及装置。


背景技术：

2.传统能源行业通信的调度规划依赖于人工分析、规划、填报的方式进行路由线路的规划及调整。当网络规模过大时，由于网络复杂度大，人工方式开展路由路线的规划耗时过长；另外，路由节点超过数十个后，通过人工对路由路径进行穷举常出现疏漏，无法选中最优路径。


技术实现要素：

3.本发明公开了一种基于深度学习的通信通道规划方法及装置，提高了承载电话电视会议业务的通信通道规划的效率。
4.为了实现上述目的，本发明公开了一种基于深度学习的通信通道规划方法，包括：
5.获取通道起始站点及通道结束站点，并根据预设的通信网络编排规则获取通信通道规划参数；
6.将所述通道起始站点、通道结束站点及所述通信通道规划参数输入到预设的基于深度强化学习算法的通道预测模型中，输出最优通信通道。
7.本发明公开了一种基于深度学习的通信通道规划方法，包括根据预设的通信网络编排规则获取通道起始站点位置、通道结束站点位置及通信通道参数，以使根据上述参数形成具体的量化指标，适应业务和网络的变化，接着将所述通道起始站点位置、通道结束站点位置及通信通道参数输入到预设的基于深度强化学习算法的通道预测模型中，以使根据所述通道预测模型获得最优通信通道，实现了通信通道的智能规划，避免了人工分析及规划，提高通信通道规划的效率。
8.作为优选例子，所述预设的通信网络编排规则包括构建若干条独立的业务通道，并在每一条业务通道中配置sncp，且主备路由间不可物理共模。
9.本发明设置所述通信网络编排规则使得构建的通信通道满足实际构建需求，同时根据所述编排规则为后期提供通道规划参数，用于对所述最优通信通道的构建限制编排的方向。
10.作为优选例子，在所述通信通道参数包括通道数量限制、通信端口类型、通道带宽、通道网络类型、传输段最大电路数量、最大设备数及是否配置sncp。
11.本发明获取所述通信通道规划参数以便于为后期进行最优通信通道规划形成具体的量化指标，相比传统依据人工方式的编排，实现更直观精确的选取基准。
12.作为优选例子，在所述将所述通道起始站点、通道结束站点及所述通信通道规划参数输入到预设的基于深度强化学习算法的通道预测模型中，输出最优通信通道，包括：
13.根据所述通道起始站点、通道结束站点及所述通信通道规划参数，通过预设在所
述通道预测模型中的强化学习算法生成若干个初始通信通道，并获取每一个初始通信通道中包含的若干个通道规划节点；
14.通过预设在所述强化学习算法中的动作价值计算函数对所述若干个通道规划节点中每一个通道规划节点进行动作价值计算，获得所述每一个通道规划节点对应的动作价值；
15.根据所每一个通道规划节点对应的动作价值，获得所述每一个通道规划节点所在的初始通信通道对应的动作价值，并比较每一个初始通信通道的动作价值，输出动作价值最大的初始通信通道作为所述最优通信通道。
16.本发明利用预设的强化学习算法计算每一条通信通道中的通道规划节点对应的动作价值，并根据所述动作价值进行筛选，最终获得动作价值最大时对应的通信通道作为所述最优通道，完成通信通道的规划，提高了通道规划的精准度及适应实际建立需求。
17.作为优选例子，在所述输出最优通信通道时，还包括：
18.根据预设在所述通道预测模型中的深度神经网络对所述每一个通道规划节点对应的动作价值进行迭代优化。
19.本发明利用深度神经网络对所述动作价值进行迭代优化，使得所述动作价值收敛并趋于最优值，降低预测的动作价值与实际的动作价值的误差，提高构建的最优通信通道的精准度。
20.作为优选例子，所述通过预设在所述强化学习算法中的动作价值计算函数对所述若干个通道规划节点中每一个通道规划节点进行动作价值，包括：
21.所述预设的动作价值计算函数为：
22.qc(s
t
,a
t
|w)＝ec[r(s
t
,a
t
)+γqc(s
t+1
,a
t+1
|w)]
[0023]
其中，q代表强化学习模型，t表示当前规划进度节点即t次路径搜索，s表示当前各规则字段状态，a表示编排动作，w表示深度神经网络权重；c表示在状态s时采取各动作的概率集合，r表示在状态s下执行动作a所获得的奖励值，γ表示奖励衰减因子，范围为[0,1]。
[0024]
本发明设置了上述模型用于当通信通道规划进行到t节点时，本发明提供的模型根据当前的状态s
t
、概率集c选择动作a
t
，并依据可以获得的奖励值r(s
t
,a
t
)，迭代计算出最优的qc(s
t
,a
t
|w)，代表在当前节点状态下执行什么编排动作可以得到最佳的期望价值，依次获得动作价值最大的通信通道，实现最优通信通道的规划。
[0025]
另一方面，本发明公开了一种基于深度学习的通信通道规划装置，包括：参数获取模块及通道规划模块；
[0026]
所述参数获取模块用于获取通道起始站点及通道结束站点，并根据预设的通信网络编排规则获取通信通道规划参数；
[0027]
所述通道规划模块用于将所述通道起始站点、通道结束站点及所述通信通道规划参数输入到预设的基于深度强化学习算法的通道预测模型中，输出最优通信通道。
[0028]
本发明公开了一种基于深度学习的通信通道规划方法，包括根据预设的通信网络编排规则获取通道起始站点位置、通道结束站点位置及通信通道参数，以使根据上述参数形成具体的量化指标，适应业务和网络的变化，接着将所述通道起始站点位置、通道结束站点位置及通信通道参数输入到预设的基于深度强化学习算法的通道预测模型中，以使根据所述通道预测模型获得最优通信通道，实现了通信通道的智能规划，避免了人工分析及规
划，提高通信通道规划的效率。
[0029]
作为优选例子，所述预设的通信网络编排规则包括构建若干条独立的业务通道，并在每一条业务通道中配置sncp，且主备路由间不可物理共模。
[0030]
本发明设置所述通信网络编排规则使得构建的通信通道满足实际构建需求，同时根据所述编排规则为后期提供通道规划参数，用于对所述最优通信通道的构建限制编排的方向。
[0031]
作为优选例子，所述通信通道参数包括通道数量限制、通信端口类型、通道带宽、通道网络类型、传输段最大电路数量、最大设备数及是否配置sncp。
[0032]
本发明获取所述通信通道规划参数以便于为后期进行最优通信通道规划形成具体的量化指标，相比传统依据人工方式的编排，实现更直观精确的选取基准。
[0033]
作为优选例子，所述通道规划模块包括节点规划单元、价值计算单元、迭代优化单元及通道规划单元；
[0034]
所述节点规划单元用于根据所述通道起始站点、通道结束站点及所述通信通道规划参数，通过预设在所述通道预测模型中的强化学习算法生成若干个初始通信通道，并获取每一个初始通信通道中包含的若干个通道规划节点；
[0035]
所述价值计算单元用于通过预设在所述强化学习算法中的动作价值计算函数对所述若干个通道规划节点中每一个通道规划节点进行动作价值计算，获得所述每一个通道规划节点对应的动作价值；
[0036]
所述迭代优化单元用于根据预设在所述通道预测模型中的深度神经网络对所述每一个通道规划节点对应的动作价值进行迭代优化
[0037]
所述通道规划单元用于根据所每一个通道规划节点对应的动作价值，获得所述每一个通道规划节点所在的初始通信通道对应的动作价值，并比较每一个初始通信通道的动作价值，输出动作价值最大的初始通信通道作为所述最优通信通道。
[0038]
本发明利用预设的强化学习算法计算每一条通信通道中的通道规划节点对应的动作价值，并根据所述动作价值进行筛选，最终获得动作价值最大时对应的通信通道作为所述最优通道，完成通信通道的规划，提高了通道规划的精准度及适应实际建立需求，同时利用深度神经网络对所述动作价值进行迭代优化，使得所述动作价值收敛并趋于最优值，降低预测的动作价值与实际的动作价值的误差，提高构建的最优通信通道的精准度。
附图说明
[0039]
图1：为本发明实施例提供的一种基于深度学习的通信通道规划方法的流程示意图；
[0040]
图2：为本发明实施例提供的一种基于深度学习的通信通道规划装置的结构示意图。
具体实施方式
[0041]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
[0042]
实施例
[0043]
本发明实施例提供了一种基于深度学习的通信通道规划方法，所述方法的具体实施流程请参照图1，包括步骤101至步骤102，所述步骤主要包括：
[0044]
步骤101：获取通道起始站点及通道结束站点，并根据预设的通信网络编排规则获取通信通道规划参数。
[0045]
在本实施例中，该步骤包括：所述预设的通信网络编排规则包括构建若干条独立的业务通道，并在每一条业务通道中配置sncp，且主备路由间不可物理共模；所述通信通道规划参数包括通道数量限制、通信端口类型、通道带宽、通道网络类型、传输段最大电路数量、最大设备数及是否配置sncp。
[0046]
示例性的，本实施例对承载电视电话会议业务的通信通道进行规划，由此经过对承载电视电话会议业务的通信网络编排经验进行分析，常规网络编排作业存在9条通道规划业务需求字段，可进一步的结合“n-1物理共模验证“和”优先高电压等级“的要求，进行网络编排，在本实施例中，常规电视电话会议业务通信网络编排典型经验可如下：同时建立三条独立的业务通道，分别记为业务通道一、二和三；业务通道一：在传输新a网建设，配置sncp，主备路由间不可物理共模；业务通道二：在保底网建设，配置sncp，主备路由间不可物理共模；业务通道三：在otn网络建设，配置sncp，主备路由间不可物理共模。
[0047]
根据对上述规划经验的分析，进行完整的电力通信网业务通道规划，获取所述通信通道规划的9个核心字段；通道数量限制、通道起始站点位置、通道结束站点位置、通信端口类型、通道带宽(光纤/2m)、通道网络类型、传输段最大电路数量、最大设备数及是否配置sncp。
[0048]
步骤102：将所述通道起始站点、通道结束站点及所述通信通道规划参数输入到预设的基于深度强化学习算法的通道预测模型中，输出最优通信通道。
[0049]
在本实施例中，该步骤包括：根据所述通道起始站点、通道结束站点及所述通信通道规划参数，通过预设在所述通道预测模型中的强化学习算法生成若干个初始通信通道，并获取每一个初始通信通道中包含的若干个通道规划节点；
[0050]
通过预设在所述强化学习算法中的动作价值计算函数对所述若干个通道规划节点中每一个通道规划节点进行动作价值计算，获得所述每一个通道规划节点对应的动作价值；根据所每一个通道规划节点对应的动作价值，获得所述每一个通道规划节点所在的初始通信通道对应的动作价值，并比较每一个初始通信通道的动作价值，输出动作价值最大的初始通信通道作为所述最优通信通道；根据预设在所述通道预测模型中的深度神经网络对所述每一个通道规划节点对应的动作价值进行迭代优化。
[0051]
同时在本实施例中，所述预设的动作价值计算函数为：
[0052]
qc(s
t
,a
t
|w)＝ec[r(s
t
,a
t
)+γqc(s
t+1
,a
t+1
|w)]
[0053]
其中，q代表强化学习模型，t表示当前规划进度节点即t次路径搜索，s表示当前各规则字段状态，a表示编排动作，w表示深度神经网络权重；c表示在状态s时采取各动作的概率集合，r表示在状态s下执行动作a所获得的奖励值，γ表示奖励衰减因子，范围为[0,1]。
[0054]
示例性的，在本实施例中，基于步骤101中获得的9个核心字段，结合本实施例中预设的基于深度神经网络和强化学习算法的通道预测模型进行通信通道规划，在本实施例
中，设立进行通道规划过程中，强化学习算法中动作价值q的计算函数：
[0055]
qc(s
t
,a
t
|w)＝ec[r(s
t
,a
t
)+γqc(s
t+1
,a
t+1
|w)]
[0056]
其中，t表示当前规划进度节点(即t次路径搜索)，s表示当前各规则字段状态，a表示编排动作，w表示深度神经网络权重，通过梯度下降法更新；c表示在状态s时采取各动作的概率集合(即c(s,a)＝p(s
t
＝s
│at
＝a))，r表示在状态s下执行动作a所获得的奖励值。γ表示奖励衰减因子，范围为[0,1]。
[0057]
当规划进行到t节点时，本算法根据当前的状态s
t
、概率集c选择动作a
t
，并依据可以获得的奖励值r(s
t
,a
t
)，迭代计算出最优的qc(s
t
,a
t
|w)，代表在当前节点状态下执行什么编排动作可以得到最佳的期望价值。
[0058]
相较于传统的强化学习算法使用一张固定的q值表去进行探索过程中的指导，本实施例中的通道预测模型中设置深度神经网络通过网络梯度更新来计算q值，在w权重的迭代更新中，使q(s,a|w)收敛并趋于最优值，降低预测q值与实际q值的误差，并且无需在每次计算时都将完整的网络通道状态输入到模型中，同时在迭代更新中，可以选择作为依据的经验池大小，降低迭代前后q值间的依赖性。
[0059]
进一步的，在本实施例中，所述动作值q和网络损失函数的迭代优化方式如下式：
[0060][0061][0062]
其中，α为学习速率，l为损失函数，w-为经验池中权重，并随学习过程而更新。
[0063]
在本实施例中，基于本实施例提供的所述通道预测模型及所述动作价值的计算函数，初始化t＝0，根据输入的业务9条字段，将状态值s
t
初始化，随机选取第一步操作a
t
；获取进行编排后的下一个状态值s
t+1
和对应奖励值r(s
t
,a
t
)。根据所述通道预测模型，更新动作值q(s
t
,a
t
；w)和网络权重w，若s
t+1
在最优范围内(即到达终点站点位置)，则完成计算，得到局部最优通信通道；否则，令t＝t+1，选取最优q值对应的动作a，回到第三步执行迭代计算，直至s
t+1
处于最优范围内。
[0064]
本发明相较于现有技术，具有以下优点：
[0065]
(1)本方案对通道规划的优劣性形成具体的量化指标，相比传统依据人工方式的编排，实现更直观精确的选取基准；
[0066]
(2)本方案形成具体的量化指标，可以适应业务和网络的变化，进行增加或者删减，未来即使网络复杂度增加，描述的字段增加，仍可应用于本模型进行规划。通过对新增字段的引入和分析，更新状态集s，即可实现对新增规则的适应。
[0067]
除上述方法外，本发明实施例还提供了一种基于深度学习的通信通道规划装置，该装置的具体结构组成请参照图2，主要包括参数获取模块201及通道规划模块202。
[0068]
所述参数获取模块201用于获取通道起始站点及通道结束站点，并根据预设的通信网络编排规则获取通信通道规划参数。
[0069]
所述通道规划模块202用于将所述通道起始站点、通道结束站点及所述通信通道规划参数输入到预设的基于深度强化学习算法的通道预测模型中，输出最优通信通道。
[0070]
在本实施例中，所述参数获取模块201中预设的通信网络编排规则包括构建若干
条独立的业务通道，并在每一条业务通道中配置sncp，且主备路由间不可物理共模。
[0071]
在本实施例中，所述参数获取模块201中通信通道规划参数包括通道数量限制、通信端口类型、通道带宽、通道网络类型、传输段最大电路数量、最大设备数及是否配置sncp。
[0072]
在本实施例中，所述通道规划模块202包括节点规划单元、价值计算单元、迭代优化单元及通道规划单元。
[0073]
所述节点规划单元用于根据所述通道起始站点、通道结束站点及所述通信通道规划参数，通过预设在所述通道预测模型中的强化学习算法生成若干个初始通信通道，并获取每一个初始通信通道中包含的若干个通道规划节点。
[0074]
所述价值计算单元用于通过预设在所述强化学习算法中的动作价值计算函数对所述若干个通道规划节点中每一个通道规划节点进行动作价值计算，获得所述每一个通道规划节点对应的动作价值。
[0075]
所述迭代优化单元用于根据预设在所述通道预测模型中的深度神经网络对所述每一个通道规划节点对应的动作价值进行迭代优化。
[0076]
所述通道规划单元用于根据所每一个通道规划节点对应的动作价值，获得所述每一个通道规划节点所在的初始通信通道对应的动作价值，并比较每一个初始通信通道的动作价值，输出动作价值最大的初始通信通道作为所述最优通信通道。
[0077]
本发明公开了一种基于深度学习的通信通道规划方法及装置，包括根据预设的通信网络编排规则获取通道起始站点位置、通道结束站点位置及通信通道参数，以使根据上述参数形成具体的量化指标，适应业务和网络的变化，接着将所述通道起始站点位置、通道结束站点位置及通信通道参数输入到预设的基于深度强化学习算法的通道预测模型中，以使根据所述通道预测模型获得最优通信通道，实现了通信通道的智能规划，避免了人工分析及规划，提高通信通道规划的效率。
[0078]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于深度学习的通信通道规划方法，其特征在于，包括：获取通道起始站点及通道结束站点，并根据预设的通信网络编排规则获取通信通道规划参数；将所述通道起始站点、通道结束站点及所述通信通道规划参数输入到预设的基于深度强化学习算法的通道预测模型中，输出最优通信通道。2.如权利要求1所述的一种基于深度学习的通信通道规划方法，其特征在于，所述预设的通信网络编排规则包括构建若干条独立的业务通道，并在每一条业务通道中配置sncp，且主备路由间不可物理共模。3.如权利要求1所述的一种基于深度学习的通信通道规划方法，其特征在于，所述通信通道规划参数包括通道数量限制、通信端口类型、通道带宽、通道网络类型、传输段最大电路数量、最大设备数及是否配置sncp。4.如权利要求1所述的一种基于深度学习的通信通道规划方法，其特征在于，所述将所述通道起始站点、通道结束站点及所述通信通道规划参数输入到预设的基于深度强化学习算法的通道预测模型中，输出最优通信通道，包括：根据所述通道起始站点、通道结束站点及所述通信通道规划参数，通过预设在所述通道预测模型中的强化学习算法生成若干个初始通信通道，并获取每一个初始通信通道中包含的若干个通道规划节点；通过预设在所述强化学习算法中的动作价值计算函数对所述若干个通道规划节点中每一个通道规划节点进行动作价值计算，获得所述每一个通道规划节点对应的动作价值；根据所每一个通道规划节点对应的动作价值，获得所述每一个通道规划节点所在的初始通信通道对应的动作价值，并比较每一个初始通信通道的动作价值，输出动作价值最大的初始通信通道作为所述最优通信通道。5.如权利要求4所述的一种基于深度学习的通信通道规划方法，其特征在于，所述输出最优通信通道时，还包括：根据预设在所述通道预测模型中的深度神经网络对所述每一个通道规划节点对应的动作价值进行迭代优化。6.如权利要求4所述的一种基于深度学习的通信通道规划方法，其特征在于，所述通过预设在所述强化学习算法中的动作价值计算函数对所述若干个通道规划节点中每一个通道规划节点进行动作价值，包括：所述预设的动作价值计算函数为：q
c
(s
t
，a
t
|w)＝e
c
[r(s
t
，a
t
)+γq
c
(s
t+1
，a
t+1
|w)]其中，q代表强化学习模型，t表示当前规划进度节点即t次路径搜索，s表示当前各规则字段状态，a表示编排动作，w表示深度神经网络权重；c表示在状态s时采取各动作的概率集合，r表示在状态s下执行动作a所获得的奖励值，γ表示奖励衰减因子，范围为[0，1]。7.一种基于深度学习的通信通道规划装置，其特征在于，包括：参数获取模块及通道规划模块；所述参数获取模块用于获取通道起始站点及通道结束站点，并根据预设的通信网络编排规则获取通信通道规划参数；所述通道规划模块用于将所述通道起始站点、通道结束站点及所述通信通道规划参数
输入到预设的基于深度强化学习算法的通道预测模型中，输出最优通信通道。8.如权利要求7所述的一种基于深度学习的通信通道规划装置，其特征在于，所述预设的通信网络编排规则包括构建若干条独立的业务通道，并在每一条业务通道中配置sncp，且主备路由间不可物理共模。9.如权利要求7所述的一种基于深度学习的通信通道规划装置，其特征在于，所述通信通道规划参数包括通道数量限制、通信端口类型、通道带宽、通道网络类型、传输段最大电路数量、最大设备数及是否配置sncp。10.如权利要求7所述的一种基于深度学习的通信通道规划装置，其特征在于，所述通道规划模块包括节点规划单元、价值计算单元、迭代优化单元及通道规划单元；所述节点规划单元用于根据所述通道起始站点、通道结束站点及所述通信通道规划参数，通过预设在所述通道预测模型中的强化学习算法生成若干个初始通信通道，并获取每一个初始通信通道中包含的若干个通道规划节点；所述价值计算单元用于通过预设在所述强化学习算法中的动作价值计算函数对所述若干个通道规划节点中每一个通道规划节点进行动作价值计算，获得所述每一个通道规划节点对应的动作价值；所述迭代优化单元用于根据预设在所述通道预测模型中的深度神经网络对所述每一个通道规划节点对应的动作价值进行迭代优化；所述通道规划单元用于根据所每一个通道规划节点对应的动作价值，获得所述每一个通道规划节点所在的初始通信通道对应的动作价值，并比较每一个初始通信通道的动作价值，输出动作价值最大的初始通信通道作为所述最优通信通道。

技术总结
本发明公开了一种基于深度学习的通信通道规划方法及装置，该方法包括获取通道起始站点及通道结束站点，并根据预设的通信网络编排规则获取通信通道规划参数，将所述通道起始站点、通道结束站点及所述通信通道规划参数输入到预设的基于深度强化学习算法的通道预测模型中，输出最优通信通道，本发明提高了承载电视电话会议业务的电力通信通道规划的效率。视电话会议业务的电力通信通道规划的效率。视电话会议业务的电力通信通道规划的效率。


技术研发人员：李溢杰 张正峰 刘新展 邓晓智 李星南 李波
受保护的技术使用者：广东电网有限责任公司电力调度控制中心
技术研发日：2023.06.09
技术公布日：2023/8/4