一种带宽感知的空天地一体化网络资源分配方法

1.本发明涉及空天地一体化网络资源分配，特别涉及一种带宽感知的空天地一体化网络资源分配方法。


背景技术：

2.现如今，随着网络用户的大量增加和网络服务需求的爆炸式增长，仅仅依靠地面网络通信已经难以保证未来网络的服务质量。未来网络旨在追求万物互联，它将突破地面网络的限制，在极大提升用户体验感的同时，将网络供应服务延伸至太空、深山、深海，形成一个太空、天空、地面一体化的全方位覆盖网络，这就是空天地一体化网络。空天地一体化网络包括三个部分：空基网络、天基网络、地基网络。空基网络的主要组成部分是卫星，天基网络的主要构成部分是无人机，而地基网络主要由蜂窝无线网络组成，各个网段之间有着不同的网络结构。目前，对于空天地一体化网络的研究还处于初级阶段，面对日益增长的服务需求，空天地一体化网络的网络资源分配问题亟待解决。
3.虚拟网络映射技术是一项具有广泛前景的技术，它主要通过对物理网络进行抽象化表达，将用户需求抽象为虚拟网络请求，在物理网络资源的限制下有选择性地进行网络资源的调度与分配，即将虚拟网络请求映射到物理网络上，从而实现物理网络资源的高效利用，为用户提供高质量的网络服务。根据虚拟网络映射算法的本质就是对网络资源进行高效的分配，现在已经有许多学者尝试将虚拟网络映射技术引入空天地一体化网络资源分配问题中。
4.在如今的虚拟网络映射算法研究中，大多学者常采取启发式算法和线性规划来解决网络分配问题，而这些算法往往容易陷入局部极值且有时不符合实际情况。机器学习在近几年成为研究热门，并在各大领域都取得较大的进展。在这其中，深度强化学习倍受关注。深度学习具有较强的感知能力，强化学习具有强大的决策力，将两者结合起来的深度强化学习则有着优秀的感知决策能力。基于策略网络的深度强化学习将策略网络作为代理，通过训练策略网络生成一个策略并在环境中执行该策略，环境生成一个新的状态和奖励，代理将根据环境反馈的状态和奖励生成新的策略。目前已有研究证明深度强化学习在虚拟网络资源分配中有较好的表现。
5.在实际的空天地一体化网络资源分配问题中，用户往往对网络的带宽有着不同的需求，例如无人机则需要大带宽，需要一定的带宽保证，而普通的电话通信则对带宽的要求较低。如何在空天地一体化网络中实现高效的网络分配的同时尽量满足用户的大带宽需求，这也是目前需要解决的问题。


技术实现要素：

6.本发明的目的是提出一种带宽感知的空天地一体化网络资源分配方法，采用虚拟网络映射算法来解决空天地一体化网络资源分配问题，结合深度强化学习，实现带宽保证的空天地一体化网络资源的高效分配。
7.本发明采取的技术方案如下：由于空天地一体化网络不同网段间的异构性，将其网络资源分配问题转化为一个多域虚拟网络映射问题，将网络结构抽象为图结构并进行数学建模，使用自动化程序来生成物理网络和虚拟网络请求；将虚拟网络映射分为两个阶段进行，在节点映射阶段引入基于策略网络的深度强化学习，将策略网络作为代理，做出映射节点的选择；在链路映射阶段，优先映射大带宽的链路；最后再根据网络映射性能评价指标来评估虚拟网络映射的表现，完成空天地一体化网络的资源分配。
8.所述的空天地一体化网络转换为多域虚拟网络的建模方法，将空天地一体化网络中的网络设备用节点来表示，设备间的链路用线来表示，节点间的数字代表链路的带宽，节点旁的数字代表该节点的计算能力，形成一个加权无向图其中，代表空基网络，代表天基网络，代表地基网络。而则用于表示空天地一体化网络中节点的集合，用于表示空天地一体化网络中链路的集合，用于表示空天地一体化网络中资源的集合，主要包括节点的计算能力和链路的带宽。相似地，虚拟网络请求也抽象为一个加权无向图在进行空天地一体化网络资源分配时，须遵循资源的限制。
9.所述的资源的限制，指的是在将虚拟网络请求映射到空天地一体化网络时，每成功进行一次映射，则会占据节点的计算能力和链路的带宽。故在进行节点映射时，虚拟网络请求节点的计算能力要小于对应的空天地一体化网络节点的计算能力。同样的，在链路映射时，虚拟网路请求中链路的带宽要低于映射到的空天地一体化网络中链路的带宽。
10.所述的在节点映射阶段引入基于策略网络的深度强化学习，使用策略网络来作为深度强化学习的代理，该策略网络包括输入层、卷积层、全连接层、softmax层、过滤层、输出层。在节点映射阶段，提取物理网络中节点的特征矩阵作为输入层的输入，依次进行卷积计算、全连接层降低维度，在softmax层将数据映射到(0,1)区间上，将其表示为映射成功的概率，在过滤层对节点进行排序和筛选，输出具有高映射成功概率的节点。映射概率越接近1，则在节点映射时优先选择该节点。完成节点映射后在链路映射阶段优先将虚拟网络请求映射到大带宽的链路上。完成网络资源的分配后，再根据网络映射性能的评价指标来评估本次网络分配的表现。
11.所述的网络映射性能评价指标，主要用于评估每次映射的性能表现，主要包括虚拟网络请求的长期接受率、虚拟网络映射的长期平均收益和长期平均收益成本比，并且本发明的优化目标就是尽可能在保证大带宽的情况下，尽可能地追求较高的接受率、平均收益和平均收益成本比。三个指标的定义如下：
12.(1)长期接受率
13.在时间段t∈(0,t)内的虚拟网络请求接受率可以表示为：
[0014][0015]
其中，vnr
ac
表示成功映射到物理网络上的虚拟网络请求的个数，sum(vnr)表示虚拟网络请求的总个数。
[0016]
(2)长期平均收益
[0017]
将虚拟网络请求节点的计算能力和链路带宽的需求定义为虚拟网络映射的收益，故在时间段t∈(0,t)内虚拟网络映射的长期平均收益定义如下：
[0018][0019]
其中，re(gs,t)表示t时间内网络的收益，通常为节点计算能力和链路带宽之和。
[0020]
(3)长期平均收益成本比
[0021]
在时间段t∈(0,t)内虚拟网络映射的长期平均收益成本比表示为：
[0022][0023]
其中，表示t时间内进行虚拟网络映射过程中计算能力和带宽的总消耗。
[0024]
本发明与现有技术方法相比，优势为：(1)将空天地一体化网络的网络资源分配问题转化为一个多域的虚拟网络映射问题，解决了空天地一体化网络不同网段间的异构性问题。(2)采用深度强化学习来进行节点映射，相较于启发式算法和线性规划等方法，在映射性能上有更好的表现。(3)在链路映射阶段优先映射到大带宽的链路，满足了用户对大带宽的需求。
附图说明
[0025]
为了更清楚地说明本发明的技术方案，下面将对发明内容中所需要使用的附图作简要地介绍。
[0026]
图1是虚拟网络映射示意图，(a)为两个虚拟网络请求，(b)为物理网络。节点旁方框内的数字表示节点的计算能力，节点间的数字表示链路的带宽。图中展示了一种在计算能力和带宽的限制下将两个虚拟网络请求映射到物理网络的方法。
[0027]
图2是本发明深度强化学习中的策略网络的示意图。
具体实施方式
[0028]
为了更加清晰地描述本发明的技术方案，下面将结合附图对本发明实施方案做进一步详细说明。
[0029]
本发明提出了一种带宽感知的空天地一体化网络资源分配方法，首先使用brite生成虚拟网络请求和物理网络的拓扑。物理网络的带宽服从区间[50,100]上的均匀分布，虚拟网络请求的带宽遵循区间[5,20]上的均匀分布，虚拟网络请求中的节点个数在2到5之间随机分布，虚拟网络请求到达的速率遵循泊松分布，设置为每分钟一个。我们共生成2000个虚拟网络请求，训练集与测试集的比例为7:3。
[0030]
完成数据的处理后，使用python编写程序完成虚拟网络资源的分配。本发明引入了基于策略网络的深度强化学习来进行节点映射，图2为策略网络的网络结构，输入为物理网络中节点的特征矩阵。特征矩阵是对物理网络中的节点进行特征提取形成的矩阵，这些特征都是有益于提高映射到该节点的概率的，主要提取了四个属性：
[0031]
计算能力：指的是该节点所拥有的计算能力，节点的计算能力越大，意味着该节点能接纳更多的节点，映射到该节点的概率就越大。
[0032]
链路数量：指的是与该节点相连的所有链路的数量，与其相连的链路数量越多，意味着它有更多的链路映射机会，与其相连的节点也有更大的映射概率。
[0033]
带宽总量：指的是与该节点相连接的所有链路的带宽总和，带宽总量越大，意味着该节点附近有更多的链路映射选择。
[0034]
平均距离：指的是该节点到其他节点的平均距离。在进行映射时，映射到附近的节点会大大减少映射成本，节点的平均距离越小，意味着该节点有更大的映射机率。
[0035]
深度强化学习的训练过程为：初始化策略网络，将特征矩阵作为输入，经过网络训练生成物理网络节点映射成功的概率，策略网络筛选出映射概率高的节点并进行输出。在链路映射阶段，将虚拟网络请求优先映射到大带宽的链路上，完成虚拟网络的映射。重复上述的过程，直至虚拟网络请求已经全部映射完毕。完成虚拟网络映射后，用网络映射性能评价指标对网络分配性能进行评估。
[0036]
基于以上步骤，我们进行了带宽感知的空天地一体化网络资源分配实验。实验结果表明，我们提出的带宽感知的空天地一体化网络资源分配方法不仅满足了用户的大带宽需求，并且在虚拟网络请求的长期接受率、虚拟网络映射的长期平均收益和长期平均收益成本比这三个方面有更好的性能表现。

技术特征：
1.一种带宽感知的空天地一体化网络资源分配方法，其特征在于：根据空天地一体化网络各个网段之间的异构性，将空天地一体化网络的资源分配问题转化为多域的虚拟网络映射问题，分为节点映射和链路映射两个阶段；在节点映射阶段，引入基于策略网络的深度强化学习，将策略网络作为深度强化学习的代理，通过特征提取、网络训练，输出映射成功概率最高的节点；依据用户对大带宽需求，在链路映射阶段优先映射大带宽的链路；用自动化程序生成物理网络和虚拟网络请求的拓扑，编写python代码完成虚拟网络资源的分配，使用网络映射性能评价指标对分配效果进行评估。2.根据权利要求1所述的将空天地一体化网络资源分配问题转化为多域的虚拟网络映射问题，其特征在于：空天地一体化网络分为空基、天基、地基网络，网段间的结构各不相同，将空天地一体化网络用节点和线建模为一个加权无向图，使用多域的虚拟网络映射技术来模拟空天地一体化网络的资源分配过程。3.根据权利要求1所述的引入基于策略网络的深度强化学习进行节点映射，其特征在于：将策略网络作为深度强化学习的代理，策略网络包括该策略网络包括输入层、卷积层、全连接层、softmax层、过滤层、输出层。对物理网络的节点进行特征提取作为策略网络的输入，在卷积层进行卷积运算，在全连接层进行维度转换，通过softmax层输出将数据映射到(0,1)区间上，生成节点映射成功的概率，在过滤层筛选出映射成功概率大的节点，再输出层进行输出。4.根据权利要求1所述的使用自动化程序生成物理网络和虚拟网络请求的拓扑，其特征在于：使用brite生成物理网络和虚拟网络请求的拓扑，共生成2000个虚拟网络请求，训练集和测试集的的比例为7:3。5.根据权利要求1所述的网络映射性能评价指标，其特征在于：使用网络映射性能评价指标来对虚拟网络映射效果进行评估，主要包括三个指标：长期接受率、长期平均收益、长期平均收益成本比。长期接受率、长期平均收益、长期平均收益成本比越高，说明映射效果越好。6.根据权利要求3所述的对物理网络的节点进行特征提取，其特征在于：提取物理网络节点的四个属性：计算能力、链路数量、带宽总量、平均距离。节点的计算能力越强、所连的链路数量及其总带宽数越大、节点距离其他节点的平均距离越小，意味着映射到该节点的概率越大，这四个属性构成节点的特征矩阵，将其作为策略网络的输入。

技术总结
本发明提供了一种带宽感知的空天地一体化网络资源分配方法。由于空天地一体化网络在网络资源分配上面临的一系列问题，本发明所提出的带宽感知的空天地一体化网络资源分配方法将空天地一体化网络资源分配问题转化为一个多域虚拟网络映射问题，利用基于策略网络的深度强化学习进行节点映射，将物理网络节点的特征矩阵作为策略网络的输入，并在链路映射阶段优先映射大带宽的链路。本发明与其他空天地一体化网络资源分配方法相比，满足了用户大带宽的需求，在虚拟网络映射的长期接受率、长期平均收益和长期平均收益成本比等方面有更好的性能。的性能。的性能。


技术研发人员：苏雨
受保护的技术使用者：中国石油大学（华东）
技术研发日：2023.06.28
技术公布日：2023/9/13