一种基于多智能体强化学习的动态任务卸载方法

1.本发明涉及移动边缘计算和深度强化学习技术领域，具体涉及一种基于多智能体强化学习的动态任务卸载方法。


背景技术：

2.移动边缘计算(mobile edge computing,简称mec)，是一种将原来置于云计算平台的功能和服务“下放”至移动网络的边缘的一种新兴的技术，能够在移动边缘网络中提供终端所需要的通信、存储和计算等资源，从而使用户可以获得高带宽与超低时延的高质量网络功能服务。然而，基于传统优化理论的解决方案通常需要经过复杂迭代，只能得到近似最优解。此外，任务的时延和能耗要求以及移动网络状态往往都是动态变化的，因此具有自适应性的任务卸载策略的研究十分迫切。为了应对以上挑战，目前有大量研究者应用基于强化学习或深度强化学习的方法解决相应问题。
3.深度强化学习(deep reinforcement learning,简称drl)是一种将深度学习和强化学习两种新兴技术融合的一种新技术，借助深度神经网络强大的表征能力去拟合强化学习的任何组成部分，包括状态价值函数﹑动作价值函数﹑策略﹑模型等，将深度神经网络中的权重作为拟合参数，通过不断与环境的交互最终得到特定任务的最优策略并使得任务累计期望收益最大化。
4.由于mec网络模型中移动设备在不断运动，任务的时延和能耗要求也处于动态变化中，现有的基于单智能体的drl算法在求解动态任务卸载和资源分配问题时难以收敛到最优解。此外，目前对模型训练过程中的经验回放机制研究较少，采用传统的均匀采样方式进行模型训练会造成大量高价值经验样本的浪费，导致难以获得最优的卸载策略，阻碍了drl算法在mec卸载领域的发展和应用。


技术实现要素：

5.为了克服现有技术中存在的问题，本发明提供了一种基于多智能体强化学习的动态任务卸载方法。
6.本发明是通过如下技术方案实现的：
7.一种基于多智能体强化学习的动态任务卸载方法，通过建立任务的本地计算模型和部分卸载计算模型实现对移动设备卸载状态的描述，考虑移动设备与边缘服务器之间的距离、任务大小、计算强度、最大容忍时延以及最大容忍能耗值多个影响因素设定约束条件，在约束条件下，设计了多智能体深度延时确定性策略梯度模型求解多用户下的任务卸载划分和计算资源分配问题，本方法的具体步骤如下：
8.步骤一：建立动态移动边缘计算网络模型
9.所建立的动态移动边缘计算网络包括一个配备大规模多输入多输出天线阵列的基站、一个边缘服务器和一组移动设备；其中，移动设备的数量和分布情况是动态变化的，移动设备用集合表示，其中m为所建立的动态移动边缘计算网络模型内
有卸载需求的移动设备的总数量，mdi为编号为i的移动设备，i∈[1,2,...,m]；将系统时间划为t个时隙，时隙索引为在时隙t内，集合内的各移动设备生成一个时延和能耗敏感型任务，该任务的参数组成任务参数集φi＝{xi(t),bi(t),ci(t),di(t),ei(t)}，其中xi(t)为移动设备mdi与边缘服务器之间的距离，bi(t)为移动设备mdi的任务大小，ci(t)该任务的计算强度，di(t)为最大容忍时延，ei(t)为最大容忍能耗；
[0010]
步骤二：建立本地计算模型和部分卸载计算模型
[0011]
将每个生成的时延和能耗敏感型任务划分为两部分：本地执行部分和卸载部分，定义卸载率表示时隙t内移动设备mdi的任务卸载比例，任务的本地执行部分大小计算为因此，时隙t内移动设备mdi的本地执行时延表示为：
[0012][0013]
其中，f
iloc,t
为时隙t内移动设备mdi的本地计算能力；时隙t内移动设备mdi的本地执行能耗表示为：
[0014][0015]
其中，κ0为能量因子，在本方法中取值为10-28
；移动设备mdi卸载到边缘服务器上的任务大小为根据香农定理，移动设备mdi与边缘服务器之间的上行链路的传输时延表示为：
[0016][0017]
其中，w为上行链路的带宽，在本方法中取值为1mhz，p
it
为在时隙t内的上行传输功率，在本方法中取值为23dbm，σ2为噪声功率，在本方法中取值为-114dbm，hi(t)＝|gi|2[xi(t)]-α
为移动设备mdi的上行传输信道增益，其中gi为小尺度衰落系数，α为路径损耗因子，在本方法中取值为3.8；时隙t内移动设备mdi的卸载计算时延表示为：
[0018][0019]
其中，f
iser,t
表示在时隙t内边缘服务器分配给移动设备mdi的计算资源；
[0020]
移动设备mdi的卸载时延由上行传输时延、排队等待时延、处理时延和下行传输时延四个部分构成，由于下行链路传输的计算结果数据量远小于卸载数据量，因此忽略下行传输延迟，此外，假设系统不发生拥塞，则移动设备mdi的卸载计算时延表示为：
[0021][0022]
移动设备mdi的卸载能耗由上行链路能耗和卸载计算能耗两个部分组成，由于边缘服务器直接通过电网供电，因此本方法不考虑卸载计算能耗，所以移动设备mdi的卸载能
耗表示为：
[0023]
各移动设备生成的时延和能耗敏感型任务能够由移动设备和边缘服务器并行处理，因此移动设备mdi的任务执行时延为本地执行时延和卸载计算时延之间的最大值，即任务执行的总能耗计算为：
[0024]
步骤三：构建以最小化卸载成本为目标的优化问题
[0025]
本方法是研究最小化各移动设备的时延和能耗加权和的卸载方法，因此，定义移动设备mdi的卸载成本函数为：
[0026][0027]
其中，ω1表示时延权重参数，ω2表示能耗权重参数，ω1和ω2的大小根据对任务的时延和能耗敏感程度的要求设置，本方法中假设对任务的时延和能耗敏感程度的要求相同，即ω1与ω2的取值均为0.5；因此，最小化各移动设备的时延和能耗加权和的优化问题即转化为最小化任务的长期平均加权成本：
[0028][0029]
本方法定义边缘服务器的最大计算能力为f
max
，任务卸载的约束条件包括：
[0030]
约束1：
[0031]
约束2：
[0032]
约束3：
[0033]
约束4：
[0034]
其中，约束1限制任务的卸载率为0到1之间的连续变量，表示移动设备mdi的任务全部由本地执行，表示移动设备mdi的任务由本地和边缘服务器共同执行，表示移动设备mdi的任务全部卸载到边缘服务器进行计算；
[0035]
约束2限制分配给各移动设备的计算资源总和不超过服务器的最大计算能力f
max
；
[0036]
约束3限制任务完成时间不超过最大容忍时延di(t)；
[0037]
约束4限制移动设备mdi的总能量消耗不超过最大容忍能耗ei(t)；
[0038]
步骤四：建立多智能体深度延时确定性策略梯度模型
[0039]
多智能体深度延时确定性策略梯度模型为一种中心化训练、分布式执行的多智能体强化学习模型，包括：状态空间s、动作空间a、全局奖励函数r
t
、行动网络、评价网络、延迟训练模块和经验缓存池；
[0040]
状态空间s包括：
[0041]
其中，s
t
∈s，在时隙t内，移动设备mdi获取的本地状态包括移动设备mdi与边缘服务器之间的距离xi(t)、任务大小bi(t)、计算强度ci(t)、最大容忍时延di(t)以及最大容忍能耗值ei(t)，即
[0042]
动作空间a包括：
[0043]
其中，a
t
∈a，定义时隙t内所有卸载任务的决策向量α
t
为计算资源分配决策向量f
ser,t
为定义时隙t内移动设备mdi的卸载动作为
[0044]
全局奖励函数r
t
：
[0045]
如果移动设备mdi的延迟和能量消耗di(t)满足约束且则该任务成功卸载；当或视为该任务执行失败；移动设备mdi执行卸载动作后的当前奖励函数为：
[0046][0047]
其中，表示移动设备mdi的任务完全本地执行时的成本，将时隙t内所有移动设备的当前奖励函数的平均值定义为全局奖励函数r
t
：
[0048]
行动网络：行动网络部署在各移动设备上，包括策略行动网络和目标行动网络，二者结构相同，各包含两个全连接层，神经元数目分别为400和300。策略行动网络的权重参数为θ
μ
，目标行动网络的权重参数为θ
μ
′
；行动网络直接与环境进行交互，输入为移动设备md i获取的本地状态输出为移动设备md i的卸载动作其中为确定性策略函数，ψ(t)为噪声函数，用于探索动作空间；
[0049]
评价网络：评价网络部署在边缘服务器上，包括当前评价网络和目标评价网络，二者结构相同，各包含两个全连接层，神经元数目分别为400和300。当前评价网络的权重参数为θq，目标评价网络的权重参数为θq′
，通过输入当前时刻的全局状态和所有移动设备的卸载动作得到动作价值函数
[0050]
延迟训练模块：同步训练行动网络和评价网络会导致训练过程不稳定，但是当固定行动网络时，评价网络往往能够收敛到最优；因此多智能体深度延时确定性策略梯度的模型以较低的频率更新行动网络，以较高的频率更新评价网络，本方法中每更新两次评价
网络后更新一次行动网络；
[0051]
经验缓存池：储存与环境交互得到的经验样本(s
t
，a
t
，r
t
，s
t+1
)供给行动网络和评价网络更新权重参数，本方法中设置经验缓存池样本容量经验缓存池内的经验样本遵循先入先出原则，以保证更新采用的数据主要为当前与环境交互得到的数据；
[0052]
步骤五：模型的训练以及优化问题的求解
[0053]
多智能体深度延时确定性策略梯度模型的训练包括以下过程：
[0054]
过程(1)：初始化参数
[0055]
初始化行动网络与评价网络，其中行动网络的学习率为0.0001，评价网络的学习率为0.001。初始化经验缓存池，初始化噪声函数ψ(t)，初始化权重参数θ
μ
与θq并将θ
μ
与θq分别传入行动目标网络和评价目标网络，即θ
μ
′
＝θ
μ
，θq′
＝θq；
[0056]
过程(2)：获取卸载动作
[0057]
在时隙t内，部署在移动设备mdi上的行动网络接收本地观测状态根据得到移动设备mdi的卸载动作随后上传卸载动作到边缘服务器端，边缘服务器根据卸载动作执行卸载计算，获得全局奖励函数r
t
以及下一个时刻的状态s
t+1
；
[0058]
过程(3)：评估卸载动作
[0059]
在时隙t内，等待所有行动网络将卸载动作传入边缘服务器端后，部署在边缘服务器上的评价网络根据动作价值函数对所有卸载动作进行评估；
[0060]
过程(4)：更新经验缓存池
[0061]
在时隙t内，将数据(s
t
，a
t
，r
t
，s
t+1
)打包为经验四元组存储到经验缓存池中，经验缓存池内的经验样本遵循先入先出原则，以保证经验缓存池内样本与当前训练状态具有较强相关性；
[0062]
经验样本的优先级值ρ
t
由当前奖励函数衡量，即满足：其中ε为一个很小的正数，用于防止经验样本的优先级值为0而产生的过拟合现象；
[0063]
过程(5)：经验样本抽样
[0064]
定义φ为被抽取的经验样本集合，样本数量为m，当经验样本被抽取时，为了校正由基于奖励函数的优先采样机制引起的训练偏差，设计了重要性采样权重即满足：
[0065][0066]
其中，l为退火变量，n为经验缓存池中经验样本的实际数量，j表示经验缓存池中的第j条经验样本，j≤n，为第j条经验样本的采样概率，即满足：
[0067]
[0068]
其中ι是一个权衡因子，用来控制均匀采样和贪婪策略采样的偏好，当ι接近0时，采样策略偏向于均匀采样，当ι接近1时，采样策略偏向于贪婪策略采样；
[0069]
过程(6)：更新网络参数
[0070]
对于网络参数更新，采用延迟策略更新的技巧，即评价网络更新多次后，再更新行动网络，从而保证行动网络的训练更加稳定；
[0071]
动作价值函数的优化目标是最小化贝尔曼残差，根据获得的经验样本集合φ，首先利用目标评价网络生成的动作价值函数来计算目标值yj：
[0072][0073]
其中γ∈[0,1]为折扣因子，用来折扣未来时刻反馈对当前累积反馈的影响程度，之所以小于1是因为未来对现在的影响依次递减，并且数理上保证累加收敛；
[0074]
然后利用目标值yj与当前评价网络生成的动作价值函数计算均方差损失函数l(s
t
,a
t
,θq)：
[0075][0076]
通过神经网络的梯度反向传播来更新行动网络的参数，因此，评价网络的累计权重更新表示为：
[0077][0078]
行动网络使总回报期望最大化，并以动作价值函数逼近总回报，行动网络利用梯度上升法更新策略，逼近最优解，损失函数j(s
t
,a
t
,θ
μ
)计算为：
[0079][0080]
行动网络的累计权重更新表示为：
[0081][0082]
对于目标网络的网络参数更新采用软更新的方式，它可以使算法收敛更加可靠，如果将目标网络的参数完全更新，当本次训练效果较差时，会导致更新的网络没有原来的网络好，采用软更新的方法有助于防止这种情况的发生：
[0083]
θ
μ
′
←
λθ
μ
+(1-λ)θ
μ
′
[0084]
θq′
←
λθq+(1-λ)θq′
[0085]
其中λ为更新率，本方法中设置为0.001；
[0086]
对于步骤五，当过程(1)执行完毕后，不断重复过程(2)至过程(5)，直至训练过程中获得的全局奖励函数r
t
不发生明显变化，此时行动网络与评价网络已经收敛，终止训练；此时，最优的动态任务卸载策略已经生成，所建立的动态移动边缘计算网络内的各移动设备在获取本地状态的情况下，能够根据行动网络提供的动态任务卸载策略进行任务卸载，从而使各移动设备的时延和能耗加权和最小化。
[0087]
与现有技术相比，本发明的有益效果是：
[0088]
本发明提供了一种基于多智能体强化学习的动态任务卸载方法，通过考虑移动设备与边缘服务器之间的距离、任务大小、计算强度、最大容忍时延以及最大容忍能耗值等多个影响因素，提出了以最小化系统的长期卸载成本为目标的优化问题。基于行动-评价框架，提出了多智能体深度延时确定性策略梯度模型，通过模型与环境之间的不断交互更新网络参数，最终得到最优的动态卸载和计算资源分配策略。
[0089]
本发明提供了一种基于多智能体强化学习的动态任务卸载方法，利用多智能体强化学习技术提出了多智能体深度延时确定性策略梯度模型用来求解多用户下的任务卸载划分和计算资源分配问题，通过在移动设备上部署行动网络为每个任务指定卸载和计算资源分配策略，并且在边缘服务器上部署评价网络对生成的策略进行评价，从而在满足任务的时延和能耗敏感要求的条件下实现了卸载成本的最小化。
附图说明
[0090]
下面结合附图对本发明作进一步的说明：图1为本发明提供的一种基于多智能体强化学习的动态任务卸载方法的流程示意图。
[0091]
图2为本发明具体实施方式提供的一种基于多智能体强化学习的动态任务卸载方法的系统模型图。
[0092]
图3为多智能体深度延时确定性策略梯度模型的框架图。
具体实施方式
[0093]
下面结合附图对本发明作详细的描述：
[0094]
本发明提供了一种基于多智能体强化学习的动态任务卸载方法，如图1所示，通过建立任务的本地计算模型和部分卸载计算模型实现对移动设备卸载状态的描述，考虑移动设备与边缘服务器之间的距离、任务大小、计算强度、最大容忍时延以及最大容忍能耗值多个影响因素设定约束条件，在约束条件下，设计了多智能体深度延时确定性策略梯度模型求解多用户下的任务卸载划分和计算资源分配问题，本方法的具体步骤如下：
[0095]
步骤一：建立动态移动边缘计算网络模型
[0096]
图2展示了本发明的系统模型，包括一个配备大规模多输入多输出天线阵列的基站、一个边缘服务器和一组移动设备。其中，移动设备的数量和分布情况是动态变化的，移动设备用集合表示，其中m为所建立的动态移动边缘计算网络模型内有卸载需求的移动设备的总数量，mdi为编号为i的移动设备，i∈[1,2,...,m]；本方法考虑一个具有离散时间的系统模型，其中系统时间被划为t个时隙，时隙索引为在时隙t内，集合内的各移动设备生成一个时延和能耗敏感型任务，该任务的属性由任务参数集φi＝{xi(t),bi(t),ci(t),di(t),ei(t)}进行描述，其中xi(t)为移动设备mdi与边缘服务器之间的距离，bi(t)为移动设备mdi的任务大小，ci(t)该任务的计算强度，di(t)为最大容忍时延，ei(t)为最大容忍能耗；
[0097]
步骤二：建立本地计算模型和部分卸载计算模型
[0098]
将每个生成的时延和能耗敏感型任务划分为两部分：本地执行部分和卸载部分，定义卸载率表示时隙t内移动设备mdi的任务卸载比例，任务的本地执行部分大
小计算为因此，时隙t内移动设备mdi的本地执行时延表示为：
[0099][0100]
其中，f
iloc,t
为时隙t内移动设备mdi的本地计算能力；时隙t内移动设备mdi的本地执行能耗表示为：
[0101][0102]
其中，κ0为能量因子，在本方法中取值为10-28
；移动设备mdi卸载到边缘服务器上的任务大小为根据香农定理，移动设备mdi与边缘服务器之间的上行链路的传输时延表示为：
[0103][0104]
其中，w为上行链路的带宽，在本方法中取值为1mhz，为在时隙t内的上行传输功率，在本方法中取值为23dbm，σ2为噪声功率，在本方法中取值为-114dbm，hi(t)＝|gi|2[xi(t)]-α
为移动设备mdi的上行传输信道增益，其中gi为小尺度衰落系数，α为路径损耗因子，在本方法中取值为3.8；时隙t内移动设备mdi的卸载计算时延表示为：
[0105][0106]
其中，f
iser,t
表示在时隙t内边缘服务器分配给移动设备mdi的计算资源；
[0107]
移动设备mdi的卸载时延由上行传输时延、排队等待时延、处理时延和下行传输时延四个部分构成，由于下行链路传输的计算结果数据量远小于卸载数据量，因此忽略下行传输延迟，此外，假设系统不发生拥塞，则移动设备mdi的卸载计算时延表示为：
[0108][0109]
移动设备mdi的卸载能耗由上行链路能耗和卸载计算能耗两个部分组成，由于边缘服务器直接通过电网供电，因此在本方法不考虑卸载计算能耗，所以移动设备mdi的卸载能耗表示为：
[0110]
各移动设备生成的时延和能耗敏感型任务能够由移动设备和边缘服务器并行处理，因此移动设备mdi的任务执行时延为本地执行时延和卸载计算时延之间的最大值，即任务执行的总能耗计算为：
[0111]
步骤三：构建以最小化卸载成本为目标的优化问题
[0112]
本方法是研究最小化各移动设备的时延和能耗加权和的卸载方法，因此，定义移动设备mdi的卸载成本函数为：
[0113][0114]
其中，ω1表示时延权重参数，ω2表示能耗权重参数，ω1和ω2的大小根据对任务的时延和能耗敏感程度的要求设置，本方法中假设对任务的时延和能耗敏感程度的要求相同，即ω1与ω2的取值均为0.5；因此，最小化各移动设备的时延和能耗加权和的优化问题即转化为最小化任务的长期平均加权成本：
[0115][0116]
在所述的动态移动边缘网络模型中，由于边缘服务器的计算能力有限，本方法定义边缘服务器的最大计算能力为f
max
，任务卸载的约束条件包括：
[0117]
约束1：
[0118]
约束2：
[0119]
约束3：
[0120]
约束4：
[0121]
其中，约束1限制任务的卸载率为0到1之间的连续变量，表示移动设备mdi的任务全部由本地执行，表示移动设备mdi的任务由本地和边缘服务器共同执行，表示移动设备mdi的任务全部卸载到边缘服务器进行计算；
[0122]
约束2限制分配给各移动设备的计算资源总和不超过边缘服务器的最大计算能力f
max
；
[0123]
约束3限制任务完成时间不超过最大容忍时延di(t)；
[0124]
约束4限制移动设备mdi的总能量消耗不超过最大容忍能耗ei(t)；
[0125]
步骤四：建立多智能体深度延时确定性策略梯度模型
[0126]
图3展示了多智能体深度延时确定性策略梯度模型的框架，所述的模型为中心化训练、分布式执行的多智能体强化学习模型，包括：状态空间s、动作空间a、全局奖励函数r
t
、行动网络、评价网络、延迟训练模块和经验缓存池。其中，为边缘服务器部署一个评价网络，为每个移动设备部署一个行动网络，部署在各移动设备上的行动网络为完全合作关系，即它们的目标一致，只有当行动网络之间通力合作才能获得更好的奖励。
[0127]
状态空间s包括：
[0128]
其中，s
t
∈s，在时隙t内，移动设备mdi获取的本地状态包括移动设备mdi与边缘服务器之间的距离xi(t)、任务大小bi(t)、计算强度ci(t)、最大容忍时延di(t)以及最大容忍能耗值ei(t)，即
[0129]
动作空间a包括：
[0130]
其中，a
t
∈a，定义时隙t内所有卸载任务的决策向量α
t
为计算资源分配决策向量f
ser,t
为定义时隙t内移动设备mdi的卸载动作为
[0131]
全局奖励函数r
t
：
[0132]
如果移动设备mdi的延迟和能量消耗di(t)满足约束且则该任务成功卸载；否则，当或视为该任务执行失败；移动设备mdi执行卸载动作后的当前奖励函数为：
[0133][0134]
其中，表示移动设备mdi的任务完全本地执行时的成本，将时隙t内所有移动设备的当前奖励函数的平均值定义为全局奖励函数r
t
：
[0135]
行动网络：行动网络部署在各移动设备上，包括策略行动网络和目标行动网络，二者结构相同，各包含两个全连接层，神经元数目分别为400和300。策略行动网络的权重参数为θ
μ
，目标行动网络的权重参数为θ
μ
′
；行动网络直接与环境进行交互，输入为移动设备md i获取的本地状态输出为移动设备md i的卸载动作其中为确定性策略函数，ψ(t)为噪声函数，用于探索动作空间；
[0136]
评价网络：评价网络部署在边缘服务器上，包括当前评价网络和目标评价网络，二者结构相同，各包含两个全连接层，神经元数目分别为400和300。当前评价网络的权重参数为θq，目标评价网络的权重参数为θq′
，通过输入当前时刻的全局状态和所有移动设备的卸载动作得到动作价值函数部署在各移动设备上的行动网络可以根据动作价值函数不断更新权重参数θ
μ
从而改进卸载策略；
[0137]
延迟训练模块：同步训练行动网络和评价网络会导致训练过程不稳定，但是当固定行动网络时，评价网络往往能够收敛到最优；因此多智能体深度延时确定性策略梯度的模型以较低的频率更新行动网络，以较高的频率更新评价网络，本方法中每更新两次评价网络后更新一次行动网络；
[0138]
经验缓存池：储存与环境交互得到的经验样本(s
t
，a
t
，r
t
，s
t+1
)供给行动网络和评价网络更新权重参数，本方法中设置经验缓存池样本容量经验缓存池内的经验
样本遵循先入先出原则，以保证更新采用的数据主要为当前与环境交互得到的数据；
[0139]
步骤五：模型的训练以及优化问题的求解
[0140]
多智能体深度延时确定性策略梯度模型的训练包括以下过程：
[0141]
过程(1)：初始化参数
[0142]
初始化行动网络与评价网络，其中行动网络的学习率为0.0001，评价网络的学习率为0.001。初始化经验缓存池，初始化噪声函数ψ(t)，初始化权重参数θ
μ
与θq并将θ
μ
与θq分别传入行动目标网络和评价目标网络，即θ
μ
′
＝θ
μ
，θq′
＝θq；
[0143]
过程(2)：获取卸载动作
[0144]
在时隙t内，部署在移动设备mdi上的行动网络接收本地观测状态根据得到移动设备mdi的卸载动作随后上传卸载动作到边缘服务器端，边缘服务器根据卸载动作执行卸载计算，获得全局奖励函数r
t
以及下一个时刻的状态s
t+1
；
[0145]
过程(3)：评估卸载动作
[0146]
在时隙t内，等待所有行动网络将卸载动作传入边缘服务器端后，部署在边缘服务器上的评价网络根据动作价值函数对所有卸载动作进行评估；
[0147]
过程(4)：更新经验缓存池
[0148]
在时隙t内，将数据(s
t
，a
t
，r
t
，s
t+1
)打包为经验四元组存储到经验缓存池中，经验缓存池内的经验样本遵循先入先出原则，以保证经验缓存池内样本与当前训练状态具有较强相关性；
[0149]
不同于传统的均匀采样机制，本方法设计了基于奖励函数的优先采样机制以提高对高价值经验的学习效率；为了实现这种重要性采样机制，需要为每条存入缓存池内的经验样本计算采样优先级值ρ
t
和重要性采样权重其中，经验样本的优先级值ρ
t
由当前奖励函数衡量，即满足：ρ
t
＝|r(s
t
,a
t
)|+ε；其中ε为一个很小的正数，用于防止经验样本的优先级值为0而产生的过拟合现象；
[0150]
过程(5)：经验样本抽样
[0151]
定义φ为被抽取的经验样本集合，样本数量为m，当经验样本被抽取时，为了校正由基于奖励函数的优先采样机制引起的训练偏差，设计了重要性采样权重即满足：
[0152][0153]
其中，l为退火变量，n为经验缓存池中经验样本的实际数量，j表示经验缓存池中的第j条经验样本，j≤n，为第j条经验样本的采样概率，即满足：
[0154][0155]
其中γ是一个权衡因子，用来控制均匀采样和贪婪策略采样的偏好，当γ接近0
时，采样策略偏向于均匀采样，当γ接近1时，采样策略偏向于贪婪策略采样；
[0156]
过程(6)：更新网络参数
[0157]
对于网络参数更新，采用延迟策略更新的技巧，即评价网络更新多次后，再更新行动网络，从而保证行动网络的训练更加稳定；
[0158]
动作价值函数的优化目标是最小化贝尔曼残差，根据获得的经验样本集合φ，首先利用目标评价网络生成的动作价值函数来计算目标值yj：
[0159][0160]
其中γ∈[0,1]为折扣因子，用来折扣未来时刻反馈对当前累积反馈的影响程度，之所以小于1是因为未来对现在的影响依次递减，并且数理上保证累加收敛。
[0161]
然后利用目标值yj与当前评价网络生成的动作价值函数计算均方差损失函数l(s
t
,a
t
,θq)：
[0162][0163]
通过神经网络的梯度反向传播来更新行动网络的参数，因此，评价网络的累计权重更新表示为：
[0164][0165]
行动网络使总回报期望最大化，并以动作价值函数逼近总回报，行动网络利用梯度上升法更新策略，逼近最优解，损失函数j(s
t
,a
t
,θ
μ
)计算为：
[0166][0167]
行动网络的累计权重更新表示为：
[0168][0169]
对于目标网络的网络参数更新采用软更新的方式，它可以使算法收敛更加可靠，如果将目标网络的参数完全更新，当本次训练效果较差时，会导致更新的网络没有原来的网络好，采用软更新的方法有助于防止这种情况的发生：
[0170]
θ
μ
′
←
λθ
μ
+(1-λ)θ
μ
′
[0171]
θq′
←
λθq+(1-λ)θq′
[0172]
其中λ为更新率，本方法中设置为0.001。
[0173]
对于步骤五，当过程(1)执行完毕后，不断重复过程(2)至过程(5)，直至训练过程中获得的全局奖励函数r
t
不发生明显变化，此时行动网络与评价网络已经收敛，终止训练；此时，最优的动态任务卸载策略已经生成，所建立的动态移动边缘计算网络内的各移动设备在获取本地状态的情况下，能够根据行动网络提供的动态任务卸载策略进行任务卸载，从而使各移动设备的时延和能耗加权和最小化。

技术特征：
1.一种基于多智能体强化学习的动态任务卸载方法，通过建立任务的本地计算模型和部分卸载计算模型实现对移动设备卸载状态的描述，考虑移动设备与边缘服务器之间的距离、任务大小、计算强度、最大容忍时延以及最大容忍能耗值多个影响因素设定约束条件，在约束条件下，设计了多智能体深度延时确定性策略梯度模型求解多用户下的任务卸载划分和计算资源分配问题，其特征在于，本方法的具体步骤如下：步骤一：建立动态移动边缘计算网络模型所建立的动态移动边缘计算网络包括一个配备大规模多输入多输出天线阵列的基站、一个边缘服务器和一组移动设备；其中，移动设备的数量和分布情况是动态变化的，移动设备用集合表示，其中m为所建立的动态移动边缘计算网络模型内有卸载需求的移动设备的总数量，md i为编号为i的移动设备，i∈[1,2,...,m]；将系统时间划为t个时隙，时隙索引为在时隙t内，集合内的各移动设备生成一个时延和能耗敏感型任务，该任务的参数组成任务参数集φ
i
＝{x
i
(t),b
i
(t),c
i
(t),d
i
(t),e
i
(t)}，其中x
i
(t)为移动设备md i与边缘服务器之间的距离，b
i
(t)为移动设备md i的任务大小，c
i
(t)该任务的计算强度，d
i
(t)为最大容忍时延，e
i
(t)为最大容忍能耗；步骤二：建立本地计算模型和部分卸载计算模型将每个生成的时延和能耗敏感型任务划分为两部分：本地执行部分和卸载部分，定义卸载率表示时隙t内移动设备md i的任务卸载比例，任务的本地执行部分大小计算为因此，时隙t内移动设备md i的本地执行时延表示为：其中，f
iloc,t
为时隙t内移动设备md i的本地计算能力；时隙t内移动设备md i的本地执行能耗表示为：其中，κ0为能量因子，在本方法中取值为10-28
；移动设备md i卸载到边缘服务器上的任务大小为根据香农定理，移动设备md i与边缘服务器之间的上行链路的传输时延表示为：其中，w为上行链路的带宽，在本方法中取值为1mhz，p
it
为在时隙t内的上行传输功率，在本方法中取值为23dbm，σ2为噪声功率，在本方法中取值为-114dbm，h
i
(t)＝|g
i
|2[x
i
(t)]-α
为移动设备md i的上行传输信道增益，其中g
i
为小尺度衰落系数，α为路径损耗因子，在本方法中取值为3.8；时隙t内移动设备md i的卸载计算时延表示为：
其中，f
iser,t
表示在时隙t内边缘服务器分配给移动设备md i的计算资源；移动设备md i的卸载时延由上行传输时延、排队等待时延、处理时延和下行传输时延四个部分构成，由于下行链路传输的计算结果数据量远小于卸载数据量，因此忽略下行传输延迟，此外，假设系统不发生拥塞，则移动设备md i的卸载计算时延表示为：移动设备md i的卸载能耗由上行链路能耗和卸载计算能耗两个部分组成，由于边缘服务器直接通过电网供电，因此本方法不考虑卸载计算能耗，所以移动设备md i的卸载能耗表示为：各移动设备生成的时延和能耗敏感型任务能够由移动设备和边缘服务器并行处理，因此移动设备md i的任务执行时延为本地执行时延和卸载计算时延之间的最大值，即任务执行的总能耗计算为：步骤三：构建以最小化卸载成本为目标的优化问题本方法是研究最小化各移动设备的时延和能耗加权和的卸载方法，因此，定义移动设备md i的卸载成本函数为：其中，ω1表示时延权重参数，ω2表示能耗权重参数，ω1和ω2的大小根据对任务的时延和能耗敏感程度的要求设置，本方法中假设对任务的时延和能耗敏感程度的要求相同，即ω1与ω2的取值均为0.5；因此，最小化各移动设备的时延和能耗加权和的优化问题即转化为最小化任务的长期平均加权成本：本方法定义边缘服务器的最大计算能力为f
max
，任务卸载的约束条件包括：约束1：约束2：约束3：约束4：其中，约束1限制任务的卸载率为0到1之间的连续变量，表示移动设备md i的任务全部由本地执行，表示移动设备md i的任务由本地和边缘服务器共同执行，表示移动设备md i的任务全部卸载到边缘服务器进行计算；
约束2限制分配给各移动设备的计算资源总和不超过服务器的最大计算能力f
max
；约束3限制任务完成时间不超过最大容忍时延d
i
(t)；约束4限制移动设备md i的总能量消耗不超过最大容忍能耗e
i
(t)；步骤四：建立多智能体深度延时确定性策略梯度模型多智能体深度延时确定性策略梯度模型为一种中心化训练、分布式执行的多智能体强化学习模型，包括：状态空间s、动作空间a、全局奖励函数r
t
、行动网络、评价网络、延迟训练模块和经验缓存池；状态空间s包括：其中，s
t
∈s，在时隙t内，移动设备md i获取的本地状态包括移动设备md i与边缘服务器之间的距离x
i
(t)、任务大小b
i
(t)、计算强度c
i
(t)、最大容忍时延d
i
(t)以及最大容忍能耗值e
i
(t)，即动作空间a包括：其中，a
t
∈a，定义时隙t内所有卸载任务的决策向量α
t
为计算资源分配决策向量f
ser,t
为定义时隙t内移动设备md i的卸载动作为全局奖励函数r
t
：如果移动设备md i的延迟和能量消耗d
i
(t)满足约束且则该任务成功卸载；当或视为该任务执行失败；移动设备md i执行卸载动作后的当前奖励函数为：其中，表示移动设备md i的任务完全本地执行时的成本，将时隙t内所有移动设备的当前奖励函数的平均值定义为全局奖励函数r
t
：行动网络：行动网络部署在各移动设备上，包括策略行动网络和目标行动网络，二者结构相同，各包含两个全连接层，神经元数目分别为400和300。策略行动网络的权重参数为θ
μ
，目标行动网络的权重参数为θ
μ
′
；行动网络直接与环境进行交互，输入为移动设备md i获取的本地状态输出为移动设备md i的卸载动作
其中为确定性策略函数，ψ(t)为噪声函数，用于探索动作空间；评价网络：评价网络部署在边缘服务器上，包括当前评价网络和目标评价网络，二者结构相同，各包含两个全连接层，神经元数目分别为400和300。当前评价网络的权重参数为θ
q
，目标评价网络的权重参数为θ
q
′
，通过输入当前时刻的全局状态和所有移动设备的卸载动作得到动作价值函数延迟训练模块：同步训练行动网络和评价网络会导致训练过程不稳定，但是当固定行动网络时，评价网络往往能够收敛到最优；因此多智能体深度延时确定性策略梯度的模型以较低的频率更新行动网络，以较高的频率更新评价网络，本方法中每更新两次评价网络后更新一次行动网络；经验缓存池：储存与环境交互得到的经验样本(s
t
，a
t
，r
t
，s
t+1
)供给行动网络和评价网络更新权重参数，本方法中设置经验缓存池样本容量经验缓存池内的经验样本遵循先入先出原则，以保证更新采用的数据主要为当前与环境交互得到的数据；步骤五：模型的训练以及优化问题的求解多智能体深度延时确定性策略梯度模型的训练包括以下过程：过程(1)：初始化参数初始化行动网络与评价网络，其中行动网络的学习率为0.0001，评价网络的学习率为0.001。初始化经验缓存池，初始化噪声函数ψ(t)，初始化权重参数θ
μ
与θ
q
并将θ
μ
与θ
q
分别传入行动目标网络和评价目标网络，即θ
μ
′
＝θ
μ
，θ
q
＝θ
q
；过程(2)：获取卸载动作在时隙t内，部署在移动设备md i上的行动网络接收本地观测状态根据得到移动设备md i的卸载动作随后上传卸载动作到边缘服务器端，边缘服务器根据卸载动作执行卸载计算，获得全局奖励函数r
t
以及下一个时刻的状态s
t+1
；过程(3)：评估卸载动作在时隙t内，等待所有行动网络将卸载动作传入边缘服务器端后，部署在边缘服务器上的评价网络根据动作价值函数对所有卸载动作进行评估；过程(4)：更新经验缓存池在时隙t内，将数据(s
t
，a
t
，r
t
，s
t+1
)打包为经验四元组存储到经验缓存池中，经验缓存池内的经验样本遵循先入先出原则，以保证经验缓存池内样本与当前训练状态具有较强相关性；经验样本的优先级值ρ
t
由当前奖励函数衡量，即满足：其中ε为一个很小的正数，用于防止经验样本的优先级值为0而产生的过拟合现象；过程(5)：经验样本抽样定义φ为被抽取的经验样本集合，样本数量为m，当经验样本被抽取时，为了校正由基
于奖励函数的优先采样机制引起的训练偏差，设计了重要性采样权重即满足：其中，l为退火变量，n为经验缓存池中经验样本的实际数量，j表示经验缓存池中的第j条经验样本，j≤n，为第j条经验样本的采样概率，即满足：其中ι是一个权衡因子，用来控制均匀采样和贪婪策略采样的偏好，当ι接近0时，采样策略偏向于均匀采样，当ι接近1时，采样策略偏向于贪婪策略采样；过程(6)：更新网络参数对于网络参数更新，采用延迟策略更新的技巧，即评价网络更新多次后，再更新行动网络，从而保证行动网络的训练更加稳定；动作价值函数的优化目标是最小化贝尔曼残差，根据获得的经验样本集合φ，首先利用目标评价网络生成的动作价值函数来计算目标值y
j
：其中γ∈[0,1]为折扣因子，用来折扣未来时刻反馈对当前累积反馈的影响程度，之所以小于1是因为未来对现在的影响依次递减，并且数理上保证累加收敛；然后利用目标值y
j
与当前评价网络生成的动作价值函数计算均方差损失函数l(s
t
,a
t
,θ
q
)：通过神经网络的梯度反向传播来更新行动网络的参数，因此，评价网络的累计权重更新表示为：行动网络使总回报期望最大化，并以动作价值函数逼近总回报，行动网络利用梯度上升法更新策略，逼近最优解，损失函数j(s
t
,a
t
,θ
μ
)计算为：行动网络的累计权重更新表示为：对于目标网络的网络参数更新采用软更新的方式，它可以使算法收敛更加可靠，如果
将目标网络的参数完全更新，当本次训练效果较差时，会导致更新的网络没有原来的网络好，采用软更新的方法有助于防止这种情况的发生：θ
μ
′
←
λθ
μ
+(1-λ)θ
μ
′
θ
q
′
←
λθ
q
+(1-λ)θ
q
′
其中λ为更新率，本方法中设置为0.001；对于步骤五，当过程(1)执行完毕后，不断重复过程(2)至过程(5)，直至训练过程中获得的全局奖励函数r
t
不发生明显变化，此时行动网络与评价网络已经收敛，终止训练；此时，最优的动态任务卸载策略已经生成，所建立的动态移动边缘计算网络内的各移动设备在获取本地状态的情况下，能够根据行动网络提供的动态任务卸载策略进行任务卸载，从而使各移动设备的时延和能耗加权和最小化。

技术总结
本发明提供了一种基于多智能体强化学习的动态任务卸载方法，包括如下步骤：步骤一、建立动态动态移动边缘计算网络模型；步骤二、建立本地计算模型和部分卸载计算模型；步骤三、构建以最小化卸载成本为目标的优化问题；步骤四、建立多智能体深度延时确定性策略梯度模型；步骤五、模型的训练以及优化问题的求解；本方法考虑了移动设备的时延和能耗，将动态卸载和资源分配问题被转化为最小化平均加权成本问题，所设计的模型采用中心化训练、分布式执行的架构，在任务卸载的约束条件下，通过探索和训练不断优化卸载策略，实现移动设备长期平均加权成本的最小化。均加权成本的最小化。均加权成本的最小化。


技术研发人员：石文孝 石玮楠 刘思呈 张佳栋
受保护的技术使用者：吉林大学
技术研发日：2023.07.19
技术公布日：2023/10/15