一种移动边缘计算中具有隐私保护的智能体策略学习方法

1.本发明属于移动通信技术领域，具体涉及一种移动边缘计算中具有隐私保护的智能体策略学习方法。


背景技术：

2.移动边缘计算(mobile edge computing，mec)将用户任务的存储与处理推向移动通信网络的边缘，使得用户可以在网络边缘享受到高可靠、低时延的服务，为用户业务的高效处理提供了强有力的技术支撑，进而能够很好地满足用户高效、快速的服务质量要求。然而，随着通信技术和物联网技术的相互融合与蓬勃发展，边缘网络结构日益密集异构化。同时，在边缘网络环境中，业务的广域差异化、网络环境的高度动态化以及算网资源部署去中心化等特征，制约了网络服务缓存和算网资源分配的效率。mec中的一个关键问题是针对去中心化的边缘网络结构和用户多样化的业务需求，设计实现高效的任务卸载、服务缓存和资源分配方案。
3.深度强化学习(deep reinforcement learning)具备深度学习和强化学习两者的优点，既能进行感知又能做出决策，相关的理论技术也被研究者们运用到无线通信领域。一些的主要成果包括：(1)基于深度强化学习的车载边缘计算中的任务调度(zhan w,luo c,wang j,et al.deep-reinforcement-learning-based offloading scheduling for vehicular edge computing.ieee internet of things journal,2020,7(6):5449-5465.)：研究了车载边缘计算场景中的计算卸载调度问题，以最小化任务长期处理成本为目标，建立了一个任务卸载和调度的随机优化问题，提出了一种基于渐进优化策略的深度强化学习算法，采用参数共享网络和卷积神经网络相结合的方法来逼近策略函数和价值函数。(2)多用户多计算接入点mec网络的动态卸载：一种深度强化学习方法(li c,xia j,liu f,et al.dynamic offloading for multiuser muti-cap mec networks:a deep reinforcement learning approach[j].ieee transactions on vehicular technology,2021,70(3):2922-2927.)：针对多用户mec网络中的动态卸载问题，首先将其抽象为马尔科夫决策过程，然后设计了一种基于dqn的卸载策略，使得用户可以动态地调整任务卸载的比例，保证了系统的性能。然而，传统的drl算法需要终端设备将其私有数据传输到边缘服务器或者远程云中心进行处理或训练，而数据在传输和处理时可能会被第三方窃取或者篡改，使得用户的数据和敏感信息面临着泄露的风险。
[0004]
因此，随着人们对隐私安全问题愈发重视，在设计出更加灵活高效的分布式任务卸载、资源分配和服务缓存策略的同时保护用户的隐私安全已成为当前研究中亟待解决的问题。
[0005]
综上所述，现有技术问题是：传统的drl算法需要终端设备将其私有数据传输到边缘服务器或者远程云中心进行处理或训练，而数据在传输和处理时可能会被第三方窃取或者篡改，使得用户的数据和敏感信息面临着泄露的风险。


技术实现要素：

[0006]
为解决上述技术问题，本发明提出一种移动边缘计算中具有隐私保护的智能体策略学习方法，包括：
[0007]
s1：针对去中心化的mec场景，建立一个边缘协同的计算卸载模型，包括服务缓存模型、任务卸载模型和系统成本模型；
[0008]
s2：基于边缘协同的计算卸载模型，以最小化任务的处理成本为目标，在多维资源的约束下，建立一个联合任务卸载、服务缓存、算力资源分配和传输功率控制的优化问题；
[0009]
所述多维资源包括：计算资源和存储资源；
[0010]
s3：将联合任务卸载、服务缓存、算力资源分配和传输功率控制的优化问题抽象为部分可观测的马尔科夫决策过程；
[0011]
s4：基于马尔科夫决策过程采用基于联邦学习方法的多智能体深度强化学习算法自主学习任务卸载、服务缓存、算力资源分配和传输功率控制策略。
[0012]
本发明的有益效果：
[0013]
本发明研究了去中心化的mec场景中的服务缓存和资源分配的同时考虑了用户隐私保护问题，首先，建立了一个边云协同的计算卸载模型，然后，以最小化任务的处理成本为目标，联合优化了任务卸载、服务缓存、算力资源分配和传输功率控制，并将其抽象为部分可观测的马尔科夫决策过程，进而提出了基于联邦学习方法的多智能体深度强化学习算法来自主学习任务卸载、服务缓存、算力资源分配和传输功率控制决策。在多智能体模型的集中训练阶段存在着数据安全和隐私泄露问题，采用了基于联邦学习的分布式模型训练方法。在训练过程中，当前actor网络和critic网络分别通过最大化策略梯度的方式和损失函数的方式来更新网络参数，目标actor网络和critic网络则采用软更新的方式进行更新，通过训练完成后的多智能体模型进行策略学习，充分保护了用户的数据和敏感信息的隐私安全。
附图说明
[0014]
图1为本发明的mec系统模型示意图；
[0015]
图2为本发明的基于maddpg的服务缓存和资源分配算法框图；
[0016]
图3为本发明的基于联邦学习的模型训练；
[0017]
图4为本发明的平均成本随着训练次数迭代的变化过程图；
[0018]
图5为本发明的平均缓存命中率随着训练次数迭代的变化过程图；
具体实施方式
[0019]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0020]
一种移动边缘计算中具有隐私保护的智能体策略学习方法，包括：
[0021]
s1：针对去中心化的mec场景，建立一个边缘协同的计算卸载模型，包括服务缓存模型、任务卸载模型和系统成本模型；
[0022]
s2：基于边缘协同的计算卸载模型，以最小化任务的处理成本为目标，在多维资源的约束下，建立一个联合任务卸载、服务缓存、算力资源分配和传输功率控制的优化问题；
[0023]
所述多维资源包括：计算资源和存储资源；
[0024]
s3：将联合任务卸载、服务缓存、算力资源分配和传输功率控制的优化问题抽象为部分可观测的马尔科夫决策过程；
[0025]
s4：基于马尔科夫决策过程采用基于联邦学习方法的多智能体深度强化学习算法自主学习任务卸载、服务缓存、算力资源分配和传输功率控制策略。
[0026]
一、系统模型
[0027]
如图1所示，本发明考虑一种典型的mec系统，该场景中包含m个基站(base station,bs)，定义基站集合为每个基站均配置了具有一定计算和存储能力的mec服务器。在bsm的覆盖范围内有nm个终端用户(end user,eu)，定义用户集合为系统运行在离散的时隙，定义为在时隙t，用户euim产生任务定义为其中，表示任务的数据量大小，单位为bit；表示用户im任务处理的最大容忍时延；表示处理单位比特任务所需要的cpu周期数；表示处理任务所需的服务类型，则基站bsm下所有用户的任务集合可定义为
[0028]
1.服务缓存模型
[0029]
在本发明中，假设网络中有k种服务，定义服务类型集合为令a
k,m
(t)∈{0,1}表示在时隙t时，bsm中服务k的缓存指示函数，a
k,m
(t)＝1表示bsm缓存了服务k，否则bsm将不会缓存服务k。进一步地，bsm在t时隙的服务缓存决策可表示为服务缓存策略集合am(t)＝{a
1,m
(t),
…
,a
k,m
(t),
…
,a
k,m
(t)}。受限于mec服务器存储空间，缓存的服务所占据存储空间不能超过mec服务器的存储容量。定义mecm的存储空间的大小为rm，则有：其中，lk表示服务k所占用的存储空间的大小。
[0030]
2.任务卸载模型
[0031]
用户euim产生的任务可以在本地进行处理，也可以卸载到基站或者云端进行处理。因此，euim产生的任务有以下几种处理方式：1)本地处理；2)卸载到关联基站bsm处理；3)通过关联基站bsm转发到附近基站bsn(且n≠m)处理；4)卸载到云端处理。定义为euim的卸载决策变量。用户eui的任务在本地处理，否则同样地，用户euim的任务卸载到关联基站bsm处理，否则站bsm处理，否则用户euim的任务通过基站bsn转发到基站bsm处理，否则用户euim任务卸载到云端处理，否则
且满足因此，在t时隙，euim的任务卸载策略可以表示为则bsm下所有用户的任务卸载决策可表示为
[0032]
1)本地处理
[0033]
任务在本地处理时，令表示用户euim的本地cpu频率，则任务的本地处理时延可表示为：对应地，任务处理能耗为：其中k是取决于芯片架构的有效电容系数。
[0034]
2)卸载到关联基站处理
[0035]
当基站bsm缓存了能够处理用户任务所需服务k，若用户euim的任务可以直接卸载到基站bsm处理，即基站bsm带宽为bm，总的上行链路信道数为hm，则子信道带宽为根据香农公式，任务上传速率为：其中，表示用户euim在时隙t的发送功率；表示用户euim与bsm间的信道增益；σ2(t)表示时隙t下的加性高斯白噪声功率。
[0036]
用户euim的任务卸载到关联基站bsm处理时，任务处理时延包括传输时延和执行时延，即：其中，为基站bsm总的计算资源；为bsm在时隙t分配给用户euim的cpu频率分配系数，满足表示bsm分配给用户euim的cpu频率，则bsm的算力资源分配策略可以表示为
[0037]
对应地，任务处理能耗为：其中，e
bs
表示基站处理单位比特任务的能耗。
[0038]
3)卸载到附近基站处理
[0039]
若关联基站bsm没有缓存处理用户任务所需的服务k，而其附近的基站bsn缓存了服务k，则用户euim的任务可以通过基站bsm转发到附近的基站bsn处理，即则bsm转发速率为：其中，pm(t)表示bsm在时隙t的发送功率；g
m,n
表示bsm与bsn间的信道增益。对应地，任务处理时延包括传输时延，转发时延和执行
时延，即：
[0040]
相应地，任务处理能耗为：
[0041][0042]
4)卸载到云端处理
[0043]
若关联基站bsm没有缓存处理用户任务所需的服务k，用户euim也可以选择将任务卸载到云端处理，即忽略任务执行时延和能耗。则任务处理时延为：其中，r
m,c
(t)表示基站bsm到云端的传输速率。相应地，任务处理能耗为：其中，p
m,c
(t)表示基站bsm到云端传输功率。
[0044]
3.系统成本模型
[0045]
给定任务卸载、计算资源分配和服务缓存决策，对应地，用户euim的任务处理时延为：
[0046]
对应地，任务处理能耗为：
[0047]
则，处理用户eu im的任务的成本为：其中，和分别为时延和能耗的权重系数，满足：分别表示任务在本地处理时延、关联基站处理时延、附近基站处理时延及云端处理时延，分别表示用户i的任务在本地处理、卸载到关联基站m处理、通过基站m转发到基站n处理、卸
载到云端处理，载到云端处理，分别表示任务分别在本地处理、关联基站处理、附近基站处理与云端处理所对应的能耗。
[0048]
二、问题描述
[0049]
受限于服务器的资源(如计算和存储空间)，同时，任务卸载和资源分配相互耦合。鉴于此，本文以最小化任务的长期平均处理成本为目标，建立了服务缓存，算力资源分配和传输功率控制的联合优化问题。联合优化问题建模如下：
[0050][0051][0052][0053][0054][0055][0056]
其中，a(t)＝{a1(t),
…
,am(t)}表示基站服务缓存策略，b(t)＝{b1(t),
…
,bm(t)}表示任务卸载策略，β(t)＝{β1(t),
…
,βm(t)}表示基站算力资源分配策略，p(t)＝{p1(t),p2(t),
…
,pm(t)}、表示传输功率控制决策，m表示基站数量，t表示时隙，nm表示终端用户的数量，表示处理用户im的任务的成本，表示用户im的任务处理时延，a
k,m
(t)表示基站m在t时隙的缓存决策服务k，lk表示服务k所占用的存储空间的大小，rm表示mec场景下第m个基站服务器的存储空间的大小，表示基站m在时隙t分配给用户im的cpu频率分配系数，的cpu频率分配系数，分别表示用户i的任务在本地处理、卸载到关联基站m处理、通过基站n转发到基站m处理、卸载到云端处理，k表示服务类型，n表示用户数量；约束表示任务处理时延不能超过最大容忍时延，约束表示缓存的服务不能超过bs的存储容量，约束表示分配的计算资源的总和不超过服务器总的计算能力，约束和约束表示用户仅选择一种方式来处理其
任务。
[0057]
三、基于联邦多智能体深度强化学习的问题求解
[0058]
本发明设计一种基于联邦多智能体深度强化学习的分布式服务缓存和资源分配算法(distributed service caching and resource allocation algorithm,dscra)，由基站作为智能体，学习任务卸载策略、服务缓存策略、算力资源分配策略以及传输功率控制策略，同时为用户提供隐私保护。考虑到本地模型的差异化，在参数聚合时使用注意力机制，为不同的本地模型分配不同的参数权重。
[0059]
1问题转化
[0060]
将上述成本最小化问题抽象为部分可观测的马尔科夫决策过程，由基站充当智能体，并定义元组描述上述马尔科夫博弈过程，其中表示全局的状态空间，时隙t的环境为全局状态为智能体的观测空间集合，是全局的动作空间集合，为奖励集合。在时隙t，智能体m根据本地观测采取策略πm:选择对应的动作从而获得相应的奖励
[0061]
1)状态空间
[0062]
时隙t，环境状态可定义为时隙t，环境状态可定义为其中，为基站bsm下所有用户的本地cpu频率集合；为与基站bsm下所有用户与bsm间的信道增益集合。时隙t，智能体m观测到的环境状态定义如下：
[0063]
2)动作空间
[0064]
智能体m根据观察到的环境状态om(t)和当前的策略πm，从动作空间选择相应的动作，时隙t，智能体m的动作定义如下：am(t)＝{bm(t),βm(t),am(t),pm(t)}，其中，bm(t)表示bsm下所有用户的任务卸载动作；βm(t)表示bsm的算力资源分配动作；am(t)表示bsm的服务缓存动作；pm(t)表示bsm下所有用户的传输功率控制动作。
[0065]
3)奖励函数
[0066]
奖励函数衡量智能体在给定状态下采取某一动作所带来的效果。在训练过程中，智能体在t-1时隙采取了某一动作，对应的奖励将会在t时隙返回给智能体。根据所获得的奖励，智能体会更新其策略来获得最优的结果。由于奖励导致每个智能体达到其最优策略，并且直接决定对应的任务卸载策略，基站的算力资源分配策略、服务缓存策略以及传输功率控制决策，因此奖励函数应根据原始优化问题进行设计。本文中奖励包含三部分：第一部分是任务处理成本的奖励，第二部分是任务处理时延满足时延约束的奖励，即：第三部分是缓存不超过边缘服务器存储容量限制的
奖励，即：优化目标是最小化任务的长期平均处理成本，最大化长期回报，所以智能体m的累计奖励应为：其中h(
·
)是heaviside阶跃函数，λ1，λ2为权重系数。
[0067]
2dscra算法
[0068]
如图2所示，maddpg模型是一种基于actor-critic的算法。由基站作为智能体，每个智能体的actor网络和critic网络都具有两个深度神经网络，包含当前网络和目标网络，在训练阶段，actor网络和critic网络通过联邦学习更新网络参数：critic当前网络通过最小化损失函数来更新网络参数，actor当前网络基于critic当前网络计算得到的集中q函数和它自身的观测信息通过最大化策略梯度来更新网络参数θ，actor目标网络和critic目标网络的参数通过软更新的方式进行更新，并使用注意力机制进行参数聚合。经验回放存储器用于保存与训练阶段的观测和动作相关的元组，d＝{om(t),am(t),rm(t),o
′m(t+1)}，其中，om(t)表示t时隙智能体i的观测状态；am(t)表示t时隙智能体m基于当前观测om(t)所采取的动作；rm(t)表示t时隙智能体m采取动作am(t)后获得的奖励；o
′m(t+1)表示智能体m在t+1时隙的状态。
[0069]
分散执行阶段，时隙t，每个智能体的actor网络根据本地观测状态om(t)以及它自身的策略选择动作：其中，表示智能体m的观测状态集合，表示智能体m的动作决策集合，θm表示智能体m的actor当前网络参数。
[0070]
在集中训练阶段，每个critic网络可以获得其他智能体的观测om(t)和动作am(t)，则智能体m的q函数可表示为：
[0071]
qm(o1(t),o2(t),
…
,om(t),a1(t),a2(t),
…
,am(t)；ωm)
[0072]
其中，qm()表示集中q函数，o1(t),o2(t),
…
,om(t)分别表示每个智能体的观测状态，a1(t),a2(t),
…
,am(t)分别表示每个智能体采取的动作，ωm表示critic当前网络参数。
[0073]
q函数从全局的角度来评估actor网络的动作，并且指导actor网络选择更优的动作。在训练时，critic网络通过最小化损失函数来更新网络参数，损失函数定义如下：
[0074]
其中
[0075]
ym＝rm+γq
′m(o1′
(t+1),o
′2(t+1),
…
,o
′m(t+1),a
′1(t+1),a
′2(t+1),
…
,a
′m(t+1)；ω
′m)，γ为折扣因子。
[0076]
同时，actor网络基于critic网络计算得到的集中q函数和它自身的观测信息来更新网络参数θ，并输出动作a。actor网络参数θ通过最大化策略梯度来更新，即：
[0077][0078]
目标网络的参数通过软更新的方式进行更新，即：
[0079][0080]
其中，表示求梯度，j()表示需要优化的策略目标函数，表示累积奖励的期望，θm表示智能体m的actor当前网络参数，om(t)表示智能体m的观测状态，am(t)表示智能体m的动作决策，qm()表示集中q函数，o1(t),o2(t),
…
,om(t)分别表示每个智能体的观测状态，a1(t),a2(t),
…
,am(t)分别表示每个智能体采取的动作，ωm表示critic当前网络参数，表示智能体m自身的策略，θ
′m表示智能体m更新后的目标actor网络参数，ω
′m表示智能体m更新后的目标critic网络参数，与分别表示actor网络和critic网络更新系数。
[0081]
3.基于联邦学习的模型训练
[0082]
在maddpg模型的集中训练阶段，存在着数据安全和隐私泄露问题，为了解决敏感信息泄露问题并减轻边缘的计算压力，同时提高网络性能，使用联邦学习进行训练，训练模型如图3所示：在初始阶段，基站从云中心处获得全局maddpg模型然后基站再使用本地数据和全局模型训练本地模型然后将训练好的本地模型上传，并在云中心进行参数聚合。考虑到基站的本地模型的差异，在进行参数聚合时使用注意力机制，为不同的本地模型分配不同的参数。使用奖励和一些与设备相关的指标作为本地模型对全局模型的贡献。
[0083]
加权联邦聚合问题可表述为：其中，ξm为权重因子，用于衡量局部对全局模型的贡献。对于智能体m，使用平均奖励、平均损失、缓存命中率来计算权重ξm。
[0084]
平均奖励：智能体m的平均奖励为所有本地奖励rm(t)的平均。
[0085]
平均损失：智能体m的平均损失为训练过程中输出的损失函数的平均。
[0086]
缓存命中率：平均缓存命中率为t个时隙内缓存命中率hm的平均。
[0087]
上述评价指标可描述为将评估指标向量km和智能体m的局部模型参数分别建模为注意力机制的键和值。模型的目标是获得一个更强大的智能体，以获得更大的奖励，更少的损失和更高的缓存命中率，则：
[0088]
基站的输入包括q、维度为dk的键km和值计算q和所有键的点积，并除以使用softmax函数获得值的权重，即权重因子ξm为：
[0089]
从图4可以看出，随着训练次数的增加，任务的平均处理成本在不断地减小，并逐渐趋于稳定，最终达到收敛，dscra算法的成本最小，表明dscra算法可以做出更优的卸载和资源分配策略，从而获得更小的任务处理成本，实现了资源的按需分配，证明了该算法的有效性。从图5可以看出，随着训练次数的增加，缓存命中率曲线呈上升趋势，并最终达到收敛，且dscra的缓存命中率最大，证明了该算法的有效性。
[0090]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，包括：s1：针对去中心化的mec场景，建立一个边缘协同的计算卸载模型，包括服务缓存模型、任务卸载模型和系统成本模型；s2：基于边缘协同的计算卸载模型，以最小化任务的处理成本为目标，在多维资源的约束下，建立一个联合任务卸载、服务缓存、算力资源分配和传输功率控制的优化问题；所述多维资源包括：计算资源和存储资源；s3：将联合任务卸载、服务缓存、算力资源分配和传输功率控制的优化问题抽象为部分可观测的马尔科夫决策过程；s4：基于马尔科夫决策过程采用基于联邦学习方法的多智能体深度强化学习算法自主学习任务卸载、服务缓存、算力资源分配和传输功率控制策略。2.根据权利要求1所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，所述去中心化的mec场景，包括：在mec系统场景中包含m个基站(base station,bs)，定义基站集合为每个基站均配置了具有计算和存储能力的mec服务器；在基站m的覆盖范围内有n
m
个终端用户(end user,eu)，定义用户集合为系统运行在离散的时隙，定义为在时隙t，用户i
m
产生任务定义为其中，表示任务的数据量大小，单位为bit，表示用户i
m
任务处理的最大容忍时延，表示处理单位比特任务所需要的cpu周期数，表示处理任务所需的服务类型，则基站m下所有用户的任务集合可定义为3.根据权利要求1所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，所述服务缓存模型，包括：假设网络中有k种服务，定义服务类型集合为令a
k,m
(t)∈{0,1}表示在时隙t时基站m中服务k的缓存指示函数，a
k,m
(t)＝1表示基站m缓存了服务k，否则基站m将不会缓存服务k；基站m在t时隙的服务缓存决策可表示为服务缓存策略集合a
m
(t)＝{a
1,m
(t),
…
,a
k,m
(t),
…
,a
k,m
(t)}，受限于mec服务器存储空间，缓存的服务所占据存储空间不能超过mec服务器的存储容量，定义mec场景下第m个基站服务器的存储空间的大小为r
m
，则有：其中，l
k
表示服务k所占用的存储空间的大小。4.根据权利要求1所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，所述任务卸载模型，包括：用户i
m
产生的任务可以在本地进行处理，也可以卸载到基站或者云端进行处理，则定义用户i
m
的任务卸载决策变量为其中，表示用户i的任务在本地处理，否则表示用户i
m
的任务卸载到关
联基站m处理，否则表示用户i
m
的任务通过基站n转发到基站m处理，否则表示用户i
m
任务卸载到云端处理，否则且满足因此，在t时隙，eui
m
的任务卸载策略可以表示为则基站m下所有用户的任务卸载决策可表示为5.根据权利要求1所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，所述系统成本模型，包括：给定任务卸载和服务缓存决策，用户i
m
的任务处理时延为：对应地，任务处理能耗为：则处理用户i
m
的任务的成本为：其中，和分别为时延和能耗的权重系数，满足：分别表示任务在本地处理时延、关联基站处理时延、附近基站处理时延及云端处理时延，分别表示用户i的任务在本地处理、卸载到关联基站m处理、通过基站n转发到基站m处理、卸载到云端处理，载到云端处理，分别表示任务分别在本地处理、关联基站处理、附近基站处理与云端处理所对应的能耗。6.根据权利要求1所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，所述联合任务卸载、服务缓存、算力资源分配和传输功率控制的优化问题，包括：括：括：
其中，a(t)＝{a1(t),
…
,a
m
(t)}表示基站服务缓存策略，b(t)＝{b1(t),
…
,b
m
(t)}表示任务卸载策略，β(t)＝{β1(t),
…
,β
m
(t)}表示基站算力资源分配策略，p(t)＝{p1(t),p2(t),
…
,p
m
(t)}表示传输功率控制决策，m表示基站数量，t表示时隙，n
m
表示终端用户的数量，表示处理用户i
m
的任务的成本，表示用户i
m
的任务处理时延，a
k,m
(t)表示基站m在t时隙的缓存决策服务k，l
k
表示服务k所占用的存储空间的大小，r
m
表示mec场景下第m个基站服务器的存储空间的大小，表示基站m在时隙t分配给用户i
m
的cpu频率分配系数，分别表示用户i的任务在本地处理、卸载到关联基站m处理、通过基站m转发到基站n处理、卸载到云端处理，k表示服务类型，n表示用户数量。7.根据权利要求1所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，将上述任务处理成本最小化问题抽象为部分可观测的马尔科夫决策过程，包括：由基站充当智能体，并定义元组描述上述马尔科夫博弈过程，其中，表示全局的状态空间，时隙t的环境为全局状态示全局的状态空间，时隙t的环境为全局状态为智能体的观测空间集合，是全局的动作空间集合，为奖励集合；在时隙t，智能体m根据本地观测采取策略π
m
:选择对应的动作从而获得相应的奖励8.根据权利要求1所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，采用基于联邦学习方法的多智能体深度强化学习算法自主学习任务卸载、服务缓存、算力资源分配和传输功率控制策略，包括：由基站作为智能体，每个智能体的actor网络和critic网络都具有两个深度神经网络，包含当前网络和目标网络，智能体还包括一个经验回放存储器在训练阶段，actor网络和critic网络通过联邦学习更新网络参数：critic当前网络通过最小化损失函数来更新网络参数，actor当前网络基于critic当前网络计算得到的集中q函数和它自身的观测信息通过最大化策略梯度来更新网络参数θ，actor目标网络和critic目标网络的参数通过软更新的方式进行更新，并使用注意力机制进行参数聚合；在分散执行阶段，更新参数后的actor网络根据智能体的状态做出动作决策，更新参数后的critic网络则对actor网络做出的动作做出评估，并且指导actor网络选择更优的动作，经验回放存储器用于保存与训练阶段的观测和动作相关的元组，d＝{o
m
(t),a
m
(t),r
m
(t),o
′
m
(t+1)}，其中，o
m
(t)表示t时隙智能体m的观测状态，a
m
(t)表示t时隙智能体m基于当前观测o
m
(t)所采取的动作，r
m
(t)表示t时隙智能体m采取动作a
m
(t)后获得的奖励，o
′
m
(t+1)表示智能体m在t+1时隙的状态；所述actor网络根据智能体的状态做出动作决策，包括：在分散执行阶段，时隙t内每个智能体的actor网络根据本地观测状态o
m
(t)以及它自身的策略选择动作：其中，表示智能体m的观测状态集合，表示智能体m的动作决策集合，θ
m
表示智能体m的actor当前网络参数；所述动作决策包括：任务卸载、服务缓存、算力资源分配和传输功率控制策略。9.根据权利要求8所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，所述集中q函数，包括：q
m
(o1(t),o2(t),
…
,o
m
(t),a1(t),a2(t),
…
,a
m
(t)；ω
m
)其中，q
m
( )表示集中q函数，o1(t),o2(t),
…
,o
m
(t)分别表示每个智能体的观测状态，a1(t),a2(t),
…
,a
m
(t)分别表示每个智能体采取的动作，ω
m
表示critic当前网络参数。10.根据权利要求8所述的一种移动边缘计算中具有隐私保护的智能体策略学习方法，其特征在于，所述actor、critic当前网络和actor、critic目标网络的参数更新，包括：critic当前网络通过最小化损失函数来更新网络参数，损失函数包括：actor当前网络参数θ通过最大化策略梯度来更新：actor、critic目标网络的参数通过软更新的方式进行更新，包括：actor、critic目标网络的参数通过软更新的方式进行更新，包括：其中，l
m
(ω
m
)表示损失函数，表示求梯度，j()表示需要优化的策略目标函数，表示累积奖励的期望，θ
m
表示智能体m的actor当前网络参数，o
m
(t)表示智能体m的观测状态，a
m
(t)表示智能体m的动作决策，q
m
(表示集中q函数，o1(t),o2(t),
…
,o
m
(t)分别表示每个智能体的观测状态，a1(t),a2(t),
…
,a
m
(t)分别表示每个智能体采取的动作，ym表示目标q值函数，ω
m
表示critic当前网络参数，表示智能体m自身的策略，θ
′
m
表示智能体m更新后的actor目标网络参数，ω
′
m
表示智能体m更新后的critic目标网络参数，与分别表示actor网络和critic网络更新系数。

技术总结
本发明属于移动通信技术领域，具体涉及一种移动边缘计算中具有隐私保护的智能体策略学习方法，包括：建立边缘协同的计算卸载模型，包括服务缓存模型、任务卸载模型和系统成本模型；基于边缘协同的计算卸载模型，以最小化任务的处理成本为目标，建立联合任务卸载、服务缓存、算力资源分配和传输功率控制的优化问题；将最优问题抽象为部分可观测的马尔科夫决策过程；基于马尔科夫决策过程采用基于联邦学习方法的多智能体深度强化学习算法自主学习任务卸载、服务缓存、算力资源分配和传输功率控制策略。本发明通过建立了一个边云协同的计算卸载模型，智能体网络以基于联邦学习的训练的方式保护了用户的数据和敏感信息的隐私安全。全。全。


技术研发人员：李云 王碧 夏士超 姚枝秀 高倩 庄宏成
受保护的技术使用者：重庆邮电大学
技术研发日：2023.06.12
技术公布日：2023/8/4