一种基于深度强化学习的多无人机无线充电与边缘计算联合优化方法及系统

1.本发明涉及无人机、无线功率传输、移动边缘计算技术，具体涉及一种基于深度强化学习的多无人机无线充电与边缘计算联合优化方法及系统。


背景技术：

2.无人机因其机动性和高度灵活性应用广泛，但是目前空中无人机面临着硬件规格、续航时间、计算能力等客观因素限制，难以满足大范围区域的网络覆盖，也无法对计算密集型任务做出及时响应。随着通信技术的高速发展，用户数据爆炸式增长，无人机越来越多面向计算密集型应用。算力有限的无人机在执行此类任务时不但会产生过高的时延，还会增加能耗，更进一步导致续航时间降低。为了延长无人机续航时间主要采用的方法包括部署地面固定充电站、定期手动替换电池、利用车辆作为移动充电站、安装太阳能能量收集板等，但是这些方法并不能高效地延长无人机续航时间，反而还会带来一些新的问题。比如部署地面充电站会迫使无人机中断任务偏离工作轨迹到地面充电，不但降低了任务执行效率还增加了飞行能耗。
3.近年来，基于射频信号的无线功率传输技术的研究和应用为解决空中无人机能源供应问题提供了新思路。射频能量收集是一种新型的绿色供电方式，可以持续稳定地收集能量，而无线功率传输技术可以通过无线链路稳定和持续的传输能源。符钰婧等人研究了一种uav辅助的wpt系统，其中uav能够给配有能量接收器的设备进行能量传输,以保证其能量供应充足。基于无人机的移动边缘计算系统将移动边缘计算与无人机网络结合，能够显著地改善无人机算力不足的问题。通过将任务从移动边缘设备卸载到静态或移动边缘服务器上，可以在有限计算资源约束下完成计算密集型任务。z.yang等人研究了一个支持无人机的mec平台为多个移动地面用户提供随机移动和任务到达，在无人机平均能耗和数据队列稳定性约束下最小化所有用户的平均加权能耗。可以看出将wpt和mec相结合的确可以有效解决无人机机载资源有限的问题，但这种技术结合也面临着一些新的问题和挑战。wpt系统中能量传输范围的限制是一个严重的问题，因此如何控制能量发射器的位置使得uav合理分布在传输范围内是一个关键问题；wpt与mec结合的无人机资源分配系统中还面临着不同无人机用户对于资源的需求不同的问题，有的用户需要更多的能量，有的需要更多的算力，这需要系统能够快速地响应多个无人机的不同需求，并同时确保能够公平有效地分配整个系统的资源，因此设计高效的资源分配算法也是一项重要挑战；此外系统信道质量和无线功率传输效率通常受到距离的影响，与距离成负相关，因此如何平衡多个无人机的距离以保证整体信道质量也是一个挑战。
4.为此，本专利提出一种基于深度强化学习的能量传输无人机辅助边缘计算联合优化方法，采用一组空中智能飞行能源为多个空中执勤无人机提供能量和计算等资源保证它们的任务执行效率，并提出了一种基于无线能量传输的多无人机边缘计算系统，该系统由n个配有射频能量发射部件、边缘计算服务器及大规格电池的大型无人机作为ifes以及m个
服务于地面用户的具有能量收集部件的空中执勤无人机构成。在uav执行任务期间，ifes采用madqn实现最优服务位置点和能量发射功率的智能决策，采用wpt和mec为服务覆盖范围内有充电和卸载需求的uav提供充电和边缘计算服务，以达到固定服务时长内系统吞吐量和能量传输效率的最大化、同时能耗最小化的目标。


技术实现要素：

5.本发明拟解决的技术解决问题是：提出一种基于深度强化学习的多无人机无线充电与边缘计算联合优化方法及系统，同步实现无人机无线充电和任务卸载，有效解决当前无人机机载资源有限难以长时间续航和应对计算密集型任务的问题，有效弥补传统无人机资源分配方案效率低、公平性差的缺陷。
6.本发明的技术解决方案为：本发明提出一种基于深度强化学习的多无人机无线充电与边缘计算联合优化方法及系统，采用一组空中智能飞行能源(intelligent flight energy source，ifes)为多个空中执勤无人机(unmannedaerial vehicle，uav)提供能量和计算等资源保证它们的任务执行效率。首先联合无线功率传输(wireless power transmission，wpt)和移动边缘计算(mobile edge computing，mec)技术构建系统模型、信道模型、计算与卸载模型、无线功率传输及能量收集模型和能耗模型，其次基于系统吞吐量和能量传输效率最大化和所有ifes能耗最小化的优化目标构建优化问题模型，再将优化问题转换成马尔可夫决策过程(markov decision process，mdp)，最后利用多智能体深度q网络算法(multi-agentdeep q network，madqn)求解。其具体步骤如下：
7.(1)联合无线功率传输和移动边缘计算技术构建系统模型、信道模型、计算与卸载模型、无线功率传输及能量收集模型和能耗模型。
8.(a)系统模型。提出一个多无人机组成的移动边缘计算系统，由n个装有边缘计算服务器、射频能量发射器和大规格电池与存储器的大型无人机作为ifes，以及m个带有能量接收器且电池与存储器规格有限的小型uav构成，ifes在固定服务时长t内为uav同时提供边缘计算和无线充电服务。将总时长分为tn个服务时隙，并且设置tn足够大使得单个时隙很小，可以认为一个时隙内无人机位置不变。在每个服务时隙内，uav会从地面用户接收到计算任务并根据计算能力以及电池余量大小选择本地计算或者卸载到ifes的移动边缘服务上计算，系统具体实现步骤如下：
9.a1：无人机用户端通过广播形式向ifes服务端发送充电和卸载需求、3d位置、电量信息及任务量信息；
10.a2：ifes端收集环境状态数据，并通过微服务器对环境状态数据进行缓存和处理；
11.a3：ifes将环境状态数据输入预先训练好的madqn模型，获得最优动作决策序列(3d位置和能量发射功率)；
12.a4：ifes将模型输出的3d位置和能量发射功率数字信号在数据服务层转换为相应的方向、速度、功率控制指令，ifes设备控制器实现各自位置轨迹和功率控制，为与其关联的无人机用户提供无线充电和边缘计算服务；
13.a5：有能量需求的无人机用户从ifes端接收功率信号，在射频能量接收部件内将信号转化为能量；有卸载需求的无人机用户上传数据到ifes端边缘服务器；
14.a6：ifes端边缘服务器收到任务数据计算并发送结果，再次执行a1-a6。
15.(b)信道模型。服从设计为全双工工作模式，有数据卸载需求的uav向提供服务的ifes卸载数据，同时ifes以发射功率pnt为服务覆盖范围内的uav提供无线充电服务。为了防止无人机间信道的相互干扰，我们采用时分多址(time divisionmultipleaccess，tdma)协议将每个ifes的上行数据卸载时隙按该时隙内服务覆盖范围内无人机情况进行划分；
16.(c)计算与卸载模型。uav每个时隙内会收到地面用户大小随机的计算任务，uav需要根据本地计算能力、时隙内数据任务量以及当前能耗情况判断是否将任务卸载到边缘服务器。卸载采用二进制卸载方式进行，即任务全部本地计算或全部卸载到服务器。我们用二进制变量来表示t时隙uavm是否需要进行任务卸载，表示要将任务进行卸载，否则就本地计算。有卸载需求的uav会广播发射卸载需求信号，ifes会综合接收到的信息进行决策；
17.(d)无线功率传输及能量收集模型。每个时隙内，ifes以恒定功率持续发射rf信号以广播的形式为服务覆盖范围内的uav提供充电服务，uavm接收为其提供充电服务的ifesn发射的功率信号，以线性的方式将功率转换为能量；
18.(e)能耗模型。uav能量变化情况：uavm在t时隙内的能量变化可由三部分能量决定，分别是：t-1时隙剩余能量t时隙接收能量t时隙消耗能量ifes能量变化情况：ifesn在t时隙内的能量变化可由为两部分能量决定，分别为：t-1时隙剩余能量t时隙消耗能量t时隙ifesn消耗的能量由通信及推进等其他能耗e_othern、计算能耗和能量发射能耗组成；
19.(2)基于优化目标构建优化问题，目标是实现ifes-uav间能量传输效率以及系统吞吐量最大化、同时所有ifes能耗最小化。由于ifes与uav位置在每个时隙动态变化导致信道质量也随着二者距离改变而改变，每个时隙ifes需要智能决策以确定最优服务位置点使得服务覆盖率更高且总体信道质量更优。同时为了降低系统能耗及避免因接收能量超过电池容量而导致电量溢出的情况，ifes需要智能决策以使得能量发射功率大小达到既获得更高能量传输效率又降低能耗的目标。即在每个时隙，n个ifes需要根据m个uav位置、电余量、任务数据大小等信息联合做出服务位置点及能量发射功率的最优智能决策，以达到优化目标，包括：
20.(a)系统吞吐量最大化，根据式二进制变量判断t时隙uavm的计算任务是否完成，从而计算总服务时长t内的系统吞吐量c
total
；
21.(b)能量传输效益最大化，计算uavs的总有效接收能量值近似表示总服务时长t内ifes-uav间的能量传输效率；
22.(c)所有智能飞行能源能耗最小化，为了有效降低ifes能耗且保证ifes-uav的能量传输效益，对发射功率进行控制。ifes的能耗中通信消耗占比极小因此忽略不计，与推进消耗、计算消耗相关的飞行速度、cpu频率设为定值，因此可认为能量传输的发射功率是影响ifes能耗变化的唯一变量。所以可以用经过总服务时长t后ifes的总电余量来近似判断功率控制的效益。
23.多ifes联合优化问题可表述为：
[0024][0025]
限制如下：
[0026]
c1:c2:c3:c4:c5：c6：c7:h
m-hn＜r
[0027]
约束c1、c2表示ifes-uav间的服务关联情况，我们限制每个uav只能与一个ifes关联得到服务以保证公平性。c3保证了在电池容量bm限制下每个时隙内uav能量的正确性并限制uav消耗能量不超出现有能量。c4对ifes能量发射功率做出了限制。c5和c6分别限制了ifes与uav的飞行范围。c7保证了ifes与uav的高度差不会超出服务半径。
[0028]
(3)将优化问题转换成mdp，基于madqn的算法mdp可由一个多元组(s,a,r,f,γ)表示，分别表示状态空间、动作空间、奖励空间、转移概率空间、奖励折扣因子。
[0029]
(a)环境状态:n个智能体的状态空间s描述了规定工作区域内的所有uav包含的相关信息，包括m个uav的位置信息、电量存储情况和时变任务大小；
[0030]
(b)动作：其中组成了t时隙ifesn决策的最优服务点位置，为决定了ifesn能量发射功率；
[0031]
(c)奖励：奖励是状态和动作的函数，它衡量的是在给定状态下智能体所采取动作的效果。奖励函数的设计会很大程度影响智能体的学习效率。基于优化目标，奖励函数的重点是提升任务吞吐量、能量传输效率和降低能耗，尽可能覆盖有充电或卸载需求的uav为其服务。基于三个优化目标为ifesn设计三个奖励元素，针对它们重要性不同，我们分别设置权值对应1.5、1、1。此外，我们还设置了碰撞惩罚以防止ifes发生碰撞。
[0032]
(4)利用多智能体深度q网络算法求解，具体步骤包括：
[0033]
(a)初始化：初始化经验回放池d及其容量，设置训练轮数，随机初始化观察状态，初始化ifes-uav网络参数，初始化在线网络q和目标网络q0；
[0034]
(b)通过公式ε＝ε
max-ε
decrease
初始化ε，逐步减小探索概率；
[0035]
(c)将(n,m)维观测状态s输入到预测神经网络中，输出当前状态对应的动作q值，用q(s,a)表示。由于状态和动作空间较大，我们利用深度q网络从当前状态s作为输入估计q值。用q(s,a|θ)和q
′
(s
′
,a
′
|θ
′
)表示近似的q值及其目标q值各自的权重θ和θ
′
，其定义如下：
[0036][0037]
(d)智能体的联合动作a＝a1×
...
×an
决定了下一个状态和每个智能体获得的奖
励。所有智能体的目标都是找到最优的行动选择策略以最大化未来折扣奖励的期望总和。每个agent选择动作，根据概率ε随机选择动作进行探索，或采用贪婪策略从神经网络计算的结果中选择q值最大的动作作为最优动作；
[0038]
(e)根据联合动作中ifes的决策位置采用距离最小原则定义ifes-uav关联矩阵b[n][m]；
[0039]
(f)agent执行各自动作，通过reward函数获得环境反馈的奖励信号(用r表示)和下一个状态(用s'表示)；
[0040]
(g)更新状态s，并将状态、动作执行后产生的下一个状态、相应的动作、相应的奖励信号、动作完成标志存储在经验池中；
[0041]
(h)从经验池中随机抽取m个小批量样本的相关信息，计算每个状态的目标值。在目标网络q0执行动作后通过奖励更新q值；
[0042]
(i)基于小批量样本，使用随机梯度下降算法更新预测神经网络中的权重参数。我们通过最小化损失函数来更新θ，损失函数用于测量预测值与目标值之间的误差，可表示为:
[0043]
l(θ)＝e[q
′
(s,a
′
|θ
′
)-q(s,a|θ)]2ꢀꢀ
(3)
[0044]
q网络需要在训练过程的每次迭代中不断优化使损失函数最小化。为了保证计算效率，采用随机梯度下降优化损失函数和更新权重参数；
[0045]
(j)重复(b)-(i)，直到轮次结束。
附图说明
[0046]
图1为本发明流程图。
[0047]
图2为本发明系统流程图。
[0048]
图3为本发明系统模型示意图。
[0049]
图4为本发明提供的基于madqn的决策模型流程图。
[0050]
图5为本发明提供的基于madqn的决策模型结构图。
[0051]
图6本发明提供的基于madqn的模型训练奖励变化图。
具体实施方式
[0052]
为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。
[0053]
如图1所示，本发明的具体实施方法如下：
[0054]
(1)联合无线功率传输和移动边缘计算技术构建系统模型、信道模型、计算与卸载模型、无线功率传输及能量收集模型和能耗模型，具体步骤如下：
[0055]
(a)构建系统模型，针对空中无人机续航有限的问题，提出一种基于射频信号的多无人机空对空无线能量传输模式。基于该模式构建取值参考模型，提取无人机数量、服务半径、飞行高度、飞行速度等关键网络架构指标，实现各指标对比计算和分析并确定相关网络指标数值。根据各指标数值对无人机群进行分组设计出一种基于无线能量传输的多无人机分组网络架构，并对该架构的服务覆盖性和碰撞率进行计算和验证；针对空中无人机计算能力不足导致的计算密集型任务延迟响应的问题，在对当前无人机辅助移动物联网架构研
究基础上提出一种多无人机空对空数据卸载模式，通过分析无人机数、分组数、分层数、服务覆盖半径、各层飞行高度差、飞行速度等指标构建取值参考模型，从而根据卸载效率的影响确定各指标参数。考虑上下层无人机间传输能量值和数据量受到信道质量和服务覆盖无人机个数的约束，对该结构中各网络参数进行对比分析构建取值参考模型确定各指标参数，从而构建出多层空中无人机群能量与算力协同分配的整体网络拓扑结构，并对该架构的无线充电与边缘计算服务覆盖性和碰撞率计算分析和验证。最终构建出多无人机无线充电与边缘计算联合优化系统。
[0056]
(b)采用mec技术实现算力分配，设计无线传输信道实现多无人机数据和通信。针对上行数据卸载多无人机间的干扰问题采用tdma协议将上行数据传输信道按服务覆盖情况进行时隙划分，从而构建信道模型；
[0057]
(c)采用二进制卸载方式构建移动边缘计算与卸载模型；
[0058]
(d)采用wpt技术实现能量传输，并构建无线功率传输及线性能量收集模型；
[0059]
(e)分别针对ifes和uav能量变化情况构建能耗模型，具体内容如下：
[0060]
e1：uav能量变化情况，uavm在t时隙内的能量变化可由三部分能量决定，分别是：t-1时隙剩余能量t时隙接收能量t时隙消耗能量t时隙uavm接收的能量表示为：
[0061][0062]
其中η为能量损耗系数满足η∈(0,1)，τ为单位时隙大小。uavm消耗的能量可被分为和包括完成任务消耗和推进及通信能耗的其他能耗其中任意时隙uavm完成任务的能耗仅能为本地计算消耗或卸载消耗可表示为：
[0063][0064][0065]
其中表示t时隙uavm任务不进行卸载，即会产生本地计算能耗，λ为计算消耗系数，fm为uavm的cpu频率。
[0066]
由于uav实际消耗能量不能大于现有能量，即上一时隙剩余和本时隙获取的总能量，需满足因此可由下式得出：
[0067][0068]
综上，在uav电池容量bm的限制下，即因此uavm在t时隙的能量可表示为：
[0069][0070]
(e2)ifes能量变化情况：ifesn在t时隙内的能量变化可由为两部分能量决定，分别为：t-1时隙剩余能量t时隙消耗能量t时隙ifesn消耗的能量由通信及推进等其他能耗e_othern、计算能耗和能量发射能耗组成。
[0071]
ifesn通过决策以发射功率为服务覆盖范围内的uav提供无线充电服务，发射能耗可表示为:
[0072][0073]
计算消耗
[0074][0075]
其中λ为计算消耗系数，为ifesn的cpu频率
[0076]
综上，ifes在t时隙的能量可表示为：
[0077][0078][0079]
(2)针对固定服务时长内系统吞吐量和能量传输效率的最大化、能耗最小化的优化目标构建联合优化问题模型：
[0080]
由于ifes与uav位置在每个时隙动态变化导致信道质量也随着二者距离改变而改变，每个时隙ifes需要智能决策以确定最优服务位置点使得服务覆盖率更高且总体信道质量更优。同时为了减少系统能耗和避免因接收能量超过电池容量而导致电量溢出的情况，ifes需要智能决策以使得能量发射功率大小达到既获得更高能量传输效率又降低能耗的目标。即在每个时隙，n个ifes需要根据m个uav位置、电余量、任务数据大小等信息联合决策最优服务位置点及能量发射功率大小，以达到优化目标。
[0081]
(a)根据二进制变量可以判断t时隙uavm的计算任务是否完成，因此总服务时长t内的系统吞吐量可表述为：
[0082][0083]
根据式(4)我们可以得出t时隙uavm接收的能量但在uav电池容量bm的限制下，uavm在该时隙实际有效接收能量不能超出电池剩余容量即应表示为：因此总服务时长t内ifes-uav间的能量传输效率可近似表示为uav的总有效接收能量值由下式表示：
[0084][0085]
为了有效降低ifes能耗且保证ifes-uav的能量传输效益，需要对发射功率进行控制。根据式(9-12)得出ifes电余量变化情况，ifes的能耗中通信消耗占比极小因此忽略不计，与推进消耗、计算消耗相关的飞行速度、cpu频率设为定值，因此可认为能量传输的发射功率是影响ifes能耗变化的唯一变量。所以可以用经过总服务时长t后ifes的总电余量来近似判断功率控制的效益，可表示为：
[0086][0087]
综上，多ifes联合优化问题可表述为：
[0088][0089]
(3)将联合目标优化问题转换为马尔可夫决策过程；
[0090]
(4)提出了一种基于madqn的算法来决策ifes的服务位置和能量发射功率大小，实现所有uav的能量传输效率以及任务吞吐量最大化和所有ifes的能耗最小化的目标。
[0091]
如图2所示，本发明提供了一种基于深度强化学习的多无人机无线充电与边缘计算联合优化方法及系统，具体步骤如下：
[0092]
a1：无人机用户广播发送充电和卸载需求、3d位置、电量信息及任务量信息；
[0093]
a2：ifes收集环境状态数据，并通过微服务器对环境状态数据进行缓存和处理；
[0094]
a3：ifes将环境状态数据输入预先训练好的madqn模型；
[0095]
a4：获得最优动作决策序列(3d位置和能量发射功率)；
[0096]
a5：ifes将模型输出的3d位置和能量发射功率数字信号在数据服务层转换为相应的方向、速度、功率控制指令；
[0097]
a6：ifes设备控制器实现各自位置轨迹和功率控制；
[0098]
a7：如果uva能够与任意ifes关联即可获得服务，无人机用户从ifes端接收功率信号，在射频能量接收部件内将信号转化为能量；
[0099]
a8：有卸载需求的无人机用户上传数据到ifes端边缘服务器，否则本地计算任务；
[0100]
a9：ifes边缘服务器收到任务数据计算并发送结果，训练轮次内再次执行a1-a9。
[0101]
图3为本发明系统模型示意图。如图1所示，考虑一个多无人机组成的mec系统，由n＝{1,2,..,n}个装有边缘计算服务器、射频能量发射器和大规格电池与存储器的大型无人机作为ifes，以及m＝{1,2,..,m}个带有能量接收器且电池与存储器规格有限的小型uav构成。在每个服务时隙内，uav会从地面用户接收到计算任务并根据计算能力以及电池余量大小选择本地计算或者卸载到ifes的移动边缘服务上计算。假设所有飞行设备工作在固定大小x
×
y区域内，由于ifes-uav间上下行信道质量受到传输距离的影响，随着传输距离的增大信道质量逐渐降低，因此可以合理地假设ifes的服务覆盖范围有限，并通过测试设定ifes的服务覆盖半径为r。为了降低计算维度且避免ifes与uav发生碰撞，我们假设ifes飞行在固定高度hn，uav飞行在固定高度hm，其中hn＞hm，且高度差h＝h
n-hm小于ifes服务半径r。利用三维笛卡尔坐标系定义ifesn及uavm坐标位置分别为和n∈n，m∈m。
[0102]
如图4所示，本发明提供了基于madqn的决策模型结构图。
[0103]
算法模型中主要包括ifes-uav构成的环境模块、深度神经网络模块以及智能体ifes与网络和环境的交互模块。环境模块组成了madqn的状态空间，其中包含所有uav实时3d位置、电量、任务数据量。深度神经网络模块由经验回放池存储空间和神经网络两部分组成，经验回放池存储的是状态、动作执行后产生的一组数据，包括下一个状态、相应的动作、相应的奖励信号、动作完成标志。神经网络部分包含一个在线网络和一个目标网络，以及触
发网络学习更新的损失函数。智能体ifes与网络和环境的交互包括从环境获取当前环境状态、通过网络决策动作、执行动作改变环境状态、从环境获取新状态和奖励、将本轮数据存储到经验回放池。
[0104]
图5为本发明提供的基于madqn的决策模型流程图，具体步骤如下：
[0105]
(1)初始化：初始化经验回放池d及其容量，设置训练轮数，随机初始化观察状态，初始化ifes-uav网络参数，初始化在线网络q和目标网络q0；
[0106]
(2)通过公式ε＝ε
max-ε
decrease
初始化ε，逐步减小探索概率；
[0107]
(3)将(n,m)维观测状态s输入到预测神经网络中，输出当前状态对应的动作q值，用q(s,a)表示。由于状态和动作空间较大，利用深度q网络从当前状态s作为输入估计q值。用q(s,a|θ)和q
′
(s
′
,a
′
|θ
′
)表示近似的q值及其目标q值各自的权重θ和θ
′
；
[0108]
(4)每个agent选择动作，根据概率ε随机选择动作进行探索，或采用贪婪策略从神经网络计算的结果中选择q值最大的动作作为最优动作；
[0109]
(5)根据联合动作中ifes的决策位置采用距离最小原则定义ifes-uav关联矩阵b[n][m]；
[0110]
(6)agent执行各自动作，通过reward函数获得环境反馈的奖励r和下一个状态；
[0111]
(7)更新状态s，并将状态、动作执行后产生的下一个状态、相应的动作、相应的奖励信号、动作完成标志存储在经验池中；
[0112]
(8)从经验池中随机抽取m个小批量样本的相关信息，计算每个状态的目标值。在目标网络q0执行动作后通过奖励更新q值；
[0113]
(9)基于小批量样本，使用随机梯度下降算法更新预测神经网络中的权重参数；
[0114]
(10)重复(1)-(9)，直到轮次结束。
[0115]
图6为本发明提供的基于madqn的算法模型训练奖励变化图。奖励是状态和动作的函数，它衡量的是在给定状态下智能体所采取动作的效果。奖励函数的设计会很大程度影响智能体的学习效率。在我们提出的优化问题中，有三个优化目标，分别为：系统吞吐量最大化、能量传输效益最大化和所有ifes能耗最小化。
[0116]
奖励函数的重点是提升任务吞吐量、能量传输效率和降低能耗，服务尽可能覆盖有充电或卸载需求的uav。因此为ifesn设计了三个奖励元素对应式子(13-15)，即c
total
、和针对三个优化目标的重要性不同，我们分别设置权值对应1.5、1、1。我们计算每一轮次获得的累计奖励，可以看到获得的奖励在每一轮次中缓慢增加，在25000轮次训练后奖励基本维持为正数，并达到峰值。miud在初始阶段累积奖励并不稳定，主要保持在一个较低的水平还有下降波动，这是由于前期设置探索率较高导致。随着探索率的降低和训练次数的增加，累计奖励持续增加，并在20000轮次后开始稳定达到峰值。
[0117]
以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种基于深度强化学习的多无人机无线充电与边缘计算联合优化方法，其特征在于，实施步骤如下：(1)联合采用无线功率传输和移动边缘计算技术构建系统模型、信道模型、计算与卸载模型、无线功率传输及能量收集模型和能耗模型；(2)在系统资源和ifes服务范围下，针对固定服务时长内系统吞吐量和能量传输效率的最大化、能耗最小化的优化目标构建联合优化问题模型；(3)将联合优化问题转换为马尔可夫决策过程；(4)基于madqn的算法来决策ifes的服务位置和能量发射功率大小，实现所有uav的能量传输效率和任务吞吐量最大化及所有ifes能耗最小化的目标。2.根据权利要求1所述的基于深度强化学习的多无人机无线充电与边缘计算联合优化方法，其特征在于，所述步骤(1)中，采用全双工模式构建信道，能够实现无线充电和卸载工作同步进行。保证有数据卸载需求的无人机向提供服务的ifes卸载数据，同时ifes以发射功率为服务覆盖范围内的无人机提供无线充电服务。3.根据权利要求1所述的基于深度强化学习的多无人机无线充电与边缘计算联合优化方法，其特征在于，所述步骤(2)中，优化目标包括：(1)系统吞吐量最大化；(2)能量传输效益最大化；(3)所有智能飞行能源能耗最小化。针对三个优化目标的重要性不同，分别设置权值对应1.5、1、1。4.根据权利要求1所述的基于深度强化学习的多无人机无线充电与边缘计算联合优化方法，其特征在于，所述步骤(3)中，将每个ifes视为一个智能体。madqn模型有以下三个基本部分：(1)包含每个无人机三维位置信息、电量信息、任务量信息的环境状态；(2)智能体决策最优服务位置和能量发射功率的动作；(3)基于要求3中的三个优化目标所设计的奖励。5.根据权利要求1所述的基于深度强化学习的多无人机无线充电与边缘计算联合优化方法，其特征在于，所述步骤(4)中包括：(1)初始化经验池，设置训练轮数，随机初始化观察状态；(2)将(n,m)维观测状态s输入到预测神经网络中，输出当前状态对应的动作q值，用q(s,a)表示；(3)每个agent选择动作，根据概率ε随机选择动作进行探索，或采用贪婪策略从神经网络计算的结果中选择q值最大的动作作为最优动作，用a表示所有agent联合动作；(4)agent执行各自动作，通过reward函数获得环境反馈的联合奖励信号用r表示和下一个状态用s'表示；(5)更新状态s，并将状态s、动作执行后产生的下一个状态s'、相应的动作a、相应的奖励信号r、动作完成标志done存储在经验池中；(6)从经验池中随机抽取m个小批量样本的相关信息，计算每个状态的目标值。在目标网络q执行动作后通过奖励更新q值；(7)基于小批量样本，使用随机梯度下降算法更新预测神经网络中的权重参数；
(8)重复(1)-(7)，直到轮次结束。经过训练后，每个智能体根据实际环境状态数据自动决策出一个最优服务位置点和能量发射功率，使能耗最小，并实现系统吞吐量和能量传输效益最大化。

技术总结
本发明公开了一种基于深度强化学习的多无人机无线充电与边缘计算联合优化方法及系统，采用一组配有射频能量发射部件、边缘计算服务器及大规格电池的大型无人机作为空中智能飞行能源为多个空中执勤无人机UAV提供能量和计算资源保证执行效率。资源供采用无线功率传输WPT与移动边缘计算MEC技术相结合实现，通过联合无人机三维位置、电量、任务量信息构建基于无线能量传输的多无人机边缘计算系统模型、信道模型、能耗模型等。以固定服务时长内系统吞吐量和能量传输效率最大化、同时能耗最小化为目标，建立多无人机能量与算力联合优化模型。采用多智能体深度Q网络算法实现智能飞行能源IFES最优服务位置点和能量发射功率达到优化目标的智能决策。优化目标的智能决策。优化目标的智能决策。


技术研发人员：林绍福 陈盈盈 李硕朋
受保护的技术使用者：北京工业大学
技术研发日：2023.06.26
技术公布日：2023/10/15