城市环境下蜂窝接入式无人机的路径规划方法及相关装置与流程

1.本发明涉及无人机领域，具体而言，涉及一种城市环境下蜂窝接入式无人机的路径规划方法及相关装置。


背景技术：

2.随着城市化进程的推进，城市人口也持续增加，城市交通的拥堵状况也逐渐加剧，在此背景下，由于无人机具备可多功能作业、作业效率较高、作业成本低廉等特点，在智慧城市体系的构建过程中无人机可以发挥极大的作用，例如当前人们熟知的无人机应用领域包括商品运输、智能监控、交通调查、空中巴士和辅助通信等。
3.无人机作业过程中通常会涉及与地面控制方的数据通信，传统的城市无人机大多采用wifi(wireless fidelity)通信来实现无人机与地面控制方的数据传输，但受限于通信距离，存在数据传输速率低、信息干扰严重等问题。近年来，基于城市蜂窝网络体系构建无人机范式的方法被应用于解决该问题并成为了研究热点。该方法基于高密度分布的地面蜂窝基站，为无人机运行提供经济的通信链路的同时，也为其提供了超远覆盖距离的控制范围。并且，蜂窝基站信号可提升定位精度，有效避免因gps(global positioning system，全球定位系统)信号不稳、不良天气或突发障碍物所导致的通讯中断等问题。在无人机领域，现有研究在满足通信条件约束的情况下求解蜂窝接入式无人机最短路径这一方面已取得较好的研究成果，然而在复杂障碍物环境下如何设计路径规划算法仍处于起步阶段，尤其是在低空城市复杂环境中，如何高效求解蜂窝接入式无人机的最优飞行路径，并应对通信可靠性与环境复杂性的混合约束，一直是现阶段城市蜂窝接入式无人机实际应用的关键点以及难点。
4.所以，现有技术中缺乏针对蜂窝接入式无人机在城市环境下协同考虑通信条件与复杂环境避障的路径规划方案。


技术实现要素：

5.本发明的目的在于提供一种城市环境下蜂窝接入式无人机的路径规划方法及相关装置，以改善现有技术存在的问题。
6.本发明的实施例可以这样实现：
7.第一方面，本发明提供一种城市环境下蜂窝接入式无人机的路径规划方法，包括：
8.建立飞行区域所在城市空间的三维网格模型，所述三维网格模型包括若干网格；
9.构建无人机在所述飞行区域内的通信中断概率模型与环境复杂度模型；所述通信中断概率模型用于衡量所述无人机与所述飞行区域内各基站的通信可靠性；所述环境复杂度模型用于评估所述无人机在所述飞行区域内的安全性；
10.基于所述通信中断概率模型与所述环境复杂度模型，建立飞行风险度模型；
11.基于所述飞行风险度模型，生成所述飞行区域内的加权有向图，所述加权有向图用于表征所述飞行区域内相邻基站之间的间隔距离和飞行代价信息；
12.基于所述加权有向图，生成所述无人机在所述飞行区域的途经基站序列；所述途经基站序列包括所述无人机从起点至终点的多个途经基站；
13.采用dqn算法，实时规划所述无人机在每个所述途经基站的信号覆盖范围内的飞行路径。
14.第二方面，本发明还提供一种城市环境下蜂窝接入式无人机的路径规划装置，包括：
15.分割模块，用于建立飞行区域所在城市空间的三维网格模型，所述三维网格模型包括若干网格；
16.建立模块，用于：构建无人机在所述飞行区域内的通信中断概率模型与环境复杂度模型；所述通信中断概率模型用于衡量所述无人机与所述飞行区域内各基站的通信可靠性；所述环境复杂度模型用于评估所述无人机在所述飞行区域内的安全性；对所述通信中断概率模型与所述环境复杂度模型进行加权求和，得到飞行风险度模型；基于所述飞行风险度模型，生成所述飞行区域内的加权有向图，所述加权有向图用于表征所述飞行区域内相邻基站之间的间隔距离和飞行代价信息；
17.处理模块，用于：基于所述加权有向图，生成所述无人机在所述飞行区域的途经基站序列；所述途经基站序列包括所述无人机从起点至终点的多个途经基站；采用dqn算法，实时规划所述无人机在每个所述途经基站的信号覆盖范围内的飞行路径。
18.第三方面，本发明还提供一种电子设备，包括：存储器和处理器，所述存储器存储有软件程序，当所述电子设备运行时所述处理器执行所述软件程序以实现上述第一方面的城市环境下蜂窝接入式无人机的路径规划方法。
19.与现有技术相比，本发明实施例提供了一种城市环境下蜂窝接入式无人机的路径规划方法及相关装置，通过能够构建飞行风险度模型，将最优路径规划问题建模为最小化飞行距离模型，并接着将最小化飞行距离模型分解为全局规划的全局代价函数以及局部规划的局部代价函数。从而，在无人机执行飞行任务之前，可以基于图论进行全局规划来求解全局代价函数得到无人机的途径基站序列，接着在无人机开始执行飞行任务时，可以基于深度强化学习来求解局部代价函数从而实时规划无人机在当前接入的途经基站的信号覆盖范围内的飞行路径。如此，实现在城市复杂环境中求解无人机最优飞行路径，引导无人机更加安全、高效的完成城市区域内的飞行任务。
附图说明
20.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
21.图1为本发明实施例提供的一种城市环境下蜂窝接入式无人机的路径规划方法的流程示意图之一。
22.图2为本发明实施例提供的一种无人机在三维网格模型中的位置示意图。
23.图3为本发明实施例提供的一种飞行区域中各个基站分布形成的城市蜂窝网络示意图。
24.图4为本发明实施例提供的一种加权有向图的示意图。
25.图5为本发明实施例提供的一种决策网络架构的示意图。
26.图6为本发明实施例提供的一种城市环境下蜂窝接入式无人机的路径规划方法的流程示意图之二。
27.图7为本发明实施例提供的一种城市环境下蜂窝接入式无人机的路径规划方法的流程示意图之三。
28.图8为本发明实施例提供的一种飞行区域的环境示意图。
29.图9为本发明实施例提供的一种进行验证时三维网格模型中规划效果的侧视图。
30.图10为本发明实施例提供的一种进行验证时三维网格模型中规划效果的俯视图。
31.图11为本发明实施例提供的一种城市环境下蜂窝接入式无人机的路径规划装置的结构示意图。
32.图12为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
33.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
34.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
36.需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
37.如背景技术部分所言，现有技术中缺乏针对蜂窝接入式无人机在城市环境下协同考虑通信条件与复杂环境避障的路径规划方案。
38.同时，现有技术中还缺乏适用于高动态环境下的无人机路径求解算法，因为目前工程上常用的路径规划算法需要依据环境进行实时建模，缺乏泛化学习能力，导致求解难度随障碍物对象增多而急剧升高。
39.对此，drl(deep reinforcement learning)算法为复杂动态环境下的路径规划问题提供了新的解决思路，其中，基于深度q网络(dqn)的路径规划算法具备较强的泛化能力与鲁棒性，且无需对动态环境进行重复建模，能有效优化算法求解时间。然而在实际规划中，现有dqn算法仅满足静态环境路径求解，在应对突发障碍物时仍采取分阶段方式进行求解，导致算法陷入局部最优，且在大规模情况下算法求解效果不佳。
40.基于上述技术问题的发现，发明人经过创造性劳动提出下述技术方案以解决或者改善上述问题。需要注意的是，以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本技术实施例针对上述问题所提出的解决方案，都应该是发明人在发明创造过程中对本技术做出的贡献，而不
应当理解为本领域技术人员所公知的技术内容。
41.有鉴于此，本发明实施例提供一种城市环境下蜂窝接入式无人机的路径规划方法，能够构建飞行风险度模型，将最优路径规划问题建模为最小化飞行距离模型，并接着将最小化飞行距离模型分解为全局规划的全局代价函数以及局部规划的局部代价函数。从而，在无人机执行飞行任务之前，可以基于图论进行全局规划来求解全局代价函数得到无人机的途径基站序列，接着在无人机开始执行飞行任务时，可以基于深度强化学习来求解局部代价函数从而实时规划无人机在当前接入的途经基站的信号覆盖范围内的飞行路径。如此，实现在城市复杂环境中求解无人机最优飞行路径，引导无人机更加安全、高效的完成城市区域内的飞行任务。
42.本发明实施例提供的城市环境下蜂窝接入式无人机的路径规划，可以应用于电子设备，该电子设备可以是各种城市无人机，例如物流无人机、外卖无人机、航拍无人机、测绘无人机等。以下通过实施例，并配合所附附图，进行详细说明。
43.请参考图1，图1为本发明实施例提供的一种城市环境下蜂窝接入式无人机的路径规划方法的流程示意图，该方法包括以下步骤s110～s160。
44.s110、建立飞行区域所在城市空间的三维网格模型。
45.在本实施例中，以一个边长为δd的正方体作为划分单元，可以将飞行区域所在城市空间按照该划分单元分割为若干正方体，得到三维网格模型，在三维网格模型中，一个正方体的顶点处即为一个网格，即三维网格模型可以包括若干网格。
46.s120、构建无人机在飞行区域内的通信中断概率模型与环境复杂度模型。
47.在本实施例中，飞行区域内存在多个无人机可接入的基站，基站可以是地面蜂窝基站。通信中断概率模型可以用于衡量无人机与飞行区域内各基站的通信可靠性，环境复杂度模型可以用于评估无人机在飞行区域内的安全性。
48.s130、基于通信中断概率模型与环境复杂度模型，建立飞行风险度模型。
49.在本实施例中，飞行风险度模型可以用于计算三维网格模型任意网格处的飞行风险度，该飞行风险度协同考虑了通信环境影响以及障碍物影响。
50.s140、基于飞行风险度模型，生成飞行区域内的加权有向图。
51.在本实施例中，加权有向图可以用于表征飞行区域内相邻基站之间的间隔距离和飞行代价信息。
52.s150、基于加权有向图，生成无人机在飞行区域的途经基站序列。
53.在本实施例中，可以基于加权有向图，先进行全局规划来生成无人机在飞行区域的途经基站序列，该途经基站序列包括无人机从起点至终点的多个途经基站。
54.s160、采用dqn算法，实时规划无人机在每个途经基站的信号覆盖范围内的飞行路径。
55.在本实施例中，在无人机飞行过程中，可以采用dqn算法，进行局部规划来实时规划无人机在每个途经基站的信号覆盖范围内的飞行路径。
56.本发明实施例提供的城市环境下蜂窝接入式无人机的路径规划方法，能够利用飞行区域内的通信中断概率模型与环境复杂度模型建立飞行风险度模型，进而基于飞行风险度模型，生成飞行区域内的加权有向图。从而可以基于加权有向图，先进行全局规划来生成无人机在飞行区域的途经基站序列，在无人机飞行过程中，再采用dqn算法，进行局部规划
来实时规划无人机在每个途经基站的信号覆盖范围内的飞行路径，这样协同考虑通信条件与复杂环境避障并且分层次地进行路径规划，能够有效实现在城市复杂环境中求解无人机最优飞行路径，引导无人机更加安全、高效的完成城市区域内的飞行任务。
57.本发明中，无人机的飞行区域为三维稠密城市区域，区域内随机分布有各个静态障碍物(如静态建筑物)，还分布有多个基站基站，有时还可能会突发障碍物(例如别的无人机)。假设三维网格模型包括l1
×
l2
×
h个网格，l1、l2代表所述飞行区域的两个水平长度且l1、l2可以相等或者不相等，h代表所述飞行区域的垂直高度。
58.当无人机在三维网格模型中所处的当前位置为q(n)＝(xn，yn，hn)，其中n表示无人机所处网格的编号，xn∈[0，l1]、yn∈[0，l2]分别表示第n个网格的横纵坐标，hn∈[h
min
，h
max
]表示无人所处的高度，h
min
、h
max
分别为无人机的飞行高度下限和飞行高度上限。
[0059]
请参见图2，无人机的三维运动空间由其所处位置的相邻网格确定，图2中可以看出，无人机所处位置周围存在26个相邻网格，也就是无人机最多存在26个运动方向，在三维网格模型中，相邻网格之间的最短距离为δd，最长距离为
[0060]
本发明中，设无人机的起点s和终点f各自在三维网格模型中的位置分别为：q(s)＝(xs，ys，hs)、q(f)＝(xf，yf，hf)，无人机在飞行过程中以恒定速度飞行，令表示无人机从起点到终点的飞行轨迹上需要经过的所有网格(包括起点和终点)，即所有路径点，其中n表示需要经过的网格数量。
[0061]
以下先对建立飞行风险度模型的过程进行详细介绍。
[0062]
在可选的实现方式中，无人机与其所连接的基站间的实际通信中断概率可表示为：
[0063]
p
out
(q(n)，i(n))＝pr{γ(q(n)，i(n))＜γ
th
}
ꢀꢀꢀ
(1)
[0064]
其中，i(n)表示无人机在q(n)处所连接的基站在三维网格模型中的位置，p
out
(q(n)，i(n))表示无人机与其所连接基站之间的实际通信中断概率；γ(q(n)，i(n))表示通信链路信噪比，γ
th
表示信道通信最低信噪比阈，pr{
·
}表示事件发生的概率。
[0065]
但是在路径规划时难以准确测得任意飞行位置的实际通信中断概率，所以可采用在短时间内多次测量通信链路信噪比(例如可以通过查询参考信号接收功率(rsrp)和参考信号接收质量(rsrq)来得到)，然后基于多次测量的通信链路信噪比计算出经验通信中断概率，进而来预测实际通信中断概率。
[0066]
因此，本发明中，通信中断概率模型的表达式可以为：
[0067][0068][0069]
表达式(2)中，γ(q(n)，i(n))表示测量得到的通信链路信噪比；c(q(n)，i(n))为中断判断函数，j为测量次数；为无人机在当前位置q(n)处与所连接基站i(n)之间的通信中断概率，该通信中断概率实质上为一个经验通信中断概率。因为，基于大数定律可知，当测量次数j足够大时，经验中断概率可以等效为实际通信中断概率，即如下式所示：
[0070][0071]
在可选的实现方式中，在飞行区域中，障碍物的数量和突发障碍物的发生概率越高，环境复杂度越高。对于单个静态障碍物，其高度越高，环境复杂性越高，故可以将以q(n)为圆心，以r为半径的空间区域作为被评估区域，然后综合考虑被评估区域内静态障碍物的大小、高度和数量以及突发障碍物发生概率来量化该区域的环境复杂性。
[0072]
所以，本发明中可以将静态建筑物视为静态障碍物，环境复杂度模型的表达式可以为：
[0073][0074]
表达式(5)中，r代表飞行区域中被评估区域的半径，b为被评估区域内的静态障碍物数量，si为被评估区域内第i个建筑物所占面积，hi为被评估区域内第i个建筑物高度，es为q(n)处突发障碍物的发生概率；e
q(n)
表示无人机在当前位置q(n)处的环境复杂度。
[0075]
可选的实现方式中，可以对所述通信中断概率模型与所述环境复杂度模型进行加权求和，得到飞行风险度模型，该飞行风险度模型的表达式可以为：
[0076][0077]
表达式(6)中，δ1与δ2均为加权系数；α
q(n)
表示当前位置q(n)处的飞行风险度。
[0078]
以上即为飞行风险度模型的建立过程，以下接着对最优路径规划问题涉及的建模过程进行介绍。
[0079]
可以理解，最优路径规划问题的优化目标是保证无人机安全飞行的前提下，控制无人机从起点到终点的飞行轨迹符合最小化飞行距离。
[0080]
由此，可以基于三维网格模型以及上述飞行风险度模型，计算出各网格处的飞行风险度，并将最优路径规划问题建模为最小化飞行距离模型，其表达式为：
[0081][0082][0083][0084][0085][0086][0087]
表达式(7a)中，代表无人机从起点到终点的飞行轨迹上的所有路径点，代表各个路径点各自在三维网格模型中的位置；η(i)表示飞行轨迹上第i个路径点周围的所有相邻网格组成的集合；s.t.代表：表达式(7b)～(7f)均为最小化飞行距离模型(7a)的约束条件；
[0088]
表达式(7b)～(7f)中，χ
q(i)，q(j)
、χ
q(j)，q(i)
均为布尔变量，分别表示无人机是否从飞行轨迹上的第i个路径点移动至第i个路径点周围第j个相邻网格以及无人机是否从飞行轨
迹上第i个路径点周围第j个相邻网格移动至第i个路径点；代表飞行轨迹上第i个路径点属于集合但不包括起点s和终点f；代表三维网格模型中任意两个相邻的网格之间的距离不超过
[0089]
其中，表达式(7b)和(7c)用于约束无人机飞行轨迹不间断且相邻路径点间只存在单一路径；表达式(7d)用于约束任一网格的飞行风险度不大于1，且飞行轨迹的第一个路径点和最后一个路径点分别为无人机的起点和终点；表达式(7e)用于约束无人机的单次移动距离不超过表达式(7f)用于约束无人机的所处位置不能超出三维网格模型的范围。
[0090]
由于本发明采用的无人机为蜂窝接入式无人机，本发明可以基于动态规划理论，将复杂的最小化飞行距离模型分解为全局代价函数和局部代价函数进行求解。全局代价函数可以基于全局连通的感知规划，来首先确定无人机从起点到终点需要连接的所有途经基站；在无人机飞行过程中，局部代价函数可以基于与局部的无碰撞规划来实时计算无人机在其当前连接基站的信号覆盖范围内的飞行路径。
[0091]
所以，本发明的路径规划属于分层次规划，第一个层次是可以预先进行的全局规划层面，第二层次是可以实时推进的局部规划层面。
[0092]
首先，在全局规划层面，本发明面向蜂窝接入式无人机特点，以基站为核心进行宏观规划。为进一步提高求解效率，以基站的信号覆盖面积为规划单位，可以评估各基站的信号覆盖范围内的平均飞行风险度。因而，全局代价函数的表达式可以为：
[0093][0094][0095][0096][0097][0098]
表达式(8a)中，表示所述途经基站序列，ng代表所述途经基站的数量，代表各个所述途经基站在所述三维网格模型中的位置；ηg(i)表示第i个途经基站的所有相邻基站组成的集合；表示第i个途经基站的信号覆盖范围内所有网格组成的集合；mi表示第i个途经基站的信号覆盖范围内的网格数量；
[0099]
表达式(8b)～(8e)为表达式(8a)的约束条件，其中，χ
i，j
、χ
j，i
均为布尔变量，分别表示所述无人机是否从第i个途经基站切换连接至第i个途经基站的第j个相邻基站以及所述无人机是否从第i个途经基站的第j个相邻基站切换连接至第i个途经基站；q(j)、q(i)分别表示第i个途经基站的第j个相邻基站、第i个途经基站各自在三维网格模型中的位置；||q(j)-q(i)||表示第i个途经基站的第j个相邻基站与第i个途经基站之间的距离。
[0100]
其次，在局部规划层面，可以基于求解上述全局代价函数得到的途经基站序列，进一步在无人机飞行过程中，实时计算各途径基站的信号覆盖范围内的飞行路径。因而，局部代价函数的表达式可以为：
[0101][0102][0103][0104][0105][0106][0107]
表达式(9a)中，代表所述无人机在第i个途经基站的信号覆盖范围内的飞行路径，nu表示该飞行路径上的路径点数量，代表第i个途经基站的信号覆盖范围内各个路径点在所述三维网格模型中的位置；ηu(j)表示该飞行路径上第j个路径点的所有相邻网格组成的相邻网格集合；
[0108]
表达式(9b)～(8f)为表达式(9a)的约束条件，其中，χ
q(j)，q(k)
、χ
q(k)，q(j)
均为布尔变量，分别表示所述无人机是否从第j个路径点移动至第j个路径点的第k个相邻网格以及所述无人机是否从第j个路径点的第k个相邻网格移动至第j个路径点；q(k)、q(j)分别代表第j个路径点的第k个相邻网格、第j个路径点各自在所述三维网格模型的位置，||q(k)-q(j)||代表第i个路径点的第k个相邻网格与第j个路径点之间的距离；代表第j个路径点属于集合但不包括起点s和终点f；q(s)、q(f)分别代表起点s和终点f各自在所述三维网格模型中的位置。
[0109]
在可选的实现方式中，在全局规划层面，假设无人机飞行高度恒定，可以将飞行区域的整体运行环境转化为加权有向图，进而基于全局代价函数和加权有向图，利用dijkstra算法生成宏观上的途经基站序列。
[0110]
因此，可选的实现中，上述步骤s140的子步骤可以包括s141～s146。
[0111]
s141、获取飞行区域内每个基站在三维网格模型中的位置。
[0112]
s142、计算飞行区域内每对相邻基站间的距离信息。
[0113]
本实施例中，可以基于每个基站在三维网格模型中的位置来计算每对相邻基站间的距离信息，该距离信息可以为三维网格模型下的一种相对距离，并非实际物理距离。
[0114]
可选的示例中，假设飞行区域内存在7个基站(基站q(1)～q(7))，请参见图3，其中基站q(7)位于中心，基站q(1)～q(6)环绕基站q(7)分布，那么总计为12对相邻基站，需要计算12组距离信息(即图3中的d
i，j
，该例中i和j均属于[1，7])。需要说明的是，该举例仅为示例，飞行区域的基站数量及分布情况以实际应用情况为准，本发明对此不作限制。
[0115]
s143、针对每个基站，根据飞行风险度模型，计算基站的信号覆盖范围内每个网格处的飞行风险度。
[0116]
s144、基于基站的信号覆盖范围内每个网格处的飞行风险度，计算无人机在基站的信号覆盖范围内的平均飞行风险度。
[0117]
在本实施例中，对于飞行区域的每个基站，都执行步骤s143和s144，即可得到无人机在每个基站的信号覆盖范围内的平均飞行风险度。
[0118]
s145、基于每对相邻基站间的距离信息以及无人机在各个基站的信号覆盖范围内的平均飞行风险度，确定每对相邻基站间的两个风险权重系数。
[0119]
可选的，一对相邻基站中的两个基站为第一基站和第二基站，第一基站至第二基站的风险权重系数可以是二者的距离信息与第二基站对应的平均飞行风险度的乘积；对应的，第二基站至第一基站的风险权重系数可以是二者的距离信息与第一基站对应的平均飞行风险度的乘积。
[0120]
s146、基于每个基站在三维网格模型中的位置以及每对相邻基站间的两个风险权重系数，构建飞行区域内的加权有向图。
[0121]
在本实施例中，加权有向图可以包括多个节点，一个节点代表一个基站。一对相邻节点(相邻基站)之间存在两条方向相反的有向边，有向边的权重即为风险权重系数。
[0122]
也就是，一对相邻节点包括第一节点和第二节点(分别对应第一基站和第二基站)，其中以第一节点为起点、第二节点为终点的有向边上的权重为：第一基站至第二基站的风险权重系数；以第二节点为起点、第一节点为终点的有向边上的权重为：第二基站至第一基站的风险权重系数。
[0123]
可选的，加权有向图可以表示为
[0124]
代表飞行区域内所有基站的集合，n
′g为飞行区域内的基站数量；e为飞行区域内每对相邻基站的有向边的集合；w为飞行区域内每对相邻基站的两个风险权重系数组成的集合。
[0125]
其中，第i个基站到第j个基站的风险权重系数可以为：
[0126][0127]
式中，表示第j个基站的信号覆盖范围内所有网格组成的集合，mj代表飞行区域中第j个基站信号覆盖范围内的网格数量；代表第j个基站的信号覆盖范围内的平均飞行风险度，d
i，j
代表第i个基站到第j个基站的距离信息。
[0128]
可选的示例中，在图3的基础上，请参见图4，加权有向图可以如图4所示，其中，第i个基站到第j个基站的有向边即为q(i)
→
q(j)，第i个基站到第j个基站的有向边上的风险权重系数即为ω
i，j
。
[0129]
需要说明的是，加权有向图中各个数值仅为示例，请以实际应用情况为准，本发明对此不作限制。
[0130]
进一步地，上述步骤s150的子步骤可以包括s151～s152。
[0131]
s151、获取无人机的起点和终点；
[0132]
s152、基于全局代价函数，利用dijkstra算法在加权有向图中搜索从起点至终点的途经基站序列。
[0133]
可以理解，结合上述提及的一对相邻基站间的两个风险权重系数的含义来看，在上述的全局代价函数(8a)中，优化目标就是在保证各个途经基站的风险权重系数之和最小的情况下，找出最优的途经基站序列。
[0134]
由于本发明将飞行区域的整体运行环境转化为了加权有向图，因此可以直接利用
dijkstra算法在加权有向图中搜索从起点至终点的途经基站序列，即实现了对全局代价函数的求解，得的了全据规划的宏观最优路径(途经基站序列)。
[0135]
在可选的实现方式中，在局部规划层面，基于宏观最优路径的基础上，进一步实时地规划各途径基站的信号覆盖范围内的飞行路径。
[0136]
本发明提出了一种基于dqn算法的“离线+在线”共同协同来进行途经基站的信号覆盖范围内的路径规划，以此改进常规dqn算法求解陷入局部最优解的弊端。本发明中，dqn算法的决策网络架构如图5所示，其中包括两个dqn网络，其一为长期决策网络，用于计算静态障碍物数据，并自主学习飞行策略；其二为短期策略网络，用于计算突发障碍物数据，并引导无人机应急避撞。
[0137]
其中，在单个时间步中，无人机可以通过传感器探测是否突发障碍物。一旦检测到障碍物信息，便激活短期策略网络，短期策略网络依据当前无人机的状态数据(其中包括突发障碍物信息)输出一个短期q值。长期策略网络当前无人机的状态数据(其中包括静态障碍物信息)输出一个短期长期q值。
[0138]
因此，无人机可以从起点开始执行飞行任务，然后按照途经基站序列飞行，每个接入一个途经基站就实时地规划在该途经基站的飞行路径直至终点。其中，无人机在一个途经基站对应的飞行路径包括多个路径点，每个路径点代表该途经基站的信号覆盖范围内的一个网格。请参见图6，上述步骤s160可以包括以下子步骤s161～s165。
[0139]
s161、将无人机连接的途经基站作为当前基站。
[0140]
s162、基于局部代价函数，采用dqn算法实时规划无人机在当前基站的信号覆盖范围内的飞行路径。
[0141]
可以理解，在上述的全局代价函数(9a)中，优化目标就是在保证第i个途经基站的信号覆盖范围内各个路径点的飞行风险度与距离的乘积之和最小的情况下，找出第i个途经基站的信号覆盖范围内的最优飞行路径。因此，采用本发明的dqn算法的决策网络架构，来实时规划无人机在第i个途经基站的信号覆盖范围内的飞行路径，即实现了对全局代价函数(9a)的求解，得到了局部规划的飞行路径。
[0142]
可选的，请参见图7，步骤s162的子步骤可以包括s1621～s1629。
[0143]
s1621、将无人机所处的网格位置作为当前路径点。
[0144]
可以理解，当无人机从起点开始执行飞行任务，此时，无人机位于起点处接入的第一个途经基站即为当前基站，起点即为当前路径点，无人机需要从起点开始实时规划在当前基站(第一个途经基站)信号覆盖范围内的飞行路径。或者，若无人机刚从第一个途经基站切换连接至第二个途经基站，那么第二个途经基站即为新的当前基站，此时无人机所处的网格位置即为当前路径点，无人机需要从这个当前路径点开始实时规划在当前基站(第二个途经基站)信号覆盖范围内的飞行路径。
[0145]
s1622、判断当前路径点处是否存在突发障碍物。
[0146]
可以理解，无人机可以通过自身搭载的传感器(如激光雷达)来探测是否存在突发障碍物。
[0147]
在本实施例中，若当前路径点处不存在突发障碍物，则执行以下步骤s1623和s1624后继续执行步骤s1627；若当前路径点处存在突发障碍物，则执行以下步骤s1623、s1625以及s1626后继续执行步骤s1627。
[0148]
s1623、将无人机所处的当前路径点、终点以及飞行区域内的静态障碍物信息输入长期决策网络，以在局部代价函数的映射下输出长期q值。
[0149]
s1624、将长期q值对应的当前路径点的相邻网格作为下一路径点。
[0150]
s1625、将无人机所处的当前路径点、终点以及突发障碍物信息输入短期决策网络，以在局部代价函数的映射下输出短期q值。
[0151]
可以理解，无人机作为智能体，其状态空间、动作空间和奖励函数如下：
[0152]
以s
t
表示无人机的第t个路径点的状态数据，其包括无人机所处的当前路径点q(t)、终点q(f)、飞行区域内的静态障碍物信息(即当前相对静态建筑物距离集合(t)、终点q(f)、飞行区域内的静态障碍物信息(即当前相对静态建筑物距离集合以及机体与突发障碍物的距离(即当前相对威胁位置距离l
t
)。
[0153]
以表示无人机动作空间，结合图2，其由26个方向组成，其动作集合为a
t
。当动作a
t
在状态s
t
下执行，则获得奖励r
t+1
，长期决策网络中的奖励函数可以设置为表达式(10)：
[0154][0155]
式中，d
pre
＝||q(n)-q(f)||和d
cur
＝||q(n+1)-q(f)||表示无人机之前与终点和当前与终点的相对距离，μ1，μ2，μ3均为影响因子。
[0156]
在短期决策网络中奖励函数设置为表达式(11)：
[0157][0158]
s1626、将长期q值和短期q值中较大者所对应的当前路径点的相邻网格作为下一路径点。
[0159]
s1627、判断无人机是否切换连接至途经基站序列中当前基站的下一个基站。
[0160]
在本实施例中，若无人机已经切换连接至途经基站序列中当前基站的下一个基站，那么无人机在当前基站的信号覆盖范围内的飞行路径以及规划完毕，即得到无人机在当前基站的信号覆盖范围内的飞行路径；若无人机未切换连接至途经基站序列中当前基站的下一个基站，则在执行以下步骤s1628后返回执行上述步骤s1622直至无人机已经切换连接至途经基站序列中当前基站的下一个基站，得到无人机在当前基站的信号覆盖范围内的飞行路径。
[0161]
s1628、将下一个路径点作为当前路径点。
[0162]
s1629、得到无人机在当前基站的信号覆盖范围内的飞行路径。
[0163]
在本实施例中，在无人机未切换连接至途经基站序列中当前基站的下一个基站的情况下，无人机可以从自身位置飞行至下一个路径点并把下一个路径点作为新的当前路径点，然后返回上述步骤s1622来计算新的下一个路径点，如此多次迭代，直到无人机切换连接至途经基站序列中当前基站的下一个基站，那么在连接当前基站时所计算出并飞行经过的所有路径点即为无人机在当前基站的信号覆盖范围内最优无碰撞的飞行路径。
[0164]
s163、判断当前基站是否为途经基站序列中的最后一个基站。
[0165]
在本实施例中，若当前基站是途经基站序列中的最后一个基站，即完成整体路径
规划，得到无人机在每个途经基站的信号覆盖范围内的飞行路径；若当前基站不是途经基站序列中的最后一个基站，就执行以下步骤s164后返回执行步骤s162，直至当前基站是途经基站序列中的最后一个基站，得到无人机在每个途经基站的信号覆盖范围内的飞行路径。
[0166]
s164、将途经基站序列中当前基站的下一个基站作为当前基站。
[0167]
s165、得到无人机在每个途经基站的信号覆盖范围内的飞行路径。
[0168]
一种可选的示例中，在图3的基础上，请参见图8，假设飞行区域的环境如图8所示，也即，途经基站序列包括的途径基站为a2、a1、a3、a4，所以从起点s到终点f的飞行轨迹包括以下四部分：
[0169]
一、无人机在接入途经基站a2的情况下，在a2的信号覆盖范围内从起点s开始实时规划的飞行路径为图8中起点s与s1之间的虚曲线段；
[0170]
二、无人机在s1处从途经基站a2切换至a1，在a1的信号覆盖范围内从s1开始实时规划的飞行路径为图8中s1与s2之间的虚曲线段；
[0171]
三、无人机在s2处从途经基站a1切换至a3，在a3的信号覆盖范围内从s2开始实时规划的飞行路径为图8中s2与s3之间的虚曲线段；
[0172]
四、无人机在s3处从途经基站a3切换至a4，在a4的信号覆盖范围内从s3开始实时规划的飞行路径为图8中s3与终点f之间的虚曲线段。
[0173]
需要说明的是，该举例仅为示例，飞行区域的环境、无人机最终的飞行轨迹以实际应用情况为准，本发明实施例对此不作限定。
[0174]
以下给出对本发明提供的城市环境下蜂窝接入式无人机的路径规划方法的验证过程。
[0175]
假设飞行区域所在城市空间的三维网格模型的规模为500
×
500
×
25，请参见图9，飞行区域内设置有共计123个静态障碍物(灰色条柱)、17个突发障碍物(黑色条柱)与25个基站。其中，静态障碍物长度与宽度的范围在8到18内，高度在5到22内随机生成；突发障碍物的长度与宽度均设定为10，高度为25；各个基站均匀分布，基站信号覆盖半径为70，假设无人机机载传感器感应半径为5。
[0176]
如图9、图10所示，轨迹1即为利用本发明的方法求解的飞行轨迹，轨迹2即为常规dqn算法求解的飞行轨迹。从图9的侧视图中结果表明，两种方法所求得的飞行路径均为逐渐上扬，面对低层建筑直行通过，面对高层建筑绕行，在遇到突发限制区域时，能有效完成风险规避。而从图10的俯视图中结果表明，本发明的方法在路径选择上实现全局最优，其中，在宏观规划层面，选取了适合飞行的区域(即经过的基站)，在局部规划层面，算法实现了基站信号范围内飞行路径最短。而常规dqn算法难以保障全局最优，且所经过区域飞行环境相对复杂，难以满足现实要求。
[0177]
需要说明的是，上述方法实施例中各个步骤的执行顺序不以附图所示为限制，各步骤的执行顺序以实际应用情况为准。
[0178]
与现有技术相比，本发明实施例具有以下有益效果：
[0179]
一、本发明提出了一项全新的将空地通信服务保障和复杂动态环境避撞问题相结合的蜂窝接入式无人机多层次路径规划的方式，其分为：由连通性感知的全局规划层和无碰撞的局部规划层两个层次。通过分层规划，可以有效应对在通信可靠性与环境复杂性混
合约束下，高效求解无人机最优飞行路径，为低空复杂城市环境中的蜂窝接入式无人的机路径规划提供了一种有效的解决方案。
[0180]
二、本发明提出的飞行风险度指标融合了无人机与地面基站的通信中断概率和飞行环境复杂度，通过网格理论将两者集成到低空城市复杂场景中，并据此将复杂的最优路径规划问题建模为最小化飞行距离模型。通过有效构建最优化问题模型，实现了更全面、更准确的描述城市复杂环境下的蜂窝接入式无人机路径规划问题，为实现更加高效的求解策略奠定了基础。
[0181]
三、本发明提出了一种基于加权有向图与drl算法进行分层求解最优飞行路径的方式，该方式以动态规划理论为依据，将复杂的非线性规划问题进行分层求解。其中，所提出的基于基于加权有向图的全局规划层保障了路径规划的宏观最优，并以地面基站信号覆盖范围为最小规划单元提高了求解效率。所提出的基于dqn算法的“离线+在线”协同进行路径规划的方式能够有效求解各基站信号覆盖范围内局部最优无碰撞飞行路径，改善了现有dqn算法陷入局部最优的短板。所以，本发明的方式不仅能补充现有蜂窝接入式无人机路径规划算法的空缺，并为开发更复杂、更有效的无人机路径规划系统铺平了道路。
[0182]
为了执行上述方法实施例及各个可能的实施方式中的相应步骤，下面给出一种城市环境下蜂窝接入式无人机的路径规划装置的实现方式。
[0183]
请参见图11，图11示出了本发明实施例提供的城市环境下蜂窝接入式无人机的路径规划装置的结构示意图。该城市环境下蜂窝接入式无人机的路径规划装置200包括：分割模块210、建立模块220、处理模块230。
[0184]
分割模块210，用于建立飞行区域所在城市空间的三维网格模型，三维网格模型包括若干网格；
[0185]
建立模块220，用于：构建无人机在飞行区域内的通信中断概率模型与环境复杂度模型；通信中断概率模型用于衡量无人机与飞行区域内各基站的通信可靠性；环境复杂度模型用于评估无人机在飞行区域内的安全性；对通信中断概率模型与环境复杂度模型进行加权求和，得到飞行风险度模型；基于飞行风险度模型，生成飞行区域内的加权有向图，加权有向图用于表征飞行区域内相邻基站之间的间隔距离和飞行代价信息；
[0186]
处理模块230，用于：基于加权有向图，生成无人机在飞行区域的途经基站序列；途经基站序列包括无人机从起点至终点的多个途经基站；采用dqn算法，实时规划无人机在每个途经基站的信号覆盖范围内的飞行路径。
[0187]
所属领域的技术人员可以清楚地了解到，建立模块220可以用于实现上述步骤s120～s140及其子步骤，处理模块230可以用于实现上述步骤s15～s160及其子步骤。为描述的方便和简洁，上述描述的城市环境下蜂窝接入式无人机的路径规划装置200的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0188]
请参见图12，图6为本发明实施例提供的一种电子设备的结构示意图。该电子设备300包括处理器310、存储器320和总线330，处理器310通过总线330与存储器320连接。
[0189]
存储器320可用于存储软件程序，例如，如本发明实施例所提供的城市环境下蜂窝接入式无人机的路径规划装置200对应的软件程序。处理器310通过运行存储在存储器320内的软件程序，从而执行各种功能应用以及数据处理以实现如本发明实施例所提供的城市环境下蜂窝接入式无人机的路径规划方法。
[0190]
其中，存储器320可以是但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，闪存存储器(flash)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。
[0191]
处理器310可以是一种集成电路芯片，具有信号处理能力。该处理器310可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0192]
可以理解，图12所示的结构仅为示意，电子设备300还可以包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。图12中所示的各组件可以采用硬件、软件或其组合实现。
[0193]
综上，本发明实施例提供了一种城市环境下蜂窝接入式无人机的路径规划方法及相关装置，首先，采用通信中断概率模型衡量无人机与各地面基站的通信可靠性，基于飞行区域内的静态障碍物占比与突发障碍物发生概率构建环境复杂度模型，以评估飞行区域的安全性，并据此以加权求和的方式构建飞行风险度模型。进一步，基于建立的三维网格模型，计算飞行区域内各网格的通信中断概率与环境复杂度来获得飞行风险度，将最优路径规划问题建模为最小化飞行距离模型。下一步，基于动态规划理论，将全局求解问题分解为全局连通的感知规划与局部的无碰撞规划进行分层求解。在全局规划中，面向蜂窝接入式无人机特点，以地面基站的信号覆盖面积为规划单位，将飞行区域转化为有向图，综合评估各基站信号覆盖区域的飞行风险度来得到有向图的权重，并基于dijkstra算法求解最优宏观路径(途经基站序列)。接着，在最优宏观路径的基础上，提出基于dqn算法的“离线+在线”协同进行路径规划的方式来实时求解各途径基站的信号覆盖范围内局部无碰撞飞行路径，其中dqn算法的决策网络架构采用双dqn网络结构，以负责计算静态障碍物数据的长期决策网络与负责计算突发障碍物数据的短期决策网络组成，整体决策网络架构会选择当前状态下的最佳策略，并通过不断迭代最终生成无人机最优无碰撞飞行路径。
[0194]
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种城市环境下蜂窝接入式无人机的路径规划方法，其特征在于，包括：建立飞行区域所在城市空间的三维网格模型，所述三维网格模型包括若干网格；构建无人机在所述飞行区域内的通信中断概率模型与环境复杂度模型；所述通信中断概率模型用于衡量所述无人机与所述飞行区域内各基站的通信可靠性；所述环境复杂度模型用于评估所述无人机在所述飞行区域内的安全性；基于所述通信中断概率模型与所述环境复杂度模型，建立飞行风险度模型；基于所述飞行风险度模型，生成所述飞行区域内的加权有向图，所述加权有向图用于表征所述飞行区域内相邻基站之间的间隔距离和飞行代价信息；基于所述加权有向图，生成所述无人机在所述飞行区域的途经基站序列；所述途经基站序列包括所述无人机从起点至终点的多个途经基站；采用dqn算法，实时规划所述无人机在每个所述途经基站的信号覆盖范围内的飞行路径。2.根据权利要求1所述的方法，其特征在于，所述基于所述飞行风险度模型，生成所述飞行区域内的加权有向图的步骤，包括：获取所述飞行区域内每个所述基站在所述三维网格模型中的位置；计算所述飞行区域内每对相邻基站间的距离信息；针对每个所述基站，根据所述飞行风险度模型，计算所述基站的信号覆盖范围内每个所述网格处的飞行风险度；基于所述基站的信号覆盖范围内每个所述网格处的飞行风险度，计算所述无人机在所述基站的信号覆盖范围内的平均飞行风险度；基于所述每对相邻基站间的距离信息以及所述无人机在各个所述基站的信号覆盖范围内的平均飞行风险度，确定每对相邻基站间的两个风险权重系数；基于每个所述基站在所述三维网格模型中的位置以及每对相邻基站间的两个风险权重系数，构建所述飞行区域内的加权有向图。3.根据权利要求1所述的方法，其特征在于，所述基于所述加权有向图，生成所述无人机在所述飞行区域的途经基站序列的步骤，包括：获取所述无人机的起点和终点；基于全局代价函数，利用dijkstra算法在所述加权有向图中搜索从所述起点至所述终点的途经基站序列。4.根据权利要求3所述的方法，其特征在于，所述飞行路径包括所述途经基站的信号覆盖范围内的多个路径点，每个所述路径点代表一个网格；所述采用dqn算法，实时规划所述无人机在每个所述途经基站的信号覆盖范围内的飞行路径的步骤，包括：将所述无人机连接的途经基站作为当前基站；基于局部代价函数，采用所述dqn算法实时规划所述无人机在所述当前基站的信号覆盖范围内的飞行路径；判断所述当前基站是否为所述途经基站序列中的最后一个基站；若所述当前基站是所述途经基站序列中的最后一个基站，则得到所述无人机在每个所述途经基站的信号覆盖范围内的飞行路径；
若所述当前基站不是所述途经基站序列中的最后一个基站，则将途经基站序列中所述当前基站的下一个基站作为所述当前基站；返回执行所述基于局部代价函数，采用所述dqn算法规划所述无人机在所述当前基站的信号覆盖范围内的飞行路径的步骤，直至所述当前基站是所述途经基站序列中的最后一个基站，得到所述无人机在每个所述途经基站的信号覆盖范围内的飞行路径。5.根据权利要求4所述的方法，其特征在于，所述dqn算法的决策网络架构包括长期决策网络和短期决策网络；所述基于局部代价函数，采用所述dqn算法实时规划所述无人机在所述当前基站的信号覆盖范围内的飞行路径的步骤，包括：将所述无人机所处的网格位置作为当前路径点；判断所述当前路径点处是否存在突发障碍物；若所述当前路径点处不存在所述突发障碍物，则将所述无人机所处的当前路径点、终点以及所述飞行区域内的静态障碍物信息输入长期决策网络，以在局部代价函数的映射下输出长期q值；并将所述长期q值对应的所述当前路径点的相邻网格作为下一路径点；若所述当前路径点处存在所述突发障碍物，则将所述无人机所处的当前路径点、终点以及所述飞行区域内的静态障碍物信息输入所述长期决策网络，以在所述局部代价函数的映射下输出所述长期q值；同时将所述无人机所处的当前路径点、终点以及突发障碍物信息输入短期决策网络，以在所述局部代价函数的映射下输出短期q值；将所述长期q值和所述短期q值中较大者所对应的所述当前路径点的相邻网格作为所述下一路径点；判断所述无人机是否切换连接至所述途经基站序列中所述当前基站的下一个基站；若所述无人机已经切换连接至所述途经基站序列中所述当前基站的下一个基站，则得到所述无人机在所述当前基站的信号覆盖范围内的飞行路径；若所述无人机未切换连接至所述途经基站序列中所述当前基站的下一个基站，则将所述下一个路径点作为所述当前路径点并返回执行所述判断所述当前路径点处是否存在突发障碍物的步骤，直至所述无人机已经切换连接至所述途经基站序列中所述当前基站的下一个基站，得到所述无人机在所述当前基站的信号覆盖范围内的飞行路径。6.根据权利要求4所述的方法，其特征在于，所述通信中断概率模型的表达式为：6.根据权利要求4所述的方法，其特征在于，所述通信中断概率模型的表达式为：其中，q(n)＝(x
n
,y
n
,h
n
)代表所述无人机在所述三维网格模型的当前位置，i(n)表示所述无人机当前所连接的基站在所述三维网格模型的位置，γ
th
表示信道通信最低信噪比阈，γ(q(n),i(n))表示测量的通信链路信噪比；c(q(n),i(n))为中断判断函数，j为测量次数；为所述无人机在当前位置q(n)处与基站i(n)之间的通信中断概率；所述环境复杂度模型的表达式为：
其中，r代表所述飞行区域中被评估区域的半径，h
max
代表所述无人机的飞行高度上限，b为所述被评估区域内的静态障碍物数量，s
i
为所述被评估区域内第i个建筑物所占面积，h
i
为所述被评估区域内第i个建筑物高度，e
s
为q(n)处突发障碍物的发生概率；e
q(n)
表示所述无人机在所述当前位置q(n)处的环境复杂度；飞行风险度模型的表达式为：其中，δ1与δ2均为加权系数；α
q(n)
表示所述无人机在所述当前位置q(n)处的飞行风险度。7.根据权利要求6所述的方法，其特征在于，所述全局代价函数的表达式为：7.根据权利要求6所述的方法，其特征在于，所述全局代价函数的表达式为：7.根据权利要求6所述的方法，其特征在于，所述全局代价函数的表达式为：7.根据权利要求6所述的方法，其特征在于，所述全局代价函数的表达式为：7.根据权利要求6所述的方法，其特征在于，所述全局代价函数的表达式为：其中，表示所述途经基站序列，n
g
代表所述途经基站的数量，代表各个所述途经基站在所述三维网格模型中的位置；η
g
(i)表示第i个途经基站的所有相邻基站组成的集合；表示第i个途经基站的信号覆盖范围内所有网格组成的集合；m
i
表示第i个途经基站的信号覆盖范围内的网格数量；χ
i,j
、χ
j,i
均为布尔变量，分别表示所述无人机是否从第i个途经基站切换连接至第i个途经基站的第j个相邻基站以及所述无人机是否从第i个途经基站的第j个相邻基站切换连接至第i个途经基站；q(j)、q(i)分别表示第i个途经基站的第j个相邻基站、第i个途经基站各自在所述三维网格模型中的位置；‖q(j)-q(i)‖表示第i个途经基站的第j个相邻基站与第i个途经基站之间的距离；所述三维网格模型包括l1
×
l2
×
h个网格，l1、l2代表所述飞行区域的两个水平长度，h代表所述飞行区域的垂直高度；h
min
代表所述无人机的飞行高度下限。8.根据权利要求7所述的方法，其特征在于，所述局部代价函数的表达式为：8.根据权利要求7所述的方法，其特征在于，所述局部代价函数的表达式为：
其中，代表所述无人机在第i个途经基站的信号覆盖范围内的飞行路径，n
u
表示该飞行路径的路径点数量，代表第i个途经基站的信号覆盖范围内各个路径点在所述三维网格模型中的位置；η
u
(j)表示第j个路径点的所有相邻网格组成的相邻网格集合；χ
q(j),(k)
、χ
q(k),(j)
均为布尔变量，分别表示所述无人机是否从第j个路径点移动至第j个路径点的第k个相邻网格以及所述无人机是否从第j个路径点的第k个相邻网格移动至第j个路径点；q(k)、q(j)分别代表第j个路径点的第k个相邻网格、第j个路径点各自在所述三维网格模型的位置，‖q(k)-(j)‖代表第i个路径点的第k个相邻网格与第j个路径点之间的距离；代表第j个路径点属于集合但不包括起点s和终点f；q(s)、q(f)分别代表起点s和终点f各自在所述三维网格模型中的位置。9.一种城市环境下蜂窝接入式无人机的路径规划装置，其特征在于，包括：分割模块，用于建立飞行区域所在城市空间的三维网格模型，所述三维网格模型包括若干网格；建立模块，用于：构建无人机在所述飞行区域内的通信中断概率模型与环境复杂度模型；所述通信中断概率模型用于衡量所述无人机与所述飞行区域内各基站的通信可靠性；所述环境复杂度模型用于评估所述无人机在所述飞行区域内的安全性；对所述通信中断概率模型与所述环境复杂度模型进行加权求和，得到飞行风险度模型；基于所述飞行风险度模型，生成所述飞行区域内的加权有向图，所述加权有向图用于表征所述飞行区域内相邻基站之间的间隔距离和飞行代价信息；处理模块，用于：基于所述加权有向图，生成所述无人机在所述飞行区域的途经基站序列；所述途经基站序列包括所述无人机从起点至终点的多个途经基站；采用dqn算法，实时规划所述无人机在每个所述途经基站的信号覆盖范围内的飞行路径。10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器存储有软件程序，当所述电子设备运行时所述处理器执行所述软件程序以实现如权利要求1-8中任一项所述的城市环境下蜂窝接入式无人机的路径规划方法。

技术总结
本发明提供了一种城市环境下蜂窝接入式无人机的路径规划方法及相关装置，涉及无人机领域。通过能够构建飞行风险度模型，将最优路径规划问题建模为最小化飞行距离模型，并接着将最小化飞行距离模型分解为全局规划的全局代价函数以及局部规划的局部代价函数。从而，在无人机执行飞行任务之前，可以基于图论进行全局规划来求解全局代价函数得到无人机的途径基站序列，接着在无人机开始执行飞行任务时，可以基于深度强化学习来求解局部代价函数从而实时规划无人机在当前接入的途经基站的信号覆盖范围内的飞行路径。如此，实现在城市复杂环境中求解无人机最优飞行路径，引导无人机更加安全、高效的完成城市区域内的飞行任务。务。务。


技术研发人员：罗喜伶 张添翼 徐文翔 王钢 王珺珺 章磊
受保护的技术使用者：杭州迅蚁网络科技有限公司
技术研发日：2023.07.11
技术公布日：2023/10/15