一种无人机辅助数据收集方法

1.本发明属于无人机数据收集领域，涉及一种无人机辅助数据收集方法。


背景技术：

2.无人机作为一种灵活、高效的数据采集平台，在物流、农业植保、无线通信等领域得到了广泛的应用。无人机可以搭载各种传感器和通信模块，与地面节点进行通信和数据交换，实现对目标区域的数据收集。无人机数据收集过程中需要考虑多方面的因素，如传感器节点的队列长度和丢包、无人机的信道特性、飞行范围与安全等。为了解决这些问题，需要优化设计无人机的轨迹和数据调度策略，以提升无人机数据收集性能。
3.近年来，已有研究考虑无人机数据收集问题，提出基于数据收集时间最短或无人机能耗优化的方法，但现有研究较少考虑传感器节点丢包及系统长期性能优化。本发明综合考虑无人机的传输速率、传感器节点的队列长度和丢包，提出了一种基于深度q网络(dqn)的无人机轨迹及数据调度策略优化方法，以实现长期传感器节点队列长度最小化。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种无人机辅助的数据收集的方法，针对包含多个无人机，多个传感器节点，建模系统状态、无人机动作、奖励函数以及dqn网络，以优化无人机轨迹为目标，实现最小化长期节点队列长度。
5.为达到上述目的，本发明提供如下技术方案：
6.一种无人机辅助数据收集方法，包括以下步骤：
7.s1：建模无人机辅助数据收集系统模型，由多个地面传感器节点和多个无人机组成；
8.s2：建模传感器节点数据调度标识；
9.s3：建模无人机信道特性；
10.s4：建模传感器节点传输速率和节点队列长度；
11.s5：建模系统状态；
12.s6：建模动作空间、奖励函数；
13.s7：建模无人机数据收集限制条件；
14.s8：建模并训练dqn网络；
15.s9：基于建模并训练的dqn网络得到无人机轨迹结果。
16.进一步，步骤s1中，建模无人机辅助数据收集系统模型，具体包括：
17.每个无人机采用ofdma的方式与地面节点通信，每个子信道的带宽为b，每个无人机占用一个信道与单个节点进行；令sni表示第i个传感器节点，1≤i≤n，n表示传感器节点的数量；uk表示第k个无人机，1≤k≤k，k表示无人机的数量；将系统时间离散化为等间隔的时隙，令τ表示每个时隙的长度，对无人机任务区域等间隔离散化，令分别表示离散化后x轴和y轴方向上的最大网格数，δl表示网格的宽度；令表
示无人机uk在t时刻的位置，h表示无人机的飞行高度；表示sni的位置。
18.进一步，步骤s2中所述建模传感器节点数据调度标识，具体包括：令δ
i,k
(t)表示t时刻传感器节点数据调度标识，δ
i,k
(t)＝1表示t时刻无人机uk与sni关联，反之δ
i,k
(t)＝0则表示不关联，1≤t≤t，t为时隙总数。
19.进一步，步骤s3中所述建模无人机信道特性，具体包括：
20.t时刻无人机uk与sni的距离为：
[0021][0022]
t时刻无人机uk和sni之间的信道特性为：
[0023][0024]
其中表示t时刻无人机uk和sni之间的链路为非视距nlos链路的概率，表示t时刻无人机uk和sni之间的链路为视距los链路的概率，建模为：
[0025][0026]
其中a、b为常数，θ
i,k
(t)表示t时刻sni和无人机uk之间的仰角，建模为：
[0027][0028]
表示t时刻无人机uk与sni之间链路为los链路时的信道增益，建模为：
[0029][0030]
其中fc为载波频率，c表示光速，表示t时刻无人机uk与sni之间链路为nlos链路时的信道增益，建模为：
[0031][0032]
其中μ为阴影衰落引起的nlos链路的附加路径损耗。
[0033]
进一步，步骤s4中所述建模传感器节点传输速率，具体包括：
[0034]
t时刻无人机uk和sni之间的传输速率为：
[0035][0036]
其中，pi表示sni的发送功率，σ2表示噪声功率；
[0037]
所述建模传感器节点队列长度，具体包括：
[0038]
sni处的队列的更新公式表示为：
[0039][0040]
其中qi(t)表示t时刻sni的队列长度，ai(t)表示t时刻sni新到达的数据量，ai(t)服从泊松分布；q
max
表示传感器的最大队列长度；若sni的数据量超出最大队列长度，则产生丢包；
[0041]
t时刻前sni的总丢包量为：
[0042]
li(0)＝0
[0043][0044]
进一步，步骤s5中所述建模系统状态，具体包括：
[0045]
系统在t时刻的状态为：
[0046][0047]
其中{qi(t)}，{li(t)}分别表示无人机的位置、传感器节点的位置、队列长度、丢包的集合。
[0048]
进一步，步骤s6中所述建模无人机动作空间及奖励函数，具体包括：
[0049]
无人机在每个时隙可移动至相邻网格或选择悬停动作；
[0050]
无人机在t时刻采取的移动策略为：
[0051][0052]
无人机uk在t时刻采取的联合动作为：
[0053]at,k
＝{a
t
,{δ
i,k
(t)}}
[0054]
t时刻无人机uk的奖励函数为：
[0055][0056]
其中，α，β为正的常数。
[0057]
进一步，步骤s7中所述建模无人机数据收集限制条件，具体包括：
[0058]
传感器节点数据调度限制：
[0059][0060]
无人机飞行范围限制：
[0061][0062]
无人机安全限制：
[0063][0064]
传感器节点数据传输性能限制：
[0065]ri,k
(t)≥δ
i,k
(t)r
th
。
[0066]
进一步，步骤s8中所述建模并训练dqn网络，具体包括以下步骤：
[0067]
s81：构建dqn网络，包含一个预测网络q(s,a；θ)，其中θ代表预测网络参数，一个目标网络q
′
(s,a；θ
′
)，其中θ
′
表示目标网络参数；
[0068]
s82：初始化网络的参数和超参数，如学习率、折扣因子、探索率等；
[0069]
s83：在每个时隙，根据系统当前状态和dqn的输出，以一定的概率选择一个动作，并执行该动作，系统转移至下一个状态；
[0070]
s84：观察执行动作后得到的状态和奖励值，并将状态、动作、奖励及下一步状态构成的四元组存储在经验回放池中；
[0071]
s85：从经验回放池中随机抽取一批四元组，使用目标网络计算目标值；
[0072]
s86：利用梯度下降等算法更新网络参数；
[0073]
s87：重复s83到s86直到网络收敛。
[0074]
进一步，步骤s9中所述基于dqn网络确定无人机飞行轨迹及数据调度策略，具体包括：根据环境的信息，包括传感器节点位置、队列长度、丢包信息，运行dqn网络，算法收敛后得到无人机运行轨迹及关联策略。
[0075]
本发明的有益效果在于：本发明通过联合优化无人机轨迹和关联策略，实现长期节点队列长度最小化。
[0076]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0077]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0078]
图1为系统场景示意图；
[0079]
图2为本发明的无人机辅助数据收集的流程示意图。
具体实施方式
[0080]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0081]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0082]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0083]
请参阅图1～图2，图1为系统场景示意图，如图1所示，系统中存在多个无人机和多个传感器节点，通过联合设计无人机轨迹及用户关联策略可实现最小化长期节点队列长度。
[0084]
图2为本发明的不确定信息环境无人机部署及用户关联方法的流程示意图，如图2所示，该方法具体包括以下步骤：
[0085]
步骤1：建模无人机辅助数据收集系统模型
[0086]
建模无人机辅助数据收集系统模型，系统由多个地面传感器节点和多个无人机组成；每个无人机采用ofdma的方式与地面节点通信，每个子信道的带宽为b，每个无人机占用一个信道与单个节点进行；令sni表示第i个传感器节点，1≤i≤n，n表示传感器节点的数量；uk表示第k个无人机，1≤k≤k，k表示无人机的数量；将系统时间离散化为等间隔的时隙，令τ表示每个时隙的长度，对无人机任务区域等间隔离散化，令分别表示离散化后x轴和y轴方向上的最大网格数，δl表示网格的宽度；令表示无人机uk在t时刻的位置，h表示无人机的飞行高度；表示sni的位置。
[0087]
步骤2：建模传感器节点数据调度标识
[0088]
建模传感器节点数据调度标识，令δ
i,k
(t)表示t时刻传感器节点数据调度标识，δ
i,k
(t)＝1表示t时刻无人机uk与sni关联，反之δ
i,k
(t)＝0则表示不关联，1≤t≤t，t为时隙总数。
[0089]
步骤3：建模无人机信道特性
[0090]
建模无人机信道特性，令d
i,k
(t)表示t时刻无人机uk与sni的距离，令h
i,k
(t)表示t时刻无人机uk和sni之间的信道特性，建模为其中表示t时刻无人机uk和sni之间的链路为非视距nlos链路的概率，nlos链路的概率，表示t时刻无人机uk和sni之间的链路为视距los链路的概率，建模为其中a、b为常数，θ
i,k
(t)表示t时刻sni和无人机uk之间的仰角，建模为：表示t时刻无人机uk与sni之间链路为los链路时的信道增益，建模为：其中fc为载波频率，c表示光速，表示t时刻无人机uk与sni之间链路为nlos链路时的信道增益，建模为：
其中μ为阴影衰落引起的nlos链路的附加路径损耗。
[0091]
步骤4：建模传感器节点传输速率
[0092]
建模传感器节点传输速率，令r
i,k
(t)表示t时刻无人机uk和sni之间的传输速率，建模为其中，pi表示sni的发送功率，σ2表示噪声功率。
[0093]
步骤5：建模传感器节点队列长度
[0094]
建模传感器节点队列长度，令qi(t)表示t时刻sni的队列长度，ai(t)表示t时刻sni新到达的数据量，ai(t)服从泊松分布；sni处的队列的更新公式可表示为：
[0095]
其中q
max
表示传感器的最大队列长度；若sni的数据量超出最大队列长度，则会产生丢包，令li(t)表示t时刻前sni的总丢包量，可建模为：
[0096]
步骤6：建模系统状态
[0097]
建模系统状态，令s(t)表示系统在t时刻的状态，包括无人机和传感器节点的位置信息、传感器节点的队列信息，传感器节点的丢包信息，具体的，其中{qi(t)}，{li(t)}分别表示无人机的位置、传感器节点的位置、队列长度、丢包的集合。
[0098]
步骤7：建模无人机动作空间及奖励函数
[0099]
建模无人机动作空间及奖励函数，无人机在每个时隙可移动至相邻网格或选择悬停动作，令a
t
表示无人机在t时刻采取的移动策略，可得令a
t,k
表示无人机uk在t时刻采取的联合动作，可得a
t,k
＝{a
t
,{δ
i,k
(t)}}；令rk(t)表示t时刻无人机uk的奖励函数，建模为其中，α，β为正的常数。
[0100]
步骤8：建模无人机数据收集限制条件
[0101]
建模无人机数据收集限制条件，传感器节点数据调度限制：建模无人机数据收集限制条件，传感器节点数据调度限制：无人机飞行范围限制：无人机安全限制：传感器节点数据传输性能限制：r
i,k
(t)≥δ
i,k
(t)r
th
。
[0102]
步骤9：建模并训练dqn网络
[0103]
建模并训练dqn网络：
[0104]
1)构建dqn网络，包含一个预测网络q(s,a；θ)，其中θ代表预测网络参数，一个目标网络q
′
(s,a；θ
′
)，其中θ
′
表示目标网络参数；
[0105]
2)初始化网络的参数和超参数，如学习率、折扣因子、探索率等；
[0106]
3)在每个时隙，根据系统当前状态和dqn的输出，以一定的概率选择一个动作，并执行该动作，系统转移至下一个状态；
[0107]
4)观察执行动作后得到的状态和奖励值，并将状态、动作、奖励及下一步状态构成的四元组存储在经验回放池中；
[0108]
5)从经验回放池中随机抽取一批四元组，使用目标网络计算目标值；
[0109]
6)利用梯度下降等算法更新网络参数；
[0110]
7)重复3)到6)直到网络收敛。
[0111]
步骤10：基于dqn网络确定无人机飞行轨迹及数据调度策略
[0112]
基于建模并训练的dqn网络确定无人机飞行轨迹及数据调度策略，根据环境的信息，包括传感器节点位置、队列长度、丢包等信息，运行dqn网络，算法收敛后可得无人机运行轨迹及调度策略。
[0113]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种无人机辅助数据收集方法，其特征在于：包括以下步骤：s1：建模无人机辅助数据收集系统模型，由多个地面传感器节点和多个无人机组成；s2：建模传感器节点数据调度标识；s3：建模无人机信道特性；s4：建模传感器节点传输速率；s5：建模传感器节点队列长度；s6：建模系统状态；s7：建模动作空间、奖励函数；s8：建模无人机数据收集限制条件；s9：建模并训练dqn网络；s10：基于建模并训练的dqn网络得到无人机轨迹结果。2.根据权利要求1所述的无人机辅助数据收集方法，其特征在于：步骤s1中，建模无人机辅助数据收集系统模型，具体包括：每个无人机采用ofdma的方式与地面节点通信，每个子信道的带宽为b，每个无人机占用一个信道与单个节点进行；令sn
i
表示第i个传感器节点，1≤i≤n，n表示传感器节点的数量；u
k
表示第k个无人机，1≤k≤k，k表示无人机的数量；将系统时间离散化为等间隔的时隙，令τ表示每个时隙的长度，对无人机任务区域等间隔离散化，令分别表示离散化后x轴和y轴方向上的最大网格数，δl表示网格的宽度；令表示无人机u
k
在t时刻的位置，h表示无人机的飞行高度；表示sn
i
的位置。3.根据权利要求1所述的无人机辅助数据收集方法，其特征在于：步骤s2中所述建模传感器节点数据调度标识，具体包括：令δ
i,k
(t)表示t时刻传感器节点数据调度标识，δ
i,k
(t)＝1表示t时刻无人机u
k
与sn
i
关联，反之δ
i,k
(t)＝0则表示不关联，1≤t≤t，t为时隙总数。4.根据权利要求1所述的无人机辅助数据收集方法，其特征在于：步骤s3中所述建模无人机信道特性，具体包括：t时刻无人机u
k
与sn
i
的距离为：t时刻无人机u
k
和sn
i
之间的信道特性为：其中表示t时刻无人机u
k
和sn
i
之间的链路为非视距nlos链路的概率，之间的链路为非视距nlos链路的概率，表示t时刻无人机u
k
和sn
i
之间的链路为视距los链路的概率，建模为：其中a、b为常数，θ
i,k
(t)表示t时刻sn
i
和无人机u
k
之间的仰角，建模为：
表示t时刻无人机u
k
与sn
i
之间链路为los链路时的信道增益，建模为：其中f
c
为载波频率，c表示光速，表示t时刻无人机u
k
与sn
i
之间链路为nlos链路时的信道增益，建模为：其中μ为阴影衰落引起的nlos链路的附加路径损耗。5.根据权利要求1所述的无人机辅助数据收集方法，其特征在于：步骤s4中所述建模传感器节点传输速率，具体包括：t时刻无人机u
k
和sn
i
之间的传输速率为：其中，p
i
表示sn
i
的发送功率，σ2表示噪声功率；所述建模传感器节点队列长度，具体包括：sn
i
处的队列的更新公式表示为：其中q
i
(t)表示t时刻sn
i
的队列长度，a
i
(t)表示t时刻sn
i
新到达的数据量，a
i
(t)服从泊松分布；q
max
表示传感器的最大队列长度；若sn
i
的数据量超出最大队列长度，则产生丢包；t时刻前sn
i
的总丢包量为：l
i
(0)＝06.根据权利要求1所述的无人机辅助数据收集方法，其特征在于：步骤s5中所述建模系统状态，具体包括：系统在t时刻的状态为：其中{q
i
(t)}，{l
i
(t)}分别表示无人机的位置、传感器节点的位置、队列长度、丢包的集合。7.根据权利要求1所述的无人机辅助数据收集方法，其特征在于：步骤s6中所述建模无人机动作空间及奖励函数，具体包括：
无人机在每个时隙可移动至相邻网格或选择悬停动作；无人机在t时刻采取的移动策略为：无人机u
k
在t时刻采取的联合动作为：a
t,k
＝{a
t
,{δ
i,k
(t)}}t时刻无人机u
k
的奖励函数为：其中，α，β为正的常数。8.根据权利要求1所述的无人机辅助数据收集方法，其特征在于：步骤s7中所述建模无人机数据收集限制条件，具体包括：传感器节点数据调度限制：无人机飞行范围限制：无人机安全限制：传感器节点数据传输性能限制：r
i,k
(t)≥δ
i,k
(t)r
th
。9.根据权利要求1所述的无人机辅助数据收集方法，其特征在于：s81：构建dqn网络，包含一个预测网络q(s,a；θ)，其中θ代表预测网络参数，一个目标网络q
′
(s,a；θ
′
)，其中θ
′
表示目标网络参数；s82：初始化网络的参数和超参数，如学习率、折扣因子、探索率等；s83：在每个时隙，根据系统当前状态和dqn的输出，以一定的概率选择一个动作，并执行该动作，系统转移至下一个状态；s84：观察执行动作后得到的状态和奖励值，并将状态、动作、奖励及下一步状态构成的四元组存储在经验回放池中；s85：从经验回放池中随机抽取一批四元组，使用目标网络计算目标值；s86：利用梯度下降等算法更新网络参数；s87：重复s83到s86直到网络收敛。10.根据权利要求1所述的无人机辅助数据收集方法，其特征在于：步骤s9中所述基于dqn网络确定无人机飞行轨迹及数据调度策略，具体包括：根据环境的信息，包括传感器节点位置、队列长度、丢包信息，运行dqn网络，算法收敛后得到无人机运行轨迹及关联策略。

技术总结
本发明涉及一种无人机辅助数据收集方法，包括以下步骤：S1：建模无人机辅助数据收集系统模型，由多个地面传感器节点和多个无人机组成；S2：建模传感器节点数据调度标识；S3：建模无人机信道特性；S4：建模传感器节点传输速率和节点队列长度；S5：建模系统状态；S6：建模动作空间、奖励函数；S7：建模无人机数据收集限制条件；S8：建模并训练DQN网络；S9：基于建模并训练的DQN网络得到无人机轨迹结果。本发明通过联合优化无人机轨迹和关联策略，实现长期节点队列长度最小化。队列长度最小化。队列长度最小化。


技术研发人员：柴蓉 杨泞渝 邱江 陈前斌
受保护的技术使用者：重庆邮电大学
技术研发日：2023.07.27
技术公布日：2023/10/11