基于大小模型切换的无人机集群动态协同推理系统及方法

1.本发明属于无人机集群协同推理技术领域，具体地，涉及一种基于大小模型切换的无人机集群动态协同推理系统及方法。


背景技术：

2.近年来，随着人工智能技术的发展，深度神经网络正在被广泛地应用在包括语音处理、图像识别以及自然语言处理在内的各个领域，并且取得了令人惊艳的表现。然而随着深度神经网络的复杂化，模型所需要的计算以及存储空间都增大了很多，因此对于网络训练以及推理来说都需要更多的资源。由于边缘设备的计算和存储资源往往是有限的，因此，移动设备上的大多数人工智能应用程序通常将数据发送到云服务器，由云服务器来执行模型训练以及推理任务，得到结果之后再将其返回至边缘设备。然而传统的云计算模式存在实时性不够、带宽不足、高能耗以及隐私性差的问题。
3.随着边缘设备计算能力以及存储空间的提升以及模型压缩与优化技术的发展，可以将对深度学习模型的推理任务从云服务器移动到边缘设备上来实现，从而有效缓解云计算模式的问题。现有的协同推理方法通常只是将高精度模型进行模型切割并将子模型部署到边缘设备上来进行推理，然而这种推理模式在无人机所处环境有干扰时会导致推理效果不佳，从而影响到实际的应用，缺少鲁棒性。


技术实现要素：

4.针对现有技术的不足，本发明提供了一种基于大小模型切换的无人机集群动态协同推理系统及方法，在推理开始时根据无人机当前所处环境信息来选择用大模型协同推理或者小模型单机推理，从而提高模型推理对推理环境的适用性，具有现实意义与良好的应用前景。
5.为实现上述目的，本发明采用以下技术方案实现：一种基于大小模型切换的无人机集群动态协同推理系统，无人机集群由多架具有计算能力的异构无人机组成，每架无人机包括：部署于每架无人机上的大模型、小模型、环境感知模块和信息反馈模块，所述环境感知模块与信息反馈模块连接，所述信息反馈模块与无人机连接，所述无人机分别与大模型、小模型连接；
6.所述环境感知模块用于感知环境信息；
7.所述信息反馈模块用于接收环境感知模块感知的环境信息，并用于与无人机的通信交流和数据传输；
8.所述大模型用于根据信息反馈模块接收的环境信息进行无人机协同执行推理任务，所述大模型为高精度复杂机器学习模型；
9.所述小模型用于根据信息反馈模块接收的环境信息进行无人机单机执行推理任务，所述小模型为较高精度的轻量机器学习模型。
10.进一步地，所述环境感知模块感知的环境信息包括：当前无人机的计算能力和通
信质量。
11.进一步地，所述高精度复杂机器学习模型为参数量大于等于10m的深度神经网络模型。
12.进一步地，所述较高精度的轻量机器学习模型为参数量小于10m的深度神经网络模型。
13.进一步地，本发明还提供了一种所述基于大小模型切换的无人机集群动态协同推理系统的无人机集群动态协同推理方法，具体包括如下步骤：
14.步骤s1、在n架无人机的集群中，无人机i接收到推理任务需求，通过无人机i上的环境感知模块进行自身信息感知，并通过信息反馈模块将无人机i的自身信息与推理任务需求反馈给无人机集群中剩余的n-1架无人机；所述无人机i的自身信息包括：无人机i的计算能力fi、无人机i与剩余的n-1架无人机的通信质量c
i,j
,(j≠i)；
15.步骤s2、无人机集群中剩余的n-1架无人机在接收到无人机i的自身信息与推理任务需求后，通过各自环境感知模块对自身当前环境信息进行感知，并通过信息反馈模块将自身当前环境信息反馈至无人机i；所述n-1架无人机中每架无人机的自身当前环境信息包括：无人机a的计算能力fa,a∈[1,n],a≠i、无人机a与无人机b之间的通信质量c
a,b
,a,b∈
[0016]
[1,n],a≠b≠i；
[0017]
步骤s3、无人机i根据推理任务需求对收到的n-1架无人机的自身当前环境信息进行判断，并反馈给大模型或小模型执行推理任务。
[0018]
进一步地，步骤s3中若推理任务需求有最低时延要求，则步骤s3的具体过程如下：
[0019]
步骤s31、根据n-1架无人机的自身当前环境信息估计无人机协同推理的最佳时延lc以及所需进行推理任务的z架无人机，z∈(1,n)；
[0020]
步骤s32、根据推理任务需求估计无人机i进行单机推理的时延ls；
[0021]
步骤s33、若lc≤ls，则将推理任务对应的大模型进行模型分割，并分配给z架不同的无人机，由这z架无人机来进行协同推理；若lc》ls,则由无人机i进行小模型单机推理。
[0022]
进一步地，步骤s3中若推理任务需求精度为a，则步骤s3的具体过程为：将部署的小模型精度as与推理任务需求精度a进行比较，若as≥a，则由无人机i进行小模型单机推理，若as《a,则在满足推理任务需求精度a下，根据n-1架无人机的自身当前环境信息估计无人机协同推理的最佳时延lc以及所需进行推理任务的z架无人机，由z架无人机来进行协同推理，z∈(1,n)。
[0023]
进一步地，所述无人机协同推理的最佳时延lc的计算过程如下：将n-1架无人机进行组合，根据每架无人机的计算能力获取推理时延，根据n-1架无人机之间的通信质量c
a,b
,a,b∈[1,n],a≠b≠i获取通信时延，将推理时延和通信时延总和最小的作为最佳时延lc。
[0024]
进一步地，所述无人机i与剩余的n-1架无人机的通信质量c
i,j
,(j≠i)的计算过程为：
[0025][0026]
其中，b
i,j
为无人机i与无人机j之间的带宽，s
i,j
为无人机i与无人机j之间信道所传信号的平均功率，m
i,j
为无人机i与无人机j之间信道内部的高斯噪声功率。
[0027]
进一步地，所述无人机a与无人机b之间的通信质量c
a,b
的计算过程为：
[0028][0029]
其中,b
a,b
为无人机a与无人机b之间的带宽，s
a,b
为无人机a与无人机b之间信道内所传信号的平均功率，m
a,b
为无人机a与无人机b之间信道内部的高斯噪声功率。
[0030]
与现有技术相比，本发明的有益效果为：本发明不同于常规的复杂模型协同推理或单机执行轻量模型推理方法，将大模型和小模型同时布置于无人机上，通过信息反馈模块接收的环境信息以及推理任务需求进行判断，反馈给大模型或小模型执行推理任务，从而实现大模型、小模型的动态切换，根据实际情况灵活地选择合适模型，从而能够更好地完成推理任务。本发明基于大小模型切换的无人机集群动态协同推理方法可以提高无人机集群动态协同推理系统的可靠性和鲁棒性。
附图说明
[0031]
图1是本发明基于大小模型切换的无人机集群动态协同推理方法的无人机搭载信息以及方法流程图；
[0032]
图2是本发明无人机i获取无人机集群环境信息场景图；
[0033]
图3是本发明考虑时延情况下的无人机集群协同推理与无人机i单机推理的场景图；
[0034]
图4是本发明考虑精度情况下的无人机集群协同推理与无人机i单机推理的场景图。
具体实施方式
[0035]
下面结合附图对本发明的技术方案作进一步地解释说明。
[0036]
如图1，本发明提供了一种基于大小模型切换的无人机集群动态协同推理系统，无人机集群由多架具有计算能力的异构无人机组成，每架无人机包括：部署于每架无人机上的大模型、小模型、环境感知模块和信息反馈模块，环境感知模块与信息反馈模块连接，信息反馈模块与无人机连接，无人机分别与大模型、小模型连接；
[0037]
环境感知模块用于感知环境信息，包括：当前无人机的计算能力和通信质量；
[0038]
信息反馈模块用于接收环境感知模块感知的环境信息，并用于与无人机的通信交流和数据传输；
[0039]
大模型用于根据信息反馈模块接收的环境信息进行无人机协同执行推理任务，大模型为高精度复杂机器学习模型，高精度复杂机器学习模型为参数量大于等于10m的深度神经网络模型，如：vgg、resnet。
[0040]
小模型用于根据信息反馈模块接收的环境信息进行无人机单机执行推理任务，小模型为较高精度的轻量机器学习模型，较高精度的轻量机器学习模型为参数量小于10m的深度神经网络模型，如：squeezenet、mobilenet、shufflenet。
[0041]
本发明还提供了一种基于大小模型切换的无人机集群动态协同推理系统的无人机集群动态协同推理方法，具体包括如下步骤：
[0042]
步骤s1、如图2，在n架无人机的集群中，无人机i接收到推理任务需求，通过无人机i上的环境感知模块进行自身信息感知，并通过信息反馈模块将无人机i的自身信息与推理
任务需求反馈给无人机集群中剩余的n-1架无人机；本发明中无人机i的自身信息包括：无人机i的计算能力fi、无人机i与剩余的n-1架无人机的通信质量c
i,j
,(j≠i)；
[0043]
其中，无人机i与剩余的n-1架无人机的通信质量c
i,j
,(j≠i)的计算过程为：
[0044][0045]
其中，b
i,j
为无人机i与无人机j之间的带宽，s
i,j
为无人机i与无人机j之间信道所传信号的平均功率，m
i,j
为无人机i与无人机j之间信道内部的高斯噪声功率。
[0046]
步骤s2、无人机集群中剩余的n-1架无人机在接收到无人机i的自身信息与推理任务需求后，通过各自环境感知模块对自身当前环境信息进行感知，并通过信息反馈模块将自身当前环境信息反馈至无人机i；本发明中n-1架无人机中每架无人机的自身当前环境信息包括：无人机a的计算能力fa,a∈[1,n],a≠i、无人机a与无人机b之间的通信质量c
a,b
,a,b∈
[0047]
[1,n],a≠b≠i；
[0048]
其中，无人机a与无人机b之间的通信质量c
a,b
的计算过程为：
[0049][0050]
其中,b
a,b
为无人机a与无人机b之间的带宽，s
a,b
为无人机a与无人机b之间信道内所传信号的平均功率，m
a,b
为无人机a与无人机b之间信道内部的高斯噪声功率。
[0051]
步骤s3、无人机i根据推理任务需求对收到的n-1架无人机的自身当前环境信息进行判断，并反馈给大模型或小模型执行推理任务，能够根据无人机集群当前环境信息与推理任务需求选择合适的模型来执行推理任务，从而能够在符合推理任务需求的同时更加节省资源或者获得更高的推理精度。具体地：
[0052]
步骤s3中若推理任务需求有最低时延要求，如图3，则步骤s3的具体过程如下：
[0053]
步骤s31、根据n-1架无人机的自身当前环境信息估计无人机协同推理的最佳时延lc以及所需进行推理任务的z架无人机，z∈(1,n)，其中，由于无人机i为接收推理任务的无人机，因此，z架无人机中包含无人机i；
[0054]
步骤s32、根据推理任务需求估计无人机i进行单机推理的时延ls；
[0055]
步骤s33、若lc≤ls，则将推理任务对应的大模型进行模型分割，并分配给z架不同的无人机，由这z架无人机来进行协同推理；若lc》ls,则由无人机i进行小模型单机推理，通过本方法若选择大模型协同推理，则可以保证满足时延要求的同时获得更高的推理精度，若选择小模型单机推理，则可以保证满足时延要求的同时更加节省资源。
[0056]
步骤s3中若推理任务需求精度为a，如图4，则步骤s3的具体过程为：将部署的小模型精度as与推理任务需求精度a进行比较，若as≥a，则由无人机i进行小模型单机推理，若as《a,则在满足推理任务需求精度a下，根据n-1架无人机的自身当前环境信息估计无人机协同推理的最佳时延lc以及所需进行推理任务的z架无人机，由z架无人机来进行协同推理，可以在满足精度要求的情况下选择推理时延最低的无人机子集，从而达到最佳协同推理效果，即既满足精度要求又有较低的时延。
[0057]
本发明中无人机协同推理的最佳时延lc的计算过程如下：将n-1架无人机进行组
合，根据每架无人机的计算能力获取推理时延，根据n-1架无人机之间的通信质量c
a,b
,a,b∈[1,n],a≠b≠i获取通信时延，将推理时延和通信时延总和最小的作为最佳时延lc。将最佳延时下的无人机组合以及无人机i共同作为完成协同推理任务的z架无人机。
[0058]
本发明基于大小模型切换的无人机集群动态协同推理方法能够将高精度的复杂机器学习模型与较高精度的轻量机器学习模型进行动态切换，从而能够更好的适应推理环境并进行推理任务。本发明还可以针对应用对时延与精度的要求来选择推理方式，使得无人机集群根据应用需求动态选择执行大模型或小模型来得到满足需求的推理结果。
[0059]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施方式，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

技术特征：
1.一种基于大小模型切换的无人机集群动态协同推理系统，其特征在于，无人机集群由多架具有计算能力的异构无人机组成，每架无人机包括：部署于每架无人机上的大模型、小模型、环境感知模块和信息反馈模块，所述环境感知模块与信息反馈模块连接，所述信息反馈模块与无人机连接，所述无人机分别与大模型、小模型连接；所述环境感知模块用于感知环境信息；所述信息反馈模块用于接收环境感知模块感知的环境信息，并用于与无人机的通信交流和数据传输；所述大模型用于根据信息反馈模块接收的环境信息进行无人机协同执行推理任务，所述大模型为高精度复杂机器学习模型；所述小模型用于根据信息反馈模块接收的环境信息进行无人机单机执行推理任务，所述小模型为较高精度的轻量机器学习模型。2.根据权利要求1所述的一种基于大小模型切换的无人机集群动态协同推理系统，其特征在于，所述环境感知模块感知的环境信息包括：当前无人机的计算能力和通信质量。3.根据权利要求1所述的一种基于大小模型切换的无人机集群动态协同推理系统，其特征在于，所述高精度复杂机器学习模型为参数量大于等于10m的深度神经网络模型。4.根据权利要求1所述的一种基于大小模型切换的无人机集群动态协同推理系统，其特征在于，所述较高精度的轻量机器学习模型为参数量小于10m的深度神经网络模型。5.一种权利要求1-4任一项所述基于大小模型切换的无人机集群动态协同推理系统的无人机集群动态协同推理方法，其特征在于，具体包括如下步骤：步骤s1、在n架无人机的集群中，无人机i接收到推理任务需求，通过无人机i上的环境感知模块进行自身信息感知，并通过信息反馈模块将无人机i的自身信息与推理任务需求反馈给无人机集群中剩余的n-1架无人机；所述无人机i的自身信息包括：无人机i的计算能力f
i
、无人机i与剩余的n-1架无人机的通信质量c
i，j
，(j≠i)；步骤s2、无人机集群中剩余的n-1架无人机在接收到无人机i的自身信息与推理任务需求后，通过各自环境感知模块对自身当前环境信息进行感知，并通过信息反馈模块将自身当前环境信息反馈至无人机i；所述n-1架无人机中每架无人机的自身当前环境信息包括：无人机a的计算能力f
a
，a∈[1，n]，a≠i、无人机a与无人机b之间的通信质量c
a，b
，a，b∈[1，n]，a≠b≠i；步骤s3、无人机i根据推理任务需求对收到的n-1架无人机的自身当前环境信息进行判断，并反馈给大模型或小模型执行推理任务。6.根据权利要求5所述的基于大小模型切换的无人机集群动态协同推理系统的无人机集群动态协同推理方法，其特征在于，步骤s3中若推理任务需求有最低时延要求，则步骤s3的具体过程如下：步骤s31、根据n-1架无人机的自身当前环境信息估计无人机协同推理的最佳时延l
c
以及所需进行推理任务的z架无人机，z∈(1，n)；步骤s32、根据推理任务需求估计无人机i进行单机推理的时延l
s
；步骤s33、若l
c
≤l
s
，则将推理任务对应的大模型进行模型分割，并分配给z架不同的无人机，由这z架无人机来进行协同推理；若l
c
>l
s
，则由无人机i进行小模型单机推理。7.根据权利要求5所述的基于大小模型切换的无人机集群动态协同推理系统的无人机
集群动态协同推理方法，其特征在于，步骤s3中若推理任务需求精度为a，则步骤s3的具体过程为：将部署的小模型精度a
s
与推理任务需求精度a进行比较，若a
s
≥a，则由无人机i进行小模型单机推理，若a
s
<a，则在满足推理任务需求精度a下，根据n-1架无人机的自身当前环境信息估计无人机协同推理的最佳时延l
c
以及所需进行推理任务的z架无人机，由z架无人机来进行协同推理，z∈(1，n)。8.根据权利要求6或7所述的基于大小模型切换的无人机集群动态协同推理系统的无人机集群动态协同推理方法，其特征在于，所述无人机协同推理的最佳时延l
c
的计算过程如下：将n-1架无人机进行组合，根据每架无人机的计算能力获取推理时延，根据n-1架无人机之间的通信质量c
a，b
，a，b∈[1，n]，a≠b≠i获取通信时延，将推理时延和通信时延总和最小的作为最佳时延l
c
。9.根据权利要求5所述的基于大小模型切换的无人机集群动态协同推理系统的无人机集群动态协同推理方法，其特征在于，所述无人机i与剩余的n-1架无人机的通信质量ci
，j，
(j≠i)的计算过程为：其中，b
i，j
为无人机i与无人机j之间的带宽，s
i，j
为无人机i与无人机j之间信道所传信号的平均功率，m
i，j
为无人机i与无人机j之间信道内部的高斯噪声功率。10.根据权利要求5所述的基于大小模型切换的无人机集群动态协同推理系统的无人机集群动态协同推理方法，其特征在于，所述无人机a与无人机b之间的通信质量c
a，b
的计算过程为：其中，b
a，b
为无人机a与无人机b之间的带宽，s
a，b
为无人机a与无人机b之间信道内所传信号的平均功率，m
a，b
为无人机a与无人机b之间信道内部的高斯噪声功率。

技术总结
本发明公开了一种基于大小模型切换的无人机集群动态协同推理系统及方法，无人机集群由多架具有计算能力的异构无人机组成，每架无人机包括：部署于每架无人机上的大模型、小模型、环境感知模块和信息反馈模块，环境感知模块与信息反馈模块连接，信息反馈模块与无人机连接，无人机分别与大模型、小模型连接；环境感知模块用于感知环境信息；信息反馈模块用于接收环境感知模块感知的环境信息，并用于与无人机的通信交流和数据传输；大模型用于根据信息反馈模块接收的环境信息进行无人机协同执行推理任务；小模型用于根据信息反馈模块接收的环境信息进行无人机单机执行推理任务，通过大小模型切换从而更好地完成推理任务。小模型切换从而更好地完成推理任务。小模型切换从而更好地完成推理任务。


技术研发人员：董超 李玉 屈毓锛 孙浩 张磊 吴启晖
受保护的技术使用者：南京航空航天大学
技术研发日：2023.04.11
技术公布日：2023/7/22