基于分布式模型预测控制的多智能体协同突防打击方法

1.本发明涉及多智能体系统的协同作战技术领域，具体而言，涉及一种基于分布式模型预测控制的多智能体协同突防打击方法。


背景技术：

2.多智能体系统的协同作战是未来智能作战的重要方式，目前已经成为研究的重点，指的是通过多智能体协同探索、协同突防和协同打击等，共同完成打击敌方目标的作战任务。在近距空战突防中，智能体通过机载传感器获得其他智能体以及周围环境信息，但是敌方同时也会派遣智能体进行拦截，我方智能体必须采取一系列的机动策略躲避敌方智能体才能完成打击任务。多智能体协同突防问题要求在近距对抗的过程中满足单个智能体动力学方程的同时，满足避障和避碰等硬性约束。因此，模型预测控制(model predictive control,mpc)因其处理约束的能力，而广泛应用解决协同打击问题。
3.目前，多智能体协同打击的方式主要有两种，一是独立协同打击；二是分布式协同打击。独立协同打击不与其他智能体间相互作用，主要依靠其收集的信息和相应的控制策略完成打击任务。不同于独立协同打击，分布式协同打击存在各智能体之间的信息交换行为，被认为是最有效打击目标的方式之一。传统的基于模型预测控制的协同打击问题主要采用集中式mpc，所有的智能体采用同一个控制架构，根据系统的综合信息从全局角度做出机动决策，所有的信息会传输到中心控制站，然后再分别将相应决策传输到每个智能体。在这一框架下，可以获得整个系统的最优控制性能。但是如果中心控制站出现故障，整个系统都将无法运行。并且，采用集中式方式求解将面临维数灾问题，难以实现对战场变化的快速反应。因此，针对中大型系统，分布式模型预测控制(distributed model predictive control,dmpc)得到了广泛应用。目前有文献研究了多智能体冲击角约束下的协同制导问题，采用leader-follower的打击方式，将多智能体协同打击问题重构为可考虑复杂约束的分布式优化问题，所有子系统采用滚动时域更新的策略。还有文献提出了一种基于约束鲁棒模型预测控制的弹性飞行器综合制导控制方法。该设计基于局部状态反馈控制律，在线性矩阵不等式的框架内最小化代价函数。同时，考虑了非线性运动学和动力学因素，保证了闭环非线性系统的内部稳定性。这些文献在求解问题时利用分布式算法的特性，解决了集中式算法存在的不足，但是都没有考虑系统中可能存在具有拦截策略的敌方智能体。在实际的多智能体系统协同打击过程中，敌方为保护目标会派遣智能体进行拦截，通常情况下敌方智能体具有较强的拦截策略以阻止我方智能体的打击。


技术实现要素：

4.本发明在于提供一种基于分布式模型预测控制的多智能体协同突防打击方法，在满足避障和避碰的约束条件下实现多智能体的突防并完成打击目标，利用分布式算法，将协同打击的突防问题转换为带有耦合约束条件的优化问题，解决了集中式算法的不足，提高了系统的在线求解速度，并通过协同打击的突防算法实现躲避敌方智能体的拦截并击中
目标。
5.本发明采取的技术方案如下：
6.一种基于分布式模型预测控制的多智能体协同突防打击方法，包括以下步骤：
7.s1、构建多智能体动力学模型；
8.s2、根据多智能体动力学模型和时间步长，构建多智能体的更新系统模型；
9.s3、制定飞行约束条件，包括避免与障碍物碰撞的约束，避免与我方智能体碰撞的约束，和智能体的飞行约束；
10.s4、将避免与敌方智能体的碰撞条件作为软约束考虑在目标函数中，构建智能体的总目标函数；
11.s5、根据多智能体的更新系统模型、飞行约束条件和智能体的总目标函数，构建多智能体协同突防打击模型；
12.s6、基于分布式mpc算法，对避免与我方智能体碰撞的约束进行解耦处理，以及在任意时刻，有且仅有一个智能体求解多智能体协同突防打击模型，得到未来的控制输入，更新控制输入序列，其它智能体则各自采用自身上一次更新获得的控制输入序列。
13.在本发明的一较佳实施方式中，步骤s1中，多智能体动力学模型为：
[0014][0015]
其中，
[0016][0017]
表示xi关于t求导，ng表示智能体个数，l表示智能体集合，vi(t),χi(t),γi(t)分别表示智能体i的速度、偏航角和俯仰角，g表示重力加速度，分别表示智能体i在x轴、y轴和z轴方向的过载，智能体i的状态向量xi＝[xi,yi,zi,vi,χi,γi]∈r6，控制向量r表示实数空间，xi(t),yi(t),zi(t)分别表示智能体i在x轴、y轴和z轴的位置，zi(t)＝(xi(t),yi(t),zi(t))。
[0018]
在本发明的一较佳实施方式中，步骤s2中，多智能体的更新系统模型为δt表示时间步长。
[0019]
在本发明的一较佳实施方式中，步骤s3中，避免与障碍物碰撞的约束为：
[0020][0021]
其中，zo＝(xo,yo,zo)表示障碍物位置，表示智能体与障碍物之间需要保持的安全距离；
[0022]
避免与我方智能体碰撞的约束为：
[0023][0024]
其中，d
ik
表示智能体i与智能体k的相对距离，为各智能体之间的安全距离；
[0025]
智能体的飞行约束为：
[0026]vmin
≤vi(t)≤v
max
[0027][0028][0029][0030]
其中，v
min
，v
max
分别表示智能体的最小安全飞行速度和最大安全飞行速度，分别表示智能体的最小安全飞行速度和最大安全飞行速度，分别为x轴、y轴和z轴方向的最大过载。
[0031]
在本发明的一较佳实施方式中，步骤s4中，第i个智能体的总目标函数ji为：
[0032][0033]
其中，
[0034][0035]zt
＝(x
t
,y
t
,z
t
)表示目标位置，表示敌方智能体j的位置，表示智能体与拦截器之间的安全距离，n表示预测时域，li(t+l)表示第i个智能体在当前时刻t预测第l步的目标函数，βi表示与敌方相距距离的惩罚因子，ρi表示控制量的权重。
[0036]
在本发明的一较佳实施方式中，步骤s5中，多智能体协同突防打击模型为：
[0037][0038]
s.t.zi(t∣t)＝zi(t),
[0039]
xi(t+l+1∣t)＝xi(t+l∣t)+f(xi,ui)δt,
[0040][0041][0042][0043][0044]
i,k＝1,2,
…
,ng,
[0045]
l＝0,1,
…
,n-1
[0046]
其中，表示允许控制集合，表示允许状态集合，n表示预测步长。
[0047]
与现有技术相比，本发明的有益效果是：
[0048]
本发明考虑了存在多个具有拦截策略的敌方智能体的多智能体系统的协同突防打击问题,利用分布式算法进行求解，解决了约束条件中的耦合问题，同时也避免了集中式算法计算强度大、不能满足在线实时要求的问题；此外，分布式算法中采用了“冻结策略”，即在严格的约束条件下按顺序对每个智能体进行更新，同时冻结其它智能体的控制输入，采用这样的方式可以保证分布式mpc方案的可行性和稳定性，增强了多智能体系统的稳定性。
[0049]
为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。
附图说明
[0050]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0051]
图1是本发明基于分布式模型预测控制的多智能体协同突防打击方法流程图；
[0052]
图2是仿真实验中所有智能体的轨迹；
[0053]
图3是仿真实验中所有智能体与敌方智能体1的相对距离；
[0054]
图4是仿真实验中所有智能体与敌方智能体2的相对距离；
[0055]
图5是仿真实验中所有智能体与障碍物的相对距离。
具体实施方式
[0056]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
[0057]
本发明提供一种基于分布式模型预测控制的多智能体协同突防打击方法，具体如下：
[0058]
考虑多智能体协同突防打击静止目标的场景，多智能体动力学模型表示如下，
[0059][0060]
其中，xi(t),yi(t),zi(t)分别表示智能体i在x轴、y轴和z轴的位置，定义zi(t)＝(xi(t),yi(t),zi(t))。此外，表示xi(t)关于t求导，其余符号类似。另外，vi(t),χi(t),γi(t)分别表示智能体i的速度、偏航角和俯仰角，分别表示智能体i在x
轴、y轴和z轴方向的过载，g表示重力加速度，ng表示智能体个数。对于每个智能体，定义智能体i的状态向量xi表示如下：
[0061]
xi＝[xi,yi,zi,vi,χi,γi]∈r6ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0062]
另外，定义三个过载作为控制输入
[0063][0064]
因此，根据定义的状态向量xi和控制向量ui，各智能体系统模型(1)(即多智能体动力学模型)式被简化表示为
[0065][0066]
其中，表示xi关于t求导，l表示智能体集合，
[0067][0068]
因此，多智能体的更新系统模型表示如下
[0069][0070]
其中δt表示时间步长。
[0071]
本发明旨在所有智能体到达目标位置，在满足飞行约束条件下能够躲避敌方智能体的拦截同时避免与障碍物碰撞。本发明考虑了以下几个约束条件：
[0072]
1)避免与障碍物碰撞
[0073][0074]
其中，zo＝(xo,yo,zo)表示障碍物位置，表示智能体与障碍物之间需要保持的安全距离。
[0075]
2)避免与我方智能体碰撞
[0076][0077]
其中，d
ik
表示智能体i与智能体k的相对距离，为各智能体之间的安全距离。
[0078]
3)智能体的飞行约束
[0079]vmin
≤vi(t)≤v
max
[0080][0081][0082][0083]
其中，v
min
，v
max
分别表示智能体的最小安全飞行速度和最大安全飞行速度，
分别为x轴、y轴和z轴方向的最大过载。
[0084]
由于在近距作战突防过程中，敌方智能体会紧密跟踪我方智能体并对其进行拦截，为了保证我方智能体的安全，要求我方智能体需与敌方智能体保持一定的安全距离。然而，当我方智能体距离目标较近时，此时敌方智能体相距我方智能体也很近，如果将避免与敌方智能体碰撞的条件作为硬性约束进行限制时，那么将会在满足约束条件的情况下优化与目标的相对距离，这样会导致我方智能体无法到达目标。因此，将避免与敌方智能体的碰撞条件作为软约束考虑在目标函数中，第i个智能体的总目标函数ji构造为如下形式：
[0085][0086]
其中，
[0087][0088]zt
＝(x
t
,y
t
,z
t
)表示目标位置，表示敌方智能体j的位置，表示智能体与拦截器之间的安全距离，n表示预测时域，li(t+l)表示第i个智能体在当前时刻t预测第l步的目标函数，βi表示与敌方相距距离的惩罚因子，ρi表示控制量的权重。
[0089]
多智能体协同突防打击问题构造成如下优化问题：
[0090][0091]
其中，表示允许控制集合，表示允许状态集合。
[0092]
本发明基于分布式mpc算法对多智能体协同突防打击模型进行求解。
[0093]
由于问题(10)中，存在耦合约束(8)，因此在采用分布式算法进行计算时，需要对耦合约束进行解耦处理以便于求解。在严格的约束条件下按顺序对每个智能体进行更新，同时冻结其他智能体的控制输入，采用这样的方式可以保证分布式mpc方案的可行性和稳定性。为了对耦合约束进行处理，本发明在求解过程中采用了“冻结策略”，也就是，在任意时刻t，仅有一个智能体i将求解问题(10)，计算获得其未来n步的控制输入，然后更新其控
制输入序列：
[0094][0095]
而其他智能体k∈l\i将采用自身上一次更新获得的控制输入序列：
[0096][0097]
其中m是移位矩阵，具体表示如下：
[0098][0099]
其中表示具有行列的单位矩阵。
[0100]
在时刻t，其他智能体k∈l\i的控制输入序列由它上一次更新的解和0组成。此外，每次求解智能体的更新顺序可以任意选择，但在迭代过程中仅按照确定的更新顺序进行计算。
[0101]
因此，在任意时刻t，仅存在一个局部优化问题需要求解，而其他优化问题的结果保持其上一次计算优化的解，即其他智能体将其上一次更新计算的结果作为最新的控制输入。由式(12)可以看出，在时刻t智能体k∈l\i的控制输入和状态xk是固定的，所以问题(10)可以采用分布式算法进行求解。
[0102]
综上所述，基于分布式mpc算法的协同突防打击问题可建模为如下形式：
[0103][0104]
在问题(10)中，智能体状态zi与其余智能体状态zk均是未知的，且由约束(8)可知它们强耦合在一起，导致问题(10)难于求解。但是，在问题(14)的任意时刻t，这里仅需要对一个智能体求解，而每次求解智能体的更新顺序可以任意选择，但在迭代过程中仅按照确定的更新顺序进行计算，从而实现多个智能体的解耦求解。此外，其他智能体的状态zk采用冻结策略，即由其上一次更新计算的结果获得，意味着是已知的，因此问题(14)转化为易求解的形式。
[0105]
采用分布式协同突防打击问题算法进行求解，需要获得一个初始解，这里通过求解集中式协同突防打击问题来获得，集中式协同突防打击问题构建如下：
[0106][0107]
本发明中，分布式协同突防打击问题算法的具体步骤如下：
[0108]
1)计算集中式协同突防打击问题，获得的解作为每个智能体的初始控制序列初始化迭代次数n＝1，如果未获得可行解(即满足问题(15)中所有约束条件的解)，则算法终止，否则，转至步骤2)；
[0109]
在迭代时，n≤最大迭代次数。
[0110]
2)计算更新智能体的索引i。
[0111]
3)令t＝t+1，对智能体k∈l\i，根据式(1)更新智能体k的状态xk(t)，并且将最新状态xk(t)发送给智能体i。
[0112]
4)通过公式(11)计算智能体k∈l\i的控制输入序列
[0113]
5)对智能体i，求解问题(14)，得到最新的控制输入序列
[0114]
6)根据式(1)更新智能体i的状态xi(t)，如果所有智能体到达目标或被拦截，则结束循环，否则转至步骤2)。
[0115]
下面对本发明所述基于分布式模型预测控制的多智能体协同突防打击方法进行仿真，具体如下：
[0116]
考虑在三维空间中由三个我方智能体和两个敌方智能体组成的多智能体系统。通过设计我方智能体的机动策略，可以实现避开敌方智能体的拦截并成功打击目标。
[0117]
关于智能体的避障约束为：
[0118]
||zi(t+l|t)-zo(t+l|t)||≥100,l＝0,1,
…
,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)关于智能体与我方智能体的避碰约束为：
[0119]
||zi(t+l|t)-zk(t+l|t)||≥10,l＝0,1,
…
,n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)我方智能体初始状态给定为：
[0120]
[0121]
敌方智能体初始状态给定为：
[0122][0123]
目标位置为：
[0124]zt
＝[5000 3000 3500]
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(20)
[0125]
障碍物是一个球体，其半径是1000m，球心位置是：
[0126]zo
＝[3000 3000 4500]
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(21)
[0127]
与敌方智能体保持的安全距离智能体的最小和最大飞行速度分别是v
min
＝100m/s和v
max
＝400m/s。目标位置用五角星符号标记，协同突防打击结果如图1所示。
[0128]
由图1可以看出，两个敌方智能体从目标位置出发对三个智能体进行拦截，但是三个智能体在打击目标的过程中，敌方智能体并未追击上我方智能体，说明采用提出的方法不仅可以保证三个智能体之间的安全距离，而且还成功躲避障碍物和敌方智能体的拦截，并最终实现突防任务。
[0129]
由图2和图3可以看出，为了保证我方智能体的安全，我方始终与敌方智能体保持较大距离。我方在打击目标的过程中，先是与敌方智能体相向而行，导致相距距离急剧缩小，随后我方巧妙避开敌方智能体并逐渐拉开距离保证其安全。
[0130]
从图4中可以看出，与障碍物的相对距离先减小再增加，这是由于障碍物位置固定不动，但是介于我方智能体的初始位置和目标位置之间。因此，最初为了靠近目标，我方智能体向着障碍物飞行，相对距离急剧下降，但随后远离障碍物，相对距离逐渐增加，但我方智能体和障碍物的相对距离始终大于安全距离，从而保证了我方智能体能顺利完成任务。
[0131]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于分布式模型预测控制的多智能体协同突防打击方法，其特征在于，包括以下步骤：s1、构建多智能体动力学模型；s2、根据多智能体动力学模型和时间步长，构建多智能体的更新系统模型；s3、制定飞行约束条件，包括避免与障碍物碰撞的约束，避免与我方智能体碰撞的约束，和智能体的飞行约束；s4、将避免与敌方智能体的碰撞条件作为软约束考虑在目标函数中，构建智能体的总目标函数；s5、根据多智能体的更新系统模型、飞行约束条件和智能体的总目标函数，构建多智能体协同突防打击模型；s6、基于分布式mpc算法，对避免与我方智能体碰撞的约束进行解耦处理，以及在任意时刻，有且仅有一个智能体求解多智能体协同突防打击模型，得到未来的控制输入，更新控制输入序列，其它智能体则各自采用自身上一次更新获得的控制输入序列。2.根据权利要求1所述基于分布式模型预测控制的多智能体协同突防打击方法，其特征在于，步骤s1中，多智能体动力学模型为：其中，其中，表示x
i
关于t求导，n
g
表示智能体个数，l表示智能体集合，v
i
(t),χ
i
(t),γ
i
(t)分别表示智能体i的速度、偏航角和俯仰角，g表示重力加速度，分别表示智能体i在x轴、y轴和z轴方向的过载，智能体i的状态向量x
i
＝[x
i
,y
i
,z
i
,v
i
,χ
i
,γ
i
]∈r6，控制向量r表示实数空间，x
i
(t),y
i
(t),z
i
(t)分别表示智能体i在x轴、y轴和z轴的位置，z
i
(t)＝(x
i
(t),y
i
(t),z
i
(t))。3.根据权利要求1或2所述基于分布式模型预测控制的多智能体协同突防打击方法，其特征在于，步骤s2中，多智能体的更新系统模型为δt表示时间步长。4.根据权利要求3所述基于分布式模型预测控制的多智能体协同突防打击方法，其特征在于，步骤s3中，避免与障碍物碰撞的约束为：
其中，z
o
＝(x
o
,y
o
,z
o
)表示障碍物位置，表示智能体与障碍物之间需要保持的安全距离；避免与我方智能体碰撞的约束为：其中，d
ik
表示智能体i与智能体k的相对距离，为各智能体之间的安全距离；智能体的飞行约束为：v
min
≤v
i
(t)≤v
maxmaxmax
其中，v
min
，v
max
分别表示智能体的最小安全飞行速度和最大安全飞行速度，分别表示智能体的最小安全飞行速度和最大安全飞行速度，分别为x轴、y轴和z轴方向的最大过载。5.根据权利要求4所述基于分布式模型预测控制的多智能体协同突防打击方法，其特征在于，步骤s4中，第i个智能体的总目标函数j
i
为：其中，z
t
＝(x
t
,y
t
,z
t
)表示目标位置，表示敌方智能体j的位置，表示智能体与拦截器之间的安全距离，n表示预测时域，l
i
(t+l)表示第i个智能体在当前时刻t预测第l步的目标函数，β
i
表示与敌方相距距离的惩罚因子，ρ
i
表示控制量的权重。6.根据权利要求5所述基于分布式模型预测控制的多智能体协同突防打击方法，其特征在于，步骤s5中，多智能体协同突防打击模型为：s.t.z
i
(t∣t)＝z
i
(t),x
i
(t+l+1∣t)＝x
i
(t+l∣t)+f(x
i
,u
i
)δt,)δt,
i,k＝1,2,
…
,n
g
,l＝0,1,
…
,n-1其中，表示允许控制集合，表示允许状态集合，n表示预测步长。

技术总结
本发明公开了一种基于分布式模型预测控制的多智能体协同突防打击方法，涉及多智能体系统的协同作战技术领域，包括：构建多智能体的更新系统模型；制定飞行约束条件；将避免与敌方智能体的碰撞条件作为软约束考虑在目标函数中，构建智能体的总目标函数；构建多智能体协同突防打击模型；基于分布式MPC算法求解多智能体协同突防打击模型，要求需对避免与我方智能体碰撞的约束进行解耦处理，以及在任意时刻，有且仅有一个智能体求解多智能体协同突防打击模型，得到未来的控制输入，更新控制输入序列，其它智能体则各自采用自身上一次更新获得的控制输入序列。本发明能增强了多智能体系统的稳定性，且解决了约束条件中的耦合问题。题。题。


技术研发人员：李彬 王宇 张鸿运 史明明 郝明瑞 邹晓滢
受保护的技术使用者：四川大学
技术研发日：2023.06.30
技术公布日：2023/9/6