一种基于自适应动态规划的直升机智能减振方法

1.本发明涉及直升机主动减振控制技术领域，尤其是涉及一种基于自适应动态规划的直升机智能减振方法。


背景技术：

2.直升机升降对于场地要求较小，同时其特有的旋翼结构可以使其完成空中悬停、贴地飞行、向后飞行等高难度机动动作，另外，直升机还拥有重型货物运输能力。这些特点使得直升机在地质勘探、水电建设、交通管理以及抢险救灾等任务上能够发挥重大作用。然而，也正是由于旋翼以及传动系统的存在，现代直升机在工作过程中不可避免的受到振动困扰，如何降低振动也成为了新一代直升机性能提升所关注的热点方向。直升机建模困难、机上计算资源有限、信号传输延迟等特点决定了直升机主动振动控制方法不仅要具备一般振动控制的稳定性以及鲁棒性要求，还必须具有模型依赖小、在线应用简单、时延预测补偿等特点。直升机振动以及其引发的后续影响会从人员状态、飞行性能和飞行安全等方面造成不良后果，尤其是主旋翼周期性旋转引发的驾驶舱强烈垂向振动，不仅会加剧机组人员的疲劳状态，还可能导致重要部件的磨损、机翼失速等严重后果，形成重大安全隐患，危害机组人员以及直升机本身的安全。因此，研究直升机减振控制方法，对直升机的安全可靠运行、延长直升机使用寿命、预防重大事故发生具有十分重要的意义。
3.然而，由于直升机工作环境中的各种未知干扰因素较多，而且随着弹性材料的应用，直升机结构日益复杂，因此传统减振控制方法建模误差以及外界扰动较大或信号传输延迟时难以实现预期效果。目前，针对带扰动的直升机减振问题，基于混合灵敏度h无穷的控制方法应用最为广泛，通过调整控制输入权重和控制目标权重设计外界干扰下的混合灵敏度函数，并求解由灵敏度函数组成的闭环传递函数集的无穷范数，得到综合考虑下的h无穷控制器参数，实现鲁棒减振控制的目的。然而，基于现有理论方法进行直升机减振控制器设计时，存在的不足主要体现在以下几个方面：
4.(1)大部分研究者主要针对确定的直升机型号进行研究，所设计的控制律需要提前知道直升机系统的精确动力学参数，但动力学模型由于弹性项忽略、旋翼高阶模态不可测以及飞行环境变化等原因会不可避免的产生误差和变化，因此基于模型的传统减振控制方法在较大建模误差时控制效果下降。
5.(2)传统减振方法均需要在设计过程中进行大量参数的设置或在线过程中进行复杂运算，如混合灵敏度的h无穷方法中需要手动调节期望带宽、稳定裕度以及鲁棒性相关参数并计算范数集合等，这也提高了对控制器计算能力的要求以及增加了现场修改和调试的困难性。
6.(3)现有的减振控制均没有考虑信号处理、传输距离、执行器动作等带来的控制器接收信号延迟的影响，由于旋翼转动一圈的速度在毫秒级，忽略信号延迟可能导致减振控制失效甚至反向增大的严重后果。
7.因此，亟需设计一种在考虑扰动以及时延的情况下的智能减振控制方法，解决减
振控制方法的模型依赖、调节困难、忽略延迟等问题，弥补现有方法的不足。


技术实现要素：

8.本发明的目的是提供一种基于自适应动态规划的直升机智能减振方法，克服了模型依赖、扰动复杂以及时延问题，实现了旋翼系统快速稳定减振。
9.为实现上述目的，本发明提供了一种基于自适应动态规划的直升机智能减振方法，具体步骤如下：
10.步骤s1：设计对随机时延进行预测补偿的史密斯预测器；
11.步骤s2：收集经验样本得到经验样本池；
12.步骤s3：设计基于数据驱动的自适应动态规划减振控制器；
13.步骤s4：通过经验样本池中的数据进行迭代循环直至自适应动态规划减振控制器收敛，自适应动态规划减振控制器的控制输出进行谐波调制后作为主动控制执行器的控制信号进行减振控制。
14.优选的，步骤s1具体为：
15.步骤s11:测量无控垂向桨毂振动载荷并对其进行傅里叶分解得到振动载荷的cos和sin分量幅值的负数；
16.无控垂向桨毂振动载荷如下：
17.d(t)＝d1cos(nωt)+d2sin(nωt)
18.其中，d(t)表示直升机的无控垂向桨毂振动载荷，对d(t)进行傅里叶分解得到d1和d2，d1和d2分别表示d(t)的cos和sin分量幅值的负数，n表示直升机旋翼的叶片数，ω表示当前转子转速；
19.步骤s12:通过主动控制执行器的控制谐波u(t)和产生的桨毂响应y(t)建立扰动状态下的直升机离散状态空间模型；
20.主动控制执行器的控制谐波u(t)和产生的桨毂响应y(t)如下：
21.u(t)＝u1cos(nωt)+u2sin(nωt)
22.y(t)＝y1cos(nωt)+y2sin(nωt)
23.u1和u2分别表示控制谐波的cos和sin分量幅值，y1和y2分别表示桨毂响应的cos和sin分量幅值；
24.对根据采样间隔tk，建立扰动状态下的直升机离散状态空间模型如下：
[0025][0026]
其中，k表示当前采样时刻，k+1时刻与k时刻相差采样tk，u(k)＝[u1(k) u2(k)]
t
，y(k)＝[y1(k) y2(k)]
t
，d(k)＝[-d1(k)
ꢀ‑
d2(k)]
t
；w(k)表示外界综合扰动，a,b,c,e,f均为系统矩阵，x(k)表示由桨叶挥舞、滞后、扭转模态组成的高阶模态；
[0027]
步骤s13:将扰动状态下的直升机离散状态空间模型转化为主动控制产生的桨毂响应y(t)与无控振动载荷d(t)抵消的跟踪模型，传感器测量到的为抵消后的垂向桨毂振动载荷谐波vib(t)；
[0028]
将扰动状态下的直升机离散状态空间模型转化为直升机振动控制系统模型：
[0029]
y(k+1)＝c(ax(k)+bu(k)+ew(k))
[0030]
＝cac
t
(cc
t
)-1
y(k)+cbu(k)+cew(k)
[0031]
当主动控制产生的桨毂响应y(t)与无控振动载荷d(t)抵消时，跟踪模型如下：
[0032][0033]
其中，
[0034]
传感器测量到的为抵消后的垂向桨毂振动载荷谐波vib(t)，表示如下：
[0035]
vib(t)＝(y
1-d1)cos(nωt)+(y
2-d2)sin(nωt)；
[0036]
步骤s14:建立扰动和延时条件下的旋翼系统模型，并根据扰动和延时条件下的旋翼系统模型构建史密斯预测器；
[0037]
桨毂响应的谐波分量y(k)由于信号传输等原因出现延迟时，接收到的信号为：
[0038]
yf(k)＝(z(k-f))
[0039]
其中，f为延迟时间，0≤f≤f
max
，f
max
表示延迟最大拍数；
[0040]
扰动和延时条件下的旋翼系统模型如下：
[0041][0042]
其中，i＝1,2...f；
[0043]
史密斯预测器如下：
[0044][0045][0046][0047][0048]
其中，
[0049]
为单位矩阵，当无延迟时，即f＝0时：
[0050]
[0051]
当延迟为1拍时，即f＝1时：
[0052][0053]
当延迟为最大延迟时，即f＝f
max
时：
[0054][0055]ut
(k-f)w
t
(k-1)...w
t
(k-f)d
t
(k)]
t
。
[0056]
优选的，步骤s2具体为：
[0057]
步骤s21：根据建立扰动和延时条件下的旋翼系统模型，设计性能指标函数j，性能指标函数j表达式如下：
[0058][0059]
其中，j表示未来采样j时刻，q1为跟踪精度的权重函数，r为控制量的权重函数，0＜β＜1为折扣因子表示未来奖励的折扣，γ为衰减因子表示扰动衰减程度；
[0060]
步骤s22：设计时延以及扰动状态下的稳定控制策略；
[0061]
时延以及扰动下的经验样本为：
[0062][0063]
其中，y(k)...y(k-f)表示从延迟的k-f时刻到当前k时刻的主动控制产生的振动响应，表示从延迟的k-f时刻到当前k时刻的主动控制输入，w(k)...w(k-f)表示从延迟的k-f时刻到当前k时刻的综合扰动，d(k)表示所要抵消的无控桨毂振动载荷；
[0064]
步骤s23：在初始状态下，通过稳定控制策略和史密斯预测器得到扰动w(k)以及主动控制执行器的物理约束下的控制输出加入随机噪声后与直升机振动控制系统模型进行交互迭代，收集每一次迭代中所产生的z(k)，完成经验数据池的填充。
[0065]
优选的，在步骤s22中，基于零和博弈思想，将扰动和主动控制设置为博弈双方，主动控制的目标是在扰动已经造成最坏的情况时，选取最小的控制策略使得系统达到所设定的性能指标，如果两者的博弈取得平衡，则此时的值函数v
*
如下：
[0066][0067]
其中，max表示扰动w(k)对系统造成了最坏的情况，min表示在最小化主动控制u(k)的情况下实现控制目标；
[0068]
最优值函数v
*
表示如下：
[0069]v*
(z(k))
[0070]
＝z
t
(k)q1z(k)+u
t
(k)ru(k)-γ2w
t
(k)w(k)+βv
*
(z(k+1))
[0071]
假设零和博弈问题有解，将最优值函数表示为gare方程：
[0072]v*
(z(k))＝z
t
(k)p
*
z(k)
[0073]
利用matlab/lqr工具箱进行求解p
*
：
[0074][0075]
将p
*
代入gare方程中得到：
[0076]zt
(k)p
*
z(k)
[0077]
＝z
t
(k)q1z(k)+u
t
(k)ru(k)-γ2w
t
(k)w(k)+βz
t
(k+1)p
*
z(k+1)；
[0078]
哈密顿方程h(z(k),u(k),w(k))定义如下：
[0079]
h(z(k),u(k),w(k))
[0080]
＝z
t
(k)q1z(k)+u
t
(k)ru(k)-γ2w
t
(k)w(k)+βz
t
(k+1)p
*
z(k+1)-z
t
(k)p
*
z(k)
[0081]
为了达到最优值函数v
*
，主动控制量与扰动应该处于零和博弈状态的鞍点，满足且则定义控制策略和扰动策略分别如下：
[0082]
u(k)＝-k1z(k)
[0083]
w(k)＝-k2z(k)
[0084]
其中
[0085][0086][0087]
由于延迟f的存在，控制器真正接收到的信号为y(k)，根据所建立的史密斯预测器，控制策略和扰动策略分别为：
[0088][0089][0090]
其中，
[0091]
考虑到主动控制执行器的物理约束，进一步对控制输出进行约束映射：
[0092][0093]
其中，其中表示约束映射后的主动控制谐波分量，u
min
表示主动控制执行器的最小值，u
max
表示主动控制执行器的最大值，表示约束矩阵，s为一个2维的正定矩阵。
[0094]
优选的，在步骤s3中，
[0095]
在考虑到随机时延的存在，将直升机振动控制系统模型转化为：
[0096][0097]
其中，其中，和分别表示需要学习的控制器控制策略和扰动策略，u(k)和w(k)表示由稳定控制策略产生的行为策略；
[0098]
为了建立迭代关系，将贝尔曼方程作如下转化：
[0099][0100]
其中，p
j+1
表示j+1时刻的迭代p矩阵，根据克罗内克积的乘法规律将上式转化为：
[0101][0102]
其中，为已知量，由经验样本池得到，为策略评价网络，通过经验样本z(k)计算得到vj(k)，θj(k)表达式如下：
[0103][0104][0105][0106][0107][0108][0109]
建立策略评价网络如下：
[0110][0111]
其中，
[0112]
基于最小二乘法建立策略更新网络，更新控制策略以及扰动策略控制策略以及扰动策略通过到表示如下：
[0113][0114][0115]
优选的，在步骤s4中，减振控制具体步骤如下：
[0116]
步骤s41：设定初始参数，即定义j＝0，初始控制策略和初始扰动策略为和
[0117]
步骤s42：根据经验数据z(k)填充矩阵vj(k)以及θj(k)；
[0118]
步骤s43：根据vj(k)和θj(k)求解策略评价网络
[0119]
步骤s44：最小二乘法求解控制策略以及扰动策略
[0120]
步骤s45：返回步骤s42进行循环迭代，直到且时完成迭代，ε为收敛条件参数，表示一个很小的正数，作为迭代结束的条件；
[0121]
步骤s46：通过收敛后的自适应动态规划减振控制器，求解得到主动控制量
[0122]
步骤s47：根据主动控制执行器的物理约束要求，对主动控制量进行控制约束映射，映射后的主动控制量进行谐波调整得到作用于主动控制执行器的控制信号。
[0123]
因此，本发明采用上述一种基于自适应动态规划的直升机智能减振方法，具有以下有益效果：
[0124]
(1)采用数据驱动完成自适应动态规划控制器的训练，在数据收集阶段，本发明采用稳定的控制策略收集主动控制输入与对应的振动输出并填充经验样本池，在所收集的数据中已经包含了该模型在该环境下的响应规律。在自适应动态规划控制器训练过程中通过建立策略评估网络，通过最小二乘法以及经验数据进行学习迭代，并最终得到最优控制器。另外，在数据收集阶段可以采用其他稳定的控制方法，或者符合要求的实验数据，在针对不同型号直升机时也无需重复建模验模，避免了建模的繁琐工作，同时避免了由于模型误差导致的控制性能下降的问题，提高适用性。
[0125]
当模型或者环境变化时，只需要重新输入稳定策略所收集得到的经验数据并进行网络的迭代训练，在这个过程中并不需要所选用的稳定策略为最优控制策略，通过贝尔曼迭代方程以及方程唯一性求解就可以得到最优智能控制器，避免了由于新环境/模型变化带来的修改和调试的困难。
[0126]
(2)考虑了随机时延影响，并在无模型前提下设计了补偿时延的自适应动态规划控制器。首先建立了随机时延发生时的系统动力学关系，通过史密斯预测器得到了基于模型的补偿矩阵，收集到时延发生时稳定控制策略下的控制输入与输出，并填充经验样本池。通过学习带有时延的数据并进行策略网络和评估网络的迭代训练，得到了数据驱动的抗扰动以及随机时延的自适应动态规划控制器，避免了由于时延导致的控制性能下降。
[0127]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0128]
图1为本发明一种基于自适应动态规划的直升机智能减振方法原理框图；
[0129]
图2为本发明随机时延发生示意图；
[0130]
图3为本发明稳定控制策略在时延情况下振动幅值波形图；
[0131]
图4为本发明稳定控制策略在时延情况下主动控制幅值波形图；
[0132]
图5为本发明稳定控制策略在时延情况下振动载荷波形图；
[0133]
图6为本发明稳定控制策略在时延情况下主动控制偏角波形图；
[0134]
图7自适应动态规划控制器控制策略收敛仿真结果图；
[0135]
图8为本发明自适应动态规划控制器减振控制振动幅值波形图；
[0136]
图9为本发明自适应动态规划控制器减振控制主动控制幅值波形图；
[0137]
图10为本发明自适应动态规划控制器减振控制振动载荷波形图；
[0138]
图11为本发明自适应动态规划控制器减振控制主动控制偏角波形图。
具体实施方式
[0139]
实施例
[0140]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0141]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0142]
下面结合附图，对本发明的实施方式作详细说明。
[0143]
参考图1，一种基于自适应动态规划的直升机智能减振方法，具体步骤如下：
[0144]
步骤s1：设计对随机时延进行预测补偿的史密斯预测器。
[0145]
步骤s11:测量无控垂向桨毂振动载荷并对其进行傅里叶分解得到振动载荷的cos和sin分量幅值的负数；
[0146]
无控垂向桨毂振动载荷如下：
[0147]
d(t)＝d1cos(nωt)+d2sin(nωt)
[0148]
其中，d(t)表示直升机的无控垂向桨毂振动载荷，对d(t)进行傅里叶分解得到d1和d2，d1和d2分别表示d(t)的cos和sin分量幅值的负数，n表示直升机旋翼的叶片数，ω表示当前转子转速；
[0149]
步骤s12:通过主动控制执行器的控制谐波u(t)和产生的桨毂响应y(t)建立扰动状态下的直升机离散状态空间模型；
[0150]
主动控制执行器的控制谐波u(t)和产生的桨毂响应y(t)如下：
[0151]
u(t)＝u1cos(nωt)+u2sin(nωt)
[0152]
y(t)＝y1cos(nωt)+y2sin(nωt)
[0153]
u1和u2分别表示控制谐波的cos和sin分量幅值，y1和y2分别表示桨毂响应的cos和sin分量幅值；
[0154]
对根据采样间隔tk，建立扰动状态下的直升机离散状态空间模型如下：
[0155][0156]
其中，k表示当前采样时刻，k+1时刻与k时刻相差采样tk，u(k)＝[u1(k) u2(k)]
t
，y(k)＝[y1(k) y2(k)]
t
，d(k)＝[-d1(k)
ꢀ‑
d2(k)]
t
；w(k)表示外界综合扰动，a,b,c,e,f均为系
统矩阵具体数值由实验数据拟合得出，x(k)表示由桨叶挥舞、滞后、扭转模态组成的高阶模态；
[0157]
步骤s13:将扰动状态下的直升机离散状态空间模型转化为主动控制产生的桨毂响应y(t)与无控振动载荷d(t)抵消的跟踪模型，传感器测量到的为抵消后的垂向桨毂振动载荷谐波vib(t)；
[0158]
将扰动状态下的直升机离散状态空间模型转化为直升机振动控制系统模型：
[0159]
y(k+1)＝c(ax(k)+bu(k)+ew(k))
[0160]
＝cac
t
(cc
t
)-1
y(k)+cbu(k)+cew(k)
[0161]
直升机主动减振控制的原理是由主动控制产生的桨毂响应y(t)与无控振动载荷d(t)进行抵消。因此，针对直升机离散状态空间模型，当主动控制产生的桨毂响应的cos和sin分量幅值y(k)跟踪上控制谐波的cos和sin分量幅值的负数d(k)，即可达到振动抵消的目的。当主动控制产生的桨毂响应y(t)与无控振动载荷d(t)抵消时，跟踪模型如下：
[0162][0163]
其中，
[0164]
传感器测量到的为抵消后的垂向桨毂振动载荷谐波vib(t)，表示如下：
[0165]
vib(t)＝(y
1-d1)cos(nωt)+(y
2-d2)sin(nωt)；
[0166]
步骤s14:建立扰动和延时条件下的旋翼系统模型，并根据扰动和延时条件下的旋翼系统模型构建史密斯预测器；
[0167]
桨毂响应的谐波分量y(k)由于信号传输等原因出现延迟时，接收到的信号为：
[0168]
yf(k)＝(z(k-f))
[0169]
其中，f为延迟时间，0≤f≤f
max
，f
max
表示延迟最大拍数；
[0170]
扰动和延时条件下的旋翼系统模型如下：
[0171][0172]
其中，i＝1,2...f；
[0173]
史密斯预测器如下：
[0174][0175][0176]
[0177][0178]
其中，
[0179]
为单位矩阵，当无延迟时，即f＝0时：
[0180][0181]
当延迟为1拍时，即f＝1时：
[0182][0183]
当延迟为最大延迟时，即f＝f
max
时：
[0184][0185]ut
(k-f) w
t
(k-1) ... w
t
(k-f) d
t
(k)]
t
。
[0186]
步骤s2：收集经验样本得到经验样本池。
[0187]
步骤s21：根据建立扰动和延时条件下的旋翼系统模型，设计性能指标函数j，性能指标函数j表达式如下：
[0188][0189]
其中，j表示未来采样j时刻，q1为跟踪精度的权重函数，r为控制量的权重函数，0＜β＜1为折扣因子表示未来奖励的折扣，γ为衰减因子表示扰动衰减程度；
[0190]
步骤s22：设计时延以及扰动状态下的稳定控制策略；
[0191]
时延以及扰动下的经验样本为：
[0192][0193]
其中，y(k)...y(k-f)表示从延迟的k-f时刻到当前k时刻的主动控制产生的振动响应，表示从延迟的k-f时刻到当前k时刻的主动控制输入，w(k)...w(k-f)表示从延迟的k-f时刻到当前k时刻的综合扰动，d(k)表示所要抵消的无控桨毂振动载荷；
[0194]
步骤s23：在初始状态下，通过稳定控制策略和史密斯预测器得到扰动w(k)以及主动控制执行器的物理约束下的控制输出加入随机噪声后与直升机振动控制系统模型进行交互迭代，收集每一次迭代中所产生的z(k)，完成经验数据池的填充。
[0195]
在步骤s22中，基于零和博弈思想，将扰动和主动控制设置为博弈双方，主动控制的目标是在扰动已经造成最坏的情况时，选取最小的控制策略使得系统达到所设定的性能指标，如果两者的博弈取得平衡，则此时的值函数v
*
如下：
[0196]
[0197]
其中，max表示扰动w(k)对系统造成了最坏的情况，min表示在最小化主动控制u(k)的情况下实现控制目标；
[0198]
最优值函数v
*
表示如下：
[0199]v*
(z(k))
[0200]
＝z
t
(k)q1z(k)+u
t
(k)ru(k)-γ2w
t
(k)w(k)+βv
*
(z(k+1))
[0201]
假设零和博弈问题有解，将最优值函数表示为gare方程：
[0202]v*
(z(k))＝z
t
(k)p
*
z(k)
[0203]
利用matlab/lqr工具箱进行求解p
*
：
[0204][0205]
将p
*
代入gare方程中得到：
[0206]zt
(k)p
*
z(k)
[0207]
＝z
t
(k)q1z(k)+u
t
(k)ru(k)-γ2w
t
(k)w(k)+βz
t
(k+1)p
*
z(k+1)；
[0208]
哈密顿方程h(z(k),u(k),w(k))定义如下：
[0209]
h(z(k),u(k),w(k))
[0210]
＝z
t
(k)q1z(k)+u
t
(k)ru(k)-γ2w
t
(k)w(k)+βz
t
(k+1)p
*
z(k+1)-z
t
(k)p
*
z(k)
[0211]
为了达到最优值函数v
*
，主动控制量与扰动应该处于零和博弈状态的鞍点，满足且则定义控制策略和扰动策略分别如下：
[0212]
u(k)＝-k1z(k)
[0213]
w(k)＝-k2z(k)
[0214]
其中
[0215][0216][0217]
由于延迟f的存在，控制器真正接收到的信号为根据所建立的史密斯预测器，控制策略和扰动策略分别为：
[0218][0219][0220]
其中，
[0221]
考虑到主动控制执行器的物理约束，进一步对控制输出进行约束映射：
[0222][0223]
其中，其中表示约束映射后的主动控制谐波分量，u
min
表示主动控制执行器的最小值，u
max
表示主动控制执行器的最大值，表示约束矩阵，s为一个2维的正定矩阵。
[0224]
步骤s3：设计基于数据驱动的自适应动态规划减振控制器。
[0225]
在考虑到随机时延的存在，将直升机振动控制系统模型转化为：
[0226][0227]
其中，其中，和分别表示需要学习的控制器控制策略和扰动策略，u(k)和w(k)表示由稳定控制策略产生的行为策略；
[0228]
为了建立迭代关系，将贝尔曼方程作如下转化：
[0229][0230]
其中，p
j+1
表示j+1时刻的迭代p矩阵，根据克罗内克积的乘法规律将上式转化为：
[0231][0232]
其中，为已知量，由经验样本池得到，为策略评价网络，通过经验样本z(k)计算得到vj(k)，θj(k)表达式如下：
[0233][0234][0235][0236][0237][0238][0239]
建立策略评价网络如下：
[0240][0241]
其中，
[0242]
基于最小二乘法建立策略更新网络，更新控制策略以及扰动策略控制策略以及扰动策略通过到表示如下：
[0243][0244][0245]
由于是在时延环境设计的贝尔曼迭代方程并进行求解，并利用包含随机时延的历史数据进行迭代，因此所得到的自适应减振控制器同时具有预测器和控制器的功能。
[0246]
步骤s4：通过经验样本池中的数据进行迭代循环直至自适应动态规划减振控制器收敛，自适应动态规划减振控制器的控制输出进行谐波调制后作为主动控制执行器的控制信号进行减振控制。
[0247]
减振控制具体步骤如下：
[0248]
步骤s41：设定初始参数，即定义j＝0，初始控制策略和初始扰动策略为和
[0249]
步骤s42：根据经验数据z(k)填充矩阵vj(k)以及θj(k)；
[0250]
步骤s43：根据vj(k)和θj(k)求解策略评价网络
[0251]
步骤s44：最小二乘法求解控制策略以及扰动策略
[0252]
步骤s45：返回步骤s42进行循环迭代，直到且时完成迭代，ε表示一个很小的正数，作为迭代结束的条件；
[0253]
步骤s46：通过收敛后的自适应动态规划减振控制器，求解得到主动控制量
[0254]
步骤s47：根据主动控制执行器的物理约束要求，对主动控制量进行控制约束映射，映射后的主动控制量进行谐波调整得到作用于主动控制执行器的控制信号。
[0255]
为了验证本发明提出的基于自适应动态规划的鲁棒及时延补偿直升机智能减振方法的有效性，首先将直升机减振系统在matlab/simulink中进行集成设计，并进行了仿真实验，主要仿真过程如下：
[0256]
(1)参数设置
[0257]
1)直升机物理参数设置：转速ω＝720rad/s，直升机旋翼叶片数n＝4片，采样间隔tk＝5.664*10-5
s，最大延迟拍数t
max
＝3。
[0258]
无控垂向桨毂振动载荷为：d(k)＝[-d1ꢀ‑
d2]＝[-30
ꢀ‑
15],扰动测量值为w(:,1)＝30*0.315*(0.5*sin(2.0*i)2*cos(10.1*i)+0.9*sin(1.102*i)2*cos(4.001*i))；w(:,2)＝15*0.165*(0.22*sin(1.2*i)2*cos(4.1*i)+0.84*sin(2.456*i)2*cos(6.44*i))；
[0259]
扰动状态下的直升机离散状态空间模型的动力学参数为：
[0260][0261][0262][0263]
e＝[1 1 1 1 1 1]
t
[0264][0265]
2)控制器设置：跟踪精度的权重函数控制量的权重函数折扣因子为γ＝0.998，衰减因子为β＝0.8，初始控制策略初始扰动策略
[0266]
控制约束：u
min
＝[u
1min u
2min
]＝[-1.2
ꢀ‑
2.2]
t
，u
min
＝[u
1max u
2max
]＝[1.2 2.2]
t
，
[0267]
(2)结果分析
[0268]
图2表示随机时延的发生情况，从图2中可以看出，系统会随机出现0拍、1拍、2拍以及3拍的时延情况，分别代表无时延、滞后1拍、滞后2拍以及滞后3拍。图3-6表示所设计的稳定控制策略在时延情况下的控制效果，图3中的带有圈波形表示垂向桨毂载荷中的cos分量在稳定控制策略的作用下从初始值降低到0附近的过程，图3中的另一波形表示垂向桨毂载荷中的sin分量在稳定控制策略的作用下从初始值降低到0附近的过程。图4中的带有圈波形表示控制谐波中的cos分量在稳定控制策略的作用下从0上升到一个稳定值附近的过程，图4中另一波形表示控制谐波中的cos分量在稳定控制策略的作用下从0上升到一个稳定值附近的过程。图5表示将垂向桨毂载荷的sin和cos分量进行谐波调制合成之后，垂向桨毂载荷的波形图，可以看到振动载荷的范围从幅值为30附近并经过幅值逐渐减小的多次波动后，迅速减小到0附近，实现了振动控制目标。图6表示将控制谐波中的sin和cos分量进行谐波调制合成之后，主动控制执行器的控制量从0上升到一个稳定值附近。已知从图3-6中可以看出，稳定控制策略可以在0.01秒之内实现稳定减振效果，减振精度达到90％以上，控制效果几乎不受到信号延迟的影响，同时保证主动控制输出在约束范围内。图7表示自适应动
态规划控制器控制策略的收敛仿真结果，从图7中可以看出，在扰动及时延的情况下，所设计的自适应动态规划扰动策略和控制策略均在20拍之内收敛。图8-11表示自适应动态规划控制器减振控制效果以及主动控制输入仿真结果，图8中带有圈的波形表示垂向桨毂载荷中的cos分量在自适应动态规划控制器减振控制策略的作用下从初始值降低到0附近的过程，图8中另一波形表示垂向桨毂载荷中的sin分量在自适应动态规划控制器减振控制策略的作用下从初始值降低到0附近的过程。图9中带有圈的波形表示控制谐波中的cos分量在稳定控制策略的作用下从0上升到最优值附近的过程，图9中另一波形表示控制谐波中的cos分量在自适应动态规划控制器减振控制策略的作用下从0上升到最优值附近的过程。图10表示将垂向桨毂载荷的sin和cos分量进行谐波调制合成之后，垂向桨毂载荷的波形图，可以看到振动载荷的范围从幅值为30附近并经过幅值逐渐减小的两次波动后，迅速减小到0附近，实现了振动控制目标。图11表示将控制谐波中的sin和cos分量进行谐波调制合成之后，主动控制执行器的控制量从0上升到最优控制量附近。从图8-11中可以看出，所设计的自适应动态规划减振控制器可以在0.005秒内实现减振控制效果，减振精度达到95％以上，控制效果几乎不受到信号延迟的影响，同时保证主动控制输出在约束范围内。说明自适应动态规划减振控制器的训练数据虽然来源于稳定控制策略，但经过网络优化迭代，最终的控制效果能够超过传统控制器，实现无模型快速减振控制。
[0269]
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

技术特征：
1.一种基于自适应动态规划的直升机智能减振方法，其特征在于，具体步骤如下：步骤s1：设计对随机时延进行预测补偿的史密斯预测器；步骤s2：收集经验样本得到经验样本池；步骤s3：设计基于数据驱动的自适应动态规划减振控制器；步骤s4：通过经验样本池中的数据进行迭代循环直至自适应动态规划减振控制器收敛，自适应动态规划减振控制器的控制输出进行谐波调制后作为主动控制执行器的控制信号进行减振控制。2.根据权利要求1所述的一种基于自适应动态规划的直升机智能减振方法，其特征在于，步骤s1具体为：步骤s11:测量无控垂向桨毂振动载荷并对其进行傅里叶分解得到振动载荷的cos和sin分量幅值的负数；无控垂向桨毂振动载荷如下：d(t)＝d1cos(nωt)+d2sin(nωt)其中，d(t)表示直升机的无控垂向桨毂振动载荷，对d(t)进行傅里叶分解得到d1和d2，d1和d2分别表示d(t)的cos和sin分量幅值的负数，n表示直升机旋翼的叶片数，ω表示当前转子转速；步骤s12:通过主动控制执行器的控制谐波u(t)和产生的桨毂响应y(t)建立扰动状态下的直升机离散状态空间模型；主动控制执行器的控制谐波u(t)和产生的桨毂响应y(t)如下：u(t)＝u1cos(nωt)+u2sin(nωt)y(t)＝y1cos(nωt)+y2sin(nωt)u1和u2分别表示控制谐波的cos和sin分量幅值，y1和y2分别表示桨毂响应的cos和sin分量幅值；对根据采样间隔t
k
，建立扰动状态下的直升机离散状态空间模型如下：其中，k表示当前采样时刻，k+1时刻与k时刻相差采样t
k
，u(k)＝[u1(k) u2(k)]
t
，y(k)＝[y1(k) y2(k)]
t
，d(k)＝[-d1(k)
ꢀ‑
d2(k)]
t
；w(k)表示外界综合扰动，a,b,c,e,f为系统矩阵，x(k)表示由桨叶挥舞、滞后、扭转模态组成的高阶模态；步骤s13:将扰动状态下的直升机离散状态空间模型转化为主动控制产生的桨毂响应y(t)与无控振动载荷d(t)抵消的跟踪模型，传感器测量到的为抵消后的垂向桨毂振动载荷谐波vib(t)；将扰动状态下的直升机离散状态空间模型转化为直升机振动控制系统模型：y(k+1)＝c(ax(k)+bu(k)+ew(k))＝cac
t
(cc
t
)-1
y(k)+cbu(k)+cew(k)当主动控制产生的桨毂响应y(t)与无控振动载荷d(t)抵消时，跟踪模型如下：
其中，传感器测量到的为抵消后的垂向桨毂振动载荷谐波vib(t)，表示如下：vib(t)＝(y
1-d1)cos(nωt)+(y
2-d2)sin(nωt)；步骤s14:建立扰动和延时条件下的旋翼系统模型，并根据扰动和延时条件下的旋翼系统模型构建史密斯预测器；桨毂响应的谐波分量y(k)由于信号传输等原因出现延迟时，接收到的信号为：y
f
(k)＝(z(k-f))其中，f为延迟时间，0≤f≤f
max
，f
max
表示延迟最大拍数；扰动和延时条件下的旋翼系统模型如下：其中，i＝1,2...f；史密斯预测器如下：其中，其中，为单位矩阵，当无延迟时，即f＝0时：当延迟为1拍时，即f＝1时：当延迟为最大延迟时，即f＝f
max
时：
3.根据权利要求2所述的一种基于自适应动态规划的直升机智能减振方法，其特征在于，步骤s2具体为：步骤s21：根据建立扰动和延时条件下的旋翼系统模型，设计性能指标函数j，性能指标函数j表达式如下：其中，j表示未来采样j时刻，q1为跟踪精度的权重函数，r为控制量的权重函数，0＜β＜1为折扣因子表示未来奖励的折扣，γ为衰减因子表示扰动衰减程度；步骤s22：设计时延以及扰动状态下的稳定控制策略；时延以及扰动下的经验样本为：其中，y(k)...y(k-f)表示从延迟的k-f时刻到当前k时刻的主动控制产生的振动响应，表示从延迟的k-f时刻到当前k时刻的主动控制输入，w(k)...w(k-f)表示从延迟的k-f时刻到当前k时刻的综合扰动，d(k)表示所要抵消的无控桨毂振动载荷；步骤s23：在初始状态下，通过稳定控制策略和史密斯预测器得到扰动w(k)以及主动控制执行器的物理约束下的控制输出加入随机噪声后与直升机振动控制系统模型进行交互迭代，收集每一次迭代中所产生的z(k)，完成经验数据池的填充。4.根据权利要求3所述的一种基于自适应动态规划的直升机智能减振方法，其特征在于，在步骤s22中，基于零和博弈思想，将扰动和主动控制设置为博弈双方，主动控制的目标是在扰动已经造成最坏的情况时，选取最小的控制策略使得系统达到所设定的性能指标，如果两者的博弈取得平衡，则此时的值函数v
*
如下：其中，max表示扰动w(k)对系统造成了最坏的情况，min表示在最小化主动控制u(k)的情况下实现控制目标；最优值函数v
*
表示如下：v
*
(z(k))＝z
t
(k)q1z(k)+u
t
(k)ru(k)-γ2w
t
(k)w(k)+βv
*
(z(k+1))假设零和博弈问题有解，将最优值函数表示为gare方程：v
*
(z(k))＝z
t
(k)p
*
z(k)利用matlab/lqr工具箱进行求解p
*
：
将p
*
代入gare方程中得到：z
t
(k)p
*
z(k)＝z
t
(k)q1z(k)+u
t
(k)ru(k)-γ2w
t
(k)w(k)+βz
t
(k+1)p
*
z(k+1)；哈密顿方程h(z(k),u(k),w(k))定义如下：h(z(k),u(k),w(k))＝z
t
(k)q1z(k)+u
t
(k)ru(k)-γ2w
t
(k)w(k)+βz
t
(k+1)p
*
z(k+1)-z
t
(k)p
*
z(k)为了达到最优值函数v
*
，主动控制量与扰动应该处于零和博弈状态的鞍点，满足且则定义控制策略和扰动策略分别如下：u(k)＝-k1z(k)w(k)＝-k2z(k)其中其中由于延迟f的存在，控制器真正接收到的信号为根据所建立的史密斯预测器，控制策略和扰动策略分别为：制策略和扰动策略分别为：其中，考虑到主动控制执行器的物理约束，进一步对控制输出进行约束映射：其中，其中表示约束映射后的主动控制谐波分量，u
min
表示主动控制执行器的最小值，u
max
表示主动控制执行器的最大值，表示约束矩阵，s为一个2维的正定矩阵。5.根据权利要求4所述的一种基于自适应动态规划的直升机智能减振方法，其特征在于，在步骤s3中，在考虑到随机时延的存在，将直升机振动控制系统模型转化为：
其中，其中，和分别表示需要学习的控制器控制策略和扰动策略，u(k)和w(k)表示由稳定控制策略产生的行为策略；为了建立迭代关系，将贝尔曼方程作如下转化：其中，p
j+1
表示j+1时刻的迭代p矩阵，根据克罗内克积的乘法规律将上式转化为：其中，为已知量，由经验样本池得到，为策略评价网络，通过经验样本z(k)计算得到v
j
(k)，θ
j
(k)表达式如下：(k)表达式如下：(k)表达式如下：(k)表达式如下：(k)表达式如下：(k)表达式如下：建立策略评价网络如下：其中，基于最小二乘法建立策略更新网络，更新控制策略以及扰动策略控制策略以及扰动策略通过到表示如下：表示如下：6.根据权利要求5所述的一种基于自适应动态规划的直升机智能减振方法，其特征在于，在步骤s4中，减振控制具体步骤如下：
步骤s41：设定初始参数，即定义j＝0，初始控制策略和初始扰动策略为和步骤s42：根据经验数据z(k)填充矩阵v
j
(k)以及θ
j
(k)；步骤s43：根据v
j
(k)和θ
j
(k)求解策略评价网络步骤s44：最小二乘法求解控制策略以及扰动策略步骤s45：返回步骤s42进行循环迭代，直到且时完成迭代，ε为收敛条件参数；步骤s46：通过收敛后的自适应动态规划减振控制器，求解得到主动控制量步骤s47：根据主动控制执行器的物理约束要求，对主动控制量进行控制约束映射，映射后的主动控制量进行谐波调整得到作用于主动控制执行器的控制信号。

技术总结
本发明公开了一种基于自适应动态规划的直升机智能减振方法，具体步骤如下：步骤S1：设计对随机时延进行预测补偿的史密斯预测器；步骤S2：收集经验样本得到经验样本池；步骤S3：设计基于数据驱动的自适应动态规划减振控制器；步骤S4：通过经验样本池中的数据进行迭代循环直至自适应动态规划减振控制器收敛，自适应动态规划减振控制器的控制输出进行谐波调制后作为主动控制执行器的控制信号进行减振控制。采用上述一种基于自适应动态规划的直升机智能减振方法，克服了模型依赖、扰动复杂以及时延问题，实现了旋翼系统快速稳定减振。实现了旋翼系统快速稳定减振。实现了旋翼系统快速稳定减振。


技术研发人员：张秀云 陈钰 宗群 王福赫
受保护的技术使用者：天津大学
技术研发日：2023.04.04
技术公布日：2023/7/7