基于数字孪生技术的旋翼无人机自主降落控制系统

1.本发明涉及数字孪生技术和无人机飞行控制技术领域，尤其涉及一种基于数字孪生技术的旋翼无人机自主降落控制系统。


背景技术：

2.数字孪生技术是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。即通过建立物理世界和数字世界之间精准映射、实时反馈机制，从而实现物理世界与数字世界互联、互通、互操作，构建起虚拟世界对物理世界描述、诊断、预测和决策新体系，并优化物理世界资源配置效率。换句话说，数字孪生就是对真实存在的物理系统的一个虚拟复制品，虚拟体和物理实体之间通过数据交换建立联系，通过这种联系，可以监测实体的实时动态。
3.无人机的自主降落技术越来越多的被应用到商业、民用和军事等领域。由于gps的精度太低，无人机在降落过程中偏差太大。因此，目前很多无人机的精准降落都用到了视觉传感器。采用视觉传感器可以实现无人机位置、姿态等参数的高精度测量和计算，从而实现更加精准的降落。同时，采用视觉传感器进行降落抗干扰能力更强，可以在复杂环境下进行测量和计算，从而提高了无人机降落的可靠性和稳定性。


技术实现要素：

4.本发明公开一种基于数字孪生技术的旋翼无人机自主降落控制系统，实现将数字孪生技术应用到无人机的自主降落过程中，构建了虚拟世界对物理世界的描述，实现了孪生无人机与物理无人机的双向映射、实时交互，提高了无人机自主降落的精度以及成功率。
5.为了实现本发明的目的，所采用的技术方案是：基于数字孪生技术的旋翼无人机自主降落控制系统，包括虚拟空间、物理空间、服务中心和控制策略，虚拟空间用于进行无人机自主降落的虚拟训练；物理空间完成无人机自主降落的现实任务，物理空间包括双目追踪相机、usb单目相机、rtk定位系统和板载计算机，控制策略包括控制方法和合作标识，所述的控制方法包括水平方向控制和垂直方向控制，双目追踪相机与rtk定位系统相结合将无人机引导至合作标识上方，usb单目相机用来锁定合作标识的中心位置实现精准降落，所述的服务中心包括地面信息系统和无人机相机，所述的地面信息系统用于获取实体无人机的飞行实时位置并设定降落位置；无人机相机用于提供无人机在飞行和降落过程中的图像信息至板载计算机。
6.作为本发明的优化方案，合作标识包括分级标识和aruco码，所述的分级标识位于自主降落合作标识的中心位置，所述的分级标识用于引导无人机的精准降落；所述的aruco码分布在分级标识的四周，所述的aruco码用于对无人机在四个方位上进行引导。
7.作为本发明的优化方案，aruco码的识别步骤为：
8.1）将图像加载并转换成灰度图像；
9.2）自适应二值化使用otsu算法处理不同光照条件下的图像；
10.3）通过形态学处理去除图像的噪声；
11.4）轮廓提取是从二值化图像中提取物体的边界轮廓，采用基于边缘检测的canny算法，canny算法首先使用高斯滤波器对图像进行平滑处理，然后使用soble算子来检测图像中的边缘；
12.5）使用极大值抑制和双阈值分割来提取出边缘轮廓；
13.6）四边形筛选方法采用harris角点检测算法，通过检测四个点是否在同一直线上来筛选出符合条件的四边形；
14.7）透视变换将合作标识上的点转换成相机成像的像素点；
15.8）识别aruco码中的id，完成aruco码的识别。
16.作为本发明的优化方案，虚拟空间主要包括ros系统与unrealengine4引擎，unrealengine4引擎用于无人机模型、传感器模型的设计以及仿真环境的搭建，在ros系统中结合python/opencv进行控制无人机视觉算法的开发，并在ros系统中的gazebo仿真平台进行软件在环的实验，软件在环实验成功后，把程序移植到rflysim平台上，连接好飞行控制器与遥控器，进行硬件在环仿真实验后再进行无人机实体机实验。
17.作为本发明的优化方案，无人机在垂直方向控制中采用adrc控制器，adrc控制器包括跟踪微分器td、非线性状态误差反馈控制率nlsef和扩张状态观测器eso，跟踪微分器td从快速最优控制系统开始，快速最优控制系统在连续时域内可以实现从初始值到目标值的合理规划，跟踪微分器td中有两个参数，积分步长h及速度因子r；非线性状态误差反馈控制率nlsef的输入是将跟踪微分器td分解得到的期望值和扩张状态观测器eso得到的观测值作差得到系统的状态误差，扩张状态观测器eso是在一般观测器的基础上对扰动也进行了观测，实现了维度的增加。
18.作为本发明的优化方案，无人机在水平方向控制采用串级pid控制器，内环为角速度环，外环为角度环，角度环对应的控制器如式（1）所示：
19.（1）；
20.其中，θ为俯仰角，φ为横滚角，ψ为偏航角，kp、ki、kd分别为对应姿态角的pid控制参数，、、是姿态角pid控制器的输出也是角速度pid控制器的参考输入；
21.角速度环对应的控制器如式（2）所示，其中u1为横滚力矩，u2为俯仰力矩，u3为偏航力矩。
22.（2）；
23.作为本发明的优化方案，在降落控制过程中，为了控制无人机的飞行速度，需要实时计算无人机相对于目标的位置，计算位置时包括五个层次的坐标系，分别是：a为像素坐标系o(u，v)、b为像平面坐标系os(x，y)、c为相机坐标系
oc
(
xc
，
yc
，
zc
)、d为目标体坐标系
ow
(
xw
，
yw
，
zw
)、e为无人机机体坐标系
ob
(
xb
，
yb
，
zb
)；
24.像素坐标系和像平面坐标系之间的转换关系为：
25.；
26.其中：像素坐标中像平面坐标系原点os的坐标为(u0，v0)，每个像素感光大小为dx和dy；
27.图像点p的像平面坐标系os(x，y)和物体点p的相机坐标系
oc
(
xc
，
yc
，
zc
)之间的关系为：
28.；
29.其中：f为相机的焦距；
30.像素坐标系o(u，v)和相机坐标系
oc
(
xc
，
yc
，
zc
)之间的关系为：
31.；
32.其中：，，dx=du，dy=dv，由中间量组成的矩阵称为相机k的内
参考矩阵。
33.作为本发明的优化方案，无人机与合作标识的相对位置，需求解合作标识在相机坐标系中的坐标；
34.已知u，v和内部参考矩阵k，求解
xc
，
yc
，
zc
，首先需要找到
zc
的值，目标的长度和宽度相同，实际长度已知，使用像素坐标系中边界两个对角点来估计
zc
值，设两点为(u1，v1)和(u2，v2)，它们对应的相机坐标为(
xc1
，
yc1
，
zc1
)和(
xc2
，
yc2
，
zc2
)，
35.；其中：高度
zc
可以根据目标的宽度和高度来计算，选择目标检测的较长边缘来计算高度
zc
，然后计算
xc
和
yc
值，从而获得目标在相机坐标系中的坐标
xc
，
yc
，
zc
。
36.作为本发明的优化方案，相机坐标系
oc
(
xc
，
yc
，
zc
)和无人机机体坐标系
ob
(
xb
，
yb
，
zb
)的关系用以下矩阵表示：
37.；
38.基于三轴旋转矩阵，从无人机机体坐标系转换到体惯性系的方程如下:
[0039]39.（11）；
[0040]
其中，r为旋转矩阵，θ为俯仰角，φ为横滚角，ψ为偏航角，目标在体惯性系内的坐标值xe，ye，ze。
[0041]
作为本发明的优化方案，rtk定位系统包括rtk地面基站、机载端rtk天线、地面端rtk板卡、机载端rtk板卡和4g通信模块，通过机载端rtk板卡采集到的卫星数据和rtk地面基站采集到的卫星数据进行实时载波相位差处理，得到厘米级的定位结果，从而可以得到无人机精准的位置信息。
[0042]
本发明具有积极的效果：1）本发明本发明把数字孪生技术应用到无人机精准降落控制系统中，通过孪生无人机与实体无人机的实时交互、实时反馈来提高无人机降落的精度和成功率；
[0043]
2）本发明本发明中公开的降落合作标识克服了无人机在下降过程中因为视场角
变小，容易丢失目标的问题；
[0044]
3）本发明本发明中无人机垂直方向上采用的adrc控制器解决了无人机在降落过程中的超调问题；
[0045]
4）本发明中虚拟空间中的模拟降落用到了gazebo和rflysim联合仿真，在软件在环实验的基础上增加了硬件在环实验，可以更好的模拟实际情况，提高了实验的逼真性和安全性；
[0046]
5）本发明将数字孪生技术运用到无人机自主降落上，将实体无人机实时数据传输到孪生无人机中，孪生无人机根据收集到的数据进行位置、速度和姿态上的调整，通过与实体无人机降落数据进行对比，不断优化自身模型，实现虚拟环境中的自主降落，同时，实体无人机也会接收来自孪生无人机的飞行数据，来调整自己的姿态和位置，实现物理环境中精准的降落。
附图说明
[0047]
下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0048]
图1为本发明的框架图；
[0049]
图2为本发明系统开发架构图；
[0050]
图3为本发明实施例中的旋翼无人机自主降落合作标识图；
[0051]
图4为本发明实施例中的aruco码检测流程图；
[0052]
图5为本发明实施例中的分级标识检测流程图；
[0053]
图6为本发明实施例中的相对位置估计坐标系；
[0054]
图7为本发明实施例中的串级pid控制系统框图；
[0055]
图8为本发明实施例中的adrc控制算法结构图；
[0056]
图9为本发明实施例中的旋翼无人机自主降落流程图；
[0057]
图10为本发明实施例中的物理空间旋翼无人机自主降落示意图；
[0058]
图11为本发明实施例中的旋翼无人机基于视觉降落节点关系图；
[0059]
图12为本发明实施例中的gazebo仿真环境中旋翼无人机自主降落示意图。
具体实施方式
[0060]
下面结合附图和具体实施例对本发明的方法进一步说明。
[0061]
如图1所示，本发明公开一种基于数字孪生技术的旋翼无人机自主降落控制系统，包括虚拟空间、物理空间、服务中心和控制策略，虚拟空间用于进行无人机自主降落的虚拟训练；物理空间完成无人机自主降落的现实任务，物理空间包括双目追踪相机、usb单目相机、rtk定位系统和板载计算机，控制策略包括控制方法和合作标识，控制方法包括水平方向控制和垂直方向控制，双目追踪相机与rtk定位系统相结合将无人机引导至合作标识上方，usb单目相机用来锁定合作标识的中心位置实现精准降落，服务中心包括地面信息系统和无人机相机，地面信息系统用于获取实体无人机的飞行实时位置并设定降落位置；无人机相机用于提供无人机在飞行和降落过程中的图像信息至板载计算机。
[0062]
虚拟空间主要包括ros系统与unrealengine4引擎，unrealengine4引擎用于无人机模型、传感器模型的设计以及仿真环境的搭建，在ros系统中结合python/opencv进行控
制无人机视觉算法的开发，并在ros系统中的gazebo仿真平台进行软件在环的实验，软件在环实验成功后，把程序移植到rflysim平台上，连接好飞行控制器与遥控器，进行仿真实验后再进行无人机实体机实验。其中，在ros系统中完成无人机视觉算法的设计与开发，unrealengine4引擎用来无人机模型的设计以及仿真场景的搭建，在虚拟空间中主要进行无人机虚拟的视觉降落实验。
[0063]
物理空间包括双目追踪相机、usb单目相机和rtk定位系统，物理空间主要有双目追踪相机（intelrealsenset265双目相机）、usb单目相机、rtk定位系统、飞行器、飞行控制器、板载计算机、4g通信模块、激光测距仪。双目追踪相机和rtk定位系统，主要用来无人机的定位，在基于视觉的降落过程中起到一个辅助作用。地面信息系统用于获取实体无人机的飞行实时位置，能够在无人机任务模式的设定下设置降落位置，遇到突发情况，也能临时改变降落位置，指挥无人机安全降落；无人机相机主要为指挥员提供无人机在飞行和降落过程中的画面。物理空间主要完成无人机基于视觉降落的现实任务，整个降落过程与虚拟空间中的降落是一致的。
[0064]
要实现虚拟空间与物理空间的同步，首先要得到物理空间中无人机的数据源，也就是物理飞行控制器内部传感器所采集的传感器数据，然后通过网络通信接入到unrealengine4引擎中，unrealengine4引擎中的孪生无人机模型根据传进来的数据和历史数据，不断更新状态，并将仿真数据传递给系统，服务中心通过对接收到的传感器物理数据和仿真数据进行对比分析和融合处理，实时传递控制指令给物理实体机，从而实现虚拟世界与现实世界的同步。服务中心与飞行器之间的通信协议为mavlink(microairlooverlink)协议，mavlink具有更先进、覆盖范围更广、数据分析处理能力更强的特点。mavlink除了具有规范无人机与地面站之间互传数据的功能之外，还具有核对校验数据信号的能力。
[0065]
unrealengine4引擎和ros系统之间通过socket接口进行通信，该通信方式稳定性高，能够保证数据传输的可靠性和稳定性，同时，该通信方式安全性比较高，支持数据加密和身份验证等安全机制。虚拟空间、物理空间和服务中心之间的通信接口采用的4g/5g通信，该通信方式速度快、延迟低，有着更稳定的连接和更好的移动性，可以满足物理无人机与孪生无人机之间的实时交互。
[0066]
虚拟空间主要用来模拟无人机的虚拟视觉降落，虚拟空间中的模拟降落用到了gazebo和rflysim联合仿真，首先，在ros系统中以及结合python/opencv进行控制无人机视觉算法的开发，算法设计好以后在ros系统中的gazebo仿真平台进行软件在环的实验，软件在环实验成功后，把程序移植到rflysim平台上，连接好飞控与遥控器，进行硬件在环实验，硬件在环实验成功后再进行实体机实验，通过增加rflysim平台上的硬件在环实验，可以大大提高实体机实验的成功率及安全性。
[0067]
无人机的自主降落主要是基于视觉进行定位的，在这个过程中主要用到了两款相机，intelrealsenset265双目相机采用了movidiusmyriad2视觉处理单元（vpu），可直接在设备上处理追踪所需的数据，该相机内部还集成了惯性测量单元，即imu，它能够快速测量其自身方向和加速度的变化。该相机在降落系统中主要起到一个远程追踪与定位的功能，与rtk定位系统相结合把无人机引到降落标识上方。另一种是usb单目相机，该usb单目相机放置在无人机的正下方，主要用于无人机成功捕捉到分级标识后的精准降落。
[0068]
传感器物理数据包含无人机的真实飞行数据，能实时传递回地面并驱动（虚拟空间）数字孪生体的仿真运行；数字孪生体通过接收传感器物理数据和历史数据，不断更新状态；服务中心与虚拟空间和物理空间都是通过4g/5g网络进行通信，服务中心通过对接收到的传感器物理数据和仿真数据进行对比分析和融合处理，实时传递控制指令给物理实体，促进整体的高效运行。同时，服务中心还起到一个远程监督的作用，对物理空间中的自主降落进行实时的监测和记录，旋翼无人机自主降落数字孪生平台框架如图1所示。
[0069]
本系统的开发架构如图2所示，首先，在ros系统中结合python/opencv进行控制无人机视觉算法的开发，算法设计好以后在ros系统中的gazebo仿真平台进行软件在环仿真实验，软件在环实验成功后，在编译器上进行固件的编译，下一步利用rflysim平台、pixhawk自驾仪和遥控器进行硬件在环实验，硬件在环若没有问题，下一步就可以进行实飞测试。coptersim为平台核心仿真软件，运行多旋翼运动动态模型，并连同其他软件构成软/硬件在环仿真，同时，它还是所有数据通信的中心。飞行控制器与coptersim（仿真软件）通过串口（硬件在环hitl）或网络tcp/udp（软件在环sitl）进行连接，使用mavlink进行数据传输，实现控制闭环，模拟室外飞行情形，coptersim发送飞机位姿、电机数据到三维引擎，实现可视化展示，coptersim转发mavlink消息到地面站，传输飞机实时状态，从而实现无人机的自主降落控制。
[0070]
如图3所示，合作标识包括分级标识和aruco码，分级标识位于自主降落合作标识的中心位置，分级标识用于引导无人机的精准降落；aruco码分布在分级标识的四周，aruco码用于对无人机在四个方位上进行引导。其中，分级标识，尺寸为60
×
60cm，无人机在降落过程中，随着无人机的高度不断下降，无人机的视野也在不断缩小，分级标识的作用就是避免无人机在下降过程中丢失合作标识。aruco码的尺寸为20
×
20cm，分布在分级标识的四周，它的作用是对无人机在四个方位上进行引导。这种合作标识，不但能使无人机调整自身位置，最重要的是大大提高了无人机自主降落的精度以及成功率。无人机的自主降落是通过视觉传感器识别降落标识来实现的，如图3所示，分级标识主要用于无人机的精准降落。aruco相比于artag和apriltag等开源库运算速度更快，更易于与ros系统结合。aruco开源库仅依赖于opencv和eigen3，不仅识别速度很快，而且鲁棒性很好，可以在多个操作系统下使用，在性能有限的嵌入式平台也可以获得很好的性能表现。该码分布在分级标识的四周，对无人机在方向上起到一个引导作用，当无人机发生偏离且丢失目标位置时，分布在四周的aruco码会给无人机调整的信号，调整后无人机重新锁定分级标识的中心位置进行降落。aruco码作为广泛应用于增强现实的标记，其种类繁多，尺寸（比特位的个数）也可根据实际的需要生成想要的标记，但都是由黑色边框和内部id组成，且内部id釆用基于海明码的编码方式，即将整个标记分成n
×
n的表格，其内部(n-1)
×
(n-1)区域为id区域。其中黑色格子代表0，白色格子代表１，通过采用特定的编码方式确定此标记的唯一id。
[0071]
如图4所示，aruco码的识别步骤为：
[0072]
1）将图像加载并转换成灰度图像；
[0073]
2）自适应二值化使用otsu算法处理不同光照条件下的图像；其中：自适应二值化使用otsu算法处理不同光照条件下的图像，对环境的适应性更强一些。
[0074]
3）通过形态学处理去除图像的噪声；
[0075]
4）轮廓提取是从二值化图像中提取物体的边界轮廓，采用基于边缘检测的canny
算法，canny算法首先使用高斯滤波器对图像进行平滑处理，然后使用soble算子来检测图像中的边缘；
[0076]
然后使用soble算子来检测图像中的边缘。
[0077]
5）使用极大值抑制和双阈值分割来提取出边缘轮廓；
[0078]
6）四边形筛选方法采用harris角点检测算法，通过检测四个点是否在同一直线上来筛选出符合条件的四边形；
[0079]
7）透视变换将合作标识上的点转换成相机成像的像素点；
[0080]
8）识别aruco码中的id，完成aruco码的识别。透视变换则采用的opencv中的库函数中cv::getperspectivetransform()和cv::warpperspective()来实现的。
[0081]
分级标识设计的好处在于特征明显，黑白相间的正方形非常容易识别。而且，正方形由小到大逐级嵌套，起到分级识别的作用。随着无人机高度的下降，无人机的视野变得越来越小，分级嵌套的正方形正好可以避免无人机下降过程中丢失目标。分级标识的检测分为五个步骤：动态阈值二值化、轮廓提取与矩形检测、矩形聚类与图像识别，前面几个步骤与上面的aruco码检测类似，最重要的是矩形聚类，它把所有矩形分类，将中心点近似重合的矩形归为一类，矩形数量最多的那一类判定为正确目标。检测流程图如图5所示。
[0082]
无人机在水平方向控制采用串级pid控制器，内环为角速度环，外环为角度环，角速度环的存在可以有效抵抗外环干扰，提高系统的抗干扰能力与鲁棒性。
[0083]
无人机在垂直方向控制中采用adrc控制器，来应对无人机下降过程中的超调现象，adrc控制器包括跟踪微分器td、非线性状态误差反馈控制率nlsef和扩张状态观测器eso，跟踪微分器td从快速最优控制系统开始，快速最优控制系统在连续时域内可以实现从初始值到目标值的合理规划，跟踪微分器td中有两个参数，积分步长h及速度因子r；非线性状态误差反馈控制率nlsef的输入是将跟踪微分器td分解得到的期望值和扩张状态观测器eso得到的观测值作差得到系统的状态误差，扩张状态观测器eso是在一般观测器的基础上对扰动也进行了观测，实现了维度的增加。其中：跟踪微分器td的设计思路是从快速最优控制系统开始，快速最优控制系统在连续时域内可以实现从初始值到目标值的合理规划。速度因子r大小影响控制速度。
[0084]
如图6所示，为了控制无人机的飞行速度，需要实时计算其相对于目标的位置。usb单目相机刚性连接并安装在无人机的正下方，镜头垂直向下。由于无人机的紧凑结构，相机原点和无人机机身原点被认为是同一点。右手坐标系作为参考建立无人机与目标相对位置的坐标系，在降落控制过程中，为了控制无人机的飞行速度，需要实时计算无人机相对于目标的位置，计算位置时包括五个层次的坐标系，分别是：a为像素坐标系o(u，v)、b为像平面坐标系os(x，y)、c为相机坐标系
oc
(
xc
，
yc
，
zc
)、d为目标体坐标系
ow
(
xw
，
yw
，
zw
)、e为无人机机体坐标系
ob
(
xb
，
yb
，
zb
)；像素坐标系和像平面坐标系之间的转换关系为：
[0085]
（3）；
[0086]
其中：像素坐标中像平面坐标系原点os的坐标为(u0，v0)，每个像素感光大小为dx和dy；
[0087]
基于针孔成像原理，光心到物体的距离为u，x为相机坐标系总的点，存在以下基本关系：
[0088] （4）；
[0089]
图像点p的像平面坐标系os(x，y)和物体点p的相机坐标系
oc
(
xc
，
yc
，
zc
)之间的关系为：
[0090]
（5）；
[0091]
其中：f为相机的焦距；
[0092]
像素和相机坐标系之间的关系可以通过将等式（3）代入等式（5）来获得，如下所示：
[0093]
ꢀꢀ
（6）；
[0094]
像素坐标系o(u，v)和相机坐标系
oc
(
xc
，
yc
，
zc
)之间的关系为：
[0095]
（7）；其中：，，dx=du，dy=dv，由中间量组成的矩阵称为相机k的内参考矩阵。
[0096]
为了求解无人机与合作标识的相对位置，需求解合作标识在相机坐标系中的坐标；已知u，v和内部参考矩阵k，求解
xc
，
yc
，
zc
，首先需要找到
zc
的值，目标的长度和宽度相同，实际长度已知，使用像素坐标系中边界两个对角点来估计
zc
值，设两点为(u1，v1)和(u2，v2)，它们对应的相机坐标为(
xc1
，
yc1
，
zc1
)和(
xc2
，
yc2
，
zc2
)，该关系可由下式导出：
[0097]
（8）；
[0098]
（9）；
[0099]
将这两个方程相减，得到下面的方程：
[0100]
（10）；
[0101]
假设无人机平行于合作标识平面，z
c1
=z
c2
，可获得以下等式：
[0102]
；
[0103]
得到下面的等式：
[0104]
；
[0105]
其中：高度
zc
可以根据目标的宽度和高度来计算，在实验过程中，为了解决当目标位于边缘时只有一部分图像在视场中的情况，选择目标检测的较长边缘来计算高度
zc
，然后计算
xc
和
yc
值，从而获得目标在相机坐标系中的坐标
xc
，
yc
，
zc
。
[0106]
如图6所示，相机和机体坐标系的原点是相同的，相机坐标系
oc
(
xc
，
yc
，
zc
)和无人机机体坐标系
ob
(
xb
，
yb
，
zb
)的关系用以下矩阵表示：
[0107]
（12）；
[0108]
基于三轴旋转矩阵，从无人机机体坐标系转换到体惯性系的方程如下:
[0109]
；
[0110]
（11）；
[0111]
其中，r为旋转矩阵，θ为俯仰角，φ为横滚角，ψ为偏航角，大小由uav飞控根据imu信息计算，得到目标在体惯性系内的坐标值xe，ye，ze，也就是得到降落标识相对于无人机的位置估计，然后根据估计的坐标值控制无人机精准着陆。
[0112]
旋翼无人机作为强耦合、欠驱动的非线性系统，单级pid控制器在其受到较大扰动时控制效果不佳，本发明在水平方向上采用了串级pid控制器，内环为角速度环，外环为角度环，增加了角速度环可以有效抵抗外环干扰，提高系统的抗干扰能力与鲁棒性。串级pid控制系统框图如图7所示。
[0113]
无人机在垂直方向控制中采用adrc控制器，adrc控制器包括跟踪微分器td、非线性状态误差反馈控制率nlsef和扩张状态观测器eso，跟踪微分器td从快速最优控制系统开始，快速最优控制系统在连续时域内可以实现从初始值到目标值的合理规划，跟踪微分器td中有两个参数，积分步长h及速度因子r；非线性状态误差反馈控制率nlsef的输入是将跟踪微分器td分解得到的期望值和扩张状态观测器eso得到的观测值作差得到系统的状态误差，扩张状态观测器eso是在一般观测器的基础上对扰动也进行了观测，实现了维度的增加。图8为adrc控制算法结构图，eso的输入量为两个值，分别是输出量和控制量，而输出有三个观测值分别是输出量观测值z1、速度观测值z2以及扰动观测值z3，扰动观测值z3反馈到控制量中实现补偿，而输出量观测值z1和td分解得到的v1作差得到e1，输出量观测值z2和td分解得到的v2作差得到e2，将e1、e2反馈给非线性组合进行非线性控制。eso中涉及五个参数：线性带宽w0、决定补偿作用强弱参数b0，以及eso的三个反馈增益β1、β2和β3，其中三个反馈增益和线性带宽w0的值存在数值关系。
[0114]
旋翼无人机自主降落的流程图如图9所示，无人机起飞后通过双目追踪相机和rtk定位系统加权融合搜索合作标识，成功锁定合作标识后，无人机获取到降落点的位置信息，把位置信息数据传给飞行控制器，飞行控制器根据传来的数据来控制无人机的飞行，当无人机的中心位置对准分级标识的中心位置时，无人机开始执行降落操作，在降落过程中当无人机偏离中心位置时，分布在四周的aruco码会对无人机进行方向上的引导，让无人机对自身位置进行一个微调整，直到再次成功锁定分级标识，无人机对准分级标识继续下降，当达到设定阈值高度后无人机关闭电机，完成降落。物理空间中无人机自主降落示意图如图10所示。
[0115]
rtk定位系统包括rtk地面基站、机载端rtk天线、地面端rtk板卡、机载端rtk板卡和4g通信模块，通过机载端rtk板卡采集到的卫星数据和rtk地面基站采集到的卫星数据进行实时载波相位差处理，得到厘米级的定位结果，从而可以得到无人机精准的位置信息。
[0116]
该rtk定位系统主要协助无人机进行更为安全、精准的降落。整个降落过程，主要包括以下环节：
[0117]
s1.首先通过双目追踪相机和rtk定位系统组合来完成一个基于aruco码的追踪，把无人机引导到合作标识上方。当无人机成功检测到合作标识后，无人机在标识上方悬停，此时让双目追踪相机停止工作，接下来的降落过程由usb单目相机来完成。
[0118]
s2.当旋翼无人机的中心位置对准合作标识的中心位置时，无人机切换到降落模式，执行降落。在这个过程中，如果无人机丢失降落标识，无人机可通过分布四周的aruco码提供的方位信息，进行一个微调整，若还是不能成功锁定降落中心位置，无人机则通过提升自身高度，重新搜索降落目标。
[0119]
s3.在整个降落过程中，虚拟空间中的无人机与物理空间中的无人机进行数据的双向交互，实时进行反馈。通过服务中心，可以观察到无人机在虚拟空间和物理空间中的降落情况。同时，飞行控制器会把无人机的三维位姿信息传输到地面站进行显示。当达到设定阈值高度后无人机关闭电机，完成降落。
[0120]
在ros系统中无人机基于视觉降落节点关系图如图11所示，相机节点将首先捕获图像，并将此ros图像消息发送到cvbridge节点，cvbridge节点会将其转换为opencv图像消息，以便视觉节点可以使用opencv库计算无人机和降落标识之间的相对距离。控制节点收到视觉节点的相对距离后，会根据距离向mavros节点发送特定的速度和位置指令。mavros节点将翻译其订阅的命令为mavlink格式，并控制无人机飞行。为了避免失去对无人机的控制，这里增加了一个遥控器节点，这样可以使用键盘通过手动操作来实现无人机的控制。图12为无人机在gazebo仿真环境中自主降落示意图。
[0121]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：包括虚拟空间、物理空间、服务中心和控制策略，虚拟空间用于进行无人机自主降落的虚拟训练；物理空间完成无人机自主降落的现实任务，物理空间包括双目追踪相机、usb单目相机、rtk定位系统和板载计算机，控制策略包括控制方法和合作标识，所述的控制方法包括水平方向控制和垂直方向控制，双目追踪相机与rtk定位系统相结合将无人机引导至合作标识上方，usb单目相机用来锁定合作标识的中心位置实现精准降落，所述的服务中心包括地面信息系统和无人机相机，所述的地面信息系统用于获取实体无人机的飞行实时位置并设定降落位置；无人机相机用于提供无人机在飞行和降落过程中的图像信息至板载计算机。2.根据权利要求1所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：合作标识包括分级标识和aruco码，所述的分级标识位于自主降落合作标识的中心位置，所述的分级标识用于引导无人机的精准降落；所述的aruco码分布在分级标识的四周，所述的aruco码用于对无人机在四个方位上进行引导。3.根据权利要求2所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：aruco码的识别步骤为：1）将图像加载并转换成灰度图像；2）自适应二值化使用otsu算法处理不同光照条件下的图像；3）通过形态学处理去除图像的噪声；4）轮廓提取是从二值化图像中提取物体的边界轮廓，采用基于边缘检测的canny算法，canny算法首先使用高斯滤波器对图像进行平滑处理，然后使用soble算子来检测图像中的边缘；5）使用极大值抑制和双阈值分割来提取出边缘轮廓；6）四边形筛选方法采用harris角点检测算法，通过检测四个点是否在同一直线上来筛选出符合条件的四边形；7）透视变换将合作标识上的点转换成相机成像的像素点；8）识别aruco码中的id，完成aruco码的识别。4.根据权利要求2所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：虚拟空间主要包括ros系统与unreal engine 4引擎，unreal engine 4引擎用于无人机模型、传感器模型的设计以及仿真环境的搭建，在ros系统中结合python/opencv进行控制无人机视觉算法的开发，并在ros系统中的gazebo仿真平台进行软件在环的实验，软件在环实验成功后，把程序移植到rflysim平台上，连接好飞行控制器与遥控器，进行硬件在环仿真实验后再进行无人机实体机实验。5.根据权利要求4所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：无人机在垂直方向控制中采用adrc控制器，adrc控制器包括跟踪微分器td、非线性状态误差反馈控制率nlsef和扩张状态观测器eso，跟踪微分器td从快速最优控制系统开始，快速最优控制系统在连续时域内可以实现从初始值到目标值的合理规划，跟踪微分器td中有两个参数，积分步长h及速度因子r；非线性状态误差反馈控制率nlsef的输入是将跟踪微分器td分解得到的期望值和扩张状态观测器eso得到的观测值作差得到系统的状态误差，扩张状态观测器eso是在一般观测器的基础上对扰动也进行了观测，实现了维度的增加。6.根据权利要求5所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征
在于：无人机在水平方向控制采用串级pid控制器，内环为角速度环，外环为角度环，角度环对应的控制器如式（1）所示：（1）；其中，θ为俯仰角，φ为横滚角，ψ为偏航角，kp、ki、kd分别为对应姿态角的pid控制参数，、、是姿态角pid控制器的输出也是角速度pid控制器的参考输入；角速度环对应的控制器如式（2）所示，其中u1为横滚力矩，u2为俯仰力矩，u3为偏航力矩；（2）。7.根据权利要求6所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：在降落控制过程中，为了控制无人机的飞行速度，需要实时计算无人机相对于目标的位置，计算位置时包括五个层次的坐标系，分别是：a为像素坐标系o(u，v)、b为像平面坐标系os(x，y)、c为相机坐标系
oc
(
xc
，
yc
，
zc
)、d为目标体坐标系
ow (
xw
，
yw
，
zw
)、e为无人机机体坐标系
ob (
xb
，
yb
，
zb
)；像素坐标系和像平面坐标系之间的转换关系为：；其中：像素坐标中像平面坐标系原点os的坐标为(u0，v0) ，每个像素感光大小为dx和dy；图像点p的像平面坐标系os(x，y)和物体点p的相机坐标系
oc
(
xc
，
yc
，
zc
)之间的关系为：
；其中：f为相机的焦距；像素坐标系o(u，v)和相机坐标系
oc
(
xc
，
yc
，
zc
)之间的关系为：；其中：，,dx=du，dy=dv，由中间量组成的矩阵称为相机k的内参考矩阵。8.根据权利要求7所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：无人机与合作标识的相对位置，需求解合作标识在相机坐标系中的坐标；已知u，v和内部参考矩阵k，求解
xc
，
yc
，
zc
，首先需要找到
zc
的值，目标的长度和宽度相同，实际长度已知，使用像素坐标系中边界两个对角点来估计
zc
值，设两点为(u1，v1)和(u2，v2) ，它们对应的相机坐标为(
xc1
，
yc1
，
zc1
)和(
xc2
，
yc2
，
zc2
)，；其中：高度
zc
可以根据目标的宽度和高度来计算，选择目标检测的边缘来计算高度
zc
，然后计算
xc
和
yc
值，从而获得目标在相机坐标系中的坐标
xc
，
yc
，
zc
。9.根据权利要求8所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：相机坐标系
oc
(
xc
，
yc
，
zc
)和无人机机体坐标系
ob (
xb
，
yb
，
zb
)的关系用以下矩阵表示：；基于三轴旋转矩阵，从无人机机体坐标系转换到体惯性系的方程如下:；
（11）；其中，r为旋转矩阵，θ为俯仰角，φ为横滚角，ψ为偏航角，目标在体惯性系内的坐标值x
e
，y
e
，z
e
。10.根据权利要求1所述的基于数字孪生技术的旋翼无人机自主降落控制系统，其特征在于：rtk定位系统包括rtk地面基站、机载端rtk天线、地面端rtk板卡、机载端rtk板卡和4g通信模块，通过机载端rtk板卡采集到的卫星数据和rtk地面基站采集到的卫星数据进行实时载波相位差处理，得到厘米级的定位结果，从而可以得到无人机精准的位置信息。

技术总结
本发明涉及数字孪生技术和无人机飞行控制技术领域，尤其涉及一种基于数字孪生技术的旋翼无人机自主降落控制系统，整个控制系统主要包括虚拟空间、物理空间和服务中心三部分，虚拟空间主要是进行孪生无人机自主降落的虚拟训练，物理空间主要是进行物理无人机自主降落的现实训练，服务中心在整个过程中起到远程控制和监督的作用。无人机的精准降落基于一种合作标识，它由ArUco码与分级标识结合而成，分布四周的ArUco码在方向上对无人机起到一个引导作用，位于中心位置的分级标识，可以解决无人机在下降过程中丢失目标的情况。本发明可以实现通过孪生无人机与物理无人机数据的实时交互，从而实现无人机更为精准、更为安全。更为安全。更为安全。


技术研发人员：姚娟 宋连港 林鸿 蔡晨晓 程鹏 严兵 马冲 吴琪 邹云
受保护的技术使用者：深圳职业技术学院
技术研发日：2023.07.14
技术公布日：2023/8/13