飞机实时三维模型重建方法与流程

1.本发明涉及三维模型重建技术领域，具体为飞机实时三维模型重建方法。


背景技术：

2.目前机场正在智能化改造，飞机作为机场最重要的一部分，在自动驾驶牵引车作业过程中，飞机的绝对位置非常重要，以此保证各方的安全，为此我们需要利用专业设备对飞机的轮廓进行三维重建，保证自动牵引车行驶过程中的安全性，也能在数字化平台中实时展现所有飞机的三维模型以及绝对位置，精度可达2cm。
3.目前飞机的三维建模都是利用车作为载体去扫描得到数据进行后处理，建模时间长，数据源单一，难以做到实时重建，只能作为前端展示所用，不能应用于自动牵引车的作业过程中，因此本发明提供了飞机实时三维模型重建方法。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了飞机实时三维模型重建方法，解决了上述背景技术中提出的问题。
6.(二)技术方案
7.为实现以上目的，本发明提供如下技术方案：飞机实时三维模型重建方法需要用到的硬件包括：机场路测设备(路测设备需包含摄像头、激光雷达、gnss设备、5g通信设备)，利用机场现有的路测设备融合多源传感器对实时的飞机进行重建，在同一时间内，不同的路测设备会观测到同一驾飞机，可将扫描到该飞机的点进行聚类，转换到世界坐标系下，对飞机表面进行拟合处理，利用图像-激光融合技术得到飞机的三维模型，并且可以识别到飞机的型号，我们称该系统为飞机实时重建系统。
8.优选的，该系统的主要流程分为以下几步：
9.s1、数据采集模块：获取机场所有路测设备的点云、图像、位置数据并上传服务器；
10.s2、预处理模块：对激光雷达数据以及图像数据进行去噪处理，标定激光雷达和图像的外参；
11.激光雷达去噪可以通过构建kd树，对每个点进行最近邻搜索，设置距离阈值，可以将独立的噪声点去除；
12.图像去噪这里采用高斯滤波去燥算法，通过设置一定大小的滑窗，计算每个像素周围领域的加权平均值，可以去除一定的噪声；
13.标定方法：联合标定使用的是autoware的calibrationtookit模块。
14.s3、数据融合模块：将图像、激光点、gnss进行融合，可以得到世界坐标系下的rgb点云数据；
15.将点云数据通过设置一定的分辨率降维生成二维数据，然后利用sift算法分别提取点云和图像数据的特征点，根据投影模型，将图像的rgb信息赋值给对应的点云数据，至
此，可以得到带有rgb以及强度的三维点云数据，然后根据每个路测单元的gnss，将三维点云数据转换到全局坐标系下；
16.s4、数据处理模块：前期建立飞机三维数据的数据集模型，然后对处理后的数据基于yolov7的深度学习对飞机的轮廓进行提取并建模，将所有飞机的模型以及位置标记出来；
17.s5、数据通信模块：利用5g通信将飞机模型以及位置数据上传至云端，并将云端数据发布在数字化平台上。
18.(三)有益效果
19.与现有技术相比，本发明提供了飞机实时三维模型重建方法，具备以下
20.有益效果：
21.该飞机实时三维模型重建方法，通过本发明可将飞机模型和位置实时显示在中控界面以及自动驾驶牵引车显示屏上，使得飞机在车端与云端得到实时更新，提高了整个自动驾驶牵引车的行驶安全。
具体实施方式
22.下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.本发明提供技术方案：需要用到的硬件包括：机场路测设备(路测设备需包含摄像头、激光雷达、gnss设备、5g通信设备)，其特征在于：利用机场现有的路测设备融合多源传感器对实时的飞机进行重建，在同一时间内，不同的路测设备会观测到同一驾飞机，可将扫描到该飞机的点进行聚类，转换到世界坐标系下，对飞机表面进行拟合处理，利用图像-激光融合技术得到飞机的三维模型，并且可以识别到飞机的型号，我们称该系统为飞机实时重建系统，该系统的主要流程分为以下几步：s1、数据采集模块：获取机场所有路测设备的点云、图像、位置数据并上传服务器；s2、预处理模块：对激光雷达数据以及图像数据进行去噪处理，标定激光雷达和图像的外参；激光雷达去噪可以通过构建kd树，对每个点进行最近邻搜索，设置距离阈值，可以将独立的噪声点去除；图像去噪这里采用高斯滤波去燥算法，通过设置一定大小的滑窗，计算每个像素周围领域的加权平均值，可以去除一定的噪声；标定方法：联合标定使用的是autoware的calibrationtookit模块。s3、数据融合模块：将图像、激光点、gnss进行融合，可以得到世界坐标系下的rgb点云数据；将点云数据通过设置一定的分辨率降维生成二维数据，然后利用sift算法分别提取点云和图像数据的特征点，根据投影模型，将图像的rgb信息赋值给对应的点云数据，至此，可以得到带有rgb以及强度的三维点云数据，然后根据每个路测单元的gnss，将三维点云数据转换到全局坐标系下；
24.s4、数据处理模块：前期建立飞机三维数据的数据集模型，然后对处理后的数据基于yolov7的深度学习对飞机的轮廓进行提取并建模，将所有飞机的模型以及位置标记出来；s5、数据通信模块：利用5g通信将飞机模型以及位置数据上传至云端，并将云端数据发布在数字化平台上。
25.工作步骤；s1、数据采集模块：获取机场所有路测设备的点云、图像、位置数据并上
传服务器；
26.s2、预处理模块：对激光雷达数据以及图像数据进行去噪处理，标定激光雷达和图像的外参；
27.激光雷达去噪可以通过构建kd树，对每个点进行最近邻搜索，设置距离阈值，可以将独立的噪声点去除；
28.图像去噪这里采用高斯滤波去燥算法，通过设置一定大小的滑窗，计算每个像素周围领域的加权平均值，可以去除一定的噪声；
29.标定方法：联合标定使用的是autoware的calibrationtookit模块。
30.s3、数据融合模块：将图像、激光点、gnss进行融合，可以得到世界坐标系下的rgb点云数据；
31.将点云数据通过设置一定的分辨率降维生成二维数据，然后利用sift算法分别提取点云和图像数据的特征点，根据投影模型，将图像的rgb信息赋值给对应的点云数据，至此，可以得到带有rgb以及强度的三维点云数据，然后根据每个路测单元的gnss，将三维点云数据转换到全局坐标系下。
32.s4、数据处理模块：前期建立飞机三维数据的数据集模型，然后对处理后的数据基于yolov7的深度学习对飞机的轮廓进行提取并建模，将所有飞机的模型以及位置标记出来；
33.s5、数据通信模块：利用5g通信将飞机模型以及位置数据上传至云端，并将云端数据发布在数字化平台上。
34.综上所述，该飞机实时三维模型重建方法，通过本发明可将飞机模型和位置实时显示在中控界面以及自动驾驶牵引车显示屏上，使得飞机在车端与云端得到实时更新，提高了整个自动驾驶牵引车的行驶安全。
35.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
36.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.飞机实时三维模型重建方法，需要用到的硬件包括：机场路测设备(路测设备需包含摄像头、激光雷达、gnss设备、5g通信设备)，其特征在于：利用机场现有的路测设备融合多源传感器对实时的飞机进行重建，在同一时间内，不同的路测设备会观测到同一驾飞机，可将扫描到该飞机的点进行聚类，转换到世界坐标系下，对飞机表面进行拟合处理，利用图像-激光融合技术得到飞机的三维模型，并且可以识别到飞机的型号，我们称该系统为飞机实时重建系统。2.根据权利要求1所述的飞机实时三维模型重建方法，其特征在于：该系统的主要流程分为以下几步：s1、数据采集模块：获取机场所有路测设备的点云、图像、位置数据并上传服务器；s2、预处理模块：对激光雷达数据以及图像数据进行去噪处理，标定激光雷达和图像的外参；激光雷达去噪可以通过构建kd树，对每个点进行最近邻搜索，设置距离阈值，可以将独立的噪声点去除；图像去噪这里采用高斯滤波去燥算法，通过设置一定大小的滑窗，计算每个像素周围领域的加权平均值，可以去除一定的噪声；标定方法：联合标定使用的是autoware的calibrationtookit模块。s3、数据融合模块：将图像、激光点、gnss进行融合，可以得到世界坐标系下的rgb点云数据；将点云数据通过设置一定的分辨率降维生成二维数据，然后利用sift算法分别提取点云和图像数据的特征点，根据投影模型，将图像的rgb信息赋值给对应的点云数据，至此，可以得到带有rgb以及强度的三维点云数据，然后根据每个路测单元的gnss，将三维点云数据转换到全局坐标系下；s4、数据处理模块：前期建立飞机三维数据的数据集模型，然后对处理后的数据基于yolov7的深度学习对飞机的轮廓进行提取并建模，将所有飞机的模型以及位置标记出来；s5、数据通信模块：利用5g通信将飞机模型以及位置数据上传至云端，并将云端数据发布在数字化平台上。

技术总结
本发明涉及三维模型重建技术领域，且公开了飞机实时三维模型重建方法，需要用到的硬件包括：机场路测设备(路测设备需包含摄像头、激光雷达、gnss设备、5G通信设备)，利用机场现有的路测设备融合多源传感器对实时的飞机进行重建，在同一时间内，不同的路测设备会观测到同一驾飞机，可将扫描到该飞机的点进行聚类，转换到世界坐标系下，对飞机表面进行拟合处理，利用图像-激光融合技术得到飞机的三维模型，并且可以识别到飞机的型号。该飞机实时三维模型重建方法，通过本发明可将飞机模型和位置实时显示在中控界面以及自动驾驶牵引车显示屏上，使得飞机在车端与云端得到实时更新，提高了整个自动驾驶牵引车的行驶安全。提高了整个自动驾驶牵引车的行驶安全。


技术研发人员：赵元丁 杨海松
受保护的技术使用者：北京清维如风科技有限公司
技术研发日：2023.04.07
技术公布日：2023/7/25