一种飞机表面异物自动识系统及其方法

1.本发明涉及民用飞机航线自动检测与维修技术领域，具体为一种飞机表面异物自动识系统及其方法。


背景技术：

2.民航客机目前主要的故障形式是由结构件的裂纹、腐蚀等损伤导致的结构故障，为确保执飞前飞机的正常使用和安全性，飞机的无损检测非常重要，而飞机蒙皮表面检测又是飞机无损检测的重点。当前，飞机蒙皮表面检测仍是以地勤人员的目视检测为主。目视检查是航空器完整性检查的最基本、最常用的检查方法，也是保证飞行安全的重要检查手段之一。在对飞机进行其他的无损检测之前，凡是能目视到的部分都必须经过目视检查。对飞机的目视检查包括从飞行前绕机一周的检查；借助照明设备和放大镜对机体表面的仔细检查；直到借助内窥镜和反光镜对机体内部表面的检查。
3.目前航线目视检测存在如下缺陷：（1）飞机机型种类繁多，对不同机型的人工目视检查时间长、效率低下；（2）机场地勤机务人员的工作要求强度大，已逐渐需要被自动化替代；（3）人为因素的不确定性增加了航线飞机安全隐患，漏检率高；（4）目前对航线飞机尚未有一套完整的、机械化的自动检测程序，不能满足民用飞机程序化维修检测的需要；（5）人工目视检查相较之于自动化图像对比存在明显的不足。


技术实现要素：

4.本发明的目的在于提供一种飞机表面异物自动识系统及其方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种飞机表面异物自动识系统，包括移动载具，所述移动载具上搭载有工控机、stm32开发板、升降平台，所述工控机与stm32开发板电性连接，所述升降平台上设置有舵机，所述高清摄像头搭载在舵机上，所述舵机、高清摄像头与stm32开发板电性连接。
6.优选的，所述工控机电性连接有显示屏，所述移动载具上还搭载有避障雷达，所述避障雷达与工控机电性连接。
7.优选的，所述升降平台配合设置有步进电机，且通过步进电机进行驱动升降平台进行升降，所述步进电机与stm32开发板电性连接。
8.优选的，一种飞机表面异物自动识方法，包括根据权利要求1所述一种飞机表面异物自动识系统，其特征在于，飞机表面异物自动识方法的检测内容如下：1）侧面图像拍摄；2）正面图像拍摄；3）固定点位图像拍摄及对比识别；4）同型飞机图像对比。
9.飞机表面异物自动识方法工作过程如下：
1）移动载具的软硬件搭载依托远程控制的自动化智能移动载具，其上搭载工控机、显示屏、高清摄像头、升降平台、步进电机、舵机、stm32开发板、避障雷达等，远程联网至系统平台；2）移动载具的运行操作通过联网平台，操作人员远程控制移动载具，对客机侧面和正面进行环绕检测，通过移动载具的按序行进，对飞机侧面和正面的表面蒙皮进行拍摄，并且在每一个拍摄点位，通过操控升降平台，调整摄像高度，从低、中、高多个点位，仰视、平视、俯视多个角度，对飞机表面蒙皮进行拍摄并将图像上传，通过图像识别对比技术，找出差异点；3）利用系统平台数据库完成数据比对为将该程序化检查运用到所有航线以替代传统人工目视检测，实现一对多的高效操作，需利用系统平台数据库，实现多级同步高效操作和监管，提高民航管理系统的安全性和高效性。该系统通过移动载具上置的图像数据采集器或随未来发展趋势更新的智能化图像数据采集设备，含现役民机的所有型号进行身份，按照同型号分类，子集下包含每架现役民机。利用系统平台数据库，航线的客机人工目视检测均可实现自动化，并统一检查程序，将采集的数据与数据库内图像进行图像识别比对，自动找出异常点并将该异常反馈，在提高检测效率的同时实现多级监管，确保最大程度的民机安全。
10.与现有技术相比，本发明的有益效果是：1、本发明提供通过一种飞机表面异物自动识别方法，其主要操作都实现了自动化，减少了航线目视检测时对人力和人因的依赖，提高了检查效率；2、本发明提供整体检测流程规范且流程基本明确，减少了人为因素导致的漏检事件发生，增加了民航客机的安全性；3、本发明提供的飞机表面异物自动识别方法不仅可供机场航线一般检测的需要，同时利用系统平台数据库，实现多航线高效完成异常点检测，记录所有飞机起飞前的基本外观图像，有助于故障的分析，也可以实现机场航线多级共同监管，增加了民航客机的安全性。
附图说明
11.图1为本发明方法的侧面图像拍摄示意图；图2为本发明方法的正面图像拍摄示意图；图3为本发明方法中固定点位图像拍摄及对比识别示意图；图4为本发明中模块连接示意图。
12.图中：a点——仰视拍摄，移动载具上升降平台低点点位；b点——平视拍摄，移动载具上升降平台上升至半高点点位；c点——俯视拍摄，移动载具上升降平台上升至全高点点位；o点——固定静态点位。
具体实施方式
13.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本发明保护的范围。
14.实施例一请参阅图1-4，本发明提供一种技术方案：一种飞机表面异物自动识系统，包括自动化智能可远程控制的移动载具，所述移动载具上搭载有工控机、stm32开发板、升降平台，所述工控机与stm32开发板电性连接，所述升降平台上设置有舵机，所述高清摄像头搭载在舵机上，所述舵机、高清摄像头与stm32开发板电性连接，利用移动载具带动高清摄像头移动、升降平台调节高清摄像头的高度、舵机控制高清摄像头的角度，进而实现控制不同点位、不同角度的拍摄；优选的，所述工控机电性连接有显示屏，所述移动载具上还搭载有避障雷达，所述避障雷达与工控机电性连接；优选的，所述升降平台配合设置有步进电机，且通过步进电机进行驱动升降平台进行升降，所述步进电机与stm32开发板电性连接，移动载具上置设备搭载工控机、显示屏、高清摄像头、升降平台、步进电机、舵机、stm32开发板、避障雷达等，工控机搭载图像识别比对的相关程序；一种飞机表面异物自动识方法，包括根据权利要求1所述一种飞机表面异物自动识系统，其特征在于，飞机表面异物自动识方法的检测内容如下：1）侧面图像拍摄侧面图像拍摄由仰视、平视、俯视多个视角进行拍摄，其行为由机头向机尾进行拍摄，每移动一个点位前，均需按移动载具上摄像头多个固定高度拍摄，一般包括从机头至机尾的俯视、平视、仰视三视角拍摄，移动载具从机头向机尾方向依次拍摄，每一位置均需用移动载具上置的伸缩杆从固定三点依次仰视、平视、俯视拍摄，其要求三视角水平角度基本相同；2）同型飞机图像对比同型飞机图像对比，需要同一型号的飞机图像录入系统库内、该飞机投入运营前图像录入系统库内，运用图像识别技术，对库内该型号飞机和该飞机进行特定点位的图像比对，以找出异常点；所述同型飞机图像比对，可搭建平台系统库，对所有执行航线飞行任务的民机按照型号均需按照侧面、正面及固定点位进行图像拍摄录入，同时在此基础上再具体到每架飞机的图像拍摄录入，需调研飞机蒙皮无损检测的研究现状，以及飞机蒙皮常见损伤类型及产生原因，根据飞机蒙皮无损检测的需求，定义损伤类型，并根据样本需求制定图像采集规范，采用深度神经网络实现飞机蒙皮表面图像的损伤检测，基于深度学习的目标检测，搭建网络结构并形成训练流程，对损伤目标进行图像标注数据集中，进而确定损伤区域和类型，远期看，可对所有交付的飞机执飞前均需进行无故障异常的类似身份信息录入，方面日后通过联网的平台系统进行飞机表面异物自动识别。
15.飞机表面异物自动识方法工作过程如下：1）移动载具的软硬件搭载依托远程控制的自动化智能移动载具，其上搭载工控机、显示屏、高清摄像头、升降平台、步进电机、舵机、stm32开发板、避障雷达等，远程联网至系统平台，实现地勤机务人员远程指挥控制，对相关数据采集并上传至统一联网平台端，利用平台已录入的相关图像信息等，实现图像的识别与对比。图像识别基于神经网络应用，详细方法如经典卷积神经网络及其改进、目标检测算法的应用等，在飞机蒙皮表面图像标注数据集上进行训练，针对训
练得到的网络模型，构建测试集对其检测效果进行测试和应用，移动载具上搭载的硬件及其内置程序跟随最新研究成果实现升级；2）移动载具的运行操作通过联网平台，操作人员远程控制移动载具，对客机侧面进行环绕检测，通过移动载具的按序行进，对飞机侧面表面蒙皮进行拍摄，并且在每一个拍摄点位，通过操控升降平台，调整摄像高度，图1中a、b、c三个点位为侧面图像拍摄的低、中、高三个点位，a、b、c三个点位分别是移动载具上升降平台从收起、上升半高、上升全高度的多个拍摄点位，分别是仰视、平视、俯视多个拍摄视角，对机身全侧面整体拍摄，按照固定设计路线行进，每一次停滞拍摄，均需要通过遥控升降平台对a、b、c三个拍摄视角进行图像的采集仰视、平视、俯视多个角度，对飞机表面蒙皮进行拍摄并将图像上传，通过图像识别对比技术，找出差异点，移动载具的行进操作可通过统一集成化的平台窗口进行远程操控，亦可通过蓝牙控制的手柄进行范围内的遥控；3）利用系统平台数据库完成数据比对为将该程序化检查运用到所有航线以替代传统人工目视检测，实现一对多的高效操作，需利用系统平台数据库，实现多级同步高效操作和监管，提高民航管理系统的安全性和高效性。该系统通过移动载具上置的图像数据采集器或随未来发展趋势更新的智能化图像数据采集设备，含现役民机的所有型号进行身份，按照同型号分类，子集下包含每架现役民机，利用系统平台数据库，航线的客机人工目视检测均可实现自动化，并统一检查程序，将采集的数据与数据库内图像进行图像识别比对，自动找出异常点并将该异常反馈，在提高检测效率的同时实现多级监管，确保最大程度的民机安全。
16.实施例二请参阅图1-4，本发明提供一种技术方案：一种飞机表面异物自动识系统，包括自动化智能可远程控制的移动载具，所述移动载具上搭载有工控机、stm32开发板、升降平台，所述工控机与stm32开发板电性连接，所述升降平台上设置有舵机，所述高清摄像头搭载在舵机上，所述舵机、高清摄像头与stm32开发板电性连接，利用移动载具带动高清摄像头移动、升降平台调节高清摄像头的高度、舵机控制高清摄像头的角度，进而实现控制不同点位、不同角度的拍摄；优选的，所述工控机电性连接有显示屏，所述移动载具上还搭载有避障雷达，所述避障雷达与工控机电性连接；优选的，所述升降平台配合设置有步进电机，且通过步进电机进行驱动升降平台进行升降，所述步进电机与stm32开发板电性连接，移动载具上置设备搭载工控机、显示屏、高清摄像头、升降平台、步进电机、舵机、stm32开发板、避障雷达等，工控机搭载图像识别比对的相关程序；一种飞机表面异物自动识方法，包括根据权利要求1所述一种飞机表面异物自动识系统，其特征在于，飞机表面异物自动识方法的检测内容如下：1）正面图像拍摄；正面图像拍摄由仰视、平视、俯视多个视角进行拍摄，对于客机机头，仍需按移动载具上摄像头多个固定高度拍摄，移动载具前进至客机机头正前方能够完整囊括整个机头的位置，仍通过伸缩杆将摄像头从低到高的多个固定高度对客机机头进行仰视、平视、俯视拍摄；
2）同型飞机图像对比同型飞机图像对比，需要同一型号的飞机图像录入系统库内、该飞机投入运营前图像录入系统库内，运用图像识别技术，对库内该型号飞机和该飞机进行特定点位的图像比对，以找出异常点；所述同型飞机图像比对，可搭建平台系统库，对所有执行航线飞行任务的民机按照型号均需按照侧面、正面及固定点位进行图像拍摄录入，同时在此基础上再具体到每架飞机的图像拍摄录入，需调研飞机蒙皮无损检测的研究现状，以及飞机蒙皮常见损伤类型及产生原因，根据飞机蒙皮无损检测的需求，定义损伤类型，并根据样本需求制定图像采集规范，采用深度神经网络实现飞机蒙皮表面图像的损伤检测，基于深度学习的目标检测，搭建网络结构并形成训练流程，对损伤目标进行图像标注数据集中，进而确定损伤区域和类型，远期看，可对所有交付的飞机执飞前均需进行无故障异常的类似身份信息录入，方面日后通过联网的平台系统进行飞机表面异物自动识别。
17.飞机表面异物自动识方法工作过程如下：1）移动载具的软硬件搭载依托远程控制的自动化智能移动载具，其上搭载工控机、显示屏、高清摄像头、升降平台、步进电机、舵机、stm32开发板、避障雷达等，远程联网至系统平台，实现地勤机务人员远程指挥控制，对相关数据采集并上传至统一联网平台端，利用平台已录入的相关图像信息等，实现图像的识别与对比。图像识别基于神经网络应用，详细方法如经典卷积神经网络及其改进、目标检测算法的应用等，在飞机蒙皮表面图像标注数据集上进行训练，针对训练得到的网络模型，构建测试集对其检测效果进行测试和应用，移动载具上搭载的硬件及其内置程序跟随最新研究成果实现升级；2）移动载具的运行操作通过联网平台，操作人员远程控制移动载具，对客机正面检测，对于客机机头，仍需按移动载具上摄像头多个固定高度拍摄，移动载具前进至客机机头正前方能够完整囊括整个机头的位置，图2中a、b、c三个点位为正面图像拍摄的低、中、高三个点位，a、b、c三个点位分别是移动载具上升降平台从收起、上升半高、上升全高度的多个拍摄点位，分别是仰视、平视、俯视多个拍摄视角，仍通过伸缩杆将摄像头从低到高的多个固定高度对客机机头进行仰视、平视、俯视多个角度，对飞机表面蒙皮进行拍摄并将图像上传，通过图像识别对比技术，找出差异点，移动载具的行进操作可通过统一集成化的平台窗口进行远程操控，亦可通过蓝牙控制的手柄进行范围内的遥控；3）利用系统平台数据库完成数据比对为将该程序化检查运用到所有航线以替代传统人工目视检测，实现一对多的高效操作，需利用系统平台数据库，实现多级同步高效操作和监管，提高民航管理系统的安全性和高效性。该系统通过移动载具上置的图像数据采集器或随未来发展趋势更新的智能化图像数据采集设备，含现役民机的所有型号进行身份，按照同型号分类，子集下包含每架现役民机，利用系统平台数据库，航线的客机人工目视检测均可实现自动化，并统一检查程序，将采集的数据与数据库内图像进行图像识别比对，自动找出异常点并将该异常反馈，在提高检测效率的同时实现多级监管，确保最大程度的民机安全。
18.实施例三请参阅图1-4，本发明提供一种技术方案：一种飞机表面异物自动识系统，包括自
动化智能可远程控制的移动载具，其特征在于：所述移动载具上搭载有工控机、stm32开发板、升降平台，所述工控机与stm32开发板电性连接，所述升降平台上设置有舵机，所述高清摄像头搭载在舵机上，所述舵机、高清摄像头与stm32开发板电性连接，利用移动载具带动高清摄像头移动、升降平台调节高清摄像头的高度、舵机控制高清摄像头的角度，进而实现控制不同点位、不同角度的拍摄；优选的，所述工控机电性连接有显示屏，所述移动载具上还搭载有避障雷达，所述避障雷达与工控机电性连接；优选的，所述升降平台配合设置有步进电机，且通过步进电机进行驱动升降平台进行升降，所述步进电机与stm32开发板电性连接，移动载具上置设备搭载工控机、显示屏、高清摄像头、升降平台、步进电机、舵机、stm32开发板、避障雷达等，工控机搭载图像识别比对的相关程序；一种飞机表面异物自动识方法，包括根据权利要求1所述一种飞机表面异物自动识系统，其特征在于，飞机表面异物自动识方法的检测内容如下：1）固定点位图像拍摄及对比识别固定点位图像拍摄及对比识别，其要求移动载具在静态点位对客机特定位置进行拍摄及图像对比识别，包括尾翼两侧侧后方及侧前方、机翼两侧侧后方及侧前方等；所述固定点位图像拍摄及对比识别，要求移动载具在固定静态点位对民航客机特定位置进行拍摄，补充侧面和正面拍摄时忽略的相关细节点，按照日常地勤机务人员人工目视检查时重点关注和故障异常点发生频率较高的经验，对特定点位进行细节补充拍摄，包括尾翼两侧侧后方及侧前方、机翼两侧侧后方及侧前方等；3）同型飞机图像对比同型飞机图像对比，需要同一型号的飞机图像录入系统库内、该飞机投入运营前图像录入系统库内，运用图像识别技术，对库内该型号飞机和该飞机进行特定点位的图像比对，以找出异常点；所述同型飞机图像比对，可搭建平台系统库，对所有执行航线飞行任务的民机按照型号均需按照侧面、正面及固定点位进行图像拍摄录入，同时在此基础上再具体到每架飞机的图像拍摄录入，需调研飞机蒙皮无损检测的研究现状，以及飞机蒙皮常见损伤类型及产生原因，根据飞机蒙皮无损检测的需求，定义损伤类型，并根据样本需求制定图像采集规范，采用深度神经网络实现飞机蒙皮表面图像的损伤检测，基于深度学习的目标检测，搭建网络结构并形成训练流程，对损伤目标进行图像标注数据集中，进而确定损伤区域和类型，远期看，可对所有交付的飞机执飞前均需进行无故障异常的类似身份信息录入，方面日后通过联网的平台系统进行飞机表面异物自动识别。
19.飞机表面异物自动识方法工作过程如下：1）移动载具的软硬件搭载依托远程控制的自动化智能移动载具，其上搭载工控机、显示屏、高清摄像头、升降平台、步进电机、舵机、stm32开发板、避障雷达等，远程联网至系统平台，实现地勤机务人员远程指挥控制，对相关数据采集并上传至统一联网平台端，利用平台已录入的相关图像信息等，实现图像的识别与对比。图像识别基于神经网络应用，详细方法如经典卷积神经网络及其改进、目标检测算法的应用等，在飞机蒙皮表面图像标注数据集上进行训练，针对训练得到的网络模型，构建测试集对其检测效果进行测试和应用，移动载具上搭载的硬件及其内置程序跟随最新研究成果实现升级；
2）移动载具的运行操作考虑到人工目视检测中根据经验，对飞机特定点位重点检查，尤其是常见的疲劳断裂等缺陷易产生的位置进行重点检查，通过移动载具远程检查程序时亦将这类特定位置进行重点关注，故移动载具需要在固定点位图像拍摄及对比识别，如图3所示，o点为固定静态点位，要求移动载具在固定静态点位对民航客机特定位置进行拍摄，包括尾翼两侧侧后方及侧前方、机翼两侧侧后方及侧前方等，对特定点位进行细节补充拍摄，补充侧面和正面拍摄时忽略的相关细节点，按照日常地勤机务人员人工目视检查时重点关注和故障异常点发生频率较高的经验，该特定点位可根据经验而增加，该特定点位可根据经验而增加；3）利用系统平台数据库完成数据比对为将该程序化检查运用到所有航线以替代传统人工目视检测，实现一对多的高效操作，需利用系统平台数据库，实现多级同步高效操作和监管，提高民航管理系统的安全性和高效性。该系统通过移动载具上置的图像数据采集器或随未来发展趋势更新的智能化图像数据采集设备，含现役民机的所有型号进行身份，按照同型号分类，子集下包含每架现役民机，利用系统平台数据库，航线的客机人工目视检测均可实现自动化，并统一检查程序，将采集的数据与数据库内图像进行图像识别比对，自动找出异常点并将该异常反馈，在提高检测效率的同时实现多级监管，确保最大程度的民机安全。
20.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
21.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种飞机表面异物自动识系统，包括移动载具，其特征在于：所述移动载具上搭载有工控机、stm32开发板、升降平台，所述工控机与stm32开发板电性连接，所述升降平台上设置有舵机，所述高清摄像头搭载在舵机上，所述舵机、高清摄像头与stm32开发板电性连接。2.根据权利要求1所述的一种飞机表面异物自动识系统，其特征在于：所述工控机电性连接有显示屏，所述移动载具上还搭载有避障雷达，所述避障雷达与工控机电性连接。3.根据权利要求2所述的一种飞机表面异物自动识系统，其特征在于：所述升降平台配合设置有步进电机，且通过步进电机进行驱动升降平台进行升降，所述步进电机与stm32开发板电性连接。4.一种飞机表面异物自动识方法，包括根据权利要求1所述一种飞机表面异物自动识系统，其特征在于，飞机表面异物自动识方法的检测内容如下：1）侧面图像拍摄；2）正面图像拍摄；3）固定点位图像拍摄及对比识别；4）同型飞机图像对比；飞机表面异物自动识方法工作过程如下：1）移动载具的软硬件搭载依托远程控制的自动化智能移动载具，其上搭载工控机、显示屏、高清摄像头、升降平台、步进电机、舵机、stm32开发板、避障雷达等，远程联网至系统平台；2）移动载具的运行操作通过联网平台，操作人员远程控制移动载具，对客机侧面和正面进行环绕检测，通过移动载具的按序行进，对飞机侧面和正面的表面蒙皮进行拍摄，并且在每一个拍摄点位，通过操控升降平台，调整摄像高度，从低、中、高多个点位，仰视、平视、俯视多个角度，对飞机表面蒙皮进行拍摄并将图像上传，通过图像识别对比技术，找出差异点；3）利用系统平台数据库完成数据比对为将该程序化检查运用到所有航线以替代传统人工目视检测，实现一对多的高效操作，需利用系统平台数据库，实现多级同步高效操作和监管，提高民航管理系统的安全性和高效性；该系统通过移动载具上置的图像数据采集器或随未来发展趋势更新的智能化图像数据采集设备，含现役民机的所有型号进行身份，按照同型号分类，子集下包含每架现役民机；利用系统平台数据库，航线的客机人工目视检测均可实现自动化，并统一检查程序，将采集的数据与数据库内图像进行图像识别比对，自动找出异常点并将该异常反馈，在提高检测效率的同时实现多级监管，确保最大程度的民机安全。

技术总结
本发明公开了一种飞机表面异物自动识系统及其方法，包括移动载具，所述移动载具上搭载有工控机、STM32开发板、升降平台，所述工控机与STM32开发板电性连接，所述升降平台上设置有舵机，所述高清摄像头搭载在舵机上，所述舵机、高清摄像头与STM32开发板电性连接。本发明的飞机表面异物自动识别方法，包括侧面图像拍摄、正面图像拍摄、固定点位图像拍摄及对比识别、同型飞机图像对比，本发明提供的飞机表面异物自动识别方法主要操作都实现了自动化，减少了航线目视检测时对人力和人因的依赖，提高了检查效率；整体检测流程规范且流程基本明确，减少了人为因素导致的漏检事件发生，增加了民航客机的安全性。了民航客机的安全性。了民航客机的安全性。


技术研发人员：史永胜 宋云雪
受保护的技术使用者：中国民航大学
技术研发日：2022.11.30
技术公布日：2023/4/20