自动靠机系统舱门位置探测方法与流程

1.本发明属于自动驾驶技术领域，具体涉及一种自动靠机系统舱门位置探测方法。


背景技术：

2.自动靠机系统主要作用是避免飞机客梯车在靠机作业过程中碰撞事故的发生或减轻其造成的危害。在靠机过程中，客梯车与机身的相对距离以及飞机舱门位置的准确检测都非常重要。目前,该领域主要通过激光雷达探测客梯车与飞机的距离，防止碰撞事故的发生。在舱门位置检测方面，大多数还是采用驾驶员目测的方式。驾驶员目测容易产生较大偏差，造成事故的发生。理论上说，舱门并不是一个真正的物体，它只是在机身上开了一个方形的孔。因此，常规的激光雷达或机器视觉直接探测舱门中心位置几乎不可能，探测难度极高。而在客梯车自动靠机过程中，舱门中心位置的探测精度必须达到厘米级。
3.如何解决上述问题，实现高精度的舱门中心位置的探测是目前亟待解决的技术问题。


技术实现要素：

4.本发明的目的在于提供一种解决或部分解决上述问题的自动靠机系统舱门位置探测方法。
5.为实现上述目的，本发明提供如下技术方案：一种自动靠机系统舱门位置探测方法，其是一种飞机客梯车在靠近飞机舱门时探测飞机舱门位置的方法，所述飞机客梯车上水平朝向前方地安装有立体视觉相机，包括以下步骤：s1、创建坐标系：创建以所述立体视觉相机基线中心为原点，沿着基线水平向右为x轴正方向，按照右手规则垂直向下为y轴正方向，拇指方向为z轴正方向的相机坐标系；s2、采集图像：通过所述立体视觉相机采集所述飞机舱门的图像信息；s3、转换点云：将所述图像信息转换为所述相机坐标系内的三维点云信息；s4、投影：将所述三维点云信息投影至所述相机坐标系的x轴和y轴所在的xoy平面上，获得包括多个投影点坐标信息的二维点阵信息；s5、获取边界点：将全部所述投影点投影到x轴上和y轴上后，分别统计x、y轴上密度最高的点，从而得到xoy平面坐标系中的四个点（x1，0）、（x2，0）、（0,y1）和（0,y2）;s6、获取边界序列：在xoy平面坐标系中，获取直线x=x1和x=x2的左右两侧，以及直线y=y1和y=y2上下两侧在阈值δ以内的全部投影点，并反向获取对应的三维点云信息，从而得到舱门左边界序列{pn}、舱门右边界序列{qn}、舱门上边界序列{mn}和舱门下边界序列{nn}，{pn}、{qn}、{mn}和{nn}均为三维点云序列；s7、求取舱门左边界的空间曲线方程：设舱门左边界l1的空间曲线方程为
，其中a1、b1、c1均为参数，将{pn}代入l1的曲线方程，可以通过最小二乘法求得a1、b1、c1，进而得到l1的数学表达式；s8、求取舱门上边界的空间曲线方程：设舱门上边界l3的空间曲线方程为，其中a3、b3均为参数，将{mn}代入l3的曲线方程，可以通过最小二乘法求得a3、b3，进而得到l3的数学表达式；s9、求取舱门右边界的方法与左边界方法类似，参照步骤s7可得右边界l2的方程，求取舱门下边界方法与上边界类似，参照步骤s8可得下边界l4的方程；s10、求取交点：计算l1与l3的交点a、l2与l3的交点b、l1与l4的交点d、l2与l4的交点c；s11、求取中线l0的曲线方程：求取l1和l2的曲线方程后，将l1与l2曲线方程对应的参数进行算术平均，可得l0的曲线方程；s12、求取中点p0:求取ab线段的中点e和dc线段的中点f，然后在中线l0上求取曲线段ef的中点p0的坐标，p0的z轴坐标即为立体视觉相机与飞机舱门的距离；s13、重复步骤s2~s12，以设定的频率求取立体视觉相机与飞机舱门的距离。
6.优选的，所述阈值δ为5~10cm。
7.优选的，所述阈值δ为8cm。
8.优选的，所述飞机客梯车的最前端水平朝向前方地安装所述立体视觉相机。
9.优选的，所述步骤s13中，所述设定的频率为20次/秒。
10.优选的，所述步骤s3中，将所述图像信息转换为所述相机坐标系内的三维点云的数量大于50。
11.本发明的有益效果是：本发明通过立体视觉相机采集舱门的图像，并转换为点云信息，然后通过数学计算求取飞机舱门中心点的位置。本发明通过有限的计算，可以高精度地获取飞机舱门中心点的位置，具有使用方便，精度高等优点。
附图说明
12.图1是点云向xoy平面投影的示意图。
具体实施方式
13.下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
14.在本发明的描述中，需要说明的是，术语“内”、“外”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
15.如图1所示，本发明的自动靠机系统舱门位置探测方法也可以归纳为下述步骤：（1）飞机客梯车的梯子最前端安装立体视觉相机。立体视觉相机的不要超出梯子
的外沿，避免发生碰撞。靠机过程中，不断采集飞机舱门及其周边机身的图像。
16.（2）通过立体视觉相机的立体视觉功能，将图像信息转换为三维点云信息。由于飞机舱门边缘角点丰富，所以边缘处点云信息稠密。机身和飞机舱门内部角点较少，所以机身和飞机舱门内部点云稀疏。
17.（3）对三维点云信息处理。将所有点云向xoy平面投影，通过计算机统计xoy投影平面内x轴上密度最高的两个点，分别为x1和x2。x轴上x1和x2两个位置必然对应着舱门的左右边界。在xoy投影平面内，分别找到偏离直线x=x1和x=x2距离超过阈值δ的投影点，因其远离舱门边界，故将其对应的三维点云删除，得到舱门左边界序列{pn}和舱门右边界序列{qn}。δ一般取值范围为5~10cm，取值太小，导致删除过多点云信息，取值太大，也导致精度降低。{pn}和{qn}均为三维点云序列。
18.（4）由于飞机的表面为曲面，所以舱门纵向边界为曲线。设舱门左边界l1的空间曲线方程为，其中a1、b1、c1均为参数，将{pn}代入l1的曲线方程，可以通过最小二乘法求得a1、b1、c1参数，空间曲线l1可以完全用数学公式表达。在实施过程中，点云数量建议大于20，否则解算出的数据误差较大。
19.（5）采用步骤（4）类似的方法，可计算得到舱门右边界空间曲线l2的数学表达式。
20.（6）将所有点云向xoy平面投影，通过计算机统计xoy投影平面内y轴上密度最高的两个点，分别为y1和y2。在xoy投影平面内，分别找到偏离直线y=y1和y=y2距离超过阈值δ的投影点，因其远离舱门边界，故将其对应的三维点云删除，得到舱门上边界序列{mn}和舱门下边界序列{nn}。δ一般取值范围为5~10cm。{mn}和{mn}均为三维点云序列。
21.（7）由于舱门横向边界为几乎为直线，因此可以设舱门上边界l3的空间曲线方程为，其中a3、b3均为参数，将{mn}代入l3的曲线方程，可以通过最小二乘法求得a3、b3参数，空间直线l3可以完全用数学公式表达。在实施过程中，点云数量建议大于20，否则解算出的数据误差较大。
22.（8）同理，采用步骤（7）类似的方法，可以得到舱门下边界l4的空间参数方程。
23.（9）通过数学方法，计算l1与l3的交点a、l2与l3的交点b、l1与l4的交点d、l2与l4的交点c。a、b、c、d四点处于同一个平面。但是由于舱门的曲面结构，舱门中心点p0与a、b、c、d不在同一平面。因此，不能通过a、b、c、d四个点的坐标直接估算p0的坐标。
24.（10）根据l1和l2，计算出它们的平行曲线l0，根据几何关系，l0必然经过p0。在实施过程中，l0参数方程的模型必须设置与l1、l2相同，那么l0的曲线方程系数可以直接采用l1和l2的曲线方程系数取算术平均得到。
25.（11）根据a、b、c、d四点的坐标，计算出直线段ab的中点e的坐标，计算出直线段cd的中点f的坐标。
26.（12）在曲线l0上，由于e、f两点已知，可以计算出曲线段e、f的中点p0坐标，该点即为舱门中心位置。
27.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发
明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种自动靠机系统舱门位置探测方法，其是一种飞机客梯车在靠近飞机舱门时探测飞机舱门位置的方法，所述飞机客梯车上水平朝向前方地安装有立体视觉相机，其特征在于，包括以下步骤：s1、创建坐标系：创建以所述立体视觉相机基线中心为原点，沿着基线水平向右为x轴正方向，按照右手规则垂直向下为y轴正方向，拇指方向为z轴正方向的相机坐标系；s2、采集图像：通过所述立体视觉相机采集所述飞机舱门的图像信息；s3、转换点云：将所述图像信息转换为所述相机坐标系内的三维点云信息；s4、投影：将所述三维点云信息投影至所述相机坐标系的x轴和y轴所在的xoy平面上，获得包括多个投影点坐标信息的二维点阵信息；s5、获取边界点：将全部所述投影点投影到x轴上和y轴上后，分别统计x、y轴上密度最高的点，从而得到xoy平面坐标系中的四个点（x1，0）、（x2，0）、（0,y1）和（0,y2）;s6、获取边界序列：在xoy平面坐标系中，获取直线x=x1和x=x2的左右两侧，以及直线y=y1和y=y2上下两侧在阈值δ以内的全部投影点，并反向获取对应的三维点云信息，从而得到舱门左边界序列{p
n
}、舱门右边界序列{q
n
}、舱门上边界序列{m
n
}和舱门下边界序列{n
n
}，{p
n
}、{q
n
}、{m
n
}和{n
n
}均为三维点云序列；s7、求取舱门左边界的空间曲线方程：设舱门左边界l1的空间曲线方程为，其中a1、b1、c1均为参数，将{p
n
}代入l1的曲线方程，可以通过最小二乘法求得a1、b1、c1，进而得到l1的数学表达式；s8、求取舱门上边界的空间曲线方程：设舱门上边界l3的空间曲线方程为，其中a3、b3均为参数，将{m
n
}代入l3的曲线方程，可以通过最小二乘法求得a3、b3，进而得到l3的数学表达式；s9、求取舱门右边界的方法与左边界方法类似，参照步骤s7可得右边界l2的方程，求取舱门下边界方法与上边界类似，参照步骤s8可得下边界l4的方程；s10、求取交点：计算l1与l3的交点a、l2与l3的交点b、l1与l4的交点d、l2与l4的交点c；s11、求取中线l0的曲线方程：求取l1和l2的曲线方程后，将l1与l2曲线方程对应的参数进行算术平均，可得l0的曲线方程；s12、求取中点p0:求取ab线段的中点e和dc线段的中点f，然后在中线l0上求取曲线段ef的中点p0的坐标，p0的z轴坐标即为立体视觉相机与飞机舱门的距离；s13、重复步骤s2~s12，以设定的频率求取立体视觉相机与飞机舱门的距离。2.根据权利要求1所述的自动靠机系统舱门位置探测方法，其特征在于：所述阈值δ为5~10cm。3.根据权利要求2所述的自动靠机系统舱门位置探测方法，其特征在于：所述阈值δ为8cm。4.根据权利要求1所述的自动靠机系统舱门位置探测方法，其特征在于：所述飞机客梯车的最前端水平朝向前方地安装所述立体视觉相机。
5.根据权利要求1所述的自动靠机系统舱门位置探测方法，其特征在于：所述步骤s13中，所述设定的频率为20次/秒。6.根据权利要求1所述的自动靠机系统舱门位置探测方法，其特征在于：所述步骤s3中，将所述图像信息转换为所述相机坐标系内的三维点云的数量大于50。

技术总结
本发明公开了一种自动靠机系统舱门位置探测方法，其是一种飞机客梯车在靠近飞机舱门时探测飞机舱门位置的方法，所述飞机客梯车上水平朝向前方地安装有立体视觉相机，包括以下步骤：创建坐标系；采集图像；转换点云；投影；获取边界点;获取边界序列；求取舱门左、右、上、下边界的空间曲线方程；求取交点；求取平行中线曲线方程L0；求取中点P0。本发明通过有限的计算，可以高精度地获取飞机舱门中心点的位置，具有使用方便，精度高等优点。精度高等优点。精度高等优点。


技术研发人员：田光兆 郑奎 邓昱 沙尧尧
受保护的技术使用者：中科领航智能科技（苏州）有限公司
技术研发日：2023.07.12
技术公布日：2023/8/13