一种基于单目视觉的大型舱段位姿偏差测量方法与流程

1.本发明属于高精度位姿测量领域，具体涉及一种基于单目视觉的大型舱段位姿偏差测量方法。


背景技术：

2.在航空、航天制造领域中，大型壳体舱段的对接工作长期依赖人工，此类大型壳体部件体积大，对接精度要求高，需要两到三人从不同位置观察舱段对准情况，时常需要进行登高作业，存在一定安全隐患，且调节量无法做到直观量化，极度依赖观察人员的操作经验。在此背景下，对舱段对接生产线提出了高精度测量要求，替代人工操作；高精度数字化测量可以与电动调姿机构相互配合，实现舱段测量、对接过程的自动化，无需工人参与。
3.专利号cn105015800a公开一种采用激光跟踪仪测量的方法，使用激光跟踪仪靶球测量对接端面，使用t-probe跟踪舱段位置引导对接过程；激光跟踪仪的使用过程仍然对现场操作人员提出较高的要求，需进行专门培训，且该方案使用激光跟踪仪、t-probe及多个靶球，整体方案成本较高，不利于广泛使用。
4.专利号cn105910535a公开一种采用单相机、双相机结合的测量方法，双相机在离线状态对待对接舱段进行标定，对接工位使用两台单目相机，各自对固定端、移动端舱段进行测量；该方案将标定过程移至测量工位外，在对接过程中无需人工参与，但是由于舱段存在一定加工公差及表面形状误差，使用弧形卡具将销和孔位姿信息引出、喷印在舱段侧面的方式难免导致弧形卡具与舱段贴合不紧，喷印的特征点边缘模糊、圆度差，与实际销和孔的位置存在偏差，使用两台相机对舱段分别测量，也会引入转换误差。
5.专利号cn105081719a公开一种使用单相机引导舱段对接的方法，采用手持式移动靶标定对接舱段相对位置关系，固定靶用于跟踪移动端舱段位置；该方法使用单台相机测量端面移动靶、侧面固定靶，覆盖范围较大，为保证测量精度，移动靶与固定靶的尺寸较大，在大型舱段对接场景中，移动靶操作不便，固定靶安装难度大。


技术实现要素：

6.本发明的目的在于提供一种基于单目视觉的大型舱段位姿偏差测量方法，靶标布置位置灵活，坐标转换环节少，测量精度高，简单可靠。
7.实现本发明目的的技术解决方案为：
8.一种基于单目视觉的大型舱段位姿偏差测量方法，包括步骤：
9.1)在移动端和固定端舱段的侧面粘贴测量点，对接端面的定位销及定位孔处放置带有端面测量点的工装；
10.2)使用摄影测量设备或三维扫描仪分别获取移动端及固定端测量点在世界坐标系下的三维点坐标；
11.3)将测量移动端及固定端所获得的两组点集分别将坐标原点转换至舱段端面圆心，转换后的三维点坐标保存至系统数据库中，三维点坐标与舱段具有一一对应关系；
12.4)单相机同时获取移动端及固定端侧面测量点的图像，解算移动端与固定端之间的相对位姿偏差：
13.固定端与移动端粘贴的测量点各自具有特定的排列顺序，以便于测量系统在图像中对两部分靶标进行区分，通过识别到的测量点进行pnp位姿估计，分别获取相机相对两处测量点的位置及姿态，通过矩阵变换，即可求得两舱段之间的相对位姿偏差。
14.与现有技术相比，本发明的有益效果在于：
15.(1)采用粘贴式的侧面测量点及外部标定的方式，粘贴时对粘贴位置无精确要求，对接完成后可撕除，不会在舱段表面留有残留，标定后三维点数据与舱段信息绑定，保存至数据库中，随时可调用并用于对接；
16.(2)标定过程采用摄影测量或三维扫描设备进行标定，手持即可完成标定，精度可达0.03mm，不受标定舱段形状、尺寸限制，舱段在任意厂房、任意位置均可进行标定，标定过程与对接过程分离，对接时调用标定文件，简化对接流程；
17.(3)采用单相机测量的方式，相机仅测量测量点区域，测量精度高，相比于双目相机的测量方式，单个相机占用体积小，易于安装到agv、机械臂等狭小安装位置，视场不易受到遮挡；
18.(4)本发明相较于人工观察，可节省2～3名操作工人，人工观察并判断偏差用时约30s，使用相机单次测量时间约1.5s，结合自动化调姿机构，可将对接时间缩短至3min内。
附图说明
19.图1为舱段测量点布置位置示意图。
20.图2为舱段端面测量点安装示意图。
21.图3为使用手持式三维扫描仪对舱段侧面及端面测量点标定的示意图(以固定端为例)。
22.图4为单相机测量舱段固定端、移动端相对位姿偏差的示意图。
具体实施方式
23.实施例1
24.本实施例提出一种基于单目视觉的大型舱段位姿偏差测量方法，具体包括：
25.1、在舱段侧面粘贴测量点，粘贴位置位于舱段侧面，靠近对接面的位置，测量点粘贴区域100mm*100mm，对接舱段的固定端与移动端的测量点分别位于对接面两侧，周向位置相同，两处测量点分别为固定端侧面测量点、移动端侧面测量点，两处测量点均由圆点型测量点组成，侧面测量点按照特定规则排列，移动端、固定端的侧面测量点排列方式不同，便于测量时对两者进行区分；
26.2、对接面端面的定位销、定位孔处安装测量点工装，测量点工装已进行过检验，测量点中心位于测量点工装轴线上；
27.3、使用手持三维扫描仪或摄影测量设备等能够获取侧面和端面的测量点三维空间坐标的设备，对舱段侧面的测量点及舱段端面测量点间相对位置进行标定，固定端的侧面测量点与端面测量点保存在同一坐标系下，移动端的侧面测量点与端面测量点保存在同一坐标系下，两坐标系均建立在对接端面圆心处，当两对接端面贴合时，两坐标系重合；
28.4、标定信息与舱段编号绑定，保存至数据库中，对接任务开始时，根据待对接舱段的编号，从数据库中调用对应的标定信息；
29.5、待对接舱段到达对接工位，单目相机获取舱段侧面图片，根据侧面测量点的排列顺序，识别固定端、移动端的侧面测量点，结合侧面测量点在圆心坐标系下的三维空间坐标，分别求出固定端、移动端侧面测量点与相机之间的相对位置及角度关系，位置及角度关系以齐次坐标的形式表示；
30.6、移动端舱段的调姿机构沿某一方向运动，相机在运动过程中测量移动端舱段的位置，记录该运动方向作为调姿机构的运动方向，调姿机构沿另一方向运动，记录该运动方向，通过两个方向建立调姿机构坐标系，坐标系以齐次坐标的形式表示；
31.7、通过齐次坐标转换，将相机测量坐标系下的固定端、移动端舱段的位置及角度转换到圆心坐标系，再将圆心坐标系转换到调姿机构坐标系中表示，在调姿机构坐标系下比较两者的的位置及角度偏差。
32.实施例
33.结合图1～图4，一种基于单目视觉的大型舱段位姿偏差测量方法，包括步骤：
34.1、在固定端舱段1的侧面粘贴测量点2，粘贴位置位于舱段侧面，靠近对接面的位置，测量点粘贴区域100mm*100mm，作为固定端舱段侧面测量点2，在舱段对接端面的定位孔中放置带有测量点的工装，作为固定端舱段的端面测量点3，测量点3圆心与工装轴线提前进行过校验，测量点3的位置误差小于0.01mm，工装与舱段定位孔之间的间隙为0.02mm；
35.2、移动端舱段6的测量点布置与固定端类似，布置移动端侧面测量点5及端面测量点4；
36.对舱段上的测量点进行标定，以固定端舱段为例，使用手持三维扫描仪7对舱段侧面的测量点及舱段端面测量点间相对位置进行标定，获得世界坐标系下的所有测量点坐标值p＝{a1，a2，a3，a4，p1，p2，p3，p4，p5，...，pn}，其中a
1-a4为端面测量点坐标值，p1、p2、p3...pn为侧面测量点坐标值，标定时，侧面测量点与端面测量点坐标值在同一坐标系下；将测量点坐标p的坐标系原点转移至舱段端面圆心，取a1a3、a2a4连线的中点作为原点，至a3方向为x轴正方向，至a2方向为γ轴正方向，两者叉乘得到z轴方向向量，由此可建立出圆心坐标系a
fo
＝[r
fo t
fo
]，r
fo
为固定端坐标系原点对于舱段端面圆心的旋转矩阵，本实施例中为4x3矩阵，t
fo
为固定端坐标系原点对于舱段端面圆心的平移向量，用于表示坐标系，本实施例为4x1的平移向量，则固定端测量点坐标p在圆心坐标系下的表示为p
fc
＝(p-t
fo
)
·rfo
；基于同样的方法，可以获得移动端舱段测量点在移动端舱段圆心坐标系下的坐标p
mc
＝(p-to)
·ro
，将p
fc
、p
mc
标定矩阵的计算结果作为标定结果，与舱段编号绑定保存至数据库中，ro为移动端坐标系原点对于舱段端面圆心的旋转矩阵，to为移动端坐标系原点对于舱段端面圆心的平移向量；
[0037]
3、对接开始后，相机8拍摄对接舱段侧面靶标位置，获取图片，提取图片中的测量点，对于测量点中四个共线的测量点p1、p2、p3、p4，在图像中的投影点分别为依据交比不变性，则有
[0038][0039]
依据标定后测量点的交比不同，识别并区分舱段固定端侧面测量点与移动端侧面
测量点；
[0040]
4、三维空间坐标pi＝(xi，yi，zi)与其在图像中的投影坐标存在如下转换关系：
[0041][0042]
其中为相机内参矩阵，可通过相机内参标定获得，r为相机相对于测量点的旋转矩阵，t为相机相对于测量点的平移量，r、t通过epnp算法求得，相机坐标系与测量点坐标系(圆心坐标系)间关系满足ac＝p
·
r+t，p为圆心坐标系，ac为相机自身坐标系，即齐次矩阵，本实施例为4x4齐次矩阵；
[0043]
5、记录舱段初始位置测量值p1(舱段坐标系在测量坐标系中的位置，舱段坐标系以舱段端面圆心为原点，测量坐标系指世界坐标系下)，舱段从初始位置沿轴线方向移动200mm，记录当前舱段位置p2，舱段回到初始位置p1，并向上移动50mm，记录当前位置p3，取p1坐标值作为原点，p1p2方向为x轴正方向，p1p3方向为y轴正方向，两者叉乘得到z轴方向向量，由此可建立出调姿机构坐标系前述x轴、y轴和z轴和三个方向向量，除以自身模长获得其标准向量分别记为p1坐标值为坐标值为
[0044]
6、将舱段固定端、移动端的圆心坐标系转换到调姿机构坐标系中，两固定端、移动端坐标系转换后分别表示为通过对进行平移、旋转使之与重合，即求解方程组获得两部分舱段在调姿机构坐标系中的偏差值，其中r为圆心坐标系相对于调姿机构坐标系的旋转矩阵，t为圆心坐标系相对于调姿机构坐标系的平移量。
[0045]
本发明提出的基于单目视觉的舱段位姿偏差测量方法，相较于人工观察，可节省2～3名操作工人，人工观察并判断偏差用时约30s，使用相机单次测量时间约1.5s，结合自动化调姿机构，可将对接时间缩短至3min内。

技术特征：
1.一种基于单目视觉的大型舱段位姿偏差测量方法，其特征在于，包括步骤：步骤1，在移动端和固定端舱段的侧面粘贴测量点，对接端面的定位销及定位孔处放置带有端面测量点的工装；步骤2，获取移动端及固定端的侧面及端面测量点在世界坐标系下的三维点坐标；步骤3，对侧面及端面测量点进行标定，即分别将测量移动端及固定端所获得的两组点集的坐标系原点转换至舱段端面圆心，转换后的三维点坐标及标定矩阵保存至系统数据库中，三维点坐标与舱段编号具有一一对应关系；步骤4，待对接舱段到达对接工位，获取移动端及固定端侧面图像，识别固定端、移动端的侧面测量点，结合侧面测量点的三维空间坐标，解算移动端与固定端之间的相对位姿偏差。2.根据权利要求1所述的基于单目视觉的大型舱段位姿偏差测量方法，其特征在于，所述侧面测量点由圆点型测量点规则排列，且移动端、固定端的侧面测量点排列方式不同，粘贴的周向位置相同，粘贴区域100mm*100mm。3.根据权利要求1所述的基于单目视觉的大型舱段位姿偏差测量方法，其特征在于，所述端面测量点为4个，两两对称，端面测量点的工装与舱段定位孔之间的间隙为0.02mm。4.根据权利要求1所述的基于单目视觉的大型舱段位姿偏差测量方法，其特征在于，所述步骤2中的世界坐标系下的三维点坐标通过手持三维扫描仪或摄影测量设备获取。5.根据权利要求1所述的基于单目视觉的大型舱段位姿偏差测量方法，其特征在于，所述步骤3包括：对舱段侧面测量点及舱段端面测量点间相对位置进行标定，固定端的侧面测量点与端面测量点保存在同一坐标系下，移动端的侧面测量点与端面测量点保存在同一坐标系下，两坐标系均建立在对接端面圆心处，当两对接端面贴合时，两坐标系重合。6.根据权利要求5所述的基于单目视觉的大型舱段位姿偏差测量方法，其特征在于，所述步骤3中将测量移动端及固定端所获得的两组点集的坐标系原点转换至舱段端面圆心具体包括：另固定端侧面和端面测量点坐标值p＝{a1,a2,a3,a4,p1,p2,p3,p4,p5，...，p
n
}，其中a
1-a4为端面测量点坐标值，p1、p2、p3...p
n
为侧面测量点坐标值，侧面测量点与端面测量点坐标值在同一世界坐标系下；将测量点坐标p的坐标系原点转移至固定端舱段端面圆心，取a1a3、a2a4连线的中点作为原点，a3方向为x轴正方向，a2方向为y轴正方向，两者叉乘得到z轴方向向量，建立圆心坐标系a
fo
＝[r
fo t
fo
]，其中r
fo
为固定端测量坐标系原点对于舱段端面圆心的旋转矩阵，t
fo
为固定端测量坐标系原点对于舱段端面圆心的平移向量；则固定端测量点坐标p在圆心坐标系下为p
fc
＝(p-t
fo
)
·
r
fo
，即标定矩阵；重复所述方法获取移动端舱段测量点在移动端舱段圆心坐标系下的标定矩阵。7.根据权利要求6所述的基于单目视觉的大型舱段位姿偏差测量方法，其特征在于，所述步骤4中移动端及固定端侧面图像通过单目相机获取。8.根据权利要求1所述的基于单目视觉的大型舱段位姿偏差测量方法，其特征在于，所述步骤4具体包括：提取图片中四个共线的测量点，根据标定后测量点的交比不同，识别并区分固定端侧面测量点与移动端侧面测量点；
根据转换的测量点的三维空间坐标以及图像中的投影坐标，获取相机坐标系与测量点坐标系转换的齐次矩阵；建立调姿机构坐标系；根据齐次矩阵将相机坐标系转换到圆心坐标系，再将圆心坐标系转换到调姿机构坐标系，圆心坐标系和调姿机构坐标系分别表示为通过对进行平移、旋转使之与重合，即求解获得两部分舱段在调姿机构坐标系中的偏差值，其中r为圆心坐标系相对于调姿机构坐标系的旋转矩阵，t为圆心坐标系相对于调姿机构坐标系的平移量。9.根据权利要求8所述的基于单目视觉的大型舱段位姿偏差测量方法，其特征在于，所述获取相机坐标系与测量点坐标系转换的齐次矩阵包括：获取三维空间坐标p
i
＝(x
i
,y
i
,z
i
)与其在图像中的投影坐标的转换关系：其中为相机内参矩阵，通过相机内参标定获得，r为相机相对于测量点的旋转矩阵，t为相机相对于测量点的平移量，r、t通过epnp算法求得，确定齐次矩阵为：a
c
＝p
·
r+t，p为圆心坐标系。10.根据权利要求8所述的基于单目视觉的大型舱段位姿偏差测量方法，其特征在于，所述建立调姿机构坐标系具体包括：记录舱段初始测量位置p1，将舱段从初始位置沿轴线方向移动200mm，记录当前舱段位置p2，舱段回到初始位置p1，并向上移动50mm，记录当前位置p3，取p1坐标值作为原点，p1p2方向为x轴正方向，p1p3方向为y轴正方向，两者叉乘得到z轴方向向量；记x轴、y轴和z轴标准向量为p1坐标值为建立调姿机构坐标系

技术总结
本发明提供了一种基于单目视觉的大型舱段位姿偏差测量方法，包括：在移动端和固定端舱段的侧面粘贴测量点，对接端面的定位销及定位孔处放置带有端面测量点的工装；获取移动端及固定端的侧面及端面测量点在世界坐标系下的三维点坐标；分别将测量移动端及固定端所获得的两组点集的坐标系原点转换至舱段端面圆心，转换后的三维点坐标及标定矩阵保存至系统数据库中，三维点坐标与舱段编号具有一一对应关系；待对接舱段到达对接工位，获取移动端及固定端侧面图像，识别固定端、移动端的侧面测量点，结合侧面测量点的三维空间坐标，解算移动端与固定端之间的相对位姿偏差。本发明靶标布置位置灵活，坐标转换环节少，测量精度高，简单可靠。单可靠。单可靠。


技术研发人员：王超 叶凯玉 姚家琛 朱家洲 张前进 李鸿向 于洋 邬倩云
受保护的技术使用者：江苏金陵智造研究院有限公司
技术研发日：2022.12.05
技术公布日：2023/4/25