基于3D视觉校正H型钢焊接热变形的装配方法与流程

基于3d视觉校正h型钢焊接热变形的装配方法
技术领域
1.本发明涉及h型钢焊接技术领域，具体涉及基于3d视觉校正h型钢焊接热变形的装配方法。


背景技术：

2.随着智能焊接领域的快速发展，智能焊接机器人也得到广泛应用。在装配焊接时，由于h型钢在焊接过程中会发生热变形的情况，不对h型钢位置进行矫正，必然会导致后续装配焊接产生误差，因此需要对h型钢定位进行矫正是必然的。
3.目前主要的h型钢定位校正的方法有：在工业机器人上安装线激光，利用线激光扫描定位识别h型钢形变量，利用挡板对h型钢端口卡位进行定位端口，再通过对h型钢进行夹持等方法实现对h型钢的限位，
4.然而，上述方案在利用线激光对h型钢进行定位矫正，受限于线激光扫描范围较小，对同一位置需要进行多次扫描计算形变，且对定位h型钢两侧端口较为困难，往往无法对h型钢整体位置和内部形变快速进行矫正定位，影响装配焊接的精度和效率，基于提出基于3d视觉校正h型钢焊接热变形的装配方法。


技术实现要素：

5.本发明的目的在于提供基于3d视觉校正h型钢焊接热变形的装配方法，解决了在利用线激光对h型钢进行定位矫正，受限于线激光扫描范围较小，对同一位置需要进行多次扫描计算形变，且对定位h型钢两侧端口较为困难，往往无法对h型钢整体位置和内部形变快速进行矫正定位的技术问题。
6.本发明的目的可以通过以下技术方案实现：
7.基于3d视觉校正h型钢焊接热变形的装配方法，包括以下步骤：
8.步骤一：通过3d视觉相机对初始状态下的目标h型钢进行拍照，以获取目标h型钢的点云，再通过点云算法对目标h型钢的点云进行处理，进而获取到目标h型钢的翼板面的基准直线l11和l21；
9.步骤二：在l11上确定基准点aa，再根据aa在基准直线l21上的投影点对翼板面的基准点aa和基准点bb行确定；
10.步骤三：通过点云算法对h型钢的基准直线l1、l2、l3、l4进行识别，再对基准点a进行确定，随后根据基准点a在直线l1、l2、l3、l4上的投影点对腹板的四个基准点a、b、c、d进行确定，通过基准点a、b、c、d可计算出初始状态下h型钢腹板面开口宽度，底板宽度，两翼板高度；
11.步骤四：当h型钢焊接完成后再重复以上步骤一到步骤三，得到h型钢焊接完成后的定位基准点，再根据h型钢焊接完成后的定位基准点和初始定位的基准点在空间位置上坐标值，计算出它们之间的偏移量，即h型钢的形变值。
12.作为本发明进一步的方案：直线l11和l21的具体获取方式为：
13.s1：将3d视觉相机移动至翼板面正上方，使3d视觉相机正对着翼板面进行拍照，进而获取翼板面点云；
14.s2：通过随机采样一致性分割算法对翼板面点云数据的所有平面进行分割，遍历所有平面，取与方向向量为(0,0,1)的z轴间夹角在15
°
内的平面作为翼板面，将翼板面标记为平面a；
15.s3：将平面分割阈值内的点云投影到平面a上，进而得到平面a在空间上二维平面的点云；
16.s4：通过求平面a轮廓凹包得到平面a的边界，轮廓凹包是指平面上所有点的凸包与平面的交集，轮廓凹包可以使用opencv库中的convexhu11函数来求解；
17.s5：对得到的凹包进行二次处理进而获取到平面轮廓直线集合，此处二次处理的方式为多边形拟合，进而得到平面轮廓的多边形直线集合，然后再使用ransac算法来对拟合平面轮廓的多边形直线集合；
18.s6：将直线集合内的直线按照长度从大到小进行排序，取长度最大的两条拟合直线作为基准直线l11和l21。
19.作为本发明进一步的方案：对翼板面的基准点进行确定的具体方式为：
20.s01：对非端口处基准点进行确定时，先以基准直线l11上x＝0处的点作为基准点aa，再将aa在基准直线l21上的投影点作为翼板面基准点bb；
21.s02：对端口处基准点进行确定时，先以基准直线l11上x＝0处的点作为视野里中心点p，再将上面平面轮廓直线集合中的轮廓直线点进行集中，遍历轮廓直线后将所有与l11直线垂直的轮廓直线作为垂直线集合，并将其标记为ln，此处，n指代为垂直线集合中的轮廓直线的数量；
22.遍历垂直线集合ln中的轮廓直线，取距离中心点p最近的直线l作为h型钢端口处所在直线，并将点p在直线l11上的投影点作为基准点aa，将基准点aa在基准直线l21上的投影点作为h型钢端口处的翼板面基准点bb。
23.作为本发明进一步的方案：对腹板的四个基准点进行确定的具体方式为：
24.a1：将3d视觉相机移动至h型钢腹板面的正上方，拍照获取h型钢点云；
25.a2：根据随机采样一致性算法，分割h型钢点云点云中所有平面，由于相机正对底面拍照，因此在相机坐标系中底板的法向量与方向向量为(0,0,1)的z轴方向应一致，根据平面点云数量，从大到小遍历所有平面，取与z轴夹角小于10
°
的平面a为底板；
26.a3：在确定底板的前提下，再次遍历其余平面，取出与平面a成90
°
的两平面为两侧翼板b和c；
27.a4：最后遍历三个平面外的剩余平面，取出与底板法向量平行的平面d为两侧翼板顶部的板厚面，取出两个翼板面和两个顶部翼板板厚面后，分别计算两个翼板面与底板面的交线以及两个翼板面与两个顶部翼板板厚面的交线，进而得到四个基准点所在直线l1、l2、l3、l4；
28.a5：对非端口处基准点进行确定时，先取坐标x＝0在l1上的点位作为基准点a，再将该点在直线l2、l3、l4上的投影的点作为基准点b、c、d，得出四个基准点；
29.对端口处基准点进行确定时，先根据安装角度，取坐标x＝0在l1上的投影点作为中心点p，可根据上面取出的底面点云，根据取翼板面取端口的方法，获取端口处轮廓直线
l，将点p在l上的投影点为基准点a，再分别将a投影到直线l2、l3、l4上得出基准点b、c、d；
30.a6：通过基准点a、b、c、d可计算出初始状态下h型钢腹板面开口宽度，底板宽度，两翼板高度。
31.6、作为本发明进一步的方案：当h型钢腹板的顶部面积大于一定阈值时，获得翼板面的两个基准点的具体方式如下：
32.b1：使3d相机对着翼板偏转α角度进行拍照获取h型钢的点云数据；
33.b2：根据随机采样一致性算法，分割h型钢点云中所有平面，根据偏转角度α，取出与方向向量为(0,0,1)的z轴之间的夹角成α角度的平面a作为底板面，再次遍历点云，取出与平面a成90度夹角的平面b作为翼板面，再次遍历点云，取与平面a平行的平面c作为翼板顶部的板厚面，计算平面a与平面b交线作为底板与翼板的基准直线l1，平面b与平面c的交线作为翼板上方基准直线l2；
34.b3：对非端口处基准点进行确定时，以基准直线l1上x＝0处的点作为基准点a，将a在基准直线l2上的投影点作为基准点b；
35.对端口处基准点进行确定时，先根据安装角度，取坐标x＝0在l1上的投影点作为中心点p，再根据上面取出的底面点云，通过步骤二取出端口处直线l，将点p在l上的投影点为基准点a，再分别将a投影到直线l2上得出基准点b。
36.本发明的有益效果：
37.本发明，通过h型钢在初始状态下和后续h型钢焊接完成后的板面的四个基准点和翼板面的两个基准点可以计算出h型钢在焊接前后的翼板高度、底板宽度、开口宽度、端口位置的数据，然后根据初始定位获取的h型钢基准点和后续h型钢焊接完成后的定位基准点计算两者在空间位置上的偏移，即可得出h型钢的形变值，依据基准点的形变值对后续装配焊接位置进行矫正，实现对h型钢焊接热变形的矫正，以保证后续的装配焊接精度，降低后续装配焊接产生误差，提高装配焊接精度和效率。
附图说明
38.下面结合附图对本发明作进一步的说明。
39.图1是本发明基于3d视觉校正h型钢焊接热变形的装配方法的框架结构示意图；
40.图2是本发明基于3d视觉校正h型钢焊接热变形的装配方法的基准直线l和图面a的示意图；
41.图3是本发明基于3d视觉校正h型钢焊接热变形的装配方法的3d视觉相机正对着翼板面进行拍照的示意图：
42.图4是本发明基于3d视觉校正h型钢焊接热变形的装配方法的基准直线l1、l2、l3、l4的示意图：
43.图5是本发明基于3d视觉校正h型钢焊接热变形的装配方法的3d相机对着翼板偏转α角度进行拍照的示意图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
45.实施例一
46.请参阅图1－图5所示，本发明为基于3d视觉校正h型钢焊接热变形的装配方法，包括以下步骤：
47.步骤一：通过3d视觉相机对初始状态下的目标h型钢进行拍照，以获取目标h型钢的点云，再通过点云算法对目标h型钢的点云进行处理，进而获取目标h型钢的翼板面的基准直线l11和l21；此处3d视觉相机安装在工业六轴机器人上，进而获取到目标h型钢翼板面基准直线l11和l21，直线l11和l21的具体获取方式为：
48.s1：将3d视觉相机移动至翼板面正上方，使3d视觉相机正对着翼板面进行拍照，进而获取翼板面点云；
49.s2：通过随机采样一致性分割算法对翼板面点云数据的所有平面进行分割，遍历所有平面，取与方向向量为(0,0,1)的z轴间夹角在15
°
内的平面作为翼板面，将翼板面标记为平面a；
50.s3：将平面分割阈值内的点云投影到平面a上，进而得到平面a在空间上二维平面的点云；
51.s4：通过求平面a轮廓凹包得到平面a的边界，轮廓凹包是指平面上所有点的凸包与平面的交集，轮廓凹包可以使用opencv库中的convexhu11函数来求解；
52.需要说明的是，此处使用opencv库中的convexhu11函数来求解轮廓凹包为现有技术，在此不做赘述；
53.s5：对得到的凹包进行二次处理进而获取到平面轮廓直线集合，此处二次处理的方式为多边形拟合，进而得到平面轮廓的多边形直线集合，然后再使用ransac算法来对拟合平面轮廓的多边形直线集合；
54.需要说明的是，ransac算法经常用于计算机视觉中，例如，在立体视觉领域中同时解决一对相机的匹配点问题及基本矩阵的计算，为现有技术，在此不做赘述；
55.s6：将直线集合内的直线按照长度从大到小进行排序，取长度最大的两条拟合直线作为基准直线l11和l21；
56.步骤二：在l11上确定基准点a，再根据a在基准直线l22上的投影点对翼板面的两个基准点进行确定，对翼板面的基准点进行确定的具体方式为：
57.s01：对非端口处基准点进行确定时，先以基准直线l11上x＝0处的点作为基准点aa，再将aa在基准直线l21上的投影点作为翼板面基准点bb；
58.s02：对端口处基准点进行确定时，先以基准直线l11上x＝0处的点作为视野里中心点p，再将上面平面轮廓直线集合中的轮廓直线点进行集中，遍历轮廓直线后将所有与l11直线垂直的轮廓直线作为垂直线集合，并将其标记为ln，此处，n指代为垂直线集合中的轮廓直线的数量；
59.遍历垂直线集合ln中的轮廓直线，取距离中心点p最近的直线l作为h型钢端口处所在直线，并将点p在直线l11上的投影点作为基准点aa，将基准点aa在基准直线l21上的投影点作为h型钢端口处的翼板面基准点bb；
60.步骤三：通过点云算法对h型钢的基准直线l1、l2、l3、l4进行识别，再对基准点a进
行确定，随后根据基准点a在直线l1、l2、l3、l4撒谎那个的上投影的点对腹板的四个基准点进行确定，对腹板的四个基准点进行确定的具体方式为：
61.a1：将3d视觉相机移动至h型钢腹板面的正上方，拍照获取h型钢点云；
62.a2：根据随机采样一致性算法，分割h型钢点云点云中所有平面，由于相机正对底面拍照，因此在相机坐标系中底板的法向量与方向向量为(0,0,1)的z轴方向应一致，根据平面点云数量，从大到小遍历所有平面，取与z轴夹角小于10
°
的平面a为底板；
63.a3：在确定底板的前提下，再次遍历其余平面，取出与平面a成90
°
的两平面为两侧翼板b和c；
64.a4：最后遍历三个平面外的剩余平面，取出与底板法向量平行的平面d为两侧翼板顶部的板厚面，此处平面d与底板的夹角小于15
°
，取出两个翼板面和两个顶部翼板板厚面后，分别计算两个翼板面与底板面的交线以及两个翼板面与两个顶部翼板板厚面的交线，进而得到四个基准点所在直线l1、l2、l3、l4；
65.a5：对非端口处基准点进行确定时，先取坐标x＝0在l1上的点位作为基准点a，再将该点在直线l2、l3、l4上的投影点作为基准点b、c、d，得出四个基准点；
66.对端口处基准点进行确定时，先根据安装角度，取坐标x＝0在l1上的投影点作为中心点p，可根据上面取出的底面点云，根据取翼板面取端口的方法，获取端口处轮廓直线l，将点p在l上的投影点为基准点a，再分别将a投影到直线l2、l3、l4上得出基准点b、c、d；
67.a6：通过基准点a、b、c、d可计算出初始状态下h型钢腹板面开口宽度，底板宽度，两翼板高度；
68.步骤四：当h型钢焊接完成后再重复以上步骤一到步骤三，得到h型钢焊接完成后的定位基准点，再根据h型钢焊接完成后的定位基准点和初始定位的基准点在空间位置上坐标值，计算出它们之间的偏移量，即h型钢的形变值，依据基准点的形变值对后续装配焊接位置进行矫正，实现对h型钢焊接热变形的矫正，提高装配焊接效率；
69.实施例二
70.作为本发明的实施例二，本技术在具体实施时，相较于实施例一，与实施例一的差别之处在于，当h型钢腹板的顶部面积大于一定阈值时，获得翼板面的两个基准点的方式不同，本实施例中获得翼板面的两个基准点的具体方式如下：
71.b1：通过3d相机拍照获取h型钢的点云数据，为了使3d相机成像更好，让相机对着翼板偏转α角度；
72.b2：根据随机采样一致性算法，分割h型钢点云中所有平面，根据偏转角度α，取出与方向向量为(0,0,1)的z轴之间的夹角成α角度的平面a作为底板面，再次遍历点云，取出与平面a成90度夹角的平面b作为翼板面，再次遍历点云，取与平面a平行的平面c作为翼板顶部的板厚面，计算平面a与平面b交线作为底板与翼板的基准直线l1，平面b与平面c的交线作为翼板上方基准直线l2；
73.b3：对非端口处基准点进行确定时，以基准直线l1上x＝0处的点作为基准点a，将a在基准直线l2上的投影点作为基准点b；
74.对端口处基准点进行确定时，先根据安装角度，取坐标x＝0在l1上的投影点作为中心点p，再根据上面取出的底面点云，通过步骤二取出端口处直线l，将点p在l上的投影点为基准点a，再分别将a投影到直线l2上得出基准点b；
75.本发明的工作原理：通过3d视觉相机对目标h型钢进行拍照，以获取目标h型钢的点云，进而获取目标h型钢的翼板面的基准直线l11和l21，在l11上确定基准点aa，再根据aa在基准直线l21上的投影点对翼板面的两个基准点进行确定，通过点云算法对h型钢的基准直线l1、l2、l3、l4进行识别，再对基准点a进行确定，随后根据基准点a在直线l1、l2、l3、l4对腹板的四个基准点进行确定，通过腹板面的四个基准点和翼板面的两个基准点可以计算出h型钢的翼板高度、底板宽度、开口宽度、端口位置的数据翼板面两点基准，然后根据初始定位获取的h型钢基准点和后续h型钢焊接完成后的定位基准点计算两者在空间位置上的偏移，即可得出h型钢的形变值，依据基准点的形变值对后续装配焊接位置进行矫正，实现对h型钢焊接热变形的矫正，提高装配焊接效率。
76.上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数以及阈值选取由本领域的技术人员根据实际情况进行设置。
77.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.基于3d视觉校正h型钢焊接热变形的装配方法，其特征在于，包括以下步骤：步骤一：通过3d视觉相机对初始状态下的目标h型钢进行拍照，以获取目标h型钢的点云，再通过点云算法对目标h型钢的点云进行处理，进而获取到目标h型钢的翼板面的基准直线l11和l21；步骤二：在l11上确定基准点aa，再根据aa在基准直线l21上的投影点对翼板面的基准点aa和基准点bb行确定；步骤三：通过点云算法对h型钢的基准直线l1、l2、l3、l4进行识别，再对基准点a进行确定，随后根据基准点a在直线l1、l2、l3、l4上的投影点对腹板的四个基准点a、b、c、d进行确定，通过基准点a、b、c、d可计算出初始状态下h型钢腹板面开口宽度，底板宽度，两翼板高度；步骤四：当h型钢焊接完成后再重复以上步骤一到步骤三，得到h型钢焊接完成后的定位基准点，再根据h型钢焊接完成后的定位基准点和初始定位的基准点在空间位置上坐标值，计算出它们之间的偏移量，即h型钢的形变值。2.根据权利要求1所述的基于3d视觉校正h型钢焊接热变形的装配方法，其特征在于，直线l11和l21的具体获取方式为：s1：将3d视觉相机移动至翼板面正上方，使3d视觉相机正对着翼板面进行拍照，进而获取翼板面点云；s2：通过随机采样一致性分割算法对翼板面点云数据的所有平面进行分割，遍历所有平面，取与方向向量为(0,0,1)的z轴间夹角在15
°
内的平面作为翼板面，将翼板面标记为平面a；s3：将平面分割阈值内的点云投影到平面a上，进而得到平面a在空间上二维平面的点云；s4：通过求平面a轮廓凹包得到平面a的边界，轮廓凹包是指平面上所有点的凸包与平面的交集，轮廓凹包可以使用opencv库中的convexhu11函数来求解；s5：对得到的凹包进行二次处理进而获取到平面轮廓直线集合，此处二次处理的方式为多边形拟合，进而得到平面轮廓的多边形直线集合，然后再使用ransac算法来对拟合平面轮廓的多边形直线集合；s6：将直线集合内的直线按照长度从大到小进行排序，取长度最大的两条拟合直线作为基准直线l11和l21。3.根据权利要求1所述的基于3d视觉校正h型钢焊接热变形的装配方法，其特征在于，对翼板面的基准点进行确定的具体方式为：s01：对非端口处基准点进行确定时，先以基准直线l11上x＝0处的点作为基准点aa，再将aa在基准直线l21上的投影点作为翼板面基准点bb；s02：对端口处基准点进行确定时，先以基准直线l11上x＝0处的点作为视野里中心点p，再将上面平面轮廓直线集合中的轮廓直线点进行集中，遍历轮廓直线后将所有与l11直线垂直的轮廓直线作为垂直线集合，并将其标记为ln，此处，n指代为垂直线集合中的轮廓直线的数量；遍历垂直线集合ln中的轮廓直线，取距离中心点p最近的直线l作为h型钢端口处所在直线，并将点p在直线l11上的投影点作为基准点aa，将基准点aa在基准直线l21上的投影点
作为h型钢端口处的翼板面基准点bb。4.根据权利要求1所述的基于3d视觉校正h型钢焊接热变形的装配方法，其特征在于，对腹板的四个基准点进行确定的具体方式为：a1：将3d视觉相机移动至h型钢腹板面的正上方，拍照获取h型钢点云；a2：根据随机采样一致性算法，分割h型钢点云点云中所有平面，由于相机正对底面拍照，因此在相机坐标系中底板的法向量与方向向量为(0,0,1)的z轴方向应一致，根据平面点云数量，从大到小遍历所有平面，取与z轴夹角小于10
°
的平面a为底板；a3：在确定底板的前提下，再次遍历其余平面，取出与平面a成90
°
的两平面为两侧翼板b和c；a4：最后遍历三个平面外的剩余平面，取出与底板法向量平行的平面d为两侧翼板顶部的板厚面，取出两个翼板面和两个顶部翼板板厚面后，分别计算两个翼板面与底板面的交线以及两个翼板面与两个顶部翼板板厚面的交线，进而得到四个基准点所在直线l1、l2、l3、l4；a5：对非端口处基准点进行确定时，先取坐标x＝0在l1上的点位作为基准点a，再将该点在直线l2、l3、l4上的投影的点作为基准点b、c、d，得出四个基准点；对端口处基准点进行确定时，先根据安装角度，取坐标x＝0在l1上的投影点作为中心点p，可根据上面取出的底面点云，根据取翼板面取端口的方法，获取端口处轮廓直线l，将点p在l上的投影点为基准点a，再分别将a投影到直线l2、l3、l4上得出基准点b、c、d；a6：通过基准点a、b、c、d可计算出初始状态下h型钢腹板面开口宽度，底板宽度，两翼板高度。5.根据权利要求3所述的基于3d视觉校正h型钢焊接热变形的装配方法，其特征在于，当h型钢腹板的顶部面积大于一定阈值时，获得翼板面的两个基准点的具体方式如下：b1：使3d相机对着翼板偏转α角度进行拍照获取h型钢的点云数据；b2：根据随机采样一致性算法，分割h型钢点云中所有平面，根据偏转角度α，取出与方向向量为(0,0,1)的z轴之间的夹角成α角度的平面a作为底板面，再次遍历点云，取出与平面a成90度夹角的平面b作为翼板面，再次遍历点云，取与平面a平行的平面c作为翼板顶部的板厚面，计算平面a与平面b交线作为底板与翼板的基准直线l1，平面b与平面c的交线作为翼板上方基准直线l2；b3：对非端口处基准点进行确定时，以基准直线l1上x＝0处的点作为基准点a，将a在基准直线l2上的投影点作为基准点b；对端口处基准点进行确定时，先根据安装角度，取坐标x＝0在l1上的投影点作为中心点p，再根据上面取出的底面点云，通过步骤二取出端口处直线l，将点p在l上的投影点为基准点a，再分别将a投影到直线l2上得出基准点b。

技术总结
本发明公开了基于3D视觉校正H型钢焊接热变形的装配方法，涉及H型钢焊接技术领域，包括通过3D视觉相机对初始状态下的目标H型钢进行拍照，以获取目标H型钢的点云，通过点云算法对H型钢的基准直线L1、L2、L3、L4进行识别，再对基准点a进行确定，随后根据基准点a在直线L1、L2、L3、L4对腹板的四个基准点a、b、c、d进行确定；解决了对定位H型钢两侧端口较为困难，往往无法对H型钢整体位置和内部形变快速进行矫正定位的技术问题：通过初始定位获取的H型钢基准点和后续H型钢焊接完成后的定位基准点计算两者在空间位置上的偏移，即可得出H型钢的形变值，依据基准点的形变值对后续装配焊接位置进行矫正。矫正。矫正。


技术研发人员：廖先铠 王伟昌 郭家友 潘铭洪
受保护的技术使用者：安徽工布智造工业科技有限公司
技术研发日：2023.06.02
技术公布日：2023/7/21