一种基于深度学习的焊接机器人视觉控制系统的制作方法

1.本发明涉及机器人控制技术领域，特别涉及一种基于深度学习的焊接机器人视觉控制系统。


背景技术：

2.目前，通过将视觉检测和机器人控制技术应用在工业焊接技术领域，研发出可通过编程控制的焊接机器人，现存的焊接机器人多通过预先编程实现对焊接机器人的控制，焊接机器人可按照预先编程控制程序中导入的焊接轨迹进行焊接。在焊接效果验收或者焊接起点、中的终点、拐点位置的识别过程中通过视觉检测技术提高了焊接过程的自动化，节省了人力成本。
3.但是，现存的焊接机器人的控制编程过程需要额外通过人工识别或其他视觉检测的焊缝识别过程获得焊缝轨迹，并人工决策焊缝控制参数，才可进一步具体生成完整的控制程序，而人工采集和决策过程的准确度难以保证，导致焊接机器人的控制程序控制精度无法保证，且在焊接过程中也无其他优化手段，导致最终机器自动焊接效果不佳。
4.因此，本发明提出了一种基于深度学习的焊接机器人视觉控制系统。


技术实现要素：

5.本发明提供一种基于深度学习的焊接机器人视觉控制系统，用以通过将深度学习算法与视觉检测结合，实现焊缝轨迹的自动识别，并基于获取的焊缝的坡口特征和焊缝轨迹的相关参数，在无需人工决策的情况下，快速生成精度较高的焊接控制参数，提高了焊接机器人的控制程序的控制精度，并通过对焊接过程中的实际焊接位置的不断学习，实现对焊接机器人控制的持续优化和闭环控制，使最终焊接效果更佳，进而克服背景技术中提出的问题。
6.本发明提供一种基于深度学习的焊接机器人视觉控制系统，包括：
7.焊缝轨迹确定模块，用于基于深度学习算法搭建出焊缝区域识别模型，并基于焊缝区域识别模型和用户输入的选定排序指令确定出焊缝轨迹；
8.移动参数确定模块，用于基于焊缝轨迹中的所有被选焊缝在工件图像中的原始图像特征，确定出焊缝轨迹的三维坐标表示，并基于焊缝轨迹的三维坐标表示生成轨迹移动参数；
9.焊接参数确定模块，用于在焊缝标记图像中识别出焊缝轨迹的坡口特征，基于坡口特征和预设经验参数确定出焊接参数；
10.控制参数确定模块，用于基于深度学习算法搭建出焊接控制参数确定模型，并将焊接参数和轨迹移动参数输入至焊接控制参数确定模型，获得目标焊接控制参数；
11.焊接控制优化模块，用于基于目标焊接控制参数控制焊接机器人进行焊接，同时，基于对最新获得的焊枪头的焊接位置的时间序列信息和空间序列信息不断学习，优化焊接机器人的焊接控制，直至获得完整焊接结果。
12.优选的，焊缝轨迹确定模块，包括：
13.第一训练搭建子模块，用于通过对大量标记出不同焊缝类型的焊缝区域的工件图像进行深度学习训练，获得焊缝区域识别模型；
14.焊缝识别标记子模块，用于基于焊缝区域识别模型在实时获取的待焊工件的二维图像中识别出待选焊缝区域，并将所有待选焊缝区域在二维图像中进行高亮标注，获得焊缝标记图像；
15.用户选定排序子模块，用于基于用户的选定排序指令对焊缝标记图像中的所有待选焊缝区域进行选定排序，获得焊缝轨迹。
16.优选的，移动参数确定模块，包括：
17.三维坐标确定子模块，用于基于焊缝轨迹中的所有被选焊缝在工件图像中的原始图像特征，确定出焊缝轨迹的三维坐标表示；
18.移动参数确定子模块，用于基于焊缝轨迹的三维坐标表示确定出焊缝轨迹的轨迹参数当作轨迹移动参数。
19.优选的，三维坐标确定子模块，包括：
20.区域轮廓识别单元，用于基于轮廓识别算法识别出工件图像中的所有轮廓线，识别出所有轮廓线中的直线轮廓，并基于所有轮廓线确定出工件图像中的单面区域；
21.参考平面筛选单元，用于基于工件图像中的所有直线轮廓在所有单面区域中筛选出多个参考平面；
22.三维坐标确定单元，用于基于测距传感器确定出参考平面上每个轮廓角点与预设三维原点的三维距离，并确定出每个轮廓角点在预设三维坐标系下的相对方位角，基于每个轮廓角点的三维距离和相对方位角，确定出每个轮廓角点的三维坐标表示；
23.转换关系确定单元，用于基于所有参考平面的轮廓角点的三维坐标表示和二维坐标表示以及所有参考平面的像素参数，确定出坐标转换关系；
24.焊缝三维确定单元，用于基于所有被选焊缝在工件图像中的原始图像特征确定出被选焊缝的二维坐标表示，基于坐标转换关系和被选焊缝的二维坐标表示确定出焊缝轨迹的三维坐标表示。
25.优选的，参考平面筛选单元，包括：
26.参考面确定子单元，用于将属于同一单面的两条非平行的直线轮廓所在的单面区域当作参考面；
27.像素序列确定子单元，用于基于两条非平行的直线轮廓的延伸方向确定出渐变特征判断方向，在参考面中确定出相邻像素点延伸方向与渐变特征判断方向一致的多个像素点序列；
28.渐变特征判断单元，用于判断出属于同一渐变特征判断方向的所有像素点序列的图像特征是否渐变平滑且渐变方向一致，若是，则判定参考面为参考平面，否则，判定参考面不是参考平面。
29.优选的，焊接参数确定模块，包括：
30.坡口形状确定子模块，用于在焊缝标记图像中识别出焊缝轨迹的坡口横截面区域；
31.坐标三维转换子模块，用于在焊缝标记图像中确定出焊缝轨迹的二维坐标表示和
坡口横截面区域的二维坐标，基于焊缝轨迹的二维坐标表示和三维坐标表示之间的坐标转换关系以及坡口横截面区域的二维坐标表示，确定出坡口横截面的三维坐标表示；
32.焊接参数确定子模块，用于基于焊缝轨迹的三维坐标表示和坡口横截面的三维坐标表示，确定出焊缝形状体的三维坐标表示作为坡口特征，基于坡口特征和预设经验参数中当前焊接方式对应的焊接参数确定方式，确定出焊接参数。
33.优选的，控制参数确定模块，包括：
34.第二训练搭建子模块，用于基于大量包含历史焊接参数和历史轨迹移动参数以及对应的历史焊接控制参数的历史焊接控制实例，训练获得焊接控制参数确定模型；
35.控制参数确定子模块，用于将焊接参数和轨迹移动参数输入至焊接控制参数确定模型，获得目标焊接控制参数。
36.优选的，焊接控制优化模块，包括：
37.焊接动态模拟子模块，用于基于焊接参数和轨迹移动参数动态模拟焊接过程，获得虚拟焊接轨迹；
38.焊接控制监控子模块，用于基于目标焊接控制参数控制焊接机器人进行焊接，并实时获取焊接机器人的焊枪头监控视频；
39.实际信息获取子模块，用于基于焊枪头监控视频确定出焊枪头的焊接位置的时间序列信息和空间序列信息；
40.控制参数优化子模块，用于基于最新获得的焊枪头的焊接位置的时间序列信息和空间序列信息以及虚拟焊接轨迹不断优化焊接控制参数确定模型，获得最新的焊接优化控制参数；
41.焊接控制优化子模块，用于基于最新获得的焊接优化控制参数不断更新焊接机器人的目标焊接控制参数，直至最新获得的焊枪头的焊接位置达到虚拟焊接轨迹的终点时，获得完整焊接结果。
42.优选的，焊接动态模拟子模块，包括：
43.焊接参数解析单元，用于基于焊接参数确定出焊接融合区的焊接截面形成参数和焊接截面法向移动参数；
44.轨迹移动参数解析单元，用于基于轨迹移动参数确定出轨迹移动方向；
45.焊接过程动态模拟单元，用于基于焊接截面形成参数和焊接截面法向移动参数以及轨迹移动方向，模拟出动态焊接过程，获得虚拟焊接轨迹。
46.优选的，实际信息获取子模块，包括：
47.空间序列信息确定单元，用于基于焊枪头监控视频确定出焊枪头的焊接位置确定出实际焊接轨迹，将实际焊接轨迹按照预设切片间隔进行划分，获得焊枪头的焊接位置的空间序列信息；
48.时间序列信息确定单元，用于确定出实际焊接轨迹和虚拟焊接轨迹的重合位置点，以重合位置点为划分界限对实际焊接轨迹进行划分，获得多个部分轨迹序列，基于部分轨迹序列中每个部分轨迹的形成时间段生成对应的时间切片，基于部分轨迹序列中所有部分轨迹的时间切片，生成焊枪头的焊接位置的空间序列信息。
49.本发明相对于现有技术产生的有益效果为：通过将深度学习算法与视觉检测结合，实现焊缝轨迹的自动识别，并基于获取的焊缝的坡口特征和焊缝轨迹的相关参数，在无
需人工决策的情况下，快速生成精度较高的焊接控制参数，提高了焊接机器人的控制程序的控制精度，并通过对焊接过程中的实际焊接位置的不断学习，实现对焊接机器人控制的持续优化和闭环控制，使最终焊接效果更佳。
50.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
51.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
52.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
53.图1为本发明实施例中一种基于深度学习的焊接机器人视觉控制系统执行功能示意图；
54.图2为本发明实施例中一种基于深度学习的焊接机器人视觉控制系统实现控制的装置示意图；
55.图3为本发明实施例中一种基于深度学习的焊接机器人视觉控制系统在焊接过程中的优化原理示意图。
具体实施方式
56.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
57.实施例1：
58.本发明提供了一种基于深度学习的焊接机器人视觉控制系统，参考图1，至3包括：
59.焊缝轨迹确定模块，用于基于深度学习算法(深度学习算法即为通过学习大量标记出不同焊缝类型的焊缝区域的工件图像的图像特征的过程)搭建出焊缝区域识别模型(使用大规模深层次卷积神经网络模型学习大量标记出不同焊缝类型的焊缝区域的工件图像的图像特征，并泛化到实际识别场景中，进而获得可以准确识别工件图像中的焊缝区域的图像识别模型，例如采用卷积神经网络(cnn)进行深度学习获得焊缝区域识别模型)，并基于焊缝区域识别模型和用户输入的选定排序指令(选定排序指令即为用户输入的用于在基于焊缝区域识别模型识别出的待选焊缝区域中筛选出需要焊接机器人进行焊接的焊缝区域，并确定其焊接顺序的指令)确定出焊缝轨迹(焊缝轨迹轨迹即为基于选定排序指令将用户选择的焊缝区域进行排序后获得的由焊缝区域构成的焊接轨迹)；该焊缝轨迹确定模块通过将深度学习算法与视觉检测结合，实现焊缝轨迹的自动识别；
60.移动参数确定模块，用于基于焊缝轨迹中的所有被选焊缝(被选焊缝即为基于选定排序指令确定出用户选择出的需要被焊接机器人进行焊接的焊缝区域)在工件图像中的原始图像特征(即为焊缝区域在工件图像中所显示的原始的图像特征，例如：焊缝区域中所有像素点在工件图像的像素值、色度值、对比度值、亮度值等图像属性参数)，确定出焊缝轨迹的三维坐标表示(焊缝轨迹的三维坐标表示即为需要被焊接的工件中需要被焊接的焊接接头的初始形状在实际空间中的三维坐标表示)，并基于焊缝轨迹的三维坐标表示生成轨
迹移动参数(包含轨迹长度、移动方向以及形状的参数，例如：焊缝轨迹为长度为30厘米的直线段，或者为以5厘米为半径，弧度为1rad的圆弧段，该移动参数的确定方法为：基于焊缝轨迹的三维坐标表示确定出焊缝轨迹中的所有横截面的三维坐标表示，并将横截面的三维坐标表示中所有点的坐标值的平均值当作对应横截面的中心点，基于横截面的顺序将对应的所有中心点拟合获得一轨迹中心线段，该轨迹中心线段的长度、移动方向以及对应的形状即为轨迹移动参数)；
61.焊接参数确定模块，用于在焊缝标记图像中识别出焊缝轨迹的坡口特征(坡口特征即为坡口几何形状及尺寸参数，几何形状例如有对接接头中的单i形、单边v形、双单边v形(也称k形)、v形、双v形(也称x形)、j形、双」形、u形、双u型、喇叭单边v型、喇叭v型、卷边对接等以及角接接头中的i形坡口、外角v形坡口、外角单边v形坡口、内角单边v形坡口、外角u形坡口、外角j形坡口、内角j形坡口、内角单边喇叭v形坡口、喇叭v形坡口、内角单边喇叭外角端接等，尺寸参数例如有根部间隙、钝边、坡口角度、坡口面角度、u形根部半径等，以及卷边坡口的卷边高度和卷边半径)，基于坡口特征和预设经验参数(预设经验参数即为预设的确定不同坡口特征对应的焊接参数的方法，例如：坡口角度大小导致焊枪头输出的电弧所能到达坡口内的位置不同，坡口角度越大，未融合深度越浅，即穿透深度越大。坡口角度越小，未融合深度越深，即穿透深度越小，即填充金属越堆积于表面。因此，在确定焊枪头的输出电弧时需要考虑到不同坡口特征，以保证焊接效果)确定出焊接参数(电弧焊时，焊接参数有焊接电流、电弧电压、焊接速度以及焊丝(焊条)直径、电流极性、焊丝伸出长度、保护气体流量等；电阻焊时，焊接参数有电极压力、通电时间及次级电压、电极直径等)；
62.焊接机器人的控制主要包含两部分：焊接过程的控制和移动过程的控制，虽然这两者在焊接过程中是同时进行的，但是其控制参数的确定原理完全不同，因此通过上述移动参数确定模块、焊接参数确定模块将：焊接过程的控制和移动过程的控制分别分析，进一步保证了焊接机器人的控制精度；
63.控制参数确定模块，用于基于深度学习算法搭建出焊接控制参数确定模型(该步骤中，通过学习大量包含历史焊接参数和历史轨迹移动参数以及对应的历史焊接控制参数的历史焊接控制实例中，历史焊接参数和历史轨迹移动参数与对应的历史焊接控制参数之间的关联关系，进而确定出在不同情况下焊接参数和历史轨迹移动参数与对应的历史焊接控制参数之间的关联关系，即将其关联关系泛化到不同焊接控制实例中，进而获得可以确定出同时满足焊接参数对应的焊接控制目标和轨迹移动参数对应的焊接控制目标的目标焊接控制参数的模型，例如利用全连接层神经网络进行深度学习搭建出焊接控制参数确定模型)，并将焊接参数和轨迹移动参数输入至焊接控制参数确定模型，获得目标焊接控制参数(目标焊接参数即为包含开始控制焊接机器人进行焊接时所依据的所有控制参数，例如焊枪头移动速度、焊枪头输出电压等)；
64.上述移动参数确定模块、焊接参数确定模块、控制参数确定模块基于获取的焊缝的坡口特征和焊缝轨迹的相关参数，在无需人工决策的情况下，快速生成精度较高的焊接控制参数，提高了焊接机器人的控制程序的控制精度；
65.焊接控制优化模块，用于基于目标焊接控制参数控制焊接机器人进行焊接，同时，基于对最新获得的焊枪头的焊接位置的时间序列信息(时间序列信息即为焊接机器人的焊枪头的实际移动轨迹的时间变化信息，例如：焊枪头从起点到达a位置点时的时间点为t秒)
和空间序列信息(空间序列信息即为焊接机器人的焊枪头的实际移动轨迹的空间变化信息，例如：焊枪头的实际位置随时间的变化过程)不断学习，优化焊接机器人的焊接控制(利用逻辑回归不断优化目标焊接控制参数，减小焊接头实际形成的焊接轨迹与预设的虚拟焊接轨迹之间的误差)，直至获得完整焊接结果(完整焊接结果即为利用本实施例中的基于深度学习的焊接机器人视觉控制系统控制焊接机器人对被焊接的工件进行焊接完后获得的工件或工件图像)；
66.该焊接控制优化模块通过对焊接过程中的实际焊接位置的不断学习，实现对焊接机器人控制的持续优化和闭环控制，使最终焊接效果更佳。
67.实施例2：
68.在实施例1的基础上，焊缝轨迹确定模块，包括：
69.第一训练搭建子模块，用于通过对大量标记出不同焊缝类型的焊缝区域的工件图像进行深度学习训练，获得焊缝区域识别模型(该步骤例如将卷积神经网络(cnn)的权值初始化，并将标记出不同焊缝类型的焊缝区域的工件图像输入至经过卷积层、下采样层、全连接层的向前传播得到当前模型在工件图像中标定出的焊缝区域，并将当前模型在工件图像中标定出的焊缝区域和该工件原始标定出的焊缝区域之间的坐标偏差传回卷积神经网络中，依次求得全连接层，下采样层，卷积层的误差基于各层误差更新初始权重，获得新的卷积神经网络；并在新的卷积神经网络中输入新的标记出不同焊缝类型的焊缝区域的工件图像进行不断训练，直至坐标误差不超过预设期望值时，结束训练，并获得焊缝区域识别模型)；
70.将深度学习算法与视觉检测结合，训练出可准确识别焊缝区域的焊缝区域识别模型；
71.焊缝识别标记子模块，用于基于焊缝区域识别模型在实时获取的待焊工件(待焊工件即为需要基于该实施例中基于深度学习的焊接机器人视觉控制系统控制焊接机器人进行焊接的工件对象)的二维图像(该二维图像包含待焊工件的所有外观特征)中识别出待选焊缝区域(将待焊工件的二维图像输入至焊缝区域识别模型，即可标记出待选焊缝区域，待选焊缝区域即为需要后续被用户选择排序的实际焊缝在二维图像中对应的图像区域)，并将所有待选焊缝区域在二维图像中进行高亮标注，获得焊缝标记图像(焊缝标记图像包含被高亮标注的所有待选焊缝区域，便于后续用户查看并选择排序)；
72.用户选定排序子模块，用于基于用户的选定排序指令对焊缝标记图像中的所有待选焊缝区域进行选定排序，获得焊缝轨迹；
73.上述焊缝识别标记子模块和用户选定排序子模块通过用户的简单标记参与，实现对自动识别出的焊缝区域的进一步筛选，为用户提供了更加丰富的选择。
74.实施例3：
75.在实施例1的基础上，移动参数确定模块，包括：
76.三维坐标确定子模块，用于基于焊缝轨迹中的所有被选焊缝在工件图像中的原始图像特征，确定出焊缝轨迹的三维坐标表示；
77.移动参数确定子模块，用于基于焊缝轨迹的三维坐标表示确定出焊缝轨迹的轨迹参数(包含轨迹长度、移动方向以及形状的参数)当作轨迹移动参数；
78.该步骤实现基于视觉识别的结果和三维化结果，实现对焊接机器人的移动控制参
数的单独分析确定，进而可以保证后续总的控制过程的精度。
79.实施例4：
80.在实施例3的基础上，三维坐标确定子模块，包括：
81.区域轮廓识别单元，用于基于轮廓识别算法(例如canny算法)识别出工件图像中的所有轮廓线，识别出所有轮廓线中的直线轮廓(即为前述步骤识别出的轮廓线中的直线段)，并基于所有轮廓线确定出工件图像中的单面区域(即为单个平面或单个曲面，该单面区域中不包含轮廓线，也可以认为是基于前述轮廓线对工件图像划分后获得的结果中的单连通区域)；
82.通过对工件图像的轮廓识别和区域划分为后续确定出用于确定坐标转换关系的参考点提供基础；
83.参考平面筛选单元，用于基于工件图像中的所有直线轮廓在所有单面区域中筛选出多个参考平面(参考平面即为在所有单面区域中筛选出的可用于后续确定出工件图像与实际工件的坐标转换关系时参考的平面在工件图像中的所在区域)；
84.平面区域的深度值渐变特征相较于曲面区域的深度值渐变特征要更稳定，因此，以平面区域为参考确定其深度缩放因子，将导致确定出的二维至三维的坐标转换关系更加准确还原；
85.三维坐标确定单元，用于基于测距传感器(红外测距传感器等)确定出参考平面上每个轮廓角点(轮廓角点即为利用harris角点检测器等角点检测算法在参考平面的轮廓线中识别出的角点)与预设三维原点(预设三维原点即为在实际三维空间中存在的预设的位置点，例如测距传感器的信号发出位置或信号接收位置)的三维距离(三维距离即为轮廓角点在实际空间中的位置点与实际空间中的预设三维原点之间的实际距离)，并确定出每个轮廓角点在预设三维坐标系下的相对方位角(相对方位角即为从预设三维原点至轮廓角点在实际三维空间中的所在位置点的指向向量在预设坐标系下的角度，相对方位角包括三个：依次是指向向量与预设坐标系的横坐标轴之间的角度α、指向向量与预设坐标系的纵坐标轴之间的角度β、指向向量与预设坐标系的竖坐标轴之间的角度γ)，基于每个轮廓角点的三维距离x和相对方位角，确定出每个轮廓角点的三维坐标表示(轮廓角点的三维坐标表示即为(x*cosα,x*cosβ,x*cosγ))；
86.采用测距和方位角的测量准确确定出部分位置点在实际三维空间中的三维坐标表示；
87.转换关系确定单元，用于基于所有参考平面的轮廓角点的三维坐标表示和二维坐标表示以及所有参考平面的像素参数，确定出坐标转换关系(具体步骤包括：基于轮廓角点的三维坐标表示确定出每个轮廓角点的纵坐标值，将轮廓角点的纵坐标值和在二维图像中对应的深度值的比值当作对应轮廓角点的深度缩放因子，将参考平面中所有轮廓角点的最终深度缩放因子的均值当作对应参考平面的最终深度缩放因子，将与除参考平面以外剩余的单面区域相邻的所有参考平面的最终深度缩放因子的均值当作对应单面区域的最终缩放因子，基于所有单面区域的最终缩放因子和相机的原始参数确定出所有单面区域的坐标转换关系，即：其中，x,y,z分别为三维坐标表示中的横坐标值、纵坐标值、竖坐标值，u,v分别为二维坐标表示中的横坐标值、纵坐标
值，d为在二维图像中的深度值，s为对应参考平面的深度图的深度缩放因子，f
x
,fy是相机在x,y两个轴上的焦距，cx,cy为相机的光圈中心(即工件图像原点相对于光心成像点的横、纵偏移量))；
88.选择参考平面的轮廓角点的深度缩放因子确定参考平面的缩放因子，不仅可以准确确定出参考平面的最终缩放因子，且由于轮廓角点位于参考平面与其他单面区域的交界线处，使得后续基于相邻的参考平面的最终缩放因子确定出的其他单面区域的最终缩放因子的准确度得到保证；
89.焊缝三维确定单元，用于基于所有被选焊缝在工件图像中的原始图像特征确定出被选焊缝的二维坐标表示(即为在所有被选焊缝在工件图像中的原始图像特征中确定出被选焊缝每个点在工件图像中的二维坐标表示)，基于坐标转换关系和被选焊缝的二维坐标表示确定出焊缝轨迹的三维坐标表示(将被选焊缝的二维坐标表示代入至坐标转换关系中获得焊缝轨迹的三维坐标表示)；
90.基于确定出的二维至三维的坐标转换关系完成从二维坐标至三维坐标的转换，相比于全部采用直接测量三维距离和相对方位角确定三维坐标表示的方式，需要检测的数据量要少很多，因此确定效率更高。
91.实施例5：
92.在实施例4的基础上，参考平面筛选单元，包括：
93.参考面确定子单元，用于将属于同一单面的两条非平行的直线轮廓所在的单面区域当作参考面(参考面即为所有单面区域中至少包含两条非平行的直线轮廓的单面区域)；
94.通过以上步骤实现对单面区域的初步筛选，从轮廓特征的角度完成对参考平面的初步筛选；
95.像素序列确定子单元，用于基于两条非平行的直线轮廓的延伸方向(延伸方向用角度表示)确定出渐变特征判断方向(渐变特征方向即为与直线轮廓延伸方向一致的方向，即包含至少两个渐变特征判断方向，因为，一个参考面中更可能包含不止一组非平行的直线轮廓)，在参考面中确定出相邻像素点延伸方向(相邻像素点延伸方向即为相邻的像素点的连线与渐变特征判断方向对应的线条平行)与渐变特征判断方向一致的多个像素点序列(像素点序列即为参考面中的一列像素点构成的序列，且该列像素点满足相邻像素点延伸方向与渐变特征判断方向一致这个条件)；
96.用参考面内与直线轮廓延伸方向一致的渐变特征判断方向上的像素点序列的像素值渐变特征表示参考面在直线轮廓延伸方向上的渐变特征，实现区域渐变特征的数据化；
97.渐变特征判断单元，用于判断出属于同一渐变特征判断方向的所有像素点序列的图像特征是否渐变平滑且渐变方向一致(即属于同一渐变特征判断方向的所有像素点序列中所有相邻像素点的像素差值是否相等或约等)，若是，则判定参考面为参考平面，否则，判定参考面不是参考平面；
98.在前述筛选出参考面的基础上，基于参考面内图像区域的渐变特征，从图像区域特征的角度完成对参考平面的进一步筛选，进而使得最终筛选出单面区域为在三维空间中实际存在的平面所在的图像区域。
99.实施例6：
100.在实施例1的基础上，焊接参数确定模块，包括：
101.坡口形状确定子模块，用于在焊缝标记图像中识别出焊缝轨迹的坡口横截面区域(坡口截面区域即为待焊工件中需要焊接的缝隙体中与所在焊缝轨迹的延伸方向垂直的截面)；
102.坐标三维转换子模块，用于在焊缝标记图像中确定出焊缝轨迹的二维坐标表示和坡口横截面区域的二维坐标，基于焊缝轨迹的二维坐标表示和三维坐标表示之间的坐标转换关系以及坡口横截面区域的二维坐标表示，确定出坡口横截面的三维坐标表示(即为将坡口横截面区域的二维坐标表示代入至焊缝轨迹的二维坐标表示和三维坐标表示之间的坐标转换关系，获得坡口横截面的三维坐标表示)；
103.焊接参数确定子模块，用于基于焊缝轨迹的三维坐标表示和坡口横截面的三维坐标表示，确定出焊缝形状体(焊缝形状体即待焊工件中需要焊接连接的缝隙所形成的形状体)的三维坐标表示作为坡口特征(因此焊缝轨迹可能在二维图像中存在视觉死角，因此导致焊缝轨迹的三维坐标表示中不能覆盖焊缝形状体表面所有点的三维坐标表示，进而结合坡口横截面区域的三维坐标表示可以在焊缝轨迹的三维坐标表示的基础上进行立体还原，进而获得焊缝形状体表面的全部点的三维坐标)，基于坡口特征和预设经验参数中当前焊接方式(焊接方式例如有电阻焊或电弧焊)对应的焊接参数确定方式(不同焊接方式对应的焊接参数种类不同，因此，其对应的焊接参数确定方式也不同，可以根据人工经验进行导入提前设定，也可以通过大量历史焊接参数实例进行训练学习确定)，确定出焊接参数；
104.基于上述步骤实现了对焊缝形状体表面的所有点的三维坐标的完善确定，保证了坡口特征的数据完整性，进而提高了最终确定出的焊接参数的准确度。
105.实施例7：
106.在实施例1的基础上，控制参数确定模块，包括：
107.第二训练搭建子模块，用于基于大量包含历史焊接参数(历史焊接参数即为历史焊接控制实例中包含的焊接参数)和历史轨迹移动参数(历史轨迹移动参数即为历史焊接控制实例中包含的历史轨迹移动参数)以及对应的历史焊接控制参数(历史焊接控制参数即为历史焊接控制实例中包含的目标焊接控制参数)的历史焊接控制实例(历史焊接控制实例即为包含历史焊接参数、历史轨迹移动参数、利用人工经验基于历史焊接参数和历史轨迹移动参数确定出的对应的合理的历史焊接控制参数的人工确定实例)，训练获得焊接控制参数确定模型；
108.控制参数确定子模块，用于将焊接参数和轨迹移动参数输入至焊接控制参数确定模型，获得目标焊接控制参数；
109.基于上述第二训练搭建子模块、控制参数确定子模块执行的功能步骤，实现了基于深度学习搭建出可以确定目标焊接控制参数的焊接控制参数确定模型，进而基于该焊接控制参数确定模型进一步确定出当前焊接控制所需的目标焊接控制参数。
110.实施例8：
111.在实施例1的基础上，焊接控制优化模块，参考图3，包括：
112.焊接动态模拟子模块，用于基于焊接参数和轨迹移动参数动态模拟焊接过程，获得虚拟焊接轨迹(虚拟焊接轨迹即为模拟焊接机器人被按照焊接参数和轨迹移动参数直接控制时进行焊接时所形成的理想状态下的焊接轨迹)；
113.通过模拟出理想状态下的虚拟焊接轨迹，为后续对焊接控制参数确定模型和焊接控制参数的优化过程提供偏差计算的依据，即为后续的优化过程提供了直观参考；
114.焊接控制监控子模块，用于基于目标焊接控制参数控制焊接机器人进行焊接，并实时获取焊接机器人的焊枪头监控视频(焊枪头监控视频即为实时获取的包含焊接机器人的焊枪头及其与工件的接触位置的部分所在区域的监控视频)；
115.实际信息获取子模块，用于基于焊枪头监控视频确定出焊枪头的焊接位置的时间序列信息和空间序列信息；
116.该步骤相当于将焊接控制参数确定模型的输出结果的应用结果数值化，并从时间和空间两个维度将输出结果表示，便于后续从时间和空间两个角度调整优化，相比于直接以动态轨迹为依据进行调整优化，调整优化效果更佳；
117.控制参数优化子模块，用于基于最新获得的焊枪头的焊接位置的时间序列信息和空间序列信息以及虚拟焊接轨迹不断优化焊接控制参数确定模型，获得最新的焊接优化控制参数(参考图3的逻辑回归的闭环控制过程，基于不断省的焊接优化控制参数实现对目标焊接控制参数的不断更新优化，其中，焊接优化控制参数即为将焊接位置的时间序列信息和空间序列信息与虚拟焊接轨迹对应的时间序列信息和空间序列信息之间的偏差，调整焊接控制参数确定模型中各层之间的权重，进而实现对焊接控制参数确定模型的优化，基于优化后的焊接控制参数确定模型获得焊接优化控制参数)；
118.该步骤基于时间和空间两个维度的输出结果对焊接控制参数确定模型和焊接控制参数进行优化调整，使得调整优化效果更佳，也使得焊枪头的实际位置形成的实际焊接轨迹与虚拟焊接轨迹的偏差变小的速度更快；
119.焊接控制优化子模块，用于基于最新获得的焊接优化控制参数不断更新焊接机器人的目标焊接控制参数(即为将目标焊接控制参数替换为最新的焊接优化控制参数)，直至最新获得的焊枪头的焊接位置达到虚拟焊接轨迹的终点时，获得完整焊接结果。
120.实施例9：
121.在实施例8的基础上，焊接动态模拟子模块，包括：
122.焊接参数解析单元，用于基于焊接参数确定出焊接融合区(模拟焊接机器人被按照焊接参数和轨迹移动参数直接控制时进行焊接时所形成的理想状态下的焊接形状体)的焊接截面形成参数(即理想状态下的焊接形状体的横截面的几何参数)和焊接截面法向移动参数(即理想状态下的焊接形状体在与横截面垂直的方向上的延伸速度等参数)；
123.轨迹移动参数解析单元，用于基于轨迹移动参数确定出轨迹移动方向；
124.焊接过程动态模拟单元，用于基于焊接截面形成参数和焊接截面法向移动参数以及轨迹移动方向，模拟出动态焊接过程(即基于理想状态下的焊接形状体的横截面的几何参数、与横截面垂直的方向上的延伸速度等参数、轨迹移动方向拟合出理想状态下的焊接形状体的动态延伸过程即为动态焊接过程)，获得虚拟焊接轨迹；
125.完成对焊接机器人被按照焊接参数和轨迹移动参数直接控制时进行焊接时所形成的理想状态下的焊接过程的动态模拟。
126.实施例10：
127.在实施例9的基础上，实际信息获取子模块，包括：
128.空间序列信息确定单元，用于基于焊枪头监控视频确定出焊枪头的焊接位置(即
为基于预先训练好的识别模型在焊枪头监控视频的最后一帧中识别出焊接位置，并将其转换到三维坐标下，获得焊接位置的三维坐标)确定出实际焊接轨迹(将按照时间依次确定出的焊接位置的三维坐标拟合获得获得实际焊接轨迹，即焊枪头与工件表面解释的点形成的轨迹)，将实际焊接轨迹按照预设切片间隔(预设的长度间隔)进行划分，获得焊枪头的焊接位置的空间序列信息(划分获得的每个部分轨迹对应的坐标表示即为空间序列信息中的一个空间信息)；
129.时间序列信息确定单元，用于确定出实际焊接轨迹和虚拟焊接轨迹的重合位置点(即实际焊接轨迹和虚拟焊接轨迹中重合的位置点)，以重合位置点为划分界限对实际焊接轨迹进行划分，获得多个部分轨迹序列(即包含多个部分轨迹的序列)，基于部分轨迹序列中每个部分轨迹的形成时间段(即焊枪头经过部分轨迹的起点的时刻至焊枪头经过部分轨迹的终点的时刻之间的时间段)生成对应的时间切片，基于部分轨迹序列中所有部分轨迹的时间切片，生成焊枪头的焊接位置的空间序列信息。
130.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

技术特征：
1.一种基于深度学习的焊接机器人视觉控制系统，其特征在于，包括：焊缝轨迹确定模块，用于基于深度学习算法搭建出焊缝区域识别模型，并基于焊缝区域识别模型和用户输入的选定排序指令确定出焊缝轨迹；移动参数确定模块，用于基于焊缝轨迹中的所有被选焊缝在工件图像中的原始图像特征，确定出焊缝轨迹的三维坐标表示，并基于焊缝轨迹的三维坐标表示生成轨迹移动参数；焊接参数确定模块，用于在焊缝标记图像中识别出焊缝轨迹的坡口特征，基于坡口特征和预设经验参数确定出焊接参数；控制参数确定模块，用于基于深度学习算法搭建出焊接控制参数确定模型，并将焊接参数和轨迹移动参数输入至焊接控制参数确定模型，获得目标焊接控制参数；焊接控制优化模块，用于基于目标焊接控制参数控制焊接机器人进行焊接，同时，基于对最新获得的焊枪头的焊接位置的时间序列信息和空间序列信息不断学习，优化焊接机器人的焊接控制，直至获得完整焊接结果。2.根据权利要求1所述的一种基于深度学习的焊接机器人视觉控制系统，其特征在于，焊缝轨迹确定模块，包括：第一训练搭建子模块，用于通过对大量标记出不同焊缝类型的焊缝区域的工件图像进行深度学习训练，获得焊缝区域识别模型；焊缝识别标记子模块，用于基于焊缝区域识别模型在实时获取的待焊工件的二维图像中识别出待选焊缝区域，并将所有待选焊缝区域在二维图像中进行高亮标注，获得焊缝标记图像；用户选定排序子模块，用于基于用户的选定排序指令对焊缝标记图像中的所有待选焊缝区域进行选定排序，获得焊缝轨迹。3.根据权利要求1所述的一种基于深度学习的焊接机器人视觉控制系统，其特征在于，移动参数确定模块，包括：三维坐标确定子模块，用于基于焊缝轨迹中的所有被选焊缝在工件图像中的原始图像特征，确定出焊缝轨迹的三维坐标表示；移动参数确定子模块，用于基于焊缝轨迹的三维坐标表示确定出焊缝轨迹的轨迹参数当作轨迹移动参数。4.根据权利要求3所述的一种基于深度学习的焊接机器人视觉控制系统，其特征在于，三维坐标确定子模块，包括：区域轮廓识别单元，用于基于轮廓识别算法识别出工件图像中的所有轮廓线，识别出所有轮廓线中的直线轮廓，并基于所有轮廓线确定出工件图像中的单面区域；参考平面筛选单元，用于基于工件图像中的所有直线轮廓在所有单面区域中筛选出多个参考平面；三维坐标确定单元，用于基于测距传感器确定出参考平面上每个轮廓角点与预设三维原点的三维距离，并确定出每个轮廓角点在预设三维坐标系下的相对方位角，基于每个轮廓角点的三维距离和相对方位角，确定出每个轮廓角点的三维坐标表示；转换关系确定单元，用于基于所有参考平面的轮廓角点的三维坐标表示和二维坐标表示以及所有参考平面的像素参数，确定出坐标转换关系；焊缝三维确定单元，用于基于所有被选焊缝在工件图像中的原始图像特征确定出被选
焊缝的二维坐标表示，基于坐标转换关系和被选焊缝的二维坐标表示确定出焊缝轨迹的三维坐标表示。5.根据权利要求4所述的一种基于深度学习的焊接机器人视觉控制系统，其特征在于，参考平面筛选单元，包括：参考面确定子单元，用于将属于同一单面的两条非平行的直线轮廓所在的单面区域当作参考面；像素序列确定子单元，用于基于两条非平行的直线轮廓的延伸方向确定出渐变特征判断方向，在参考面中确定出相邻像素点延伸方向与渐变特征判断方向一致的多个像素点序列；渐变特征判断单元，用于判断出属于同一渐变特征判断方向的所有像素点序列的图像特征是否渐变平滑且渐变方向一致，若是，则判定参考面为参考平面，否则，判定参考面不是参考平面。6.根据权利要求1所述的一种基于深度学习的焊接机器人视觉控制系统，其特征在于，焊接参数确定模块，包括：坡口形状确定子模块，用于在焊缝标记图像中识别出焊缝轨迹的坡口横截面区域；坐标三维转换子模块，用于在焊缝标记图像中确定出焊缝轨迹的二维坐标表示和坡口横截面区域的二维坐标，基于焊缝轨迹的二维坐标表示和三维坐标表示之间的坐标转换关系以及坡口横截面区域的二维坐标表示，确定出坡口横截面的三维坐标表示；焊接参数确定子模块，用于基于焊缝轨迹的三维坐标表示和坡口横截面的三维坐标表示，确定出焊缝形状体的三维坐标表示作为坡口特征，基于坡口特征和预设经验参数中当前焊接方式对应的焊接参数确定方式，确定出焊接参数。7.根据权利要求1所述的一种基于深度学习的焊接机器人视觉控制系统，其特征在于，控制参数确定模块，包括：第二训练搭建子模块，用于基于大量包含历史焊接参数和历史轨迹移动参数以及对应的历史焊接控制参数的历史焊接控制实例，训练获得焊接控制参数确定模型；控制参数确定子模块，用于将焊接参数和轨迹移动参数输入至焊接控制参数确定模型，获得目标焊接控制参数。8.根据权利要求1所述的一种基于深度学习的焊接机器人视觉控制系统，其特征在于，焊接控制优化模块，包括：焊接动态模拟子模块，用于基于焊接参数和轨迹移动参数动态模拟焊接过程，获得虚拟焊接轨迹；焊接控制监控子模块，用于基于目标焊接控制参数控制焊接机器人进行焊接，并实时获取焊接机器人的焊枪头监控视频；实际信息获取子模块，用于基于焊枪头监控视频确定出焊枪头的焊接位置的时间序列信息和空间序列信息；控制参数优化子模块，用于基于最新获得的焊枪头的焊接位置的时间序列信息和空间序列信息以及虚拟焊接轨迹不断优化焊接控制参数确定模型，获得最新的焊接优化控制参数；焊接控制优化子模块，用于基于最新获得的焊接优化控制参数不断更新焊接机器人的
目标焊接控制参数，直至最新获得的焊枪头的焊接位置达到虚拟焊接轨迹的终点时，获得完整焊接结果。9.根据权利要求8所述的一种基于深度学习的焊接机器人视觉控制系统，其特征在于，焊接动态模拟子模块，包括：焊接参数解析单元，用于基于焊接参数确定出焊接融合区的焊接截面形成参数和焊接截面法向移动参数；轨迹移动参数解析单元，用于基于轨迹移动参数确定出轨迹移动方向；焊接过程动态模拟单元，用于基于焊接截面形成参数和焊接截面法向移动参数以及轨迹移动方向，模拟出动态焊接过程，获得虚拟焊接轨迹。10.根据权利要求9所述的一种基于深度学习的焊接机器人视觉控制系统，其特征在于，实际信息获取子模块，包括：空间序列信息确定单元，用于基于焊枪头监控视频确定出焊枪头的焊接位置确定出实际焊接轨迹，将实际焊接轨迹按照预设切片间隔进行划分，获得焊枪头的焊接位置的空间序列信息；时间序列信息确定单元，用于确定出实际焊接轨迹和虚拟焊接轨迹的重合位置点，以重合位置点为划分界限对实际焊接轨迹进行划分，获得多个部分轨迹序列，基于部分轨迹序列中每个部分轨迹的形成时间段生成对应的时间切片，基于部分轨迹序列中所有部分轨迹的时间切片，生成焊枪头的焊接位置的空间序列信息。

技术总结
本发明提供了一种基于深度学习的焊接机器人视觉控制系统，包括：焊缝轨迹确定模块，用于基于深度学习算法搭建焊缝区域识别模型并确定出焊缝轨迹；移动参数确定模块，用于基于焊缝轨迹的原始图像特征生成轨迹移动参数；焊接参数确定模块，用于基于焊缝轨迹的坡口特征确定出焊接参数；控制参数确定模块，用于基于深度学习算法搭建焊接控制参数确定模型并确定出目标焊接控制参数；焊接控制优化模块，用于对最新获得的焊枪头的焊接位置的时间序列信息和空间序列信息不断学习优化焊接机器人的焊接控制；用以通过将深度学习算法与视觉检测结合，快速生成精度较高的焊接控制参数，并实现在焊接过程中的持续优化和闭环控制，使焊接效果更佳。接效果更佳。接效果更佳。


技术研发人员：巫飞彪 林毅旺
受保护的技术使用者：广州东焊智能装备有限公司
技术研发日：2023.07.04
技术公布日：2023/8/16