基于机器视觉的金属带针孔处理方法、系统及介质与流程

1.本发明涉及机器视觉技术领域，尤其涉及一种基于机器视觉的金属带针孔处理方法、系统及介质。


背景技术：

2.在特种金属带的生产线中，由于工艺或机台原因，特种金属带中会有针孔出现，针孔很小，在0.05mm左右，产线在60m/min的速度生产过程中，人工检测无法识别。通常是在完成收卷后，人工通过暗室灯光，抽样离线观察，发现针孔也只能整卷报废处理。对于特金属带而言，报废造成的损失极高。如果流到下游客户，会造成客诉和赔偿。


技术实现要素：

3.本发明提供了一种基于机器视觉的金属带针孔处理方法、系统及介质，以实现对特种金属带上的针孔进行焊接。
4.根据本发明的一方面，提供了一种基于机器视觉的金属带针孔处理方法，所述方法包括：
5.通过线扫相机对在生产线中运动的金属带的表面进行图像采集，得到表面图像；与线扫相机采集的金属带表面相对的表面通过光源进行照射；
6.若根据表面图像确定金属带上存在针孔，则根据表面图像确定针孔的位置信息以及尺寸信息；
7.根据位置信息，控制焊接设备移动以及控制生产线带动金属带移动将针孔与焊点进行对准，并根据尺寸信息通过焊接设备对针孔进行焊接。
8.根据本发明的另一方面，提供了一种基于机器视觉的金属带针孔处理系统，所述系统包括：
9.生产线上的自动横移装置，用于带动焊接设备移动；
10.线扫相机，用于对在生产线中运动的金属带的表面进行图像采集；
11.光源，用于对与线扫相机采集的金属带表面相对的表面进行照射；
12.焊接设备，用于对金属带上的针孔进行焊接；
13.焊接托板，用于承载金属带以辅助焊接设备对金属带上的针孔进行焊接；
14.电子设备，该设备包括：
15.至少一个处理器；以及
16.与至少一个处理器通信连接的存储器；
17.存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的基于机器视觉的金属带针孔处理方法。
18.本发明实施例的技术方案，通过线扫相机对在生产线中运动的金属带的表面进行图像采集，得到表面图像；与线扫相机采集的金属带表面相对的表面通过光源进行照射，该
步骤采用线扫相机实现了对金属带的表面图像进行了检测，通过高速线扫相机，体现能够对在线生产线上运动的金属带进行快速检测。若根据表面图像确定金属带上存在针孔，则根据表面图像确定针孔的位置信息以及尺寸信息；该步骤实现了对针孔位置信息和尺寸信息的确定，提高了焊接的准确性。根据位置信息，控制焊接设备移动以及控制生产线带动金属带移动将针孔与焊点进行对准，并根据尺寸信息通过焊接设备对针孔进行焊接，该步骤采用焊接设备实现了对针孔的焊接，避免了因为缺陷导致金属带存在质量问题。该方法采用线扫相机实时检测金属带表面的针孔，并得到针孔的位置信息及尺寸信息，通过焊接设备对针孔进行焊接。实现了对运动的金属带进行实时检测和焊接，避免了人工对金属带抽样离线观察的情况，提升了金属带生产效率的同时，也保证了金属带的质量。
19.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明实施例一提供的一种基于机器视觉的金属带针孔处理方法的流程图；
22.图2为本发明实施例一提供的线扫相机检测方向示意图；
23.图3为本发明实施例二提供的另一种基于机器视觉的金属带针孔处理方法的流程图；
24.图4为本发明实施例二提供的焊点生成示意图；
25.图5为本发明实施例二提供的基于机器视觉的金属带针孔处理系统框图；
26.图6为本发明实施例二提供的又一种基于机器视觉的金属带针孔处理流程图；
27.图7为本发明实施例三提供的一种基于机器视觉的金属带针孔处理系统的结构示意图；
28.图8为本发明实施例三提供的基于机器视觉的金属带针孔处理系统的安装结构示意图；
29.图9为本发明实施例四提供的一种基于机器视觉的金属带针孔处理方法的电子设备的结构示意图。
具体实施方式
30.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
31.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第
二”、“第三”、“第四”、“实际”、“预设”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
32.实施例一
33.图1为本发明实施例一提供的一种基于机器视觉的金属带针孔处理方法的流程图，本发明实施例可适用于焊接特种金属针孔的情况。典型的，可以适用于对实时运输的金属带进行焊接的情况。该方法可以由基于机器视觉的金属带针孔处理系统来执行，该基于机器视觉的金属带针孔处理系统可以采用硬件和/或软件的形式实现，该基于机器视觉的金属带针孔处理系统可包括具有网络通信功能的电子设备，该电子设备可以为plc控制器等。如图1所示，该方法包括：
34.s110、通过线扫相机对在生产线中运动的金属带的表面进行图像采集，得到表面图像；与线扫相机采集的金属带表面相对的表面通过光源进行照射。
35.线扫相机是一种能够实现高速采集图像信息的相机，可以由影像采集单元、影像处理单元、影像运算单元及输入输出模块组成。线扫相机的核心为感光元件，感光元件是一个光电半导体装置，由多个感光像素排成一直线组成，例如一共可以有8192个像素，每个像素是7um
×
7um。感光元件的动作是从左边到右，即从金属带的一个边缘开始检测并沿着直线方向向金属带的另一个边缘移动，从第一个像素开始，每个扫描周期扫描一个像素点，扫描的同时将光的强度转换成一组数字数值。
36.光源可以为高亮透射灯等能够提供高亮度灯源的设备。光源放置在金属带表面相对的表面。例如，金属带水平放置，如果线扫相机从上方对金属带进行图像采集，则光源从金属带下方对金属带进行照射，如果线扫相机从金属带下方对金属带进行图像采集，则光源从金属带上方对金属带进行图像采集。
37.金属带可以展开放置在驱动轴上，通过驱动轴带动其在生产线上运动。其中，驱动轴可以为能够带动金属带向前运动的设备。驱动轴可通过生产线机台进行控制。生产线机台控制生产线减速、停车和启动。
38.线扫相机通过和光源相互配合对金属带进行检测，即当金属带存在针孔时，光源的亮光便会透过针孔的小孔被线扫相机捕捉到，从而实现对金属带表面图像的采集。
39.可选的，通过线扫相机对在生产线中运动的金属带的表面进行图像采集，得到表面图像，包括步骤a1-a2：
40.步骤a1、在线扫相机的每个扫描周期内，通过线扫相机沿金属带宽度方向对金属带进行扫描。
41.金属带的宽度方向可以为与其运行方向垂直的方向；扫描周期可以为每一次的扫描并输出金属带宽度方向上所有像素信息的时间。示例性的，扫描周期可以为0.0000125s。
42.在每个扫描周期内，线扫相机沿着金属带宽度方向对经过线扫相机的金属带进行扫描。
43.步骤a2、在线扫相机的不同扫描周期内，通过线扫相机沿金属带在生产线中的运
动方向对金属带进行扫描，得到表面图像；金属带在生产线中的运动方向与金属带的宽度方向垂直。
44.不同扫描周期可以为扫描金属带条的时间，金属带条可以为沿着金属带宽度方向的构成金属带的一条点。
45.线扫相机在不同的扫描周期内，沿着生产线运动方向对金属带进行扫描，将得到的金属带宽度方向上的像素点信息结合得到表面图像。
46.示例性的，图2为本发明实施例一提供的线扫相机检测方向示意图。如图2所示，通过线扫相机检测金属带，线扫相机内部会根据一个个移动的一维图像产生的二维影像。所检测的金属带运行方向为纵向，定义为md (machine direction，纵向方向)；所检测的金属带宽度方向为横向，定义为cd (cross direction，横向方向)，这两个方向互为垂直。线扫相机从金属带的左边缘开始沿着金属带宽度方向对金属带进行扫描，每个扫描周期扫描一个像素点的信息，直至扫描至金属带的右边缘停止。在金属带运输过程中，线扫相机沿着金属带运动方向对金属带进行扫描，不同的扫描周期扫描运输的金属带，将所得的横向和纵向的像素点信息相结合可得到金属带的二维影像。
47.s120、若根据表面图像确定金属带上存在针孔，则根据表面图像确定针孔的位置信息以及尺寸信息。
48.针孔可以为在金属带生产过程中，由于工艺或机台原因，在带中会生成极小的缺陷，针孔的大小一般为0.05毫米。
49.针孔的位置信息包含针孔所在金属带的纵向位置和横向位置，其中，纵向位置可以为沿着金属带运行方向，针孔所处位置；横向位置可以为沿着金属带宽度方向，针孔所处的位置。如果针孔为圆形，则尺寸信息可以为圆形的半径，如果尺寸信息为矩形，则尺寸信息可以为针孔的长、宽等信息。尺寸信息可以根据针孔的形状确定。
50.若金属表面存在针孔，高亮度灯源能够从针孔的位置透过并被线扫相机捕捉到，因此表面图像中针孔的位置会是一个高亮的点，根据高亮的点在表面图像中的位置确定针孔所处的位置信息，根据高亮的点在表面图像中占据的像素点的大小确定针孔的尺寸大小。
51.s130、根据位置信息，控制焊接设备移动以及控制生产线带动金属带移动将针孔与焊点进行对准，并根据尺寸信息通过焊接设备对针孔进行焊接。
52.焊接设备可以由内置plc、伺服马达和激光焊点组成，具有多种焊点大小的选择。
53.根据针孔的位置信息，自动横移装置带动焊接设备向着针孔的横向位置进行移动，生产线机台控制生产线带动金属带向着焊接设备移动，以实现将焊点对准针孔，根据针孔的尺寸信息控制焊接设备对针孔进行焊接。采用上述方式，根据针孔的位置信息控制自动横移装置带动焊接设备移动及控制生产线机台带动金属带移动，能够实现快速对准，并且能够实现精准地使针孔与焊接设备对准，从而使焊接设备的焊点精准地对针孔进行焊接。
54.进一步地，基于机器视觉的金属带针孔处理方法、包括步骤a3-a4：
55.步骤a3、若通过线扫相机检测出的针孔包括至少两个，则将至少两个针孔的位置信息以及尺寸信息放入待焊接队列。
56.当通过线扫相机的金属带被检测出至少存在两个针孔，则按照检测到的时间顺序
将针孔的位置信息和尺寸信息放入待焊接队列中。
57.步骤a4、按照检测时间从早到晚的顺序从待焊接队列中获取针孔的位置信息以及尺寸信息对针孔进行焊接。
58.根据针孔被检测到的先后时间，按照从早到晚的顺序从待焊接队列中位置信息及尺寸信息并根据这些信息对针孔进行焊接。
59.示例性的，线扫相机检测到的针孔数量为3个分别为针孔q1、针孔q2、针孔q3，被检测到的时间先后顺序是q1、q2、q3。因此按照该顺序将针孔的位置信息和尺寸信息放入待焊接队列中，焊接设备按照被检测到的顺序，先对针孔q1进行焊接，最后对针孔q3进行焊接。
60.采用上述方式，按照被检测到的顺序对针孔进行焊接，能够保证在多个针孔存在时，按照时间顺序对针孔进行焊接，以避免出现焊接过程混乱，从而导致漏掉针孔的情况。
61.本发明实施例的技术方案，通过线扫相机对在生产线中运动的金属带的表面进行图像采集，得到表面图像；与线扫相机采集的金属带表面相对的表面通过光源进行照射，该步骤采用线扫相机实现了对金属带的表面图像进行了检测，通过高速线扫相机，体现能够对在线生产线上运动的金属带进行快速检测。若根据表面图像确定金属带上存在针孔，则根据表面图像确定针孔的位置信息以及尺寸信息；该步骤实现了对针孔位置信息和尺寸信息的确定，提高了焊接的准确性。根据位置信息，控制焊接设备移动以及控制生产线带动金属带移动将针孔与焊点进行对准，并根据尺寸信息通过焊接设备对针孔进行焊接，该步骤采用焊接设备实现了对针孔的焊接，避免了因为缺陷导致金属带存在质量问题。在金属带中存在多个针孔时，根据针孔检测到的时间先后顺序，对针孔进行焊接，该步骤避免了因为焊接混乱，从而导致针孔被漏掉的情况。该方法采用线扫相机实时检测金属带表面的针孔，并得到针孔的位置信息及尺寸信息，通过焊接设备对针孔进行焊接。实现了对运动的金属带进行实时检测和焊接，避免了人工对金属带抽样离线观察的情况，提升了金属带生产效率的同时，也保证了金属带的质量。
62.实施例二
63.图3为本发明实施例二提供的另一种基于机器视觉的金属带针孔处理方法的流程图，本发明实施例以上述实施例为基础进行优化，未在本发明实施例中详尽描述的方案见上述实施例。如图3所示，本发明实施例的方法具体包括如下步骤：
64.s210、通过线扫相机对在生产线中运动的金属带的表面进行图像采集，得到表面图像；与线扫相机采集的金属带表面相对的表面通过光源进行照射。
65.s220、若根据表面图像确定金属带上存在针孔，则根据表面图像确定针孔的位置信息以及尺寸信息。
66.进一步地，位置信息包括第一方向坐标和第二方向坐标；第一方向坐标为沿金属带宽度方向相对于金属带边缘的坐标，第二方向坐标为沿金属带在生产线中运动方向相对于金属带边缘的坐标。
67.第一方向坐标可以为线扫相机扫描金属带时，针孔的所处位置的像素点距离金属带边缘的位置。示例性的，第一方向坐标是从金属带左边缘到针孔的像素数量乘以检测精度，比如针孔到金属带左边缘4000个像素，检测精度是0.05毫米/像素，那么针孔第一方向坐标为200毫米。
68.示例性的，第二方向坐标是从金属带开始运输位置的边缘到针孔的像素点数量乘
以检测精度，如针孔到金属带开始运输位置的边缘50000个像素，检测精度0.05毫米/像素，那么针孔第二方向坐标为2500毫米。
69.s230、根据位置信息，控制焊接设备移动以及控制生产线带动金属带移动将针孔与焊点进行对准。
70.进一步地、根据位置信息，控制焊接设备移动以及控制生产线带动金属带移动将针孔与焊点进行对准，包括：
71.控制焊接设备根据第一方向坐标沿金属带宽度方向进行移动，以使焊接设备的焊点投影到生产线上的坐标与第一方向坐标一致。
72.控制生产线根据第二方向坐标带动金属带进行移动，以使焊接设备的焊点投影到生产线上的坐标与第二方向坐标一致。
73.示例性的，焊接设备根据针孔的第一方向坐标沿着金属带宽度方向进行移动，移动到第一方向坐标时焊接设备停止，以使焊接设备焊点投影到生产线上的坐标和第一方向坐标重合。控制焊接设备的同时控制生产线带动金属带根据第二方向坐标进行运行，以使焊接设备投影到生产线上的坐标与第二方向坐标重合。
74.示例性的，焊接设备根据针孔的第一方向坐标沿着金属带宽度方向进行移动，移动到第一方向坐标时焊接设备停止，以使焊接设备焊点投影到生产线上的坐标和第一方向坐标重合。在这之后控制生产线带动金属带根据第二方向坐标进行运行，以使焊接设备投影到生产线上的坐标与第二方向坐标重合。
75.示例性的，焊接设备也可先根据第二方向坐标控制生产线带动金属带进行移动，以使焊接设备投影到生产线上的坐标与第二方向坐标重合，之后控制焊接设备根据针孔的第一方向坐标沿着金属带宽度方向进行移动，移动到第一方向坐标时焊接设备停止，以使焊接设备焊点投影到生产线上的坐标和第一方向坐标重合。
76.进一步地，控制生产线根据第二方向坐标带动金属带进行移动，包括步骤a5-a7：
77.步骤a5、通过编码器计算从线扫相机检测到针孔开始生产线移动的位移。
78.编码器可以用来记录驱动轴转动的角度变化信息，通过将角度变化信息转化为金属带的运动位移。编码器可以贴在靠近线扫相机的驱动轴上。编码器可为增量编码器，步距为0.01毫米/步。
79.当线扫相机检测到针孔时，控制器实时接收编码器的脉冲信号，将脉冲信号进行转换得到金属带移动的实时位移。其中，控制器可为plc。
80.采用上述方式，能够实时监测针孔对于焊接设备的距离，能够提高焊接的准确度。
81.步骤a6、根据线扫相机与焊接设备的第一距离，以及位移，确定针孔与焊接设备的第二距离；其中，第一距离和第二距离为沿生产线长度方向的距离。
82.第一距离可以为线扫相机和焊接设备之间的沿生产线长度，如可设为5m；位移可以为在检测到针孔后，针孔移动的实时位移；第二距离为针孔距离焊接设备的距离。
83.针孔与焊接设备的第二距离等于线扫相机与焊接设备的第一距离减去针孔移动的实时位移。示例性的，针孔当前时刻实时位移为2m，那么当前时刻的第二距离=5m-2m=3m。
84.步骤a7、根据第二距离，控制生产线带动金属带进行移动。
85.根据针孔和焊接设备之间的第二距离，控制生产线带动金属带以第二距离为根据进行移动。例如，根据第二距离控制生产线的速度，例如第二距离较大时以较大的速度移
动，在第二距离较小时以较小的速度移动，从而带动金属带快速移动以尽快使针孔和焊接设备的焊点对准，并且避免速度过快导致针孔与焊点错过。另外，还可以根据第二距离以及生产线的移动速度，计算金属带移动到焊接设备的焊点投影到生产线上的坐标与第二方向坐标一致时所需的对准时间，以在生产线移动时间满足对准时间及时控制生产线停止移动。
86.进一步地，根据第二距离，控制生产线带动金属带进行移动，包括步骤a8-a9：
87.步骤a8、若第二距离大于预设距离，则控制生产线以第一速度带动金属带进行移动。
88.预设距离可以为预先设定的表示针孔快移动到焊接设备的距离，如预设距离可以为3m；第一速度为控制生产线移动的速度，如第一速度可为60m/min。
89.当前时刻的第二距离大于预设距离，控制器则控制生产线以第一速度带动金属带向前移动。示例性的，假设当前时刻的第二距离为4m，第二距离4m》预设距离3m，控制器控制生产线以60m/min的速度进行运动。
90.步骤a9、若第二距离小于或等于预设距离，控制生产线以第二速度带动金属带进行移动；其中，第一速度大于第二速度。
91.当前时刻的第二距离小于或等于预设距离时，控制器控制生产线以第二速度带动金属带移动。示例性的，假设当前时刻的第二距离为2m，第二距离2m≤预设距离3m，控制器控制生产线以第二速度进行运动。
92.采用上述方式，通过实时检测金属带的距离焊接设备的距离，控制金属带运动的速度，能够保证金属带根据不同的距离采用不同的速度进行移动，因此既能够使金属带快速移动使针孔和焊接设备的快速焊点对准，也能够避免因为速度过快导致针孔与焊点错过。。
93.进一步地、控制生产线根据第二方向坐标带动金属带进行移动，还包括步骤b1-b2：
94.步骤b1、若第二距离小于或等于对准距离，则控制生产线停止运动。
95.对准距离可以为预先设定针孔与焊接设备之间的能够满足生产需求的最小距离，如对准距离可为0.01毫米。
96.示例性的，控制器接收编码器实时发送的脉冲数据，根据脉冲数据计算针孔当前距离焊接设备的实时距离及当前传输速度，每隔5-10ms对速度和距离进行更新，当速度产生变化时，能非常高效的获取到，实时更新生产线提前减速距离，即第二距离，并且不断跟当前值做比较，计算过程《1ms，当第二距离小于或等于对准距离，以精确控制生产线的停车位置，若此时焊接设备并未移动到焊点的正上方，则仍需要根据针孔的位置信息控制自动横移装置移动焊接设备移动，直至焊点的投影与针孔重合。
97.步骤b2、若接收到焊接设备发送的焊接完成信号，则控制生产线开始运动。
98.当焊接完成时，焊接设备向控制器发送焊接完成信号，控制器通过生产线机台控制生产线运动。
99.s240、将尺寸信息发送至焊接设备，以使焊接设备根据尺寸信息确定焊点的尺寸，以使焊点的范围大于或等于针孔的范围。
100.焊点的尺寸根据针孔的大小进行确定。示例性的，针孔大小为0.05毫米，焊点的尺
寸≥0.05毫米。
101.线扫相机将计算得到的尺寸信息通过通信协议发送给控制器，控制器将该信息发送给焊接设备，焊接设备接收后，根据针孔的尺寸大小计算得到焊点的尺寸，以保证生成的焊点能够完全覆盖针孔。通信协议可以为tcp/ip协议。
102.示例性的，图4为本发明实施例二提供的焊点生成示意图。如图4所示，线扫相机检测到针孔后，将尺寸信息发送给焊接设备，焊接设备根据尺寸信息生成范围大于或等于针孔范围的焊点。
103.s250、通过焊接设备控制焊点对针孔进行焊接。
104.示例性的，图5为本发明实施例二提供的基于机器视觉的金属带针孔处理系统框图。如图5所示，plc控制单元接收线扫相机发送过来的针孔长宽和位置信息，plc控制单元实时接收编码器的数据，并将编码器的数据转换为位移信息，通过高速计算功能，计算出针孔距离焊接设备的实时距离及当前速度信息，根据这些信息控制生产线机台完成对生产线的减速、停止和启动。plc控制单元接收线扫相机发送过来的针孔位置信息和尺寸信息后，通过tcp/ip协议将位置信息传送给自动横移装置，自动横移装置将焊接设备移动到针孔位置，使焊点对准针孔位置；通过tcp/ip协议将位置信息传送给生产线机台，生产线机台控制金属带移动；将针孔大小通过tcp/ip传给焊接设备，焊接设备确定焊点大小覆盖针孔。plc控制单元接收焊接设备完成焊接的信号，并发送启动信号给生产机台继续运动。
105.其中，plc控制单元端的指令包含：x(0)：接收编码器信号；x(3)：接收焊接设备完成信号；y(0)：发送减速信号给生产线；y(1)：发送停车信号给生产线；y(4)：发送启动信号给生产线。plc通信地址为d10100：针孔的宽度；d10101：针孔的高度；d10102：针孔的横向坐标；d10103：针孔的纵向坐标。
106.各个模块之间的连接关系：线扫相机与plc控制单元通过网线建立通讯，通信协议为tcp/ip；plc控制单元与自动横移装置通过网线建立通讯，通信协议为tcp/ip；plc控制单元与焊接设备通过网线建立通讯，通信协议为tcp/ip；plc控制单元与编码器为带屏蔽类硬线连接，传输为脉冲信号；plc控制单元与生产线机台为硬线连接，由开关量信号控制。
107.示例性的，图6为本发明实施例二提供的又一种基于机器视觉的金属带针孔处理流程图。如图6所示，线扫相机检测到针孔，通过其高速运算单元，将针孔的位置信息和尺寸信息传给电脑显示和保存，同时将针孔尺寸信息和位置信息发送给plc，由该plc作为数据中枢，再将针孔的位置信息通过tcp/ip传送给自动横移装置，后者收到后将焊接设备移动到指定位置，将针孔尺寸信息通过tcp/ip发送给焊接设备，焊接设备会根据针孔尺寸信息，选择不同尺寸的焊点，保证可以覆盖整个针孔。plc同时运算该针孔距离焊接设备的第二距离，当距离小于3m时，发送减速信号给生产线机台减速，针孔低速运行到焊接设备的焊点处，发送停车信号给生产线机台停车，随后焊接设备完成补焊动作。完成动作后发完成信号给plc，再通知生产线机台继续运行。如果前一个针孔在减速过程中，线扫相机又检测到一个针孔，线扫相机会将该针孔位置信息和尺寸信息发送给plc，plc会记录并将该针孔尺寸信息和位置信息放到未执行队列里，如有多个针孔，同样放到plc未执行队列里，plc按照先进先出原则，依次发位置信息给自动横移装置和焊接设备，完成针孔补焊动作。
108.本发明实施例，通过实时确定金属带的距离信息，以保证焊接设备对针孔焊接的准确性。
109.实施例三
110.图7为本发明实施例三提供的一种基于机器视觉的金属带针孔处理系统的结构示意图，该系统可执行本发明任意实施例所提供的基于机器视觉的金属带针孔处理方法，具备执行方法相应的功能模块和有益效果。如图7所示，所述系统包括：
111.生产线上的自动横移装置410、用于带动焊接设备移动。
112.线扫相机420、用于对在生产线中运动的金属带的表面进行图像采集。
113.光源430、用于对与线扫相机采集的金属带表面相对的表面进行照射。
114.焊接设备440、用于对金属带上的针孔进行焊接。
115.焊接托板450、用于承载金属带以辅助焊接设备对金属带上的针孔进行焊接。
116.电子设备460、包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的基于机器视觉的金属带针孔处理方法。
117.示例性的，图8为本发明实施例三提供的基于机器视觉的金属带针孔处理系统的安装结构示意图。如图8所示，线扫相机420安装在金属带上方；光源430安装在金属带表面相对的表面；焊接托板450在金属带下方；生产线上的自动横移装置410与焊接设备440相连，放置在金属带上方；电子设备460与线扫相机420及生产线上的自动横移装置410相连。
118.本发明实施例所提供的一种基于机器视觉的金属带针孔处理系统可执行本发明任意实施例所提供的一种基于机器视觉的金属带针孔处理方法，具备执行方法相应的功能模块和有益效果。
119.实施例四
120.图9为本发明实施例四提供的一种基于机器视觉的金属带针孔处理方法的电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动系统，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算系统。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
121.如图9所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（rom）12、随机访问存储器（ram）13等，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（rom）12中的计算机程序或者从存储单元18加载到随机访问存储器（ram）13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出（i/o）接口15也连接至总线14。
122.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
123.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11
的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如基于机器视觉的金属带针孔处理方法。
124.在一些实施例中，基于机器视觉的金属带针孔处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的基于机器视觉的金属带针孔处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行基于机器视觉的金属带针孔处理方法。
125.本文中以上描述的方法和技术的各种实施方式可以在数字电子电路方法、集成电路方法、场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上方法的方法（soc）、负载可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程方法上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储方法、至少一个输入系统、和至少一个输出系统接收数据和指令，并且将数据和指令传输至该存储方法、该至少一个输入系统、和该至少一个输出系统。
126.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程基于机器视觉的金属带针孔处理系统的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
127.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行方法、系统或设备使用或与指令执行方法、系统或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体方法、系统或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
128.为了提供与用户的交互，可以在电子设备上实施此处描述的方法和技术，该电子设备具有：用于向用户显示信息的显示系统（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向系统（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向系统来将输入提供给电子设备。其它种类的系统还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者触觉输入）来接收来自用户的输入。
129.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据
服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）、区块链网络和互联网。
130.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
131.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
132.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种基于机器视觉的金属带针孔处理方法，其特征在于，所述方法包括：通过线扫相机对在生产线中运动的金属带的表面进行图像采集，得到表面图像；与线扫相机采集的金属带表面相对的表面通过光源进行照射；若根据表面图像确定所述金属带上存在针孔，则根据所述表面图像确定所述针孔的位置信息以及尺寸信息；根据所述位置信息，控制焊接设备移动以及控制所述生产线带动所述金属带移动将针孔与焊点进行对准，并根据所述尺寸信息通过所述焊接设备对所述针孔进行焊接。2.根据权利要求1所述的方法，其特征在于，通过线扫相机对在生产线中运动的金属带的表面进行图像采集，得到表面图像，包括：在所述线扫相机的每个扫描周期内，通过线扫相机沿所述金属带宽度方向对所述金属带进行扫描；在所述线扫相机的不同扫描周期内，通过线扫相机沿所述金属带在生产线中的运动方向对所述金属带进行扫描，得到所述表面图像；金属带在生产线中的运动方向与所述金属带的宽度方向垂直。3.根据权利要求1所述的方法，其特征在于，所述位置信息包括第一方向坐标和第二方向坐标；第一方向坐标为沿金属带宽度方向相对于金属带边缘的坐标，第二方向坐标为沿金属带在生产线中运动方向相对于金属带边缘的坐标；根据所述位置信息，控制焊接设备移动以及控制所述生产线带动所述金属带移动将针孔与焊点进行对准，包括：控制所述焊接设备根据所述第一方向坐标沿金属带宽度方向进行移动，以使所述焊接设备的焊点投影到生产线上的坐标与所述第一方向坐标一致；控制所述生产线根据所述第二方向坐标带动所述金属带进行移动，以使所述焊接设备的焊点投影到生产线上的坐标与所述第二方向坐标一致。4.根据权利要求3所述的方法，其特征在于，控制所述生产线根据所述第二方向坐标带动所述金属带进行移动，包括：通过编码器计算从所述线扫相机检测到针孔开始所述生产线移动的位移；根据所述线扫相机与所述焊接设备的第一距离，以及所述位移，确定所述针孔与所述焊接设备的第二距离；所述第一距离和所述第二距离为沿生产线长度方向的距离；根据所述第二距离，控制所述生产线带动所述金属带进行移动。5.根据权利要求4所述的方法，其特征在于，根据所述第二距离，控制所述生产线带动所述金属带进行移动，包括：若所述第二距离大于预设距离，则控制所述生产线以第一速度带动所述金属带进行移动；若所述第二距离小于或等于预设距离，控制所述生产线以第二速度带动所述金属带进行移动；所述第一速度大于所述第二速度。6.根据权利要求4所述的方法，其特征在于，所述方法还包括：若所述第二距离小于或等于对准距离，则控制所述生产线停止运动；若接收到焊接设备发送的焊接完成信号，则控制所述生产线开始运动。7.根据权利要求1所述的方法，其特征在于，根据所述尺寸信息通过所述焊接设备对所
述针孔进行焊接，包括：将所述尺寸信息发送至所述焊接设备，以使所述焊接设备根据所述尺寸信息确定焊点的尺寸，以使所述焊点的范围大于或等于所述针孔的范围；通过焊接设备控制焊点对所述针孔进行焊接。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：若通过所述线扫相机检测出的针孔包括至少两个，则将至少两个针孔的位置信息以及尺寸信息放入待焊接队列；按照检测时间从早到晚的顺序从待焊接队列中获取针孔的位置信息以及尺寸信息对所述针孔进行焊接。9.一种基于机器视觉的金属带针孔处理系统，其特征在于，所述系统包括：生产线上的自动横移系统，用于带动焊接设备移动；线扫相机，用于对在生产线中运动的金属带的表面进行图像采集；光源，用于对与线扫相机采集的金属带表面相对的表面进行照射；焊接设备，用于对金属带上的针孔进行焊接；焊接托板，用于承载所述金属带以辅助焊接设备对金属带上的针孔进行焊接；电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的基于机器视觉的金属带针孔处理方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-8中任一项所述的基于机器视觉的金属带针孔处理方法。

技术总结
本发明实施例公开了一种基于机器视觉的金属带针孔处理方法、系统及介质。该方法包括：通过线扫相机对在生产线中运动的金属带的表面进行图像采集得到表面图像；与线扫相机采集的金属带表面相对的表面通过光源进行照射；根据表面图像确定针孔的位置信息以及尺寸信息；根据位置信息控制焊接设备移动以及控制生产线带动金属带移动将针孔与焊点进行对准，根据尺寸信息通过焊接设备对针孔进行焊接。该方法采用线扫相机实时检测金属带表面的针孔，并得到针孔的位置信息及尺寸信息，通过焊接设备对针孔进行焊接。实现了对运动的金属带进行实时检测和焊接，避免了人工对金属带抽样离线观察的情况，提升了金属带生产效率的同时，也保证了金属带的质量。了金属带的质量。了金属带的质量。


技术研发人员：葛铭 魏江 沈井学 李晖
受保护的技术使用者：杭州百子尖科技股份有限公司
技术研发日：2023.06.20
技术公布日：2023/8/5