一种隧道小导管余料自动对焊质量检测系统的制作方法

1.本发明涉及图像处理技术领域，特别涉及一种隧道小导管余料自动对焊质量检测系统。


背景技术：

2.在隧道建设和施工的过程中，为了稳定开挖工作面，需要使用隧道小导管对软弱及破碎岩层进行注浆，以此来对松散岩层起到加固作用，增强其稳定性，保证围岩不坍塌。但是，这种特定的隧道小导管通常是由于施工需要按照要求开具的材料，其规格和尺寸一般较小，如果在施工过程中需要使用较长的导管来对松软的岩层进行稳固，则需要对小导管余料进行对焊连接。
3.为确保连接后的导管能够在使用的过程中不脱落，且保证焊缝质量较好，以防止渗漏和腐蚀，需要在对焊完成后进行对焊质量评价。由于传统的基于图像处理的对焊质量评价准确度较低，使用效果并不理想，因此，有必要研究一种能够更准确地实现隧道小导管余料自动对焊质量检测的系统。


技术实现要素：

4.本说明书实施例的一个方面提供一种隧道小导管余料自动对焊质量检测系统，包括：获取模块，用于获取待检测隧道小导管所对应的三张自动对焊图像，其中，所述三张自动对焊图像通过三个ccd相机在照明条件下采集得到，所述三个ccd相机互成120
°
夹角且与所述待检测隧道小导管之间的距离相同；特征提取模块，用于对所述三张自动对焊图像中的每一张目标图像执行如下处理：确定所述目标图像中的凸起区域，并基于所述凸起区域确定所述目标图像中的多条凸起区域骨架线；通过sad局部匹配算法确定相邻两个凸起区域骨架线中的像素点匹配对；计算每一个所述匹配对所对应的导管偏移度和导管倾斜度，其中，所述导管偏移度用于表征所述隧道小导管在对焊后的余料对齐程度，所述导管倾斜度用于表征所述匹配对中两个像素点之间的斜率关系；根据所述导管倾斜度确定每一个所述匹配对所对应的斜率不均一性；根据所述导管偏移度和所述斜率不均一性确定每一个所述匹配对所对应的导管偏移平滑度和斜率不均一平滑度；基于所述导管偏移平滑度，得到所述目标图像对应的位置偏移总量；基于所述导管偏移平滑度、所述斜率不均一平滑度以及所有所述匹配对所对应的直线相关系数，得到所述目标图像对应的直线走势系数。
5.在一些实施例中，所述系统还包括：训练模块，用于将所述三张自动对焊图像、所述位置偏移总量、所述直线走势系数以及对所述三张自动对焊图像进行评估得到的训练标签输入全连接神经网络进行训练，以得到目标神经网络模型；其中，所述训练标签包括所述三张自动对焊图像对应的对焊质量等级。
6.在一些实施例中，在确定所述目标图像中的凸起区域时，所述特征提取模块具体用于：通过canny算子提取所述目标图像中的焊缝轮廓，并对所述焊缝轮廓进行膨胀和细化，得到闭合轮廓线区域；在所述闭合轮廓线区域中的像素点数量满足预设条件时，将所述
闭合轮廓线区域作为所述目标图像中的凸起区域。
7.在一些实施例中，在通过sad局部匹配算法确定相邻两个凸起区域骨架线中的像素点匹配对时，所述特征提取模块具体用于：对于目标凸起区域骨架线中的目标像素点，以所述目标像素点为中心像素点创建第一匹配区域，以相邻凸起区域骨架线中的每一个像素点为中心像素点创建与所述第一匹配区域对应的多个第二匹配区域；计算所述第一匹配区域与所述多个第二匹配区域之间的相似度量；基于所述相似度量在所述邻凸起区域骨架线中确定与所述目标像素点匹配的像素点，得到所述像素点匹配对。
8.在一些实施例中，所述特征提取模块还具体用于：遍历所述第一匹配区域和所述第二匹配区域中的所有像素点；基于所述第一匹配区域和所述第二匹配区域中对应位置的像素点的像素差值，以及所述对应位置的像素点与所述中心像素点之间的距离，得到所述第一匹配区域与所述第二匹配区域之间的相似度量；将所述相似度量最小的第二匹配区域的中心像素点作为与所述目标像素点匹配的像素点。
9.在一些实施例中，在计算每一个所述匹配对所对应的导管偏移度和导管倾斜度时，所述特征提取模块具体用于：基于所述匹配对中两个像素点的横坐标和纵坐标计算所述两个像素点之间的曼哈顿距离，并将所述曼哈顿距离作为所述匹配对所对应的导管偏移度；计算所述匹配对中两个像素点的纵坐标差值与横坐标差值的比值，基于所述比值得到所述匹配对所对应的导管倾斜度。
10.在一些实施例中，在根据所述导管倾斜度确定每一个所述匹配对所对应的斜率不均一性时，所述特征提取模块具体用于：将所述目标图像中所有匹配对所对应的导管倾斜度映射到对应的斜率级，得到每一个所述导管倾斜度对应的斜率图像；基于所述斜率图像以及对应的斜率游程矩阵得到每一个所述匹配对所对应的斜率不均一性。
11.在一些实施例中，在根据所述导管偏移度和所述斜率不均一性确定每一个所述匹配对所对应的导管偏移平滑度和斜率不均一平滑度时，所述特征提取模块具体用于：基于相邻两个匹配对所对应的导管偏移度的差值，得到一个所述导管偏移平滑度，基于相邻两个匹配对所对应的不均一平滑度的差值，得到一个所述斜率不均一平滑度；其中，所述相邻两个匹配对为相邻三条凸起区域骨架线中存在匹配关联的三个像素点所构成的匹配对。
12.在一些实施例中，在基于所述导管偏移平滑度，得到所述目标图像对应的位置偏移总量时，所述特征提取模块具体用于：将位于同一条匹配线上的所有匹配对所对应的导管偏移平滑度相加，得到所述匹配线所对应的位置偏移总量；其中，所述匹配线为所有所述凸起区域骨架线中存在匹配关联的像素点依次连接所构成的连线。
13.在一些实施例中，在基于所述导管偏移平滑度、所述斜率不均一平滑度以及所有所述匹配对所对应的直线相关系数，得到所述目标图像对应的直线走势系数时，所述特征提取模块具体用于：将对应于所述匹配线上相同两个匹配对的导管偏移平滑度和斜率不均一平滑度相乘，得到第一乘积；计算所述匹配线所对应的第一乘积的第一均值，并将所述第一乘积与所述第一均值的差值的平方与对应的相似度量相乘，得到第二乘积；计算所述匹配线所对应的所有第二乘积的第二均值；基于所述第二均值以及所有所述匹配对所对应的直线相关系数，得到所述匹配线对应的直线走势系数；其中，所述直线相关系数用于反映基于所述匹配线中所述存在匹配关联的像素点拟合得到直线与所述匹配线之间的相似程度。
14.本说明书实施例所提供的隧道小导管余料自动对焊质量检测系统可能带来的有
益效果至少包括：（1）通过计算自动对焊图像所对应的直线走势系数和位置偏移总量来表征焊缝凸起的规则性以及隧道小导管对焊是否发生倾斜，可以更好地体现出隧道小导管在焊接后的对焊质量特征，从而可以在后续过程中更准确地对其进行对焊质量评价；（2）通过结合匹配对所对应的导管偏移平滑度、斜率不均一平滑度以及直线相关系数来计算目标图像对应的直线走势系数，可以使计算得到的直线走势系数更准确地反映出焊缝凸起的分布规则性；（3）通过将针对待检测的隧道小导管采集的三张自动对焊图像以及通过特征提取模块提取得到的直线走势系数和位置偏移总量一同输入神经网络模型进行处理，可以使神经网络模型获得更准确的对焊质量特征，从而获得更准确的对焊质量评估结果。
附图说明
15.本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书的一些实施例所示的隧道小导管余料自动对焊质量检测系统的示例性应用场景示意图；图2是根据本说明书的一些实施例所示的隧道小导管余料自动对焊质量检测系统的示例性模块图；图3是根据本说明书一些实施例所示的隧道小导管余料自动对焊质量检测方法的示例性流程图；图4是根据本说明书一些实施例所示的隧道小导管余料自动对焊质量检测方法的示例性子步骤流程图。
16.其中，附图标记包括：110、图像采集装置；111、第一ccd相机；112、第二ccd相机；113、第三ccd相机；120、存储设备；130、处理设备；140、终端设备；150、网络；141、移动设备；142、平板计算机；143、膝上型计算机；100、隧道小导管余料自动对焊质量检测系统的应用场景；200、隧道小导管余料自动对焊质量检测系统；300、隧道小导管余料自动对焊质量检测方法。
具体实施方式
17.下面结合附图对本说明书实施例提供的系统进行详细说明。
18.图1是根据本说明书一些实施例所示的隧道小导管余料自动对焊质量检测系统的示例性应用场景示意图。
19.参照图1，在一些实施例中，隧道小导管余料自动对焊质量检测系统的应用场景100可以包括图像采集装置110、存储设备120、处理设备130、终端设备140以及网络150。隧道小导管余料自动对焊质量检测系统的应用场景100中的各个部件可以以多种方式相连接。
20.图像采集装置110可以用于针对焊接后的隧道小导管采集自动对焊图像，该自动对焊图像可以反映出焊接后的隧道小导管的焊接质量。在一些实施例中，图像采集装置110可以包括ccd（charge-coupled device）相机、cmos（complementary metal-oxide-semiconductor）相机等。在一些实施例中，该图像采集装置110可以优选工业ccd相机。在一
些实施例中，该图像采集装置110可以包括第一ccd相机111、第二ccd相机112以及第三ccd相机113，前述三个ccd相机可以互成120
°
夹角设置，并且与待检测的隧道小导管之间的距离相同，从而可以从三个不同的视角采集到能够完整反映出待检测的隧道小导管的焊接质量，并且具有相同成像大小的三张自动对焊图像。在一些实施例中，图像采集装置110可以具有独立的电源，其可以通过有线或无线（例如蓝牙、wifi等）的方式将采集的自动对焊图像发送给隧道小导管余料自动对焊质量检测系统的应用场景100中的其他部件（例如，存储设备120、处理设备130、终端设备140）。
21.在一些实施例中，图像采集装置110可以通过网络150将其采集的自动对焊图像发送至存储设备120、处理设备130、终端设备140等。在一些实施例中，可以通过处理设备130对图像采集装置110所采集的自动对焊图像进行处理。例如，处理设备130可以基于该自动对焊图像确定焊接后的隧道小导管对应的三张自动焊接图像中每一张图像所对应的位置偏移总量和直线走势系数。在一些实施例中，每一张自动焊接图像所对应的位置偏移总量和直线走势系数可以发送至存储设备120进行记录，或者发送至终端设备140以反馈给用户（例如质检人员或相关工作人员）。
22.网络150可以促进信息和/或数据的交换。网络150可以包括能够促进隧道小导管余料自动对焊质量检测系统的应用场景100的信息和/或数据交换的任何合适的网络。
23.存储设备120可以储存数据、指令和/或任何其他信息。在一些实施例中，存储设备120可以存储从图像采集装置110、处理设备130和/或终端设备140获得的数据。例如，存储设备120可以存储图像采集装置110采集的自动对焊图像；又例如，存储设备120可以存储处理设备130计算得到的焊接后的隧道小导管对应的三张自动焊接图像中每一张图像所对应的位置偏移总量和直线走势系数。在一些实施例中，存储设备120可以存储处理设备130用来执行或使用来完成本说明书中描述的示例性方法的数据和/或指令。
24.处理设备130可以处理从图像采集装置110、存储设备120、终端设备140和/或隧道小导管余料自动对焊质量检测系统的应用场景100的其他组件获得数据和/或信息。
25.终端设备140可以接收、发送和/或显示数据。在一些实施例中，终端设备140可以包括移动设备141、平板计算机142、膝上型计算机143等或其任意组合。
26.应当注意的是，上述有关隧道小导管余料自动对焊质量检测系统的应用场景100的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。
27.图2是根据本说明书一些实施例所示的隧道小导管余料自动对焊质量检测系统的模块示意图。在一些实施例中，图2所示的隧道小导管余料自动对焊质量检测系统200可以以软件和/或硬件的方式应用到图1所示的隧道小导管余料自动对焊质量检测系统的应用场景100，例如，可以以软件和/或硬件的形式配置到处理设备130和/或终端设备140，以用于对图像采集装置110所采集的自动对焊图像进行处理，并基于该自动对焊图像确定焊接后的隧道小导管对应的三张自动焊接图像中每一张图像所对应的位置偏移总量和直线走势系数。
28.参照图2，在一些实施例中，隧道小导管余料自动对焊质量检测系统200可以包括获取模块210和特征提取模块220。
29.获取模块210可以用于获取待检测隧道小导管所对应的三张自动对焊图像，其中，所述三张自动对焊图像通过三个ccd相机在照明条件下采集得到，所述三个ccd相机互成
120
°
夹角且与所述待检测隧道小导管之间的距离相同。
30.特征提取模块220可以用于对所述三张自动对焊图像中的每一张目标图像执行如下处理：确定所述目标图像中的凸起区域，并基于所述凸起区域确定所述目标图像中的多条凸起区域骨架线；通过sad局部匹配算法确定相邻两个凸起区域骨架线中的像素点匹配对；计算每一个所述匹配对所对应的导管偏移度和导管倾斜度，其中，所述导管偏移度用于表征所述隧道小导管在对焊后的余料对齐程度，所述导管倾斜度用于表征所述匹配对中两个像素点之间的斜率关系；根据所述导管倾斜度确定每一个所述匹配对所对应的斜率不均一性；根据所述导管偏移度和所述斜率不均一性确定每一个所述匹配对所对应的导管偏移平滑度和斜率不均一平滑度；基于所述导管偏移平滑度，得到所述目标图像对应的位置偏移总量；基于所述导管偏移平滑度、所述斜率不均一平滑度以及所有所述匹配对所对应的直线相关系数，得到所述目标图像对应的直线走势系数。
31.继续参照图2，在一些实施例中，隧道小导管余料自动对焊质量检测系统200还可以包括训练模块230，该训练模块230可以用于将所述三张自动对焊图像、所述位置偏移总量、所述直线走势系数以及对所述三张自动对焊图像进行评估得到的训练标签输入全连接神经网络进行训练，以得到目标神经网络模型；其中，所述训练标签包括所述三张自动对焊图像对应的对焊质量等级。
32.关于上述各个模块的更多细节可以参照本说明书的其他位置（例如图3~图4部分及其相关描述），此处不再赘述。
33.需要注意的是，上述关于隧道小导管余料自动对焊质量检测系统200的描述仅出于说明性目的而提供，并不旨在限制本说明书的范围。可以理解，对于本领域的技术人员来说，可以根据本说明书的描述，在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，图2中所述的获取模块210、特征提取模块220和训练模块230可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。再例如，隧道小导管余料自动对焊质量检测系统200还可以包括预处理模块（图中未示出），预处理模块可以用于对前述自动对焊图像进行滤波、灰度转换等预处理。诸如此类的变形，均在本说明书的保护范围之内。在一些实施例中，前述各个模块可以是处理设备130和/或终端设备140的一部分。
34.图3是根据本说明书一些实施例所示的隧道小导管余料自动对焊质量检测方法的示例性流程图。在一些实施例中，隧道小导管余料自动对焊质量检测方法300可以通过处理逻辑来执行，该处理逻辑可以包括硬件（例如，电路、专用逻辑、可编程逻辑、微代码等）、软件（运行在处理设备上以执行硬件模拟的指令）等或其任意组合。在一些实施例中，图3所示的隧道小导管余料自动对焊质量检测方法300中的一个或多个操作可以通过图1所示的处理设备130和/或终端设备140实现。例如，隧道小导管余料自动对焊质量检测方法300可以以指令的形式存储在存储设备120中，并由处理设备130和/或终端设备140调用和/或执行。下文以处理设备130为例描述隧道小导管余料自动对焊质量检测方法300的执行过程。
35.参照图3，在一些实施例中，隧道小导管余料自动对焊质量检测方法300可以包括：步骤310，获取待检测隧道小导管所对应的三张自动对焊图像。在一些实施例中，步骤310可以由获取模块210执行。
36.在一些实施例中，图像采集装置110可以对焊接后的隧道小导管进行自动对焊图像采集，并将采集得到的自动对焊图像存储在存储设备120中。获取模块210可以从该存储设备120中获取待检测的隧道小导管所对应的自动对焊图像。
37.在一些实施例中，针对于同一个待检测的隧道小导管，可以通过前述第一ccd相机111、第二ccd相机112以及第三ccd相机113从预先设定的三个视角和位置分别对待检测的隧道小导管进行图像采集，从而得到待检测的隧道小导管所对应的三张自动对焊图像。在一些实施例中，考虑到各个视角的光线强度可能会有所不同，因此，为了更好地体现出自动对焊质量特征，避免后续过程中由于光照不同而影响识别结果，可以在相同的灯光照明条件下获得前述三张自动对焊图像，其中，每一个ccd相机可以对应于一个照明设备。在一些实施例中，该三张自动对焊图像可以为rgb图像。
38.在一些实施例中，为了简化后续图像分析和处理的复杂度，同时也能够保留图像中的主要特征信息，有利于后续的分析和处理，可以将前述rgb图像转换为灰度图像。类似地，在一些实施例中，为增强后续分析的准确性，消除噪声和部分外界干扰造成的影响，同时保留图像的边缘信息，可以选用中值滤波方法对待检测的隧道小导管所对应的三张自动对焊图像（或灰度转换后所得到的灰度图像）进行预处理。
39.进一步地，对于该三张自动对焊图像中的每一张，可以通过特征提取模块220以提取其中反映的自动对焊质量特征，进而可以在后续过程中基于该自动对焊质量特征进行自动对焊质量等级评价。下面结合图3~图4对特征提取模块220的工作原理进行详细说明：步骤320，确定目标图像中的凸起区域，并基于所述凸起区域确定所述目标图像中的多条凸起区域骨架线。在一些实施例中，步骤320可以由特征提取模块220执行。
40.在一些实施例中，针对该三张自动对焊图像中的每一张目标图像（该目标图像可以指前述三张自动对焊图像中的任意一张），可以通过特征提取模块220确定出该目标图像中的凸起区域，并基于该凸起区域确定目标图像中的多条凸起区域骨架线。
41.可以理解，对于对焊质量较好的焊缝，一般在焊缝表面都有规律性的凸起，经过照明灯的照射下，会在凸起处形成阴影。而这些相邻凸起区域之间的距离和大小也近似相等。基于这一特征，在一些实施例中，可以通过canny算子将焊缝边缘连通轮廓内的所有焊缝轮廓提取出来，然后对这些焊缝轮廓进行膨胀和细化后得到闭合轮廓线区域。在一些实施例中，可以对这些闭合轮廓线区域进行分析，计算每个闭合轮廓线区域内像素点的个数，如果像素点的个数满足预设条件，则将该闭合轮廓线区域定义为目标图像中的凸起区域。
42.在一些实施例中，可以根据如下判断公式（参照公式1）判断每一个闭合轮廓线区域是否为凸起区域：（1），其中，为所有闭合轮廓线区域中的像素点个数的均值。具体而言，即当某一个闭
合轮廓线区域内的像素点个数满足这一条件时，则可以将该闭合轮廓线区域标记为凸起区域，每一个凸起区域可以视为一条对焊纹路。
43.在一些实施例中，确定目标图像中的所有凸起区域后，可以基于该凸起区域确定目标图像中的多条凸起区域骨架线。其中，凸起区域骨架线是指对焊纹路所形成的曲线，在本说明书中，通过该凸起区域骨架线可以表征隧道小导管焊接后的纹理特征。
44.步骤330，通过sad局部匹配算法确定相邻两个凸起区域骨架线中的像素点匹配对。在一些实施例中，步骤330可以由特征提取模块220执行。
45.在本说明书中，前述凸起区域骨架线可以具有一定的长度和宽度，每一条凸起区域骨架线中可以包括多个像素点。在一些实施例中，对于该凸起区域骨架线中的每一个像素点，可以通过sad（sum of absolute differences）局部匹配算法确定相邻两个凸起区域骨架线中的像素点匹配对。
46.在一些实施例中，可以通过对相邻凸起区域骨架线中每个像素点的邻域使用sad局部匹配算法，通过遍历骨架线像素点得到相似度量，就能得到两条相邻凸起区域骨架线之间的像素点的匹配关系。
47.但是，在一些实施例中，考虑到若仅仅依靠灰度值之间的差异来计算相似度量，如果图像邻域内的像素点发生偏转，会导致最后的匹配结果依然一样，所以这样并不能完全衡量像素点周围的纹理特征。基于此，为了更准确地确定相邻凸起区域骨架线中像素点的匹配关系，本说明书实施例中通过将邻域内每个像素点距离中心像素点的距离作为判断该像素点周围的纹理特征的一个因素，得到每对像素点之间的相似度量。
48.图4是根据本说明书一些实施例所示的隧道小导管余料自动对焊质量检测方法的示例性子步骤流程图。参照图4，在一些实施例中，步骤330可以包括如下子步骤：子步骤331，以目标像素点为中心像素点创建第一匹配区域，以相邻凸起区域骨架线中的每一个像素点为中心像素点创建与所述第一匹配区域对应的多个第二匹配区域。
49.在一些实施例中，第一匹配区域和第二匹配区域可以为5*5的像素范围，具体而言，即可以以第一凸起区域骨架线中的目标像素点为中心像素点创建一个5*5的24邻域，得到第一匹配区域，然后，以与第一凸起区域骨架线相邻的第二凸起区域骨架线中的每一个像素点为中心分别创建一个5*5的24邻域，得到多个第二匹配区域。
50.子步骤332，计算所述第一匹配区域与所述多个第二匹配区域之间的相似度量。
51.在一些实施例中，第一匹配区域与第二匹配区域之间的相似度量（也可以称为差异度量）可以表示如下（参照公式2）：（2），其中，n为2，表示在5*5的邻域范围内使用其局部匹配算法进行计算，得到相邻两条凸起区域骨架线中每对像素点的相似度量s；表示邻域内像素点与中心像素点之间的欧式距离；表示以第条凸起区域骨架线上第个像素点为中
心像素点的第一匹配区域中方向上的像素点灰度值，表示以第条凸起区域骨架线上第个像素点为中心像素点的第二匹配区域中方向上的像素点灰度值；表示第p条骨架线上的第i个像素点和第条骨架线上的第j个像素点在5*5邻域内的相似度量。
52.在一些实施例中，可以通过从左到右、从上到下的顺序遍历第条骨架线上的像素点j，得到该目标像素点与相邻凸起区域骨架线上各个像素点的相似度量s。
53.子步骤333，基于所述相似度量在所述邻凸起区域骨架线中确定与所述目标像素点匹配的像素点，得到所述像素点匹配对。
54.在本说明书中，由于上述公式2实际表征的是两个像素点之间的差异度，当该差异度越小时，则表示两个像素点之间的匹配度越高。基于此，在一些实施例中，可以在基于上述公式2计算得到目标像素点与相邻凸起区域骨架线上各个像素点的相似度量之后，选择最小像素度量所对应的像素点作为与该目标像素点匹配的像素点，从而构成一个像素点匹配对。
55.具体而言，在一些实施例中，特征提取模块220可以遍历前述第一匹配区域和第二匹配区域中的所有像素点，然后基于第一匹配区域和第二匹配区域中对应位置的像素点的像素差值，以及对应位置的像素点与中心像素点之间的距离，得到第一匹配区域与所述第二匹配区域之间的相似度量。最后，特征提取模块220可以将该相似度量最小的第二匹配区域的中心像素点作为与目标像素点匹配的像素点，从而得到一个匹配对。
56.类似地，基于相同的方法可以确定出每一条凸起区域骨架线中的各个像素点与相邻凸起区域骨架线中的像素点所构成的像素点匹配对。
57.需要注意的是，在本说明书实施例中，假设目标图像中包含p条凸起区域骨架线，每一条凸起区域骨架线中包含c个像素点，则该目标图像中共有个匹配对。
58.步骤340，计算每一个所述匹配对所对应的导管偏移度和导管倾斜度。在一些实施例中，步骤340可以由特征提取模块220执行。
59.在一些实施例中，通过观察隧道小导管余料，发现隧道小导管的规格和尺寸较小，在使用隧道小导管余料进行焊接的过程中容易出现小导管还没有焊实就发生松动的情况，从而导致焊缝两侧的导管并不处于同一条水平线上，使得对焊质量不理想。基于此，在本说明书的一些实施例中，可以通过计算每一个匹配对所对应的导管偏移度和导管倾斜度来反映对焊质量。
60.具体地，在一些实施例中，前述匹配对所对应的导管偏移度和导管倾斜度可以根据如下公式（参照公式3和公式4）计算得到：（3），
（4），其中，、、、为匹配对中的两个像素点（，）和（，）的横坐标和纵坐标；为匹配对所对应的导管偏移度；为匹配对所对应的导管倾斜度。
61.换言之，在一些实施例中，特征提取模块220可以基于匹配对中两个像素点的横坐标和纵坐标计算两个像素点之间的曼哈顿距离，并将该曼哈顿距离作为匹配对所对应的导管偏移度；同时，该特征提取模块220还可以计算匹配对中两个像素点的纵坐标差值与横坐标差值的比值，然后将该比值作为匹配对所对应的导管倾斜度。
62.需要说明的是，通过上述导管偏移度和导管倾斜度，可以在一定程度反映出隧道小导管的焊接质量。具体而言，其中，导管偏移度可以用于反映隧道小导管在对焊后的余料对齐程度，导管倾斜度用于表征匹配对中两个像素点之间的斜率关系，该斜率关系可以在一定程度反映出凸起区域骨架线的规律性。
63.步骤350，根据所述导管倾斜度确定每一个所述匹配对所对应的斜率不均一性。在一些实施例中，步骤350可以由特征提取模块220执行。
64.在一些实施例中，为了得到每一个像素点匹配对周围的一个斜率纹理，用来表征该像素点周围的斜率分布特征，可以通过将目标图像中所有匹配对所对应的导管倾斜度按照等比例平均映射到0~4的斜率等级上，从而得到斜率级为5的斜率图像。
65.在一些实施例中，可以针对每一个像素点匹配对所对应的导管倾斜度得到一个斜率图像。对于整个目标图像对应的的斜率图像h，可以对其在5*5大小的邻域范围内采用斜率游程矩阵，通过输入该斜率图像h，计算中心匹配对的斜率游程矩阵h，以此得到每一个匹配对所对应的斜率不均一性q。
66.具体地，在一些实施例中，该斜率不均一性的计算方式可以表示如下（参照公式5）：（5），其中，为的斜率游程长度矩阵，表示5*5邻域内的斜率级，表示沿方向的最大可能的游程长度；表示沿方向上的斜率游程长度矩阵中的所有元素之和。
67.可以理解，如果斜率不均一性q越大，表示当前匹配对所在周围的斜率值的分布越不均匀，即不同区域的斜率变化大，这样就可以表征凸起区域骨架线上像素点匹配对的斜率特征。
68.基于上述内容可知，当目标图像中共有个匹配对时，该目标图像可以对应于个斜率不均一性q。
69.步骤360，根据所述导管偏移度和所述斜率不均一性确定每一个所述匹配对所对应的导管偏移平滑度和斜率不均一平滑度。在一些实施例中，步骤360可以由特征提取模块220执行。
70.在得到前述导管偏移度d和斜率不均一性q之后，特征提取模块220可以通过计算相邻两个匹配对之间的差值来分析整个凸起区域骨架线匹配对相应位置的直线平滑度，即用导管偏移平滑度dc和斜率不均一平滑度qc来表征每个凸起区域骨架线上像素点匹配对之间形成的直线平滑程度。其中，相邻两个匹配对是指具有公共像素点的两个匹配对，例如当第一凸起区域骨架线中的像素点p1与第二凸起区域骨架线中的像素点p2为一个像素点匹配对，第二凸起区域骨架线中的像素点p2与第三凸起区域骨架线中的像素点p3为另一个像素点匹配对时，则这两个像素点匹配对可以视为相邻匹配对。
71.具体地，在一些实施例中，该导管偏移平滑度和斜率不均一平滑度可以表示如下（参照公式6和公式7）：（6），（7），其中，和分别表示相邻两个匹配对所对应的导管偏移度，和分别表示相邻两个匹配对所对应的斜率不均一性。
72.具体而言，在一些实施例中，特征提取模块220可以基于相邻两个匹配对所对应的导管偏移度的差值，得到一个导管偏移平滑度，基于相邻两个匹配对所对应的不均一平滑度的差值，得到一个斜率不均一平滑度。
73.可以理解，如果每个凸起区域骨架线上像素点匹配对之间形成的直线平滑程度越大，即相邻骨架线上两个匹配对中的像素点之间的导管偏移平滑度、斜率不均一平滑度较大，表示相邻两个匹配对处并非是直线，进而可以表明该像素点匹配对处的对焊质量较差；反之，则可以表示该像素点处对焊质量较好。
74.基于上述内容可知，当目标图像中共有个匹配对时，该目标图像可以对应于个导管偏移平滑度dc和个斜率不均一平滑度qc。
75.步骤370，基于所述导管偏移平滑度，得到所述目标图像对应的位置偏移总量。在一些实施例中，步骤370可以由特征提取模块220执行。
76.在一些实施例中，在得到前述导管偏移平滑度之后，特征提取模块220可以将位于同一条匹配线上的所有匹配对所对应的导管偏移平滑度相加，得到该匹配线所对应的位置偏移总量；其中，该匹配线为所有凸起区域骨架线中存在匹配关联的像素点依次连接所构成的连线。例如，当第一凸起区域骨架线中的像素点p1与第二凸起区域骨架线中的像素点p2为一个像素点匹配对，第二凸起区域骨架线中的像素点p2与第三凸起区域骨架线中的像素点p3为另一个像素点匹配对时，则像素点p1、p2、p3可以视为存在匹配关联的像素点，该像素点p1、p2、p3依次连接所构成的直线或曲线可以视为一条匹配线。
77.具体地，在一些实施例中，该位置偏移总量可以表示如下（参照公式8）：
（8），其中，x为目标图像对应的位置偏移总量；为每一条匹配线所对应的导管偏移平滑度的数量。根据上述内容可知，当目标图像对应于个导管偏移平滑度dc时，该目标图像可以对应于c个位置偏移总量x。
78.步骤380，基于所述导管偏移平滑度、所述斜率不均一平滑度以及所有所述匹配对所对应的直线相关系数，得到所述目标图像对应的直线走势系数。在一些实施例中，步骤380可以由特征提取模块220执行。
79.在一些实施例中，该直线走势系数的计算方式可以表示如下（参照公式9）：（9），其中，u为匹配线对应的直线相关系数，该直线相关系数用于反映基于匹配线中存在匹配关联的像素点拟合得到直线与该匹配线之间的相似程度；为匹配线所对应的所有导管偏移平滑度的均值，为匹配线所对应的所有斜率不均一平滑度的均值；为第i个导管偏移平滑度或斜率不均一平滑度所对应的相似度量，在一些实施例中，可以等于第i个导管偏移平滑度或斜率不均一平滑度对应的相邻两个匹配对中三个像素点之间的相似度量的均值。
80.具体而言，在一些实施例中，特征提取模块220还可以将对应于匹配线上相同两个匹配对的导管偏移平滑度和斜率不均一平滑度（即基于相同两个匹配对计算得到的导管偏移平滑度和斜率不均一平滑度）相乘，得到第一乘积（），然后，计算该匹配线所对应的第一乘积的第一均值（），并将该第一乘积与该第一均值的差值的平方与对应的相似度量（）相乘，得到第二乘积，最后，特征提取模块220可以计算匹配线所对应的所有第二乘积的第二均值（），然后基于该第二均值以及所有匹配对所对应的直线相关系数（u），得到该匹配线对应的直线走势系数z。
81.根据上述内容可知，当目标图像对应于个导管偏移平滑度dc时，该目标图像可以对应于c个直线走势系数z。
82.通过以上方案，可以得到三张自动对焊图像中的凸起区域骨架线上每个像素点对应的直线走势系数z，来判断隧道小导管对焊后是否发生倾斜。如果z越小，即直线相关系数u越大，相邻匹配对中的像素点更趋于在一条直线上；即越小，在每对像素点之间的相似度量s的影响下，相邻匹配对之间的导管偏移平滑度dc和斜率不均一平滑度qc越小，表示相邻匹配对之间的差异越小，说明该条线（即前述匹配线）越
接近直线走势。
83.在一些实施例中，通过特征提取模块220提取到前述三张自动对焊图像中反映出来的直线走势系数z和位置偏移总量x之后，可以将其作为评估指标，以通过该指标对隧道小导管的对焊质量进行评估。
84.示例性地，在一些实施例中，可以通过训练好的神经网络模型（例如全连接神经网络fcnn、卷积神经网络cnn、前馈神经网络fnn等）对针对待检测的隧道小导管采集的三张自动对焊图像以及通过前述特征提取模块220提取得到的直线走势系数z和位置偏移总量x进行处理，从而得到待检测的隧道小导管所对应的自动对焊质量评估结果。在一些实施例中，该评估结果可以分为优、良、中、低、差五个等级。
85.可以理解，在使用前述训练好的神经网络模型进行对焊质量进行评估之前，需要通过训练模型230对该神经网络模型进行训练。仅作为示例，在一些实施例中，训练模块230可以将大量训练样本以及与训练样本对应的标签输入初始全连接神经网络进行训练，从而得到目标神经网络模型（即训练好的神经网络）。其中，每一个训练样本可以包括针对待检测的隧道小导管采集的三张自动对焊图像、通过特征提取模块220提取得到的直线走势系数和位置偏移总量，以及对所述三张自动对焊图像进行评估得到的训练标签。在一些实施例中，该训练标签可以根据专家评估得到。
86.在一些实施例中，可以在模型训练过程中使用交叉熵损失函数以及adam优化算法来对神经网络模型中的参数进行优化。其具体训练过程及优化过程可以视为现有技术，本说明书中不再进行赘述。

技术特征：
1.一种隧道小导管余料自动对焊质量检测系统，其特征在于，包括：获取模块，用于获取待检测隧道小导管所对应的三张自动对焊图像，其中，所述三张自动对焊图像通过三个ccd相机在照明条件下采集得到，所述三个ccd相机互成120
°
夹角且与所述待检测隧道小导管之间的距离相同；特征提取模块，用于对所述三张自动对焊图像中的每一张目标图像执行如下处理：确定所述目标图像中的凸起区域，并基于所述凸起区域确定所述目标图像中的多条凸起区域骨架线；通过sad局部匹配算法确定相邻两个凸起区域骨架线中的像素点匹配对；计算每一个所述匹配对所对应的导管偏移度和导管倾斜度，其中，所述导管偏移度用于表征所述隧道小导管在对焊后的余料对齐程度，所述导管倾斜度用于表征所述匹配对中两个像素点之间的斜率关系；根据所述导管倾斜度确定每一个所述匹配对所对应的斜率不均一性；根据所述导管偏移度和所述斜率不均一性确定每一个所述匹配对所对应的导管偏移平滑度和斜率不均一平滑度；基于所述导管偏移平滑度，得到所述目标图像对应的位置偏移总量；基于所述导管偏移平滑度、所述斜率不均一平滑度以及所有所述匹配对所对应的直线相关系数，得到所述目标图像对应的直线走势系数。2.如权利要求1所述的一种隧道小导管余料自动对焊质量检测系统，其特征在于，所述系统还包括：训练模块，用于将所述三张自动对焊图像、所述位置偏移总量、所述直线走势系数以及对所述三张自动对焊图像进行评估得到的训练标签输入全连接神经网络进行训练，以得到目标神经网络模型；其中，所述训练标签包括所述三张自动对焊图像对应的对焊质量等级。3.如权利要求1或2所述的一种隧道小导管余料自动对焊质量检测系统，其特征在于，在确定所述目标图像中的凸起区域时，所述特征提取模块具体用于：通过canny算子提取所述目标图像中的焊缝轮廓，并对所述焊缝轮廓进行膨胀和细化，得到闭合轮廓线区域；在所述闭合轮廓线区域中的像素点数量满足预设条件时，将所述闭合轮廓线区域作为所述目标图像中的凸起区域。4.如权利要求1或2所述的一种隧道小导管余料自动对焊质量检测系统，其特征在于，在通过sad局部匹配算法确定相邻两个凸起区域骨架线中的像素点匹配对时，所述特征提取模块具体用于：对于目标凸起区域骨架线中的目标像素点；以所述目标像素点为中心像素点创建第一匹配区域，以相邻凸起区域骨架线中的每一个像素点为中心像素点创建与所述第一匹配区域对应的多个第二匹配区域；计算所述第一匹配区域与所述多个第二匹配区域之间的相似度量；基于所述相似度量在所述邻凸起区域骨架线中确定与所述目标像素点匹配的像素点，得到所述像素点匹配对。5.如权利要求4所述的一种隧道小导管余料自动对焊质量检测系统，其特征在于，所述
特征提取模块还具体用于：遍历所述第一匹配区域和所述第二匹配区域中的所有像素点；基于所述第一匹配区域和所述第二匹配区域中对应位置的像素点的像素差值，以及所述对应位置的像素点与所述中心像素点之间的距离，得到所述第一匹配区域与所述第二匹配区域之间的相似度量；将所述相似度量最小的第二匹配区域的中心像素点作为与所述目标像素点匹配的像素点。6.如权利要求1或2所述的一种隧道小导管余料自动对焊质量检测系统，其特征在于，在计算每一个所述匹配对所对应的导管偏移度和导管倾斜度时，所述特征提取模块具体用于：基于所述匹配对中两个像素点的横坐标和纵坐标计算所述两个像素点之间的曼哈顿距离，并将所述曼哈顿距离作为所述匹配对所对应的导管偏移度；计算所述匹配对中两个像素点的纵坐标差值与横坐标差值的比值，基于所述比值得到所述匹配对所对应的导管倾斜度。7.如权利要求1或2所述的一种隧道小导管余料自动对焊质量检测系统，其特征在于，在根据所述导管倾斜度确定每一个所述匹配对所对应的斜率不均一性时，所述特征提取模块具体用于：将所述目标图像中所有匹配对所对应的导管倾斜度映射到对应的斜率级，得到每一个所述导管倾斜度对应的斜率图像；基于所述斜率图像以及对应的斜率游程矩阵得到每一个所述匹配对所对应的斜率不均一性。8.如权利要求1或2所述的一种隧道小导管余料自动对焊质量检测系统，其特征在于，在根据所述导管偏移度和所述斜率不均一性确定每一个所述匹配对所对应的导管偏移平滑度和斜率不均一平滑度时，所述特征提取模块具体用于：基于相邻两个匹配对所对应的导管偏移度的差值，得到一个所述导管偏移平滑度，基于相邻两个匹配对所对应的不均一平滑度的差值，得到一个所述斜率不均一平滑度；其中，所述相邻两个匹配对为相邻三条凸起区域骨架线中存在匹配关联的三个像素点所构成的匹配对。9.如权利要求8所述的一种隧道小导管余料自动对焊质量检测系统，其特征在于，在基于所述导管偏移平滑度，得到所述目标图像对应的位置偏移总量时，所述特征提取模块具体用于：将位于同一条匹配线上的所有匹配对所对应的导管偏移平滑度相加，得到所述匹配线所对应的位置偏移总量；其中，所述匹配线为所有所述凸起区域骨架线中存在匹配关联的像素点依次连接所构成的连线。10.如权利要求9所述的一种隧道小导管余料自动对焊质量检测系统，其特征在于，在基于所述导管偏移平滑度、所述斜率不均一平滑度以及所有所述匹配对所对应的直线相关系数，得到所述目标图像对应的直线走势系数时，所述特征提取模块具体用于：将对应于所述匹配线上相同两个匹配对的导管偏移平滑度和斜率不均一平滑度相乘，
得到第一乘积；计算所述匹配线所对应的第一乘积的第一均值，并将所述第一乘积与所述第一均值的差值的平方与对应的相似度量相乘，得到第二乘积；计算所述匹配线所对应的所有第二乘积的第二均值；基于所述第二均值以及所有所述匹配对所对应的直线相关系数，得到所述匹配线对应的直线走势系数；其中，所述直线相关系数用于反映基于所述匹配线中所述存在匹配关联的像素点拟合得到直线与所述匹配线之间的相似程度。

技术总结
本说明书实施例公开了一种隧道小导管余料自动对焊质量检测系统，涉及图像处理技术领域。该系统包括获取模块以及特征提取模块，其中，获取用于获取待检测隧道小导管所对应的三张自动对焊图像，特征提取模块用于对所述三张自动对焊图像进特征提取，以得到每一张自动对焊图像所对应的位置偏移总量和直线走势系数。在本说明书实施例提供的隧道小导管余料自动对焊质量检测系统中，可以通过计算自动对焊图像所对应的直线走势系数和位置偏移总量来表征焊缝凸起的规则性以及隧道小导管对焊是否发生倾斜，从而更好体现出隧道小导管在焊接后的对焊质量特征，有利于后续过程中对其进行更准确的对焊质量评价。准确的对焊质量评价。准确的对焊质量评价。


技术研发人员：郏建梅 丁猛 齐保海
受保护的技术使用者：山东飞宏工程机械有限公司
技术研发日：2023.06.15
技术公布日：2023/7/21