一种焊缝缺陷检测方法与流程

1.本发明涉及金属焊接领域，具体涉及一种焊缝缺陷检测方法。


背景技术：

2.焊缝检测是指对焊接接头进行质量评估和分析的过程，以确保焊接接头符合规定的标准和要求。焊接接头在制造、建筑、航空、船舶等领域中广泛应用。焊接接头的质量直接影响到工业产品的使用寿命和安全性。通过焊缝检测，可以及时发现和排除焊接接头中的缺陷和问题，焊缝检测技术对于保障生产和使用安全至关重要。
3.当前焊缝检测方式主要是采用人工目视检测的方式来检测，但是采用人工检测的方法会有以下几个弊端：
4.1、人工检测依赖检测人员的技术与经验，缺陷不够明显的焊缝则会被经验不丰富的检测人员忽视；
5.2、人员再重复进行检测工作容易产生疲劳，由此会降低工作效率，检测正确率也会降低。


技术实现要素：

6.为解决上述问题，本发明提供一种焊缝缺陷检测方法。
7.该方法构建背景模型对待检测对象的图片进行检测，得出图片中的焊缝缺陷种类，其特征在于，包括以下步骤：
8.步骤一，将缺陷分为不同类型；
9.步骤二，构建背景模型，该背景模型能将图片划分为有焊缝区域与留空区域，对背景模型进行训练；
10.步骤三，利用背景模型对待检测对象的图片进行分析，将待检测对象的图片划分为有焊缝区域与留空区域；
11.步骤四，将待检测对象的图片的焊缝区域进行去噪处理，得到焊缝区域具体图像；
12.步骤五，根据焊缝区域具体图像区分缺陷类型。
13.进一步的，步骤一具体指将缺陷分为焊缝缺陷、伪缺陷和外环境误检，其中焊缝缺陷包括：熔焊、焊穿、虚焊。
14.进一步的，步骤二具体包括：
15.步骤二a，以包括两个高斯模型的混合高斯模型作为背景模型的主干模型，两个高斯模型分别代表焊缝区域与留空区域；
16.步骤二b，准备一张已经正确区分焊缝区域α与留空区域β的图片；
17.步骤二c，计算焊缝区域α的灰度值的平均值μ
10
以及留空区域β的灰度值的平均值μ
20
；
18.步骤二d，计算焊缝区域α的灰度值的标准差σ
10
以及留空区域β的灰度值的标准差σ
20
；
19.步骤二e，使用μ
10
、μ
20
、σ
10
、σ
20
初始化两个高斯模型，其中两个高斯模型的权重都初始化为1；
20.步骤二f，将训练用的图片作为样本，设样本中的任意坐标(x,y)所对应的像素的灰度值为f(x,y)，将f(x,y)带入高斯模型：
[0021][0022]
其中，q代表两个高斯模型的序号，μq代表第q个高斯模型的聚类中心，σq代表第q个高斯模型的聚类距离，nq代表第q个高斯模型的概率密度函数，用于描述样本坐标(x,y)处的像素点属于第q个高斯模型所代表的区域的概率；
[0023]
步骤二g，更新两个高斯模型参数:
[0024][0025][0026]
φq＝φq+1；
[0027]
其中，vq代表第q个高斯模型的方差，φq代表第q个高斯模型的权重；
[0028]
步骤二h，对两个高斯模型进行训练，直到两个高斯模型的参数μq、σq、φq的变化率小于10-3
。
[0029]
进一步的，步骤二b，具体包括：预设焊缝区域的灰度阈值，通过otsu算法区分图片的焊缝区域α与留空区域β。
[0030]
进一步的，步骤四具体包括，
[0031]
设定前景像素阈值，将待检测对象的图片与背景模型按像素进行差分处理，差值不小于前景像素阈值的像素点为前景像素点，所有前景像素点组成检测对象的前景二值图像；
[0032]
将检测对象的前景二值图像使用开运算去噪；
[0033]
将前景二值图像与原待检测对象的图片点乘,得到焊缝区域具体图像。
[0034]
进一步的，所述将检测对象的前景二值图像使用开运算去噪，具体指通过9*9的结构元素对前景二值图像开运算，对开运算后面积小于350的区域，直接删除。
[0035]
进一步的，步骤五具体包括，根据焊缝区域具体图像中像素数量过滤伪缺陷和外环境误检。
[0036]
进一步的，步骤五具体包括，根据焊缝区域具体图像中像素灰度的平均值区分出虚焊。
[0037]
进一步的，步骤五具体包括，
[0038]
根据焊缝区域具体图像中像素灰度的平均值区分出虚焊；
[0039]
为焊缝区域具体图像的灰度生成灰度矩阵；
[0040]
对灰度矩阵中每一列灰度值进行求和，得到一个行向量作为焊缝区域具体图像的波形序列；
[0041]
对波形序列进行曲线滤波拟合，采用均值滤波去除噪点，对离散点进行滤波和拟合；
[0042]
对拟合后的波形进行一阶差分，得到一阶差分序列；
[0043]
根据一阶差分序列的极差来判断该图像样本是焊穿或者熔焊缺陷。
[0044]
本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0045]
本发明提供的焊缝缺陷检测方法是一种利用计算机视觉技术和图像处理算法对焊缝缺陷进行自动化检测的技术。该技术可以提高生产效率和准确率，同时提升产品质量，进一步降低企业生产成本。
附图说明
[0046]
图1为本发明实施例提供的焊缝缺陷检测流程图。
具体实施方式
[0047]
以下结合附图和具体实施例，对本发明进行详细说明，在详细说明本发明各实施例的技术方案前，对所涉及的名词和术语进行解释说明，在本说明书中，名称相同或标号相同的部件代表相似或相同的结构，且仅限于示意的目的。
[0048]
电焊以二氧化碳保护焊为主。电焊的焊缝缺陷主要可以分为：熔焊、焊穿、虚焊。除了明显的焊缝缺陷，还有因为防锈胶水与尘土混合物再焊缝区域的滴落导致的伪缺陷，而伪缺陷并不是焊缝缺陷，此现象很容易会导致对焊缝缺陷检测的误判。除此以外，因为金属板的本身特征以及工作环境的因素导致的振动、强电焊反光等，都可能导致正常的焊缝经过相机采样，也被提取到很小的缺陷样本，造成错误检测，本发明称此类误检为外环境误检。
[0049]
1.构建背景模型
[0050]
本发明采用采用背景差分法，将焊缝缺陷、伪缺陷和外环境误检从众多焊接对象的图片中识别出来。而背景差分法的关键在于选择合适的背景模型，其中又包括背景模型的构建与更新。背景差分法的使用条件包括以下两点：(1)焊缝缺陷的前景部分与背景的模型有一定的差异；(2)背景环境的差别在不同的样本中差异性要足够的小。结合以上特点，本发明构建一个背景模型对焊接对象图片的背景进行初始化，背景模型为含有两个高斯模型的混合高斯模型，由此能够满足条件(1)。对于条件(2)，焊缝特征的不统一，所以在差别较大的时候，需要对背景模型进行重建，但是在大多情况中，背景模式则保持不变。
[0051]
针对背景模型的重建，需要避免初始值对整体模型的影响，所以采用线性插值法更新高斯模型中的中心和距离。
[0052]
1.1初始化与定义混合高斯模型参数
[0053]
背景模型通过两个高斯模型的混合来进行表示。设定g1(θ1)和g2(θ2)为混合模型中的两个高斯模型，分别代表焊缝区域和留空区域，定义θ1＝(μ1,σ1,φ1)和θ2＝(μ2,σ2,φ2)为两个高斯模型中的参数，μ1和μ2为聚类中心，即背景模型所描述的背景图像的平均灰度值；σ1和σ2为聚类距离，即背景模型中的像素点距离聚类中心的标准差，用于描述背景图像的纹理和细节信息；φ1和φ2为权值，即背景模型中每个像素点被分配到两个高斯模型中的概率，用于描述背景图像中不同区域的重要性。
[0054]
为保证模型的稳定性，本发明通过如下方法进行模型的初始化：
[0055]
对采样图像中抽取任意一帧图像。
[0056]
通过otsu算法区分留空以及焊缝区域，再将两区域设定为两个高斯模型，设由otsu算法得出的阈值为a，灰度值小于等于a的像素组成为焊缝区域；灰度值大于等于a的像素组成为留空区域。
[0057]
求出两区域灰度值的平均值μ
10
和μ
20
。
[0058]
求出两区域灰度值的标准差σ
10
和σ
20
。
[0059]
设φ
10
＝1，φ
20
＝1，则焊缝区域对应的高斯模型和留空区域对应的高斯模型的初始化参数分别为：
[0060]
θ1＝(μ
10
,σ
10
,φ
10
)，θ2＝(μ
20
,σ
20
,φ
20
)。
[0061]
1.2.背景模型的训练，均值、标准差、权值的更新
[0062]
将采集的图像作为样本依次进行训练。设样本中的任意坐标(x,y)所对应的像素的灰度值为f(x,y)，将f(x,y)带入高斯模型：
[0063][0064]
其中，q代表两个高斯模型的序号，μq代表第q个高斯模型的聚类中心，σq代表第q个高斯模型的聚类距离，nq代表第q个高斯模型的概率密度函数，用于描述样本坐标(x,y)处的像素点属于第q个高斯模型所代表的区域的概率。
[0065]
根据nq判断(x,y)所对应的像素属于焊缝区域或留空区域，通过一下公式更新焊缝区域与留空区域对应的高斯模型参数:
[0066][0067][0068]
φq＝φq+1；
[0069]
其中，νq代表第q个高斯模型的方差，φq代表第q个高斯模型的权重。
[0070]
对样品图像中每一帧图像的每个点重复以上步骤，直至背景模型参数的变化率|δ|《10-3
，此时，认为训练出稳定的背景模型。
[0071]
1.3.通过权值选择像素点在背景模型中的灰度值
[0072]
所有像素点在背景模型中两个高斯模型的权值进行比对，权值较高的模型均值作为该点在背景模型中的灰度值。
[0073]
2.提取焊缝特征
[0074]
对采集的图像样本与背景模型差分，计算出前景的二值图像。设一组样本第k帧图像为dk，背景模型为bk，前景的阈值为t，而t是一个经验值，参考其他论文并结合大量的实验，采用2.8倍的高斯模型标准差σq，即2.8*σq作为阈值，通过以下公式计算前景图像的二值图像fk：
[0075][0076]
其中，fk(x,y)代表二值图像fk中坐标为(x,y)处的像素点是否为前景图像，1表示是前景图像，0表示不是前景图像。dk(x,y)表示一组样本第k帧图像中坐标为(x,y)处的像素点的灰度值，bk(x,y)表示背景模型第k帧图像中坐标为(x,y)处的像素点的灰度值。
[0077]
对所求二值图像fk去噪求得焊缝缺陷区域。噪声因为产线的振动及其他因素影响而产生，可通过9*9的结构元素开运算消减噪声。经过开运算的一轮降噪仍然还有部分面积小于350的区域，可对这一部分的噪声区域直接删除处理，得到输入样本的焊缝缺陷部分。
[0078]
将焊缝缺陷部分进行提取，恢复至原图像特征，用于区分焊缝缺陷类型。将二值图像fk与原图像dk点乘，求得即焊缝缺陷特征图像ik。
[0079]
ik(x,y)＝fk(x,y)
·dk
(x,y)。
[0080]
焊缝的图像是动态的，各种焊缝缺陷也是形态各异，为了保证背景模型的稳定性和准确性，还需要背景模型具备自动更新和校准的功能。提出如下更新方法：连续拍摄的30张样本图像与背景模型差分，当图像中差异像素比例大于65％(经验所得)，则认为当前背景图像已经不适用，需要通过上述背景模型构建的3步方法对背景模型进行重新建立。
[0081]
3.缺陷特征分类
[0082]
3.1过滤非焊缝缺陷
[0083]
因此，为了区别伪缺陷、外环境误检、焊缝缺陷，有如下判断公式：
[0084][0085]
式中，u为焊缝特征中具有缺陷的区域的像素数量。经过大量的样本采集以及经验，能够得到缺陷像素点数量阈值t1≈1
×
104，于是，将t1设为t1≈1
×
104。
[0086]
3.2区分出虚焊
[0087]
过滤掉非焊缝缺陷后，需要对焊缝缺陷进行区分，图1示出了焊缝缺陷的区分流程。
[0088]
对大量熔焊、焊穿、虚焊三类焊缝缺陷样本进行特征提取后得出的图片，可以得出以下结论：虚焊的缺陷部分为高灰度值的区域，焊穿和熔焊则以低灰度值区域为主。通过对焊缝缺陷部分像素均值进行计算，来对缺陷区域进行分别，一次分类虚焊和其他缺陷。
[0089]
像素均值l的计算公式如下：
[0090][0091]
式中，u为焊缝特征中具有缺陷的区域的像素数量，x(p)为焊缝特征中每个像素点的灰度值。
[0092]
计算出像素均值l之后通过以下公式判断焊缝缺陷是否为虚焊：
[0093][0094]
通过对大量焊缝缺陷图像样本的采集，确定了像素均值t2＝200。
[0095]
3.3区分熔焊与焊穿
[0096]
接着用图像波形检测法对熔焊与焊穿进行区分。波形就是对每一个样本图样的灰度矩阵中每一列灰度值进行求和，得到一个行向量。具体过程可以分为三类，列向量灰度值求和、曲线滤波拟合、一阶差分及极差判断。利用焊穿和熔焊图样区域中缺陷区域的面积、边缘曲线等特征上的区别进行分辨。
[0097]
3.3.1列项灰度值求和
[0098]
设定一个焊缝缺陷图像样本对应的灰度矩阵z为：
[0099][0100]
其中,m和n分别为灰度矩阵z的行数和列数，i和j分别为灰度矩阵z任意元素的行坐标和列坐标，z
i,j
代表行坐标为i列坐标为j的元素对应的像素点的灰度值。
[0101]
对灰度矩阵z进行列项求和，得到n维的行向量s，设定s为该图像样本的波形序列：
[0102][0103]
s＝[s1…
sj…
sn]；
[0104]
其中，sj代表列坐标为j的元素对应的像素点的灰度和。
[0105]
3.3.2曲线滤波拟合
[0106]
经过第3.3.1步的计算，得到了离散图样。该图样在进行一阶差分的时候可能会因为部分点的偏离导致整体趋势的偏离，最后造成误判。所以，本发明通过采用均值滤波去除噪点，对离散点进行滤波和拟合。公式如下：
[0107][0108]
其中，s(j)代表列坐标为j的元素对应的像素点的灰度和，ss(j)代表第j列元素对应的像素点的灰度值进行均值滤波后的值，2*g代表滤波范围。设定span＝40。
[0109]
经过降噪计算，熔焊和焊穿的曲线图特征明显，熔焊曲线更加平缓，且没有纵坐标值为0的点；而焊穿曲线则整体更加尖锐，且有纵坐标值为0的点。
[0110]
3.3.3一阶差分及极差判断
[0111]
经过第3.3.2步的降噪，熔焊和焊穿的区别已经能够大致分辨，但是仍需要对离散函数做进一步的辨别。
[0112]
在离散函数中，一阶差分能够对波形的升幅和降幅进行区分。因为熔焊和焊穿的波形中，相邻的点之间差值大部分比较相近，不足以作为严格区分焊缝缺陷的标准。所以，本发明专利提出了一种根据焊缝缺陷波形的改进行一阶差分方法：
[0113]dj
＝s
j+w-sj,j∈[1,n-ω]；
[0114]
其中，dj代表一阶差分序列中第j个元素，表示列坐标为j的元素对应的像素点的灰度和在序列中的差分值。w代表相邻差分元素之间的距离，即差分的窗口大小，ω代表相邻差分元素之间的距离。
[0115]
经过运算得到一阶差分序列d如下：
[0116]
d＝[d1…dj
…dn
]；
[0117]
式中，ω取值的非常关键，若ω取值太大将会忽略部分缺陷特征，而ω取值太小又不能直接的体现焊缝缺陷的特征，本发明中取ω＝60。
[0118]
计算得到一阶差分序列d之后，本发明设计通过技术按序列极差r来判断两种焊缝缺陷的类型：
[0119]
r＝max(dj)-min(dj),dj∈d；
[0120][0121]
其中，t3的取值与ω密切相关，本发明取t3＝53。
[0122]
根据前述内容，可得ω与t3的取值将直接影响到分辨焊穿与熔焊的准确。根据前期大量的实践，观察可得在不同的缺陷中极差r随ω变化的趋势是有差异的，ω取值60则两种缺陷极差最容易区分，ω＝60时，极差r＝53。
[0123]
经过上述步骤，本发明已经将焊接对象图片中的焊缝缺陷部分识别出来，使用本发明提供的方法对焊接对象焊缝缺陷进行识别，能显著提高对焊缝缺陷的识别效率。
[0124]
以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

技术特征：
1.一种焊缝缺陷检测方法，构建背景模型对待检测对象的图片进行检测，得出图片中的焊缝缺陷种类，其特征在于，包括以下步骤：步骤一，将缺陷分为不同类型；步骤二，构建背景模型，该背景模型能将图片划分为有焊缝区域与留空区域，对背景模型进行训练；步骤三，利用背景模型对待检测对象的图片进行分析，将待检测对象的图片划分为有焊缝区域与留空区域；步骤四，将待检测对象的图片的焊缝区域进行去噪处理，得到焊缝区域具体图像；步骤五，根据焊缝区域具体图像区分缺陷类型。2.根据权利要求1所述一种焊缝缺陷检测方法，其特征在于，步骤一具体指将缺陷分为焊缝缺陷、伪缺陷和外环境误检，其中焊缝缺陷包括：熔焊、焊穿、虚焊。3.根据权利要求1所述一种焊缝缺陷检测方法，其特征在于，步骤二具体包括：步骤二a，以包括两个高斯模型的混合高斯模型作为背景模型的主干模型，两个高斯模型分别代表焊缝区域与留空区域；步骤二b，准备一张已经正确区分焊缝区域α与留空区域β的图片；步骤二c，计算焊缝区域α的灰度值的平均值μ
10
以及留空区域β的灰度值的平均值μ
20
；步骤二d，计算焊缝区域α的灰度值的标准差σ
10
以及留空区域β的灰度值的标准差σ
20
；步骤二e，使用μ
10
、μ
20
、σ
10
、σ
20
初始化两个高斯模型，其中两个高斯模型的权重都初始化为1；步骤二f，将训练用的图片作为样本，设样本中的任意坐标(x,y)所对应的像素的灰度值为f(x,y)，将f(x,y)带入高斯模型：其中，q代表两个高斯模型的序号，μ
q
代表第q个高斯模型的聚类中心，σ
q
代表第q个高斯模型的聚类距离，n
q
代表第q个高斯模型的概率密度函数，用于描述样本坐标(x,y)处的像素点属于第q个高斯模型所代表的区域的概率；步骤二g，更新两个高斯模型参数:步骤二g，更新两个高斯模型参数:步骤二g，更新两个高斯模型参数:其中，v
q
代表第q个高斯模型的方差，φ
q
代表第q个高斯模型的权重；步骤二h，对两个高斯模型进行训练，直到两个高斯模型的参数μ
q
、σ
q
、φ
q
的变化率小于10-3
。4.根据权利要求3所述一种焊缝缺陷检测方法，其特征在于，步骤二b，具体包括：预设焊缝区域的灰度阈值，通过otsu算法区分图片的焊缝区域α与留空区域β。5.根据权利要求1所述一种焊缝缺陷检测方法，其特征在于，步骤四具体包括，设定前景像素阈值，将待检测对象的图片与背景模型按像素进行差分处理，差值不小
于前景像素阈值的像素点为前景像素点，所有前景像素点组成检测对象的前景二值图像；将检测对象的前景二值图像使用开运算去噪；将前景二值图像与原待检测对象的图片点乘,得到焊缝区域具体图像。6.根据权利要求5所述一种焊缝缺陷检测方法，其特征在于，所述将检测对象的前景二值图像使用开运算去噪，具体指通过9*9的结构元素对前景二值图像开运算，对开运算后面积小于350的区域，直接删除。7.根据权利要求1所述一种焊缝缺陷检测方法，其特征在于，步骤五具体包括，根据焊缝区域具体图像中像素数量过滤伪缺陷和外环境误检。8.根据权利要求7所述一种焊缝缺陷检测方法，其特征在于，步骤五具体包括，根据焊缝区域具体图像中像素灰度的平均值区分出虚焊。9.根据权利要求8所述一种焊缝缺陷检测方法，其特征在于，步骤五具体包括，根据焊缝区域具体图像中像素灰度的平均值区分出虚焊；为焊缝区域具体图像的灰度生成灰度矩阵；对灰度矩阵中每一列灰度值进行求和，得到一个行向量作为焊缝区域具体图像的波形序列；对波形序列进行曲线滤波拟合，采用均值滤波去除噪点，对离散点进行滤波和拟合；对拟合后的波形进行一阶差分，得到一阶差分序列；根据一阶差分序列的极差来判断该图像样本是焊穿或者熔焊缺陷。

技术总结
本发明涉及金属焊接领域，具体涉及一种焊缝缺陷检测方法。该方法构建背景模型对待检测对象的图片进行检测，得出图片中的焊缝缺陷种类，包括以下步骤：步骤一，将缺陷分为不同类型；步骤二，构建背景模型，该背景模型能将图片划分为有焊缝区域与留空区域，对背景模型进行训练；步骤三，利用背景模型对待检测对象的图片进行分析，将待检测对象的图片划分为有焊缝区域与留空区域；步骤四，将待检测对象的图片的焊缝区域进行去噪处理，得到焊缝区域具体图像；步骤五，根据焊缝区域具体图像区分缺陷类型。本发明可以提高生产效率和准确率，同时提升产品质量，进一步降低企业生产成本。进一步降低企业生产成本。进一步降低企业生产成本。


技术研发人员：徐迎莉 侯淑玲 索超 罗莉华
受保护的技术使用者：安徽好运机械有限公司
技术研发日：2023.07.07
技术公布日：2023/10/15