一种基于改进yolo网络的管道焊缝缺陷检测方法

1.本发明涉及管道焊缝缺陷检测与深度学习领域，具体涉及是一种基于改进yolo网络的管道焊缝缺陷检测方法。
背景技术：
：：2.随着管道在石油、天然气等工业领域的广泛应用，需进一步提高现有的管道焊缝缺陷识别方法。油气管道大多由直管与弯管焊接而成，产生的焊缝又是管道缺陷的高发部分，故焊缝的缺陷检测是管道安全运行的重要保障。管道焊缝的传统人工评片方法费时费力，效率不高，且受人为主观因素影响较大，已无法满足日益增加的管道焊缝缺陷检测需要。3.基于深度学习的管道焊缝缺陷检测方法能有效解决传统算法效率低下、检测率低的问题。《罗志伟，杨玉龙，李志红.bga焊球视觉检测算法及系统设计[j].光学精密工程,2018,第26卷(9):2190-2197》根据焊球的形状和尺寸特征，使用高斯混合模型实现了其缺陷的识别分类，但是存在较高的误判率，数据样本较少。《malarvel,muthukumaran；sethumadhavan,gopalakrishnan；raobhagi,purnachandra；kar,soumitra；saravanan,thangavel；krishnan,arunmuthu.anisotropicdiffusionbaseddenoisingonx-radiographyimagestodetectwelddefects[j].digitalsignalprocessing,2017,vol.68:112-126》使用了机器视觉方法对焊缝图像进行去噪，利用梯度幅值增强图像特征，实现了焊缝缺陷检测，但方法对于弱缺陷特征的检测效果较差。《谢经明，刘默耘，何文卓，刘西策.基于轻量化yolo的x射线焊缝图像信息检测[j].华中科技大学学报(自然科学版),2021,49:1-5》使用轻量化的yolo算法引入多种轻量化技术大幅降低了网络模型的参数量与计算量,在保证高检测精度的同时加快检测速度,降低对高算力硬件的依赖性，实现了焊缝x射线图像的准确识别。但可见现有的深度学习方法检测能力不强且检测效率不高，在面对多种缺陷时，模型检测精度明显下降。技术实现要素：[0004]为了克服现有方法的缺陷，提出一种基于改进yolo网络的管道焊缝缺陷检测方法，该方法有效的解决了传统深度学习方法所存在的不足，提高了模型的泛化能力及参数多样性。[0005]为实现所述发明目的，所提供的技术方案是一种基于改进yolo的管道焊缝缺陷检测方法，其特征在于包括以下步骤：[0006]步骤1：收集油气管道焊缝缺陷图像并进行预处理，具体处理方式为：[0007](1)采用mosaic图像增强方法的改版——mosaic-8，即采用8张图片随机裁剪、随机排列、随机缩放，然后组合成一张图片，同时合理引入一些随机噪声，增强网络模型对图像中小目标样本的区分力；[0008](2)将增强后的图像调整为n×n像素大小的尺寸，n∈z+；[0034]其中，λ为缺陷与焊缝区域像素的比值，λ∈(0，1)，αω2为惩罚函数范数2，α∈(0，1)，ω∈q；[0035]步骤3：将训练集输入到步骤2中构建的检测网络模型进行训练，训练完成的模型选择在训练过程中损失函数最小的模型；[0036]步骤4：将测试集输入训练完成的参数模型中进行焊缝缺陷检测，得到缺陷检测结果。[0037]本发明创新点表现在：[0038](1)本发明的焊缝分割方法采用改进repvgg网络的两种残差结构结合注意力机制，实现网络模型检测精度与检测速度的双增长；[0039](2)本发明的缺陷识别方法利用加权的交叉熵函数结合惩罚项损失函数训练识别模型；[0040]有益效果：[0041](1)本发明研究了深度学习焊缝缺陷检测模型在面对背景前景差别较大的焊缝图像时的表现效果，采用改进repvgg网络的两种残差结构结合注意力机制，使得本发明专利提出的焊缝缺陷检测方法在背景前景差别较大的焊缝图像时实现网络模型检测精度与检测速度的双增长；[0042](2)本发明提出的利用加权的交叉熵函数结合惩罚项损失函数，能有效解决焊缝区域与背景区域占比不平衡的问题；附图说明[0043]图1是本发明具体实施流程图，图中残差repvgg、改进损失函数分别为权利要求书步骤2中构建的repvgg特征提取网络与损失函数；[0044]图2是本管道焊缝缺陷识别方法的改进yolo网络结构图，图中r1与r2分别为权利要求书步骤2中构建的r1、r2两种残差结构；具体实施方式[0045]一种基于改进yolo的管道焊缝缺陷检测方法，其特征在于包括以下步骤：[0046]步骤1：收集油气管道焊缝缺陷图像并进行预处理，具体处理方式为：[0047](1)采用mosaic图像增强方法的改版——mosaic-8，即采用8张图片随机裁剪、随机排列、随机缩放，然后组合成一张图片，同时合理引入一些随机噪声，增强网络模型对图像中小目标样本的区分力；[0048](2)将增强后的图像调整为n×n像素大小的尺寸，n∈z+；[0049](3)将处理后的缺陷图像根据焊缝缺陷检测工作人员经验对缺陷类型进行划分，并将数据图像划分训练集与测试集；[0050]步骤2：构建基于改进yolo的管道焊缝缺陷检测模型，具体处理方式为：[0051](1)构建改进repvgg特征提取网络，主要包含两个改进残差结构r1与r2，网络由r1与r2两种结构交替连接构成，残差结构r1结构如下：[0052]x1＝convm×m(xinput)[0053]x2＝conv1×1(x1)[0054][0055]式中，xinput代表模型的输入图像，xoutput代表模型的输出图像，convm×m为尺寸为m×m的卷积，convm×m为尺寸为1×1的卷积，为concat操作，m∈z+；[0056]残差结构r2结构为：[0057]x1＝convm×m(xinput)[0058]x2＝conv1×1(x1)[0059][0060]式中，xinput代表模型的输入图像，xoutput代表模型的输出图像，convm×m为尺寸为m×m的卷积，convm×m为尺寸为1×1的卷积，为concat操作，m∈z+；[0061]concat的操作公式如下：[0062][0063]式中，x、y均为该通道输入的特征图且x＝y，k表示输入特征图x的通道数，d为输入特征图y的通道数，i∈[1,k]，j∈[1,d]；[0064](2)经过特征提取后经过尺寸为3×3的卷积操作后分为两个通道，其一通道经过卷积块d输出为13像素值×13像素值的特征图，其中卷积块d计算结构如下：[0065]d1＝conv1×1(dinput)[0066]doutput＝conv3×3(d1)[0067]式中，dinput代表模型的输入图像，doutput代表模型的输出图像，convm×m为尺寸为m×m的卷积操作，m∈z+；[0068]其二通道经过零阶插值法进行上采样操作，其计算结构如下：[0069][0070]式中，(s,t)为特征图像素浮点坐标值，(x,y)为离浮点坐标最近的整数坐标值，s,t∈q+，x,y∈z+；[0071]上采样操作后分为两个通道，其一通道经过卷积块d输出为26像素值×26像素值的特征图，其二通道在经过零阶插值法与卷积d操作后输出52像素值×52像素值的特征图；最后通过非极大值抑制算法输出最后的检测结果；[0072](3)设计加权交叉熵函数结合惩罚函数构建损失函数，以改善焊缝图像中缺陷样本不均衡的问题并增加正则化效果：[0073]loss＝λ*lossbce+αω2[0074]其中，λ为缺陷与焊缝区域像素的比值，λ∈(0，1)，αω2为惩罚函数范数2，α∈(0，1)，ω∈q；[0075]步骤3：将训练集输入到步骤2中构建的检测网络模型进行训练，训练完成的模型选择在训练过程中损失函数最小的模型；[0076]步骤4：将测试集输入训练完成的参数模型中进行焊缝缺陷检测，得到缺陷检测结果。[0077]本发明实施方法的效果展示，下面的表格呈现了本发明对焊缝缺陷检测优异效果，如表1所示：[0078]表1各模型实验结果对比table1comparisonofexperimentalresultsofeachmodel/[0079][0080]由表1知，本发明模型的焊缝缺陷检测准确率、精确率、召回率分别为90.20％、85.47％、83.31％，相比于其他模型有着明显的优异效果。[0081]综上所述，仅为本管道焊缝缺陷检测方案推荐方法的效果较佳实施例而已，并不是用来约束本发明，凡在本发明的精神与原则范围内所作的相关修改、等同替换和改进等，均应包含在本发明的保护范围之内。当前第1页12当前第1页12
技术特征：
1.一种基于改进yolo的管道焊缝缺陷检测方法，其特征在于包括以下步骤：步骤1：收集油气管道焊缝缺陷图像并进行预处理，具体处理方式为：(1)采用mosaic图像增强方法的改版——mosaic-8，即采用8张图片随机裁剪、随机排列、随机缩放，然后组合成一张图片，同时合理引入一些随机噪声，增强网络模型对图像中小目标样本的区分力；(2)将增强后的图像调整为n
×
n像素大小的尺寸，n∈z
+
；(3)将处理后的缺陷图像根据焊缝缺陷检测工作人员经验对缺陷类型进行划分，并将数据图像划分训练集与测试集；步骤2：构建基于改进yolo的管道焊缝缺陷检测模型，具体处理方式为：(1)构建改进repvgg特征提取网络，主要包含两个改进残差结构r1与r2，网络由r1与r2两种结构交替连接构成，残差结构r1结构如下：x1＝conv
m
×
m
(x
input
)x2＝conv1×1(x1)式中，x
input
代表模型的输入图像，x
output
代表模型的输出图像，conv
m
×
m
为尺寸为m
×
m的卷积，conv
m
×
m
为尺寸为1
×
1的卷积，为concat操作，m∈z
+
；残差结构r2结构为：x1＝conv
m
×
m
(x
input
)x2＝conv1×1(x1)式中，x
input
代表模型的输入图像，x
output
代表模型的输出图像，conv
m
×
m
为尺寸为m
×
m的卷积，conv
m
×
m
为尺寸为1
×
1的卷积，为concat操作，m∈z
+
；concat的操作公式如下：式中，x、y均为该通道输入的特征图且x＝y，k表示输入特征图x的通道数，d为输入特征图y的通道数，i∈[1,k]，j∈[1,d]；(2)经过特征提取后经过尺寸为3
×
3的卷积操作后分为两个通道，其一通道经过卷积块d输出为13像素值
×
13像素值的特征图，其中卷积块d计算结构如下：d1＝conv1×1(d
input
)d
output
＝conv3×3(d1)式中，d
input
代表模型的输入图像，d
output
代表模型的输出图像，conv
m
×
m
为尺寸为m
×
m的卷积操作，m∈z
+
；其二通道经过零阶插值法进行上采样操作，其计算结构如下：式中，(s,t)为特征图像素浮点坐标值，(x,y)为离浮点坐标最近的整数坐标值，s,t∈q
+
，x,y∈z
+
；上采样操作后分为两个通道，其一通道经过卷积块d输出为26像素值
×
26像素值的特征图，其二通道在经过零阶插值法与卷积d操作后输出52像素值
×
52像素值的特征图；最后通过非极大值抑制算法输出最后的检测结果；(3)设计加权交叉熵函数结合惩罚函数构建损失函数，以改善焊缝图像中缺陷样本不均衡的问题并增加正则化效果：loss＝λ*loss
bce
+αω2其中，λ为缺陷与焊缝区域像素的比值，λ∈(0，1)，αω2为惩罚函数范数2，α∈(0，1)，ω∈q；步骤3：将训练集输入到步骤2中构建的检测网络模型进行训练，训练完成的模型选择在训练过程中损失函数最小的模型；步骤4：将测试集输入训练完成的参数模型中进行焊缝缺陷检测，得到缺陷检测结果。

技术总结
本发明提出一种基于改进yolo的管道焊缝缺陷检测方法，该方法先对采集到的管道焊缝缺陷图像进行预处理，构建改进yolo网络模型，具体实施方法为：在上采样特征提取模块采用两个改进的残差网络结构去进行特征提取，实现网络模型检测精度与检测速度的双增长，设计正则化交叉熵损失函数改善样本不平衡的问题，最后，利用数据训练集对模型进行参数训练，用测试集对训练好的模型进行测试。本发明有效的提高了管道焊缝缺陷检测精度和检测效率。管道焊缝缺陷检测精度和检测效率。管道焊缝缺陷检测精度和检测效率。


技术研发人员：罗仁泽 李华督 唐祥 王磊 陈翔 雷璨如 林泓宇 吴涛 刘恒 罗任权 邓治林 余泓 谭亮 武娟 廖波 曹瑞 赵丹 王清松 易玺
受保护的技术使用者：西南石油大学
技术研发日：2023.04.12
技术公布日：2023/7/25