基于Yolov5模型和红外图像的预应力管道灌浆质量检测方法

基于yolov5模型和红外图像的预应力管道灌浆质量检测方法
技术领域
1.本发明一般地涉及预应力管道灌浆质量检测领域，特别地，本发明涉及一种基于yolov5模型和红外图像的预应力管道灌浆质量检测方法。


背景技术：

2.预应力管道又称波纹管，在预应力混凝土结构中，预应力管道灌浆质量直接影响整体结构的承载能力和耐久性，由于灌浆不密实导致的预应力管道内钢绞线锈蚀，预应力提前丧失，可对桥梁使用寿命造成严重影响，因此预应力管道灌浆质量的有效检测是工程人员普遍关心的一个问题。
3.预应力管道灌浆不密实的情况可以分为三类：一是由于灌浆料泌水导致管道上部出现空洞；二是灌浆过程中灌浆料泄露以及灌浆结束阶段没有稳压过程导致的部分灌浆；三是由于管道内部堵塞造成的部分节段无灌浆。其中，造成管道内无灌浆料的原因有很多，如在实际工程中预应力钢筋是由钢丝绑扎在一起的，在穿束过程中这些钢丝很有可能在管道变形处聚集，使得灌浆时灌浆料堵塞；因管道内部存在一些杂物而造成管道堵塞；若管道表面有孔洞，混凝土在浇筑的过程中可能流至管道内部导致管道堵塞。
4.目前，已发展出一些预应力管道灌浆质量的检测方法。例如冲击回波法、地质雷达法和传统超声波法。其中研究和应用最广泛的是冲击回波法，但该方法利用低频波导，致分辨率很低、难以检测双层预应力管道以及塑料管道。金属对电磁波的屏蔽效应导致探地雷达法只适用于塑料预应力管道的检测，且其检测结果受结构内部钢筋网的影响较大。传统超声波检测预应力管道灌浆密实度的方法分为超声透射法和超声回波法。超声透射法在实际检测中有时难以实现需要具备两个工作面的条件；超声回波法存在着超声传播路径长、信噪比低等问题。此外，由于桥梁结构通常布设有多层预应力管道，现有的方法一般在混凝土结构整体浇筑完毕后进行检测，多个管道界面之间相互干扰从而大大降低检测的准确性。
5.例如公开号为cn113945641a的中国专利文献，披露了一种基于超声波的预应力管道灌浆质量检测方法，其特征是将压电陶瓷换能器预埋在预应力管道内部和表面，分别用以发射和接收超声波信号；采用小波包变换逐层分解超声波信号，构建所有小波包分量的能量分布矩阵；建立卷积神经网络模型，将小波包分量组成的能量分布矩阵输入到模型中进行预应力管道灌浆质量的评估。上述技术方案的方法能够实现沿预应力管道长度方向上长距离灌浆缺陷类型以及缺陷尺寸的识别。
6.通过实践情况来看，上述方法检测速度慢，检测成本高，检测局限性较大。


技术实现要素：

7.为了解决现有技术中的上述技术问题，本发明提供了一种基于yolov5模型和红外图像的预应力管道灌浆质量检测方法。
8.本发明提供的一种基于yolov5模型和红外图像的预应力管道灌浆质量检测方法，
包括：构建预应力管道红外图像数据集；构建基于改进yolov5网络模型；训练模型，得到预应力管道缺陷检测模型；根据所述预应力管道缺陷检测模型，对采集的红外图像进行检测，以判断预应力管道是否存在故障。
9.在一个实施例中，构建预应力管道红外图像数据集包括：对采集的红外图像进行标注以得到已标注的红外图像，对已标注的红外图像进行数据增广以得到所述预应力管道红外图像数据集。
10.在一个实施例中，对采集的红外图像进行标注以得到已标注的红外图像，包括：将灌浆饱满的预应力管道红外图像区域标注为无预应力管道缺陷区域，将灌浆不饱满的预应力管道红外图像区域标注为有预应力管道缺陷区域；其中，当预应力管道红外图像有某一区域温度与周围区域温差大于设定值时，该区域为灌浆缺陷区域。
11.在一个实施例中，对已标注的红外图像进行数据增广以得到所述预应力管道红外图像数据集，包括：采取cutmix、mosaic、随机裁剪、翻转、随机排布、改变亮度和对比度方法对已标注的红外图像进行数据增广。
12.在一个实施例中，所述改进yolov5网络模型包括：使用ghostbottleneck模块替换掉c3模块中的bottleneck模块，将之命名为c3ghost模块；在yolov5网络模型的backbone结构中的第二个和第三个c3ghost模块后加入se注意力模块，在sppf模块后加入se注意力模块。
13.在一个实施例中，训练模型得到预应力管道缺陷检测模型包括：采用自适应学习率参数更新算法更新网络的参数值。
14.本发明的技术方案具有以下有益技术效果：将人工智能技术与缺陷检测技术相结合，利用改进yolov5模型实现预应力管道灌浆缺陷红外图像的特征提取、识别、目标定位等过程，克服人工特征提取的不足，深层次数据挖掘所含信息，实现了预应力管道灌浆缺陷的快速检测识别。
15.本发明在同类数据增强的预处理基础上，加入cutmix和mosaic方法对数据集进行增广，加强了模型的鲁棒性，而且cutmix和mosaic方法数据增强方法所产生的计算开销非常小。
16.本发明用ghostbottleneck模块替换掉原有的bottleneck模块，大大降低了模型的参数量和计算量，提升了模型运行的速度，为实时检测做基础。将被替换bottleneck模块的c3模块命名为c3ghost模块。通过在backbone结构中的第二个和第三个c3ghost模块后加入se注意力模块，在sppf模块后加入se注意力模块，提升了因引入ghostbottleneck模块小幅下降的检测精度，在模型大幅压缩下依旧拥有较高精度。
17.本发明所使用的yolov5网络模型基于pytorch深度学习框架搭建，该框架同时支持windows和linux操作系统，使得其易于移植、部署在嵌入式设备或移动端平台中。
附图说明
18.通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
19.图1是根据本发明实施例的基于yolov5模型和红外图像的预应力管道灌浆质量检
测方法；
20.图2为根据本发明实施例的改进yolov5网络结构示意图；
21.图3为根据本发明实施例的改进yolov5网络模型各模块结构图；
22.图4为根据本发明实施例的改进yolov5网络模型的ghostbottleneck模块原理图，其中，图4(a)为卷积步长stride＝1时的ghostbottleneck模块的原理图；图4(b)为卷积步长stride＝2时的ghostbottleneck模块的原理图；
23.图5为根据本发明实施例的对采集样本进行数据增广的图片示例，图5(a)为灰度化的红外图像；图5(b)为cutmix处理后的图像；图5(c)为mosaic处理后的图像；
24.图6为根据本发明实施例的检测方法得到的缺陷检测效果图，其中“100”和“70”分别为管道灌浆无和有缺陷的标签，“0.9”代表iou值。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.本发明的目的是对预应力管道灌浆质量进行检测，本发明检测的基本原理是获取预应力管道的红外图像，借助卷积神经网络对红外图像数据进行处理，最终判断预应力管道灌浆是否存在缺陷。
27.从技术实现上，一方面，红外图像检测技术也可以用于预应力管道灌浆质量进行检测。红外成像检测技术具有检测精度高、耗时短、仪器便携带并且热图像显示缺陷等优点，已经广泛的运用到桥梁分层缺陷检测中，而用于预应力管道灌浆质量检测很少。
28.另一方面，近年来，卷积神经网络由于具有良好的迁移性、能够提取目标的深层特征，更好地表现目标的本质信息，具于良好的鲁棒性，yolov5模型是基于卷积神经网络的目标检测模型，具有良好的目标识别性能。
29.基于此，本发明通过对标准yolov5模型改进，提出了一种基于yolov5模型和红外图像的预应力管道灌浆质量检测方法，本发明能够有效降低网络模型的大小，减少了网络参数，提高了检测精度和速度，在体外预应力管道灌浆质量检测领域具有识别速度快，成本低的优势。
30.根据本发明的一种基于yolov5模型和红外图像的预应力管道灌浆质量检测方法，包括如下步骤：
31.步骤1：制作预应力管道红外图像数据集
32.使用红外相机获取正常光照下的体外预应力管道的红外图像，或者说热成像图像，为了保证数据的多样性，可以在拍摄过程中考虑在不同角度，不同距离、不同时间进行体外预应力管道热成像图像的收集。
33.其中，所述红外图像应至少包含两种类型，一种类型是无预应力管道缺陷的红外图像，这种红外图像为常规预应力管道热成像图像，即灌浆饱满的预应力管道红外图像，另一种类型是有预应力管道缺陷的红外图像，即灌浆不饱满的预应力管道的红外图像。
34.为了进行后续训练，还需要对红外图像数据进行标注，标注过程包括：当预应力管
道红外图像有某一区域温度与周围区域温差大于设定值(例如0.5度)时，视做该区域为灌浆缺陷区域。对采集到的预应力管道红外图像进行标记，将缺陷明显的红外图像挑选出来，将其中难以识别的无效数据剔除，然后将彩色红外图像转化成灰度图像，将选择挑选后的红外图像标出所有存在缺陷区域(例如，可以使用labelimg软件，通过矩形框进行标注，以“100”作为管道灌浆无缺陷的标识，以“70”作为管道灌浆缺陷的标识)，最终获得与红外图像对应的标注，即已标注的红外图像。
35.已标注的红外图像作为采集的样本。由于预应力管道缺陷样本难以获取，为了增加样本数量，需要对已标注的红外图像进行数据增广，以获得生成的样本，数据集制作过程包括：采取cutmix、mosaic、随机裁剪、翻转、随机排布、改变亮度、对比度等方法对已标注的红外图像样本进行数据增广；将采集到的样本和生成的样本按照8：1：1比例随机划分为训练集、验证集和测试集。使用k-means算法对训练集中标注的候选框进行聚类以优化预测框的大小。
36.其中，cutmix数据增强方法属于混合式数据增强方法，可以有效地解决过拟合问题。其主要思路是对图像a的一部分区域进行随机裁剪矩形区域，然后将裁剪的矩形区域填充到图像b的对应区域中，进而增广数据集。图5(b)为随机两张预应力管道红外图像灰度化后(如图5(a))经过cutmix处理得到的新图像。
37.其中，mosaic算法是在cutmix数据增强方法的基础上改进而来的，丰富了图片的背景，并且变相得提高了batch size。cutmix对两张图片进行拼接，而mosaic数据增强方法则对4张图片按照随机缩放、随机裁剪和随机排布的方式进行拼接形成一张新图片。图5(c)为随机四张cutmix处理后图像经过mosaic处理得到的新图像。
38.根据本技术的步骤1，是用于收集样本以进行网络训练。神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型。神经网络由大量的节点和之间相互的联接构成。每两个节点间的联接都代表一个对于通过该连接信号的加权值，称之为权重。网络的输出则依网络的连接方式、权重值和节点的不同而不同。例如，一个简单的神经网络模型可以包括输入层、隐含层和输出层。训练神经网络的过程，实际上就是在一个预设的网络模型基础上不断调整网络连接的权重值，从而使得输入样本与输出样本的差异足够小。训练神经网络的过程，是不断迭代的正向训练过程(正向传播)和反向训练(反向传播)过程，在正向训练过程中，通过输入样本和当前网络权重计算神经网络的输出值；反向训练过程中，根据神经网络的输出值与输出样本的误差来调整网络权重(例如利用梯度下降算法)；然后重复执行正向训练和反向训练过程，对网络权重进行调整以完善该神经网络，直至输入样本和输出样本之间的误差足够小。就本发明而言，卷积神经网络模型，具体地，采用改进yolov5网络，下面将接受改进yolov5网络的架构和配置等。
39.步骤2：构建基于改进yolov5网络模型。
40.如图2所示的改进yolov5网络结构，图3为改进yolov5网络模型各模块结构图；图4为改进yolov5网络模型的ghostbottleneck模块原理图，其中图4(a)为卷积步长stride＝1时的ghostbottleneck模块的原理图；图4(b)为卷积步长stride＝2时的ghostbottleneck模块的原理图；
41.yolov5模型结构主要包括输入端input、特征提取网络backbone、特征融合网络neck、预测网络prediction四部分组成。
42.在yolov5网络模型中添加ghostbottleneck模块替换掉bottleneck模块，将被替换bottleneck模块的c3模块命名为c3ghost模块。充分利用ghostbottleneck模块的图像高维特征提取功能，并且通过ghostbottleneck模块的结构可以理解出该改进会使得整个yolov5网络模型更加轻便，参数量和计算量更少，还能达到几乎与原模型同样的效果，但是更加适用。
43.ghostbottleneck模块该结构在两个ghost模块之间通过一个步长(stride)为2的深度卷积(dwconv)进行向下采样连接，最后将这两个ghost模块的输入和输出合并。第一个ghost模块用作扩展层，增加了通道数。第二个ghost模块减少通道数，形成逆残差结构，减少图像特征信息损失，提高结构表征能力。ghostbottleneck中每个ghost模块的最后一层后不使用relu激活函数，其他层在每层之后都应用了批量归一化(bn)和relu激活函数，避免了特征信息的丢失。
44.在yolov5网络模型的backbone结构中的第二个和第三个c3ghost模块后加入se注意力模块，为不同尺度的特征层赋予更高的权重。在sppf模块后加入se注意力模块，强化融合后的局部特征和全局特征，丰富特征图的表达能力。
45.虽然ghostbottleneck模块能大幅压缩yolov5模型的参数量和计算量，但不可避免地会导致检测精度小幅下降。se模块能够解决卷积池化过程中由于特征图不同、通道占比不同带来的损失问题。
46.所述步骤2中使用ghostbottleneck模块替换掉c3模块中的bottleneck模块，将之命名为c3ghost模块。在backbone结构中的第二个和第三个c3ghost模块后加入se注意力模块，在sppf模块后加入se注意力模块。
47.步骤3：模型训练以得到预应力管道缺陷检测模型，具体地，包括设置超参数、完成训练等。
48.改进后的yolov5网络采用自适应学习率参数更新算法(adam)更新网络的权重值，每次随机选择4个训练集样本构成一个batch进行训练，训练轮数(epoch)设置为300，学习率初始值为0.001、权重衰减系数为0.0005、iou阈值为0.5和预测框阈值2.91。完成超参数的设置后，将步骤1划分的训练集输入至yolov5网络模型中进行训练。
49.在验证集上对最终的网络模型进行测试并在图像上输出预测的标注框和类别，输出所有iou大于0.5的检测框，并用非极大值抑制算法消除冗余的边界框，筛选出最佳的目标边界框。
50.具体步骤如下：
51.1)数据输入：模型输入的数据集为训练集和验证集的红外图像。
52.2)模型训练：模型训练初始化权重参数文件为yolov5s.pt，网络结构参数文件为infared.yaml，超参数文件为hyp.scratch.yaml。将之输入train.py文件进行训练。
53.3)训练和验证输出：训练输出预应力管道红外图像缺陷检测模型权重文件infared.pt。
54.4)利用评价指标对模型检测结果进行评估。yolov5模型训练效果的评价指标主要包括模型检测损失值和模型检测pr曲线相关指标，具体如下：
55.yolov5总的损失包括检测框(bounding box)损失、目标检测(objectness)损失以及分类(classification)损失三部分组成，三个损失值越小则模型训练结果越优，其中检
测框(bounding box)损失采用了giou loss损失函数，作为距离的一种度量，对尺度不敏感；目标检测(objectness)损失采用beclogits损失函数，分类(classification)损失采用了bceclsloss损失函数。
56.pr曲线相关指标：交并比(intersection over union，iou)：为模型预测出来的区域与原来图片中标记的区域的重合程度，用来作为判断检测结果是否正确的阈值，大于iou值则说明检测正确；准确率(precision，p)：分类器认为是正类并且确实是正类的部分占所有分类器认为是正类的比；召回率(recall，r)：分类器认为是正类并且确实是正类的部分占所有确实是正类的比例：
57.p＝tp/(tp+fp)
58.r＝tp/(tp+fn)
59.显然p值和r值越高检测效果越好，但单独以p值或r值定义模型检测性能存在片面性，p值和r值之间存在一定的矛盾关系，因此采用以p值和r值作为纵、横轴坐标的二维pr曲线来显示出模型在准确率与召回率之间的关系。在pr曲线中通常用精度均值(average precision，ap)和平均精度均值(mean average precision，map)来衡量整个曲线的性能指标,map为所有类ap的平均值，map@.5则为iou＝0.5时map的值，是模型总体性能的一个重要指标。
[0060][0061][0062]
由评价指标多次重复步骤3训练模型，得出最优的网络模型的权重参数文件infared.pt。
[0063]
综上，基于步骤1)至4)，最终得到训练好的预应力管道缺陷检测模型。在步骤3中采用自适应学习率参数更新算法(adam)更新网络的参数值。利用检测损失值和模型检测pr曲线相关指标对模型结果进行评估。
[0064]
步骤4：根据训练好的预应力管道缺陷检测模型，对采集的预应力管道红外图像进行检测，以判断是否存在缺陷。
[0065]
部署由步骤3得到的最优网络模型的权重参数文件infared.pt，将采集的红外图像输入至改进的yolov5模型(本实施例中采用测试集作为采集的红外图像，在实际工程中，可以对真实采集的红外图像进行处理)，输出检测结果文件，检测结果包括带检测框的图像，检测到目标的个数和种类、目标在图像中的位置。
[0066]
具体的检查结果可以参看图6，图6为根据本发明实施例的检测方法得到的缺陷检测效果图，其中“100”和“70”分别为管道灌浆无和有缺陷的标签，“0.9”代表iou值。
[0067]
应当理解，当本发明的权利要求、说明书及附图使用术语“第一”、“第二”等时，其仅是用于区别不同对象，而不是用于描述特定顺序。本发明的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0068]
根据本说明书的上述描述，本领域技术人员还可以理解如下使用的术语，例如“上”、“下”等指示方位或位置关系的术语是基于本说明书的附图所示的方位或位置关系的，其仅是为了便于阐述本发明的方案和简化描述的目的，而不是明示或暗示所涉及的装置或元件必须要具有所述特定的方位、以特定的方位来构造和进行操作，因此上述的方位或位置关系术语不能被理解或解释为对本发明方案的限制。
[0069]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0070]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于yolov5模型和红外图像的预应力管道灌浆质量检测方法，包括：构建预应力管道红外图像数据集；构建基于改进yolov5网络模型；训练模型，得到预应力管道缺陷检测模型；根据所述预应力管道缺陷检测模型，对采集的红外图像进行检测，以判断预应力管道是否存在故障。2.根据权利要求1所述的基于yolov5模型和红外图像的预应力管道灌浆质量检测方法，其特征在于，构建预应力管道红外图像数据集包括：对采集的红外图像进行标注以得到已标注的红外图像，对已标注的红外图像进行数据增广以得到所述预应力管道红外图像数据集。3.根据权利要求2所述的基于yolov5模型和红外图像的预应力管道灌浆质量检测方法，其特征在于，对采集的红外图像进行标注以得到已标注的红外图像，包括：将灌浆饱满的预应力管道红外图像区域标注为无预应力管道缺陷区域，将灌浆不饱满的预应力管道红外图像区域标注为有预应力管道缺陷区域；其中，当预应力管道红外图像有某一区域温度与周围区域温差大于设定值时，该区域为灌浆缺陷区域。4.根据权利要求3所述的基于yolov5模型和红外图像的预应力管道灌浆质量检测方法，其特征在于，对已标注的红外图像进行数据增广以得到所述预应力管道红外图像数据集，包括：采取cutmix、mosaic、随机裁剪、翻转、随机排布、改变亮度和对比度方法对已标注的红外图像进行数据增广。5.根据权利要求1所述的基于yolov5模型和红外图像的预应力管道灌浆质量检测方法，其特征在于，所述改进yolov5网络模型包括：使用ghostbottleneck模块替换掉c3模块中的bottleneck模块，将之命名为c3ghost模块；在yolov5网络模型的backbone结构中的第二个和第三个c3模块后加入se注意力模块，在sppf模块后加入se注意力模块。6.根据权利要求1所述的基于yolov5模型和红外图像的预应力管道灌浆质量检测方法，其特征在于，训练模型得到预应力管道缺陷检测模型包括：采用自适应学习率参数更新算法更新网络的参数值。

技术总结
本发明涉及一种基于Yolov5模型和红外图像的预应力管道灌浆质量检测方法，包括：构建预应力管道红外图像数据集；构建基于改进Yolov5网络模型；训练模型，得到预应力管道缺陷检测模型；根据所述预应力管道缺陷检测模型，对采集的红外图像进行检测，以判断预应力管道是否存在故障。本发明将人工智能技术与缺陷检测技术相结合，利用改进Yolov5模型实现预应力管道灌浆缺陷红外图像的特征提取、识别、目标定位等过程，克服人工特征提取的不足，深层次数据挖掘所含信息，实现了预应力管道灌浆缺陷的快速检测识别。缺陷的快速检测识别。缺陷的快速检测识别。


技术研发人员：崔灿 孙世纪 郑鹏飞 韩山岭 高兴 李胜利
受保护的技术使用者：郑州大学
技术研发日：2023.02.27
技术公布日：2023/7/12