一种基于实例分割的管道缺陷评估方法及装置

1.本发明涉及机器视觉和目标检测与分割技术领域，尤其涉及一种基于实例分割的管道缺陷评估方法及装置。


背景技术：

2.地下排水管道作为现代化城市重要的基础设施，其是否能顺畅地运行直接关系到城市正常的运转和居民生活安全。随着社会经济的飞速发展，城市的规模不断扩大，城市地下排水管道越来越密集，对其进行状况评估的难度和复杂性大幅增加，使得对地下排水管道的维护变得十分困难。管道受使用年限的增加及外部环境的变化等因素影响，可能会出现各种类型的缺陷，导致破损、坍塌、阻塞等安全隐患，对城市给排水设施的运行和市民的生命财产安全造成了影响。定期对排水管道进行检测和状况评估，及时发现并修复管道缺陷，能够降低甚至避免管道事故发生。
3.当前管道检测主要使用cctv闭路电视检测技术，由机器人进入管道内部拍摄视频，再由技术人员进行缺陷判读和评估。虽然管道检测视频数据借助于机器人获取，但对管道缺陷的判别与评估由人工完成，耗时费力，存在依赖人工经验、效率低下的问题，往往还可能会由于人工视觉疲劳等原因导致缺陷的遗漏与误判。此外，由于人工解释带有一定的主观性，可能会产生不同的评估结果，因而评估的准确性也不高。


技术实现要素：

4.本发明通过提供一种基于实例分割的管道缺陷评估方法及装置，解决了现有技术中依赖人工经验和效率低下的技术问题，实现了提高管道缺陷评估的效率和准确性的技术效果。
5.本发明提供了一种基于实例分割的管道缺陷评估方法，包括：
6.获取管道内部缺陷图像，对所述图像进行分类、预处理及标签制作，得到初始样本数据集；
7.对所述初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；
8.以swin transformer为主干网络构建实例分割模型，并采用数据扩充的样本数据集进行模型训练；
9.将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论。
10.具体来说，所述对所述初始样本数据集进行数据扩充，包括：
11.对所述初始样本数据集进行数据扩充通过随机裁剪、缩放、翻转、颜色空间变换的方式进行数据扩充。
12.具体来说，所述将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
13.将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类
和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
14.若所述缺陷类别属于沉积、树根、障碍物或渗漏，计算掩膜区域的像素面积s；通过公式计算得到评级参数ratio；其中，area
defect
＝s，area
image
为所述待检测的管道缺陷图像的面积；
15.若所述缺陷类别属于变形，计算掩膜区域的像素面积s；采用最小二乘法基于所述掩膜轮廓坐标，拟合出其外接圆c作为原始管道区域，并计算出c的像素面积area；通过公式计算得到评级参数ratio；其中，area
identify
＝s；
16.根据所述评级参数ratio查表得到缺陷等级。
17.具体来说，所述将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
18.将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
19.若所述缺陷类别属于错口或脱节，计算掩膜内部所有点与所述轮廓坐标的最短距离ri，i＝1，
…
,n；
20.通过公式d＝2r
p
计算掩膜区域内部的最大内切圆的直径d；其中，r
p
为ri中的最大值；
21.根据d查表得到缺陷等级。
22.具体来说，所述将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
23.将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
24.若所述缺陷类别属于接口材料脱落，遍历缺陷掩膜的轮廓坐标y值，获得最大值y
max
；将y
max
与图像中线的y值ym进行比较，根据比较结果查表得到缺陷等级；
25.若所述缺陷类别属于ⅰ类腐蚀，直接查表得到缺陷等级；
26.若所述缺陷类别属于ⅱ类腐蚀，计算缺陷掩膜区域的像素面积s；通过公式计算得到评级参数ratio；其中，area
defect
＝s，area
image
为所述待检测的管道缺陷图像的面积；
27.根据所述评级参数ratio查表得到缺陷等级。
28.本发明还提供了一种基于实例分割的管道缺陷评估装置，包括：
29.图像处理模块，用于获取管道内部缺陷图像，对所述图像进行分类、预处理及标签制作，得到初始样本数据集；
30.数据扩充模块，用于对所述初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；
31.实例分割模型构建模块，用于以swin transformer为主干网络构建实例分割模型，并采用数据扩充的样本数据集进行模型训练；
32.缺陷评估模块，用于将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论。
33.具体来说，所述数据扩充模块，具体用于对所述初始样本数据集进行数据扩充通过随机裁剪、缩放、翻转、颜色空间变换的方式进行数据扩充，同时标注信息按对应操作方式改变。
34.具体来说，所述缺陷评估模块，包括：
35.缺陷图像输入单元，用于将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
36.第一计算单元，用于若所述缺陷类别属于沉积、树根、障碍物或渗漏，计算掩膜区域的像素面积s；通过公式计算得到评级参数ratio；其中，area
defect
＝s，area
image
为所述待检测的管道缺陷图像的面积；
37.第二计算单元，用于若所述缺陷类别属于变形，计算掩膜区域的像素面积s；采用最小二乘法基于所述掩膜轮廓坐标，拟合出其外接圆c作为原始管道区域，并计算出c的像素面积area；通过公式计算得到评级参数ratio；其中，area
identify
＝s；
38.第一缺陷评级单元，用于根据所述评级参数ratio查表得到缺陷等级。
39.具体来说，所述缺陷评估模块，包括：
40.缺陷图像输入单元，用于将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
41.第三计算单元，用于若所述缺陷类别属于错口或脱节，计算掩膜内部所有点与所述轮廓坐标的最短距离ri，i＝1，
…
,n；
42.第四计算单元，用于通过公式d＝2r
p
计算掩膜区域内部的最大内切圆的直径d；其中，r
p
为ri中的最大值；
43.第二缺陷评级单元，用于根据d查表得到缺陷等级。
44.具体来说，所述缺陷评估模块，包括：
45.缺陷图像输入单元，用于将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
46.第三缺陷评级单元，用于若所述缺陷类别属于接口材料脱落，遍历缺陷掩膜的轮廓坐标y值，获得最大值y
max
；将y
max
与图像中线的y值ym进行比较，根据比较结果查表得到缺陷等级；
47.第四缺陷评级单元，用于若所述缺陷类别属于ⅰ类腐蚀，直接查表得到缺陷等级；
48.第五计算单元，用于若所述缺陷类别属于ⅱ类腐蚀，计算缺陷掩膜区域的像素面积s；通过公式计算得到评级参数ratio；其中，area
defect
＝s，area
image
为所述待检测的管道缺陷图像的面积；
49.第五缺陷评级单元，用于根据所述评级参数ratio查表得到缺陷等级。
50.本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
51.首先，收集以往地下排水管道检测与评估成果报告及视频资料中的管道内部缺陷图像，对图像进行预处理，进行样本数据标签制作，得到初始样本数据集。再对得到的初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变。然后构建排水管道缺陷实
例分割模型，基于数据扩充后的样本数据集进行模型训练。最后，对十类常见的排水管道缺陷判读与等级评定方法进行深入分析，结合各类管道缺陷特征和实例分割获取到的几何特征等信息，制定了一套基于实例分割的管道缺陷量化分级评估方案，并进行了算法实现。本发明不但能够准确检测出排水管道的缺陷类型及其位置、几何轮廓等信息，而且还可以实现管道缺陷的量化分级评估。相比于现有的技术手段，本发明大大降低了人工成本，可有效简化地下排水管道缺陷评估流程，能够避免由于人工视觉疲劳或个人主观因素等影响造成的误判，提升了排水管道缺陷检测与评估的智能化。
附图说明
52.图1为本发明实施例提供的基于实例分割的管道缺陷评估方法的流程图；
53.图2为本发明实施例提供的基于实例分割的管道缺陷评估方法的原理图；
54.图3为本发明实施例提供的基于实例分割的管道缺陷评估装置的模块图；
55.图4为本发明实施例中部分地下排水管道缺陷识别结果图。
具体实施方式
56.本发明实施例通过提供一种基于实例分割的管道缺陷评估方法及装置，解决了现有技术中依赖人工经验和效率低下的技术问题，实现了提高管道缺陷评估效率和准确性的技术效果。
57.本发明实施例中的技术方案为解决上述技术问题，总体思路如下：
58.(1)获取排水管道内部缺陷图像，对图像进行分类、预处理及标签制作，得到初始样本数据集；
59.(2)对初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；
60.(3)以swin transformer为主干网络构建排水管道缺陷实例分割模型，基于数据扩充后的样本数据集进行模型训练；
61.(4)将待检测的管道缺陷图片使用构建好的模型进行缺陷分类和实例分割，在此基础上，依据现行的cjj181-2012《城镇排水管道检测与评估技术规程》，结合各类管道缺陷特征，制定出缺陷量化分级评估方案，得出管道缺陷量化分级评估结论。
62.具体地管道缺陷量化评估方法实现的具体流程为：
63.(1)将待检测的管道缺陷图片使用构建好的模型进行缺陷分类和分割，得到有缺陷的类别及缺陷分割实例掩膜轮廓坐标。若无缺陷，则直接查看下一张图片；
64.(2)根据缺陷类型调用不同的算法对缺陷进行参数计算，实现各类缺陷的量化分级评估。
65.具体地，如果属于沉积、树根、障碍物、渗漏、变形这五类缺陷，就调用面积相关处理算法计算；如果属于错口、脱节这两类缺陷，就调用距离相关类算法处理；如果属于破裂、接口材料脱落、腐蚀这三类缺陷，就采用单独评级类算法处理。
66.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
67.参见图1和图2，本发明实施例提供的基于实例分割的管道缺陷评估方法，包括：
68.步骤s110：获取管道内部缺陷图像，对图像进行分类、预处理及标签制作，得到初
始样本数据集；
69.步骤s120：对初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；
70.具体地，对初始样本数据集进行数据扩充，包括：
71.对初始样本数据集进行数据扩充通过随机裁剪、缩放、翻转、颜色空间变换的方式进行数据扩充。
72.步骤s130：以swin transformer为主干网络构建实例分割模型，并采用数据扩充的样本数据集进行模型训练；
73.步骤s140：将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论。
74.本发明实施例提供了多种管道缺陷的评估方法，具体地，沉积、树根、障碍物、渗漏或变形这5类缺陷的评估方法如下：
75.将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
76.将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
77.若缺陷类别属于沉积、树根、障碍物或渗漏，使用opencv的contourarea方法计算掩膜区域的像素面积s；通过公式计算得到评级参数ratio；其中，area
defect
＝s，area
image
为待检测的管道缺陷图像的面积；
78.若缺陷类别属于变形，计算掩膜区域的像素面积s；采用最小二乘法基于掩膜轮廓坐标，拟合出其外接圆c作为原始管道区域，并使用opencv的contourarea方法计算出c的像素面积area；通过公式计算得到评级参数ratio；其中，area
identify
＝s；
79.根据评级参数ratio查表得到缺陷等级。
80.具体地，按照预设的面积相关类的管道缺陷量化分级评估表1中给定的不同缺陷类型阈值查表确定缺陷等级。
81.表1管道缺陷量化分级评估方案(面积相关类)
82.83.[0084][0085]
本发明实施例还提供了错口或脱节缺陷的评估方法，具体地，将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
[0086]
将待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
[0087]
若缺陷类别属于错口或脱节，使用opencv的pointpolygontest方法计算掩膜内部所有点与所述轮廓坐标的最短距离ri，设轮廓类有n个点，i＝1，
…
,n；
[0088]
通过公式d＝2r
p
计算掩膜区域内部的最大内切圆的直径d；其中，r
p
为ri中的最大值；具体地，使用opencv的minmaxloc方法进行筛选，得到最大值r
p
,则p点为圆心坐标，r
p
,为掩膜区域内部的最大内切圆半径。如果是错口缺陷，则d为管口偏差值；如果是脱节缺陷，则d为脱节距离。
[0089]
根据d查表得到缺陷等级。
[0090]
具体地，按照预设的距离相关类的管道缺陷量化分级评估表2中给定的不同缺陷类型阈值查表确定缺陷等级。
[0091]
表2管道缺陷量化分级评估方案(距离相关类)
[0092]
[0093][0094]
此外，本发明实施例还提供了接口材料脱落或腐蚀缺陷的评估方法，具体地，将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：
[0095]
将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
[0096]
若缺陷类别属于接口材料脱落，遍历缺陷掩膜的轮廓坐标y值，获得最大值y
max
；将y
max
与图像中线的y值ym进行比较，根据比较结果查表得到缺陷等级；具体地，若y
max
《ym，为1级缺陷，否则为2级缺陷。
[0097]
为了对腐蚀类缺陷进行评估，在建模时，分为两类进行了标注和训练，图像经过实例分割模型直接输出ⅰ类腐蚀或者ⅱ类腐蚀。
[0098]
若缺陷类别属于ⅰ类腐蚀，其表现为管壁出现凹凸面，直接查表得到缺陷等级；
[0099]
若缺陷类别属于ⅱ类腐蚀，其表现为管壁露出了钢筋，使用opencv的contourarea方法计算缺陷掩膜区域的像素面积s；通过公式计算得到评级参数ratio；其中，area
defect
＝s，area
image
为待检测的管道缺陷图像的面积；
[0100]
根据评级参数ratio查表得到缺陷等级。
[0101]
具体地，按照预设的单独评级类的管道缺陷量化分级评估表3中给定的腐蚀分级标准阈值查表确定缺陷等级。
[0102]
表3管道缺陷量化分级评估方案(单独评级类)
[0103][0104]
此外，本发明实施例还提供了破裂缺陷的评估方法，破裂缺陷采用直接分级方法。在建模时，就直接照其等级分为四类进行标注和训练，图像经过实例分割模型直接输出破裂缺陷的类型和等级。
[0105]
参见图3，本发明实施例提供的基于实例分割的管道缺陷评估装置，包括：
[0106]
图像处理模块100，用于获取管道内部缺陷图像，对图像进行分类、预处理及标签制作，得到初始样本数据集；
[0107]
数据扩充模块200，用于对初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；
[0108]
具体地，数据扩充模块200，具体用于对初始样本数据集进行数据扩充通过随机裁
剪、缩放、翻转、颜色空间变换的方式进行数据扩充，同时标注信息按对应操作方式改变。
[0109]
实例分割模型构建模块300，用于以swin transformer为主干网络构建实例分割模型，并采用数据扩充的样本数据集进行模型训练；
[0110]
缺陷评估模块400，用于将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论。
[0111]
本发明实施例提供了多种管道缺陷的评估方法，具体地，为了对沉积、树根、障碍物、渗漏或变形这5类缺陷进行评估，缺陷评估模块400，包括：
[0112]
缺陷图像输入单元，用于将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
[0113]
第一计算单元，用于若缺陷类别属于沉积、树根、障碍物或渗漏，使用opencv的contourarea方法计算掩膜区域的像素面积s；通过公式计算得到评级参数ratio；其中，area
defect
＝s，area
image
为待检测的管道缺陷图像的面积；
[0114]
第二计算单元，用于若缺陷类别属于变形，计算掩膜区域的像素面积s；采用最小二乘法基于掩膜轮廓坐标，拟合出其外接圆c作为原始管道区域，并使用opencv的contourarea方法计算出c的像素面积area；通过公式计算得到评级参数ratio；其中，area
identify
＝s；
[0115]
第一缺陷评级单元，用于根据评级参数ratio查表得到缺陷等级。
[0116]
为了对错口、脱节缺陷进行评估，缺陷评估模块400，包括：
[0117]
缺陷图像输入单元，用于将待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
[0118]
第三计算单元，用于若缺陷类别属于错口或脱节，使用opencv的pointpolygontest方法计算掩膜内部所有点与所述轮廓坐标的最短距离ri，设轮廓类有n个点，i＝1，
…
,n；
[0119]
第四计算单元，用于通过公式d＝2r
p
计算掩膜区域内部的最大内切圆的直径d；其中，r
p
为ri中的最大值；具体地，使用opencv的minmaxloc方法进行筛选，得到最大值r
p
,则p点为圆心坐标，r
p
,为掩膜区域内部的最大内切圆半径。如果是错口缺陷，则d为管口偏差值；如果是脱节缺陷，则d为脱节距离。
[0120]
第二缺陷评级单元，用于根据d查表得到缺陷等级。
[0121]
为了对接口材料脱落、腐蚀缺陷进行评估，缺陷评估模块400，包括：
[0122]
缺陷图像输入单元，用于将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
[0123]
第三缺陷评级单元，用于若缺陷类别属于接口材料脱落，遍历缺陷掩膜的轮廓坐标y值，获得最大值y
max
；将y
max
与图像中线的y值ym进行比较，根据比较结果查表得到缺陷等级；具体地，若y
max
《ym，为1级缺陷，否则为2级缺陷。
[0124]
为了对腐蚀类缺陷进行评估，在建模时，分为两类进行了标注和训练，图像经过实例分割模型直接输出ⅰ类腐蚀或者ⅱ类腐蚀。
[0125]
第四缺陷评级单元，用于若缺陷类别属于ⅰ类腐蚀，其表现为管壁出现凹凸面，直接查表得到缺陷等级；
[0126]
第五计算单元，用于若缺陷类别属于ⅱ类腐蚀，其表现为管壁露出了钢筋，使用opencv的contourarea方法计算缺陷掩膜区域的像素面积s；通过公式计算得到评级参数ratio；其中，area
defect
＝s，area
image
为待检测的管道缺陷图像的面积；
[0127]
第五缺陷评级单元，用于根据评级参数ratio查表得到缺陷等级。
[0128]
下面结合具体实验对本发明实施例的管道缺陷评估的准确性进行分析：
[0129]
(1)实验数据概况
[0130]
研究区域位于松滋市，本发明实施例选取了研究区域内环境综合治理项目中的三个工程段的排水管道检测与评估成果报告中的缺陷图像作为实验数据。排水管道总长度为14456.44米，总管段数为534根，成果报告中评估有缺陷的部位共计231处。
[0131]
(2)评估方法应用
[0132]
利用本发明实施例提出的评估方法及装置对报告中涉及的所有缺陷图像进行了缺陷分级评估，图4为工程段中部分缺陷的识别效果图，掩膜为缺陷所在的区域，边界框上标识的是缺陷的类别以及判定为该类别的置信度，表4为对应缺陷按表2分级评估的结果。
[0133]
表4缺陷分级评估结果
[0134][0135]
(3)结果评价与分析
[0136]
实验数据工程段的排水管道检测与评估成果报告是由负责该项工程的技术人员所完成，在评估准确率上应满足工程技术标准的要求，以成果报告中对应的结果为参考，使用缺陷识别准确率、缺陷分级准确率、漏检率和错检率评估本发明实施例提供的评估方法，将其分别定义为pi、pg、pm、pw，计算方法见公式(1)、(2)、(3)、(4)，其中n为有缺陷的所有样
本数，ni为正确识别缺陷种类的样本数，ng为正确识别缺陷种类及等级的样本数，nm为未识别到缺陷的样本数，nw为识别错误的样本数。
[0137][0138][0139][0140][0141]
表5为实验区域排水管道图片的所有缺陷识别结果，经公式(1)、(2)、(3)、(4)计算得到结果评价指标如表6所示，缺陷识别准确率达到91.34％，漏检率为3.46％，错检率为5.2％，分级准确率达到88.75％，由此可知，本发明实施例的缺陷识别准确率和分级准确率均较高。
[0142]
表5排水管道缺陷识别结果
[0143][0144][0145]
表6实验结果评价
[0146]
[0147]
本发明实施例基于排水管道缺陷实例分割技术，可以获得缺陷的面积、长度、位置等属性信息。在此基础上，结合各类缺陷特征及其等级判定标准，提出了一套管道缺陷分级评估方案，降低了人工成本，可有效简化地下排水管道缺陷评估流程，能够避免由于人工视觉疲劳或个人主观因素等影响造成的误判，提升了排水管道缺陷检测与评估的智能化水平。
[0148]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0149]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0150]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0151]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0152]
本发明实施例未详述之处，均为本技术领域技术人员的公知技术。最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种基于实例分割的管道缺陷评估方法，其特征在于，包括：获取管道内部缺陷图像，对所述图像进行分类、预处理及标签制作，得到初始样本数据集；对所述初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；以swin transformer为主干网络构建实例分割模型，并采用数据扩充的样本数据集进行模型训练；将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论。2.如权利要求1所述的基于实例分割的管道缺陷评估方法，其特征在于，所述对所述初始样本数据集进行数据扩充，包括：对所述初始样本数据集进行数据扩充通过随机裁剪、缩放、翻转、颜色空间变换的方式进行数据扩充。3.如权利要求1所述的基于实例分割的管道缺陷评估方法，其特征在于，所述将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；若所述缺陷类别属于沉积、树根、障碍物或渗漏，计算掩膜区域的像素面积s；通过公式计算得到评级参数ratio；其中，area
defect
＝s，area
image
为所述待检测的管道缺陷图像的面积；若所述缺陷类别属于变形，计算掩膜区域的像素面积s；采用最小二乘法基于所述掩膜轮廓坐标，拟合出其外接圆c作为原始管道区域，并计算出c的像素面积area；通过公式计算得到评级参数ratio；其中，area
identify
＝s；根据所述评级参数ratio查表得到缺陷等级。4.如权利要求1所述的基于实例分割的管道缺陷评估方法，其特征在于，所述将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；若所述缺陷类别属于错口或脱节，计算掩膜内部所有点与所述轮廓坐标的最短距离r
i
，i＝1，
…
,n；通过公式d＝2r
p
计算掩膜区域内部的最大内切圆的直径d；其中，r
p
为r
i
中的最大值；根据d查表得到缺陷等级。5.如权利要求1所述的基于实例分割的管道缺陷评估方法，其特征在于，所述将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论，包括：将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；
若所述缺陷类别属于接口材料脱落，遍历缺陷掩膜的轮廓坐标y值，获得最大值y
max
；将y
max
与图像中线的y值y
m
进行比较，根据比较结果查表得到缺陷等级；若所述缺陷类别属于ⅰ类腐蚀，直接查表得到缺陷等级；若所述缺陷类别属于ⅱ类腐蚀，计算缺陷掩膜区域的像素面积s；通过公式计算得到评级参数ratio；其中，area
defect
＝s，area
image
为所述待检测的管道缺陷图像的面积；根据所述评级参数ratio查表得到缺陷等级。6.一种基于实例分割的管道缺陷评估装置，其特征在于，包括：图像处理模块，用于获取管道内部缺陷图像，对所述图像进行分类、预处理及标签制作，得到初始样本数据集；数据扩充模块，用于对所述初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变；实例分割模型构建模块，用于以swin transformer为主干网络构建实例分割模型，并采用数据扩充的样本数据集进行模型训练；缺陷评估模块，用于将待检测的管道缺陷图像输入到训练好的实例分割模型进行缺陷分类和实例分割，结合各类管道缺陷特征，得到缺陷量化分级评估结论。7.如权利要求6所述的基于实例分割的管道缺陷评估装置，其特征在于，所述数据扩充模块，具体用于对所述初始样本数据集进行数据扩充通过随机裁剪、缩放、翻转、颜色空间变换的方式进行数据扩充，同时标注信息按对应操作方式改变。8.如权利要求6所述的基于实例分割的管道缺陷评估装置，其特征在于，所述缺陷评估模块，包括：缺陷图像输入单元，用于将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；第一计算单元，用于若所述缺陷类别属于沉积、树根、障碍物或渗漏，计算掩膜区域的像素面积s；通过公式计算得到评级参数ratio；其中，area
defect
＝s，area
image
为所述待检测的管道缺陷图像的面积；第二计算单元，用于若所述缺陷类别属于变形，计算掩膜区域的像素面积s；采用最小二乘法基于所述掩膜轮廓坐标，拟合出其外接圆c作为原始管道区域，并计算出c的像素面积area；通过公式计算得到评级参数ratio；其中，area
identify
＝s；第一缺陷评级单元，用于根据所述评级参数ratio查表得到缺陷等级。9.如权利要求6所述的基于实例分割的管道缺陷评估装置，其特征在于，所述缺陷评估模块，包括：缺陷图像输入单元，用于将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；第三计算单元，用于若所述缺陷类别属于错口或脱节，计算掩膜内部所有点与所述轮廓坐标的最短距离r
i
，i＝1，
…
,n；第四计算单元，用于通过公式d＝2r
p
计算掩膜区域内部的最大内切圆的直径d；其中，r
p
为r
i
中的最大值；第二缺陷评级单元，用于根据d查表得到缺陷等级。10.如权利要求6所述的基于实例分割的管道缺陷评估装置，其特征在于，所述缺陷评估模块，包括：缺陷图像输入单元，用于将所述待检测的管道缺陷图像输入到所述训练好的实例分割模型进行缺陷分类和实例分割，得到缺陷类别及缺陷分割实例掩膜轮廓坐标；第三缺陷评级单元，用于若所述缺陷类别属于接口材料脱落，遍历缺陷掩膜的轮廓坐标y值，获得最大值y
max
；将y
max
与图像中线的y值y
m
进行比较，根据比较结果查表得到缺陷等级；第四缺陷评级单元，用于若所述缺陷类别属于ⅰ类腐蚀，直接查表得到缺陷等级；第五计算单元，用于若所述缺陷类别属于ⅱ类腐蚀，计算缺陷掩膜区域的像素面积s；通过公式计算得到评级参数ratio；其中，area
defect
＝s，area
image
为所述待检测的管道缺陷图像的面积；第五缺陷评级单元，用于根据所述评级参数ratio查表得到缺陷等级。

技术总结
本发明公开了一种基于实例分割的管道缺陷评估方法及装置。首先收集管道内部缺陷图像，对图像进行预处理，进行样本数据标签制作，得到初始样本数据集。再对得到的初始样本数据集进行数据扩充，同时标注信息按对应操作方式改变。然后构建排水管道缺陷实例分割模型，基于数据扩充后的样本数据集进行模型训练。最后，对管道缺陷判读与等级评定方法进行深入分析，结合各类管道缺陷特征和实例分割获取到的几何特征等信息，制定了基于实例分割的管道缺陷量化分级评估方案。本发明不但能够准确检测出管道的缺陷类型及其位置、几何轮廓等信息，而且还可以实现管道缺陷的量化分级评估，降低了人工成本，简化了管道缺陷评估流程，提高了缺陷评估的准确性。缺陷评估的准确性。缺陷评估的准确性。


技术研发人员：胡华科 蔡永香 杨岸霖 游小玲 王荟奥 张凇源 张梦琪
受保护的技术使用者：长江大学
技术研发日：2023.04.28
技术公布日：2023/8/23