一种基于图像识别技术的盾构管片接缝张开量测量方法与流程

1.本发明涉及盾构施工技术领域。更具体地说，本发明涉及一种基于图像识别技术的盾构管片接缝张开量测量方法。


背景技术：

2.盾构隧道的衬砌通常采用预制管片拼装而成，管片间存在纵向和环向接缝，接缝处是衬砌结构受力的薄弱环节。盾构隧道在施工和运营过程中，由于地层条件、施工缺陷、荷载作用、周边环境影响等原因，不可避免的出现管片间接缝的张开，对隧道结构的变形和内力都会造成不利影响，在接缝张开量到达一定的量值后，隧道可能出现渗水现象，甚至出现局部应力集中而导致管片损坏，影响隧道的安全性和使用性。特别是在施工期，由于地层扰动导致不均匀沉降较为严重，隧道管片接缝间的张开变形以及隧道渗水等工程问题可能会更加明显。为保障盾构隧道结构运行安全，为隧道维护提供数据支撑，需要对盾构管片的接缝间隙开展及时和有效的检测。
3.目前，盾构管片接缝的间隙主要通过人工手段获取，测量人员需要接近接缝处，然后采用塞尺、卡尺等工具进行测量，对于高处等难以接触的位置，则需要脚手架辅助，而对于无法触及的区域则成为检测盲区，此外，检测数据的记录和整理也主要通过人工完成，容易出现疏漏和错误。综上，人工接触式测量方式存在检测过程繁琐、检测效率较低、检测范围有限、数字化程度较低等不足，容易出现接缝处缝隙发现不及时，修复不到位等问题，需研究更为快速高效的接缝间隙检测方法。


技术实现要素：

4.本发明的一个目的是提供一种基于图像识别技术的盾构管片接缝张开量测量方法，能实现管片接缝张开量的高效和高精度测量。
5.为了实现根据本发明的这些目的和其它优点，提供了一种基于图像识别技术的盾构管片接缝张开量测量方法，包括如下步骤：
6.步骤s1、获取管片接缝图像及其参数，以及管片接缝图像对应的拍照距离；
7.步骤s2、构建并训练管片接缝图像的网络模型；
8.步骤s3、将步骤s1中获取的管片接缝图像输入至所述步骤s2得到的管片接缝图像的网络模型中，输出管片接缝边缘位置的二值图；
9.步骤s4、管片接缝图像测距换算，根据管片接缝边缘位置的二值图，在图像坐标轴的x方向上进行投影累积，累积到的像素值密集高峰处即对应管片接缝的边缘x坐标，通过左右边缘像素x坐标的差值计算，即可得到管片接缝宽度的像素值，其结合所述步骤s1中的管片接缝图像参数以及管片接缝图像对应的拍照距离得到接缝实际物理宽度，即为管片接缝张开量。
10.优选的是，所述步骤s1中管片接缝图像的获取是通过手机拍照，管片接缝图像对应的拍照距离通过激光测距设备获取。
11.优选的是，所述步骤s2中的管片接缝图像的网络模型是基于transformer模型构建的，其为1个编码器和3个解码器的模块结构，3个解码器分别为：图像质量分类解码器，管片接缝的缺陷分割解码器以及管片接缝的边缘分割解码器。
12.优选的是，所述步骤s2具体包括如下步骤：
13.步骤s2.1、获取多张待检测管片接缝图像和对应的标注样本，标注样本包括：需要分割的管片接缝边缘二值图、管片接缝缺陷二值图、管片接缝图像质量人工评价标签，将标注好的图像数据作为训练样本集；
14.步骤s2.2、以待检测管片接缝图像和管片接缝图像质量人工评价标签组成的训练样本集作为输入，以对应的图像质量分类解码器的输出变量作为输出，然后基于损失函数，训练图像特征编码器和管片接缝图片质量分类解码器；
15.步骤s2.3、以待检测管片接缝图像和管片接缝缺陷二值图组成的训练样本集作为输入，以对应的管片接缝缺陷分割解码器生成的二值分割图作为输出，然后基于损失函数，训练图像特征编码器和管片接缝的缺陷分割解码器；
16.步骤s2.4、以待检测管片接缝图像和管片接缝边缘二值图组成的训练样本集作为输入，以对应的管片接缝边缘分割解码器生成的二值分割图作为输出，然后基于损失函数，训练图像特征编码器和管片接缝的边缘分割解码器。
17.优选的是，所述步骤s3具体包括如下步骤：
18.步骤s3.1、将步骤s1中获取的管片接缝图像输入至步骤s2.2训练得到的图像特征编码器和管片接缝图片质量分类解码器中，得到这张管片接缝图像对应的图像质量评价标签，并与预设值进行对比，符合要求则进行下一步骤s3.2，不符合要求则剔除这张管片接缝图像对应的测量数据；
19.步骤s3.2、将步骤s1中获取的管片接缝图像输入至步骤s2.4训练得到的图像特征编码器和管片接缝的边缘分割解码器中，得到这张管片接缝图像对应的边缘位置二值图，用于所述步骤s4中的计算。
20.优选的是，所述步骤s3具体还包括如下步骤：
21.步骤s3.3、将步骤s1中获取的管片接缝图像输入至步骤s2.3训练得到的图像特征编码器和管片接缝的缺陷分割解码器中，得到这张管片接缝图像对应的缺陷分割二值图；
22.步骤s3.4、将上述步骤s3.3得到的缺陷分割二值图的坐标与步骤s3.2得到的边缘位置二值图的坐标进行一一对比，得出管片接缝的缺陷位置及其对应的坐标，将对应的坐标计算得出的测量管片接缝张开量数据作为异常数据进行提示，通过人工处理异常数据。
23.优选的是，所述步骤s3.1中不符合要求的管片接缝图像通过软件弹出提示，人工进行二次判断图像是否可用，若能用则进行下一步骤s3.2，若不能用则剔除这张管片接缝图像对应的测量数据。
24.优选的是，所述编码器中变换器网络模型包括三个模块，分别为自注意力机制模块，混淆前向传播网络模块和重叠图像块合并模块，自注意力机制模块的目的是将相关性较高的图像特征向量，赋予更高的权重；混淆前向传播网络模块用于实现对图像特征的进一步提取；重叠图像块合并模块的功能是将不同层级的transformer提取到的特征向量调整到统一维度，再将不同尺度上的图像特征进行级联。
25.优选的是，管片接缝缺陷分割解码器对管片接缝处的缺陷进行语义分割，采用
unet模型完成管片间缝缺陷的提取。
26.优选的是，管片接缝的边缘特征解码器网络模型由多个变换器网络模块组成；管片接缝边缘分割解码器由特征融合模块、特征空间变换模块和特征级联模块3个模块构成的；特征融合模块的作用是将编码器中级联的不同层级的图像特征进行融合，以获取管片接缝的全局特征和局部特征，特征空间变化模块是用编码器中的高阶特征叉乘编码器中的低阶特征，利用管片接缝分布的全局空间连续性，特征级联模块的作用是将编码器模块中各个层级的变换器网络模块提取到的特征进行卷积再提取。
27.本发明至少包括以下有益效果：
28.1、本发明能够自动的完成拍摄角度、拍摄距离、图片拍摄质量等是否满足测量要求的判断，有效解决了人工接触式测量方式存在检测过程繁琐、检测效率较低、检测范围有限、数字化程度较低等不足，容易出现接缝处缝隙发现不及时，修复不到位等问题。
29.2、本发明通过基于transformer的编码器+基于空间变换网络的多个解码器的结构，可以快速完成管片接缝的缺陷检测和管片接缝边缘的高精度检测，可以广泛应用于盾构隧道领域。
30.3、本发明测量精度高，抗干扰性能较好；通过使用基于级联式的transformer编码器，能够实现在多个尺度上的特征提取工作。
31.4、本发明能够同时输出管片间缝的缺陷分割图，便于隧道管理人员分析判断管片施工和维护状态；特别是本发明基于transformer分割网络是由经典的编码器和解码器这两个部分构成。
32.本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
33.图1为本发明管片接缝测量分析网络框架图；
34.图2为本发明管片接缝测量分析网络的编码器模块示意图；
35.图3为本发明管片接缝测量分析网络的图像质量分类解码器示意图；
36.图4为本发明管片间缝测量分析网络编码器的变换器网络模块示意图；
37.图5为本发明管片间缝测量分析网络的接缝分割解码器的网络示意图。
具体实施方式
38.下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
39.需要说明的是，下述实施方案中所述实验方法，如无特殊说明，均为常规方法，所述试剂和材料，如无特殊说明，均可从商业途径获得；在本发明的描述中，术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
40.本发明提供一种基于图像识别技术的盾构管片接缝张开量测量方法，包括如下步
骤：
41.步骤s1、获取管片接缝图像及其参数，以及管片接缝图像对应的拍照距离；
42.所述步骤s1中管片接缝图像的获取是通过手机拍照的形式获取，通过手机拍照获得图像的焦距、距离、iso、f、s、af-a、ev等信息，管片接缝图像对应的拍照距离通过激光测距设备获取。
43.步骤s2、构建并训练管片接缝图像的网络模型；
44.如图1所示，所述步骤s2中的管片接缝图像的网络模型是基于transformer模型构建的，其为1个编码器和3个解码器的模块结构，其中编码器模块是由多个级联的transformer模块组成的，这种级联的形式，能够保证编码器能够在图像的全局和局部中完成对图像特征信息的提取。3个解码器分别为：图像质量分类解码器，管片接缝的缺陷分割解码器以及管片接缝的边缘分割解码器。
45.如图2所示，分割网络模型编码器中变换器网络模型主要由3个模块组成，依次是：高效的自注意力机制模块，混淆前向传播网络模块和重叠图像块合并模块。为了实现不同分辨率的图像特征的提取，管片间缝的编码器是由层次化的变换器级联构成的，使用多个级联的transformer特征提取模块作为编码器模块。为了保证变换器提取到的特征不会因为图像区块的坐标固定而被破坏，变换器使用到坐标区域互相有重叠的区块。
46.为了解决变换器无法对图像的空间信息进行编码的问题，我们采用的模型的编码器模块采用了基于卷积层的位置嵌入的方案，将图像像素对应的空间坐标嵌入到特征向量中去，这样就能够避免图像分辨率发生变化带来的性能损失。
47.自注意力机制的目的是将相关性较高的图像特征向量，赋予更高的权重；混淆前向传播网络用于实现对图像特征的进一步提取；而最后的重叠图像块合并模块的功能是将不同层级的transformer提取到的特征向量调整到统一维度，然后将不同尺度上的图像特征进行级联。
48.所述步骤s2具体包括如下步骤：
49.步骤s2.1、获取多张待检测管片接缝图像和对应的标注样本，标注样本包括：需要分割的管片接缝边缘二值图、管片接缝缺陷二值图、管片接缝图像质量人工评价标签，将标注好的图像数据作为训练样本集；
50.步骤s2.2、以待检测管片接缝图像和管片接缝图像质量人工评价标签组成的训练样本集作为输入，以对应的图像质量分类解码器的输出变量作为输出，然后基于损失函数，训练图像特征编码器和管片接缝图片质量分类解码器；
51.图像质量分类解码器的设计功能即，完成现场人员拍摄管片接缝照片的质量判断，当拍摄图片对比度小于预设值时，或者拍摄角度、拍摄距离与预设拍摄角度偏差大于预设偏差时，则通过手机提示拍摄人员图片质量不合格，需要重新拍摄，以满足高精度测量的需求；图像质量分类解码器器的网络构成如图3所示，组成为多个并联的空间特征提取卷积网络、特征融合层、两个全卷积层和最后的softmax非线性预测输出层。
52.步骤s2.3、以待检测管片接缝图像和管片接缝缺陷二值图组成的训练样本集作为输入，以对应的管片接缝缺陷分割解码器生成的二值分割图作为输出，然后基于损失函数，训练图像特征编码器和管片接缝的缺陷分割解码器；
53.管片接缝缺陷分割解码器的功能是对管片接缝处的粘附水泥斑点和间缝破损处
等缺陷的语义分割，便于辅助管片的人工维护；由于管片间缝的缺陷尺寸较大，特征相对较为明显，因此使用常见的unet模型即可完成管片间缝缺陷的提取。
54.步骤s2.4、以待检测管片接缝图像和管片接缝边缘二值图组成的训练样本集作为输入，以对应的管片接缝边缘分割解码器生成的二值分割图作为输出，然后基于损失函数，训练图像特征编码器和管片接缝的边缘分割解码器；
55.如图4所示，不同于传统的卷积神经网络，管片接缝的边缘特征编码器网络模型主要为多个变换器网络模块组成，这些变换器网络模块的主要作用就是将编码器中的级联特征的通道都统计调整到统一，然后将这些特征都上采样到原始图像的1/4分辨率后进行级联，最后将这些图像特征进行融合，输入到最后一层的线性层来做结果预测。
56.管片接缝的边缘分割解码器的网络模型构成如图5所示：与常见的unet不同，管片接缝边缘分割解码器由特征融合模块、特征空间变换模块和特征级联模块3个模块构成的。特征融合模块的作用是将编码器中级联的不同层级的图像特征的融合，以获取管片间缝的全局特征和局部特征。而特征空间变化模块是用编码器中的高阶特征叉乘编码器中的低阶特征，可以利用管片间缝分布的全局空间连续性。特征级联模块的作用是将编码器模块中各个层级的变换器网络模块提取到的特征进行卷积再提取。
57.步骤s3、将步骤s1中获取的管片接缝图像输入至所述步骤s2得到的管片接缝图像的网络模型中，输出管片接缝边缘位置的二值图；
58.所述步骤s3具体包括如下步骤：
59.步骤s3.1、将步骤s1中获取的管片接缝图像输入至步骤s2.2训练得到的图像特征编码器和管片接缝图片质量分类解码器中，得到这张管片接缝图像对应的图像质量评价标签，并与预设值进行对比，进而评价获取的图像质量好坏，符合要求则进行下一步骤s3.2，不符合要求则剔除这张管片接缝图像对应的测量数据；
60.所述步骤s3.1中不符合要求的管片接缝图像还可以设置通过软件弹出提示，人工进行二次判断图像是否可用，若能用则进行下一步骤s3.2，若不能用则剔除这张管片接缝图像对应的测量数据。
61.步骤s3.2、将步骤s1中获取的管片接缝图像输入至步骤s2.4训练得到的图像特征编码器和管片接缝的边缘分割解码器中，得到这张管片接缝图像对应的边缘位置二值图，用于所述步骤s4中的计算；
62.步骤s3.3、将步骤s1中获取的管片接缝图像输入至步骤s2.3训练得到的图像特征编码器和管片接缝的缺陷分割解码器中，得到这张管片接缝图像对应的缺陷分割二值图；
63.步骤s3.4、将上述步骤s3.3得到的缺陷分割二值图的坐标与步骤s3.2得到的边缘位置二值图的坐标进行一一对比，得出管片接缝的缺陷位置及其对应的坐标，将对应的坐标计算得出的测量管片接缝张开量数据作为异常数据进行提示，通过人工处理异常数据，可根据实际情况应用或者剔除对应的数据。
64.本技术目的是辅助现场人工快速判断管片质量，从三个维度进行判断，首先对获取的图像质量进行判断，若不能用不再进行后续的操作；其次，通过步骤s3.3和步骤s3.4来通过缺陷分割等判断测量的管片接缝张开度结果的采信度，需要得到精准的结果；最后在进行接缝张开量的测量，从而判断管片质量。
65.步骤s4、管片接缝图像测距换算；
66.步骤s4.1、根据管片接缝边缘位置的二值图，在图像坐标轴的x方向上进行投影累积，累积到的像素值密集高峰处即对应管片接缝的边缘x坐标，通过左右边缘像素x坐标的差值计算，即可得到管片接缝宽度的像素值；
67.步骤s4.2、步骤s4.1中得到的管片接缝宽度的像素值，其结合所述步骤s1中的管片接缝图像参数以及管片接缝图像对应的拍照距离，并利用相机小孔成像原理，得到接缝实际物理宽度，即为管片接缝张开量，具体计算公式如下：
[0068][0069]
公式中的变量dist、n、d、f、y分别为管片接缝的拍摄距离、管片接缝的成像像素个数、手机相机的像元尺寸、手机相机的焦距、通过拍摄得到的管片间缝的实际物理距离。
[0070]
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

技术特征：
1.一种基于图像识别技术的盾构管片接缝张开量测量方法，其特征在于，包括如下步骤：步骤s1、获取管片接缝图像及其参数，以及管片接缝图像对应的拍照距离；步骤s2、构建并训练管片接缝图像的网络模型；步骤s3、将步骤s1中获取的管片接缝图像输入至所述步骤s2得到的管片接缝图像的网络模型中，输出管片接缝边缘位置的二值图；步骤s4、管片接缝图像测距换算，根据管片接缝边缘位置的二值图，在图像坐标轴的x方向上进行投影累积，累积到的像素值密集高峰处即对应管片接缝的边缘x坐标，通过左右边缘像素x坐标的差值计算，即可得到管片接缝宽度的像素值，其结合所述步骤s1中的管片接缝图像参数以及管片接缝图像对应的拍照距离得到接缝实际物理宽度，即为管片接缝张开量。2.如权利要求1所述的基于图像识别技术的盾构管片接缝张开量测量方法，其特征在于，所述步骤s1中管片接缝图像的获取是通过手机拍照，管片接缝图像对应的拍照距离通过激光测距设备获取。3.如权利要求1所述的基于图像识别技术的盾构管片接缝张开量测量方法，其特征在于，所述步骤s2中的管片接缝图像的网络模型是基于transformer模型构建的，其为1个编码器和3个解码器的模块结构，3个解码器分别为：图像质量分类解码器，管片接缝的缺陷分割解码器以及管片接缝的边缘分割解码器。4.如权利要求3所述的基于图像识别技术的盾构管片接缝张开量测量方法，其特征在于，所述步骤s2具体包括如下步骤：步骤s2.1、获取多张待检测管片接缝图像和对应的标注样本，标注样本包括：需要分割的管片接缝边缘二值图、管片接缝缺陷二值图、管片接缝图像质量人工评价标签，将标注好的图像数据作为训练样本集；步骤s2.2、以待检测管片接缝图像和管片接缝图像质量人工评价标签组成的训练样本集作为输入，以对应的图像质量分类解码器的输出变量作为输出，然后基于损失函数，训练图像特征编码器和管片接缝图片质量分类解码器；步骤s2.3、以待检测管片接缝图像和管片接缝缺陷二值图组成的训练样本集作为输入，以对应的管片接缝缺陷分割解码器生成的二值分割图作为输出，然后基于损失函数，训练图像特征编码器和管片接缝的缺陷分割解码器；步骤s2.4、以待检测管片接缝图像和管片接缝边缘二值图组成的训练样本集作为输入，以对应的管片接缝边缘分割解码器生成的二值分割图作为输出，然后基于损失函数，训练图像特征编码器和管片接缝的边缘分割解码器。5.如权利要求4所述的基于图像识别技术的盾构管片接缝张开量测量方法，其特征在于，所述步骤s3具体包括如下步骤：步骤s3.1、将步骤s1中获取的管片接缝图像输入至步骤s2.2训练得到的图像特征编码器和管片接缝图片质量分类解码器中，得到这张管片接缝图像对应的图像质量评价标签，并与预设值进行对比，符合要求则进行下一步骤s3.2，不符合要求则剔除这张管片接缝图像对应的测量数据；步骤s3.2、将步骤s1中获取的管片接缝图像输入至步骤s2.4训练得到的图像特征编码
器和管片接缝的边缘分割解码器中，得到这张管片接缝图像对应的边缘位置二值图，用于所述步骤s4中的计算。6.如权利要求5所述的基于图像识别技术的盾构管片接缝张开量测量方法，其特征在于，所述步骤s3具体还包括如下步骤：步骤s3.3、将步骤s1中获取的管片接缝图像输入至步骤s2.3训练得到的图像特征编码器和管片接缝的缺陷分割解码器中，得到这张管片接缝图像对应的缺陷分割二值图；步骤s3.4、将上述步骤s3.3得到的缺陷分割二值图的坐标与步骤s3.2得到的边缘位置二值图的坐标进行一一对比，得出管片接缝的缺陷位置及其对应的坐标，将对应的坐标计算得出的测量管片接缝张开量数据作为异常数据进行提示，通过人工处理异常数据。7.如权利要求5所述的基于图像识别技术的盾构管片接缝张开量测量方法，其特征在于，所述步骤s3.1中不符合要求的管片接缝图像通过软件弹出提示，人工进行二次判断图像是否可用，若能用则进行下一步骤s3.2，若不能用则剔除这张管片接缝图像对应的测量数据。8.如权利要求3所述的基于图像识别技术的盾构管片接缝张开量测量方法，其特征在于，所述编码器中变换器网络模型包括三个模块，分别为自注意力机制模块，混淆前向传播网络模块和重叠图像块合并模块，自注意力机制模块的目的是将相关性较高的图像特征向量，赋予更高的权重；混淆前向传播网络模块用于实现对图像特征的进一步提取；重叠图像块合并模块的功能是将不同层级的transformer提取到的特征向量调整到统一维度，再将不同尺度上的图像特征进行级联。9.如权利要求3所述的基于图像识别技术的盾构管片接缝张开量测量方法，其特征在于，管片接缝缺陷分割解码器对管片接缝处的缺陷进行语义分割，采用unet模型完成管片间缝缺陷的提取。10.如权利要求3所述的基于图像识别技术的盾构管片接缝张开量测量方法，其特征在于，管片接缝的边缘特征解码器网络模型由多个变换器网络模块组成；管片接缝边缘分割解码器由特征融合模块、特征空间变换模块和特征级联模块3个模块构成的；特征融合模块的作用是将编码器中级联的不同层级的图像特征进行融合，以获取管片接缝的全局特征和局部特征，特征空间变化模块是用编码器中的高阶特征叉乘编码器中的低阶特征，利用管片接缝分布的全局空间连续性，特征级联模块的作用是将编码器模块中各个层级的变换器网络模块提取到的特征进行卷积再提取。

技术总结
本发明公开了一种基于图像识别技术的盾构管片接缝张开量测量方法，包括如下步骤：步骤S1、获取管片接缝图像及其参数，以及管片接缝图像对应的拍照距离；步骤S2、构建并训练管片接缝图像的网络模型；步骤S3、将步骤S1中获取的管片接缝图像输入至所述步骤S2得到的管片接缝图像的网络模型中，输出管片接缝边缘位置的二值图；步骤S4、管片接缝图像测距换算，根据管片接缝边缘位置的二值图，得到管片接缝宽度的像素值，其结合所述步骤S1中的管片接缝图像参数以及管片接缝图像对应的拍照距离得到接缝实际物理宽度，即为管片接缝张开量。本发明能实现管片接缝张开量的高效和高精度测量。明能实现管片接缝张开量的高效和高精度测量。明能实现管片接缝张开量的高效和高精度测量。


技术研发人员：高如超 杨钊 陈培帅 姬付全 刘朋飞 熊栋栋 贺创波 钟涵 张飞雷 许超 宋相帅 温博为 袁青 江鸿 杨林 李德杰 罗会武 朱大鹏 高鉴
受保护的技术使用者：中交第二航务工程局有限公司
技术研发日：2023.03.27
技术公布日：2023/8/9