基于显著目标检测的混凝土塌落度检测方法

1.本发明属于计算机视觉及人工智能技术领域，具体涉及基于显著目标检测的混凝土塌落度检测方法。


背景技术：

2.混凝土塌落度检测是评估混凝土的流动性和可塑性的指标；它是指混凝土在塌落锥试验中塌落的程度，也被称为塌落值或塌落度；
3.近年来，混凝土塌落度检测在工程建设和质量控制中变得越来越重要；传统的混凝土塌落度检测方法有塌落锥试验、压力板法、流度计等，这些方法通常依赖于人工操作和主观判断，存在主观性、不稳定性和人力资源的限制。


技术实现要素：

4.本发明的目的在于提供基于显著目标检测的混凝土塌落度检测方法，解决了现有检测方法依赖于人工操作和主观判断的问题。
5.本发明所采用的技术方案是：基于显著目标检测的混凝土塌落度检测方法，具体按以下步骤实施：
6.步骤1，图像预处理；
7.步骤2，基于深度学习的多尺度复用显著目标识别；
8.步骤3，像素差值转换与结果分析输出。
9.本发明的特点还在于：
10.其中步骤1图像预处理具体按以下步骤实施：
11.步骤1.1，收集具有不同塌落度的混凝土样本图像，并进行标注，将塌落的区域作为显著目标进行标记，构建一个带有标签的训练集；
12.步骤1.2，对训练数据集图像进行处理，处理后产生相似但又不完全相同的样本，进行数据扩充；
13.步骤1.3，将图像的像素值归一化到特定的范围；
14.其中步骤2基于深度学习的多尺度复用显著目标识别具体按以下步骤实施：
15.步骤2.1，构建一个3
×
3标准卷积进行特征提取并将通道数调整为一半；
16.步骤2.2，构建以resnet50作为主干网络的多尺度特征提取模块进行多尺度图像特征提取；
17.步骤2.3，构建交叉双向密集特征聚合模块对主干网络提取的特征进行全分辨率融合，提取语义更为丰富的多尺度特征；
18.步骤2.4，构建多分辨率语义互补模块，用于保留多个层次的多尺度特征相邻特征节点中的有用信息，逐级还原显著性目标的语义信息和空间信息；
19.步骤2.5，设置网络参数，进行网络训练与测试；
20.其中步骤2.2具体按以下步骤实施：
21.步骤2.2.1，构建以resnet50为主干的网络；
22.步骤2.2.2，通过堆叠多个残差块来实现多尺度特征提取；
23.步骤2.2.3，最后一层残差块之后添加全局平均池化层，将每个通道上的特征图进行平均池化操作，得到固定长度的特征向量；
24.其中步骤2.3具体按以下步骤实施：
25.步骤2.3.1，输入resnet50网络5个stage上提取到的基本特征a1～a5，作为第一个双向密集特征聚合模块的输入，该模块共有三层双向密集特征聚合层组成；
26.步骤2.3.2，第一层双向密集特征聚合层，以五个信号为输入，输出为：作为下一层输入的四个信号以及中间的多尺度语义特征n5；
27.步骤2.3.3，第二层双向密集特征聚合层，以四个信号为输入，输出为：作为下一层输入的三个信号以及中间的多尺度语义特征n4；
28.步骤2.3.4，第三层双向密集特征聚合层，以三个信号为输入，输出为：三个中间的多尺度语义特征n1、n2、n3；
29.步骤2.3.5，将五个中间多尺度语义特征n1、n2、n3、n4、n5输入到下一个双向密集特征聚合模块，两个双向密集特征聚合模块共同构成交叉双向密集特征聚合模块，且结构相同，最终输出为最终多尺度语义特征c1、c2、c3、c4、c5；
30.其中步骤2.3.2具体按以下步骤实施：
31.步骤2.3.2.1，a5通过上采样与a4进行逐元素线性加权操作以及卷积操作获得m4，同理自底向上依次获得m3，m2以及b1；
32.步骤2.3.2.2，b1下采样与m2、a2进行逐元素线性加权操作以及卷积操作获得b2，同理自顶向下的依次获得b3，b4，b5；其中b5作为最终的多尺度语义特征之一c5，同时b1，b2，b3，b4作为下一层双向密集特征聚合层的输入，融合公式如下：
[0033][0034][0035]
式中，conv为对特征进行卷积操作，由卷积操作、批归一化和relu激活函数组成；wi为特征融合阶段给每个输入所分配的权重系数，初始化为(0,1)的随机数；
[0036]
其中步骤2.4构建多分辨率语义互补模块具体按以下步骤实施：
[0037]
步骤2.4.1，步骤2.3中双向密集特征聚合模块输出的最终多尺度语义特征c1、c2、c3、c4、c5作为多分辨率语义互补模块的输入，这些特征分辨率依次减半，含有来自不同尺度目标的语义信息；
[0038]
步骤2.4.2，将输入的两个相邻特征进行concat操作合并，然后通过rate为2的空洞卷积，同时，进行归一化和relu操作，从而获取到了融合了两个输入特征的全局语义信息；公式如下：
[0039]fg
＝conv(concat(f1,f2))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0040]
式中，f1、f2表示相邻特征，conv表示带批量归一化层和relu激活函数的空洞；
[0041]
步骤2.4.3，通过逐元素相加将得到的全局语义信息添加回输入特征，来分别对输入特征进行空间和语义上的补强；公式如下：
[0042][0043][0044]
式中，为逐元素加法；
[0045]
步骤2.4.4，通过逐元素乘法，来有选择地继承两组从空间和语义上得到补强的特征，从而实现了让输入特征继承重要特性，同时丢弃更多噪声的目标，公式如下：
[0046][0047]
式中，为逐元素乘法；
[0048]
其中步骤3具体按以下步骤实施：
[0049]
步骤3.1，测量塌落度桶实际高度，将拍摄的塌落度实验前和试验后图像分别送入经过步骤2训练完毕的多尺度复用显著目标识别模块中，输出经过处理的二值化图像p、p
′
，其中灰度值为255的区域分别为对塌落度桶和对水泥的显著目标识别结果；
[0050]
步骤3.2，对步骤3.1得到的塌落度实验前的二值化图像p进行搜索，找到其中灰度值为255的区域的y轴坐标值的最高点y1和最低点yh，计算两点在y轴坐标值上的绝对差值，再根据塌落度桶的实际高度，计算出图像尺寸和实际尺寸的比值k；
[0051]
步骤3.3，对步骤3.1得到的塌落度实验后的二值化图像p
′
进行搜索，找到其中灰度值为255的区域的y轴坐标值最小点y1′
，计算该点和p中灰度值为255的区域的y轴坐标值的最小点的绝对差值，再根据k计算出塌落度的实际高度t；
[0052]
步骤3.4，根据塌落度分级计算混凝土分类结果，其中塌落度在10～40mm内为低塑性混凝土；塌落度在50～90mm内为塑性混凝土；塌落度在100～150mm内为流动性混凝土；塌落度大于160mm的为大流动性混凝土；
[0053]
步骤3.5，输出p、p
′
、t与混凝土分类结果。
[0054]
本发明的有益效果是：
[0055]
本发明的基于显著目标检测的混凝土塌落度检测方法中数据预处理工作和像素差值转换与结果分析输出不参与模型训练过程；基于深度学习的多尺度复用显著目标识别，通过以resnet50为主干的网络提取多尺度特征，使初始特征更加多样化；此外，加入了双向密集特征聚合模块和多分辨率语义互补模块，实现对不同分辨率的多层语义特征融合，能防止有用的特征被稀释，从而捕获更具判别性的抽象特征；总体而言，本方法首先对图像进行预处理，其次进行显著目标识别对混凝土进行标注，然后在像素差值转换与结果分析输出模块中完成塌落度检测。实验结果表明，与现有的方法相比，基于显著目标检测的混凝土塌落度检测方法，克服了现有混凝土塌落度检测方法依赖于人工操作和主观判断等问题，丰富了人工智能和计算机视觉的方法体系，为混凝土塌落度检测提供了一种选择。
附图说明
[0056]
图1是本发明的基于显著目标检测的混凝土塌落度检测方法中实施步骤2中显著目标检测的网络构架图；
[0057]
图2是本发明的基于显著目标检测的混凝土塌落度检测方法中实施步骤2.3中双向密集特征聚合层的网络构架图；
[0058]
图3是本发明的基于显著目标检测的混凝土塌落度检测方法中实施步骤2.4中多分辨率语义互补模块的网络构架图。
具体实施方式
[0059]
下面结合附图和具体实施方式对本发明进行详细说明。
[0060]
本发明提供了基于显著目标检测的混凝土塌落度检测方法，随着机器学习和深度学习的发展，混凝土塌落度的自动检测得到了广泛研究；这些方法可以基于颜色、纹理、形状等特征来识别和测量混凝土的塌落度；与传统方法相比，基于深度学习的方法能够从大量数据中学习特征表示，自动提取对塌落度预测有用的特征；模型能够适应不同的混凝土特性和施工条件；并且具备较高的预测准确性和稳定性；本技术选择以卷积神经网络为基础，围绕显著目标检测技术展开研究，关键技术包括以下三项：图像预处理、显著目标识别、像素差值转换与结果分析输出；通过这三项关键技术的实现，共同完成混凝土塌落度检测的任务，从而弥补现有混凝土塌落度检测方法依赖于人工操作和主观判断等问题；这对实现显著目标识别、塌落度检测、图像处理等技术的实现具有重要意义。
[0061]
实施例1
[0062]
基于显著目标检测的混凝土塌落度检测方法，具体按以下步骤实施：
[0063]
步骤1，图像预处理；
[0064]
步骤2，基于深度学习的多尺度复用显著目标识别；
[0065]
步骤3，像素差值转换与结果分析输出。
[0066]
实施例2
[0067]
基于显著目标检测的混凝土塌落度检测方法，具体按以下步骤实施：
[0068]
步骤1，图像预处理：
[0069]
步骤1.1，收集具有不同塌落度的混凝土样本图像，并进行标注，将塌落的区域作为显著目标进行标记，构建一个带有标签的训练集；
[0070]
步骤1.2，对训练数据集图像进行随机水平旋转或竖直旋转等随机操作，产生相似但又不完全相同的样本，进行数据扩充；
[0071]
步骤1.3，将图像的像素值归一化到特定的范围，如[0,1]或[-1,1]；归一化有助于使图像数据具有相似的尺度，有利于模型的训练和收敛；
[0072]
步骤2，基于深度学习的多尺度复用显著目标识别，其网络构架图1所示；
[0073]
步骤2.1，构建一个3
×
3标准卷积进行特征提取并将通道数调整为一半，通道调整的目的是减少一部分计算负担；
[0074]
步骤2.2，构建以resnet50作为主干网络的多尺度特征提取模块进行多尺度图像特征提取；
[0075]
步骤2.2.1，构建以resnet50为主干的网络，使初始特征更加多样化；
[0076]
步骤2.2.2，通过堆叠多个残差块来实现多尺度特征提取，这些残差块的不同层级提供了不同尺度的特征表示能力，在深层残差块中，网络步幅较小且特征图尺寸较小，具有更高级别的语义信息；在浅层残差块中，网络步幅较大且特征图尺寸较大，能够提供更多的
细节信息；
[0077]
步骤2.2.3，最后一层残差块之后添加全局平均池化层，可以将每个通道上的特征图进行平均池化操作，从而得到固定长度的特征向量；
[0078]
步骤2.3，构建交叉双向密集特征聚合模块对主干网络提取的特征进行全分辨率融合，提取语义更为丰富的多尺度特征；
[0079]
步骤2.3.1，输入resnet50网络5个stage上提取到的基本特征a1～a5，作为第一个双向密集特征聚合模块的输入，该模块共有三层双向密集特征聚合层组成，双向密集特征聚合层结构2所示；
[0080]
步骤2.3.2，第一层双向密集特征聚合层，以五个信号为输入，输出为：作为下一层输入的四个信号以及中间的多尺度语义特征n5[0081]
步骤2.3.3，第二层双向密集特征聚合层，以四个信号为输入，输出为：作为下一层输入的三个信号以及中间的多尺度语义特征n4[0082]
步骤2.3.4，第三层双向密集特征聚合层，以三个信号为输入，输出为：三个中间的多尺度语义特征n1、n2、n3；
[0083]
步骤2.3.5，将五个中间多尺度语义特征n1、n2、n3、n4、n5输入到下一个双向密集特征聚合模块，两个双向密集特征聚合模块共同构成交叉双向密集特征聚合模块，且结构相同。最终输出为最终多尺度语义特征c1、c2、c3、c4、c5；
[0084]
步骤2.4，构建多分辨率语义互补模块，来保留多个层次的多尺度特征相邻特征节点中的有用信息，逐级还原显著性目标的语义信息和空间信息，其结构如图3所示；
[0085]
步骤2.4.1，上一步骤中双向密集特征聚合模块输出的最终多尺度语义特征c1、c2、c3、c4、c5作为多分辨率语义互补模块的输入，这些特征分辨率依次减半，含有来自不同尺度目标的语义信息；
[0086]
步骤2.4.2，将输入的两个相邻特征进行concat操作合并，然后通过rate为2的空洞卷积，同时，进行归一化和relu操作，从而获取到了融合了两个输入特征的全局语义信息。公式如下：
[0087]fg
＝conv(concat(f1,f2))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0088]
其中，f1、f2表示相邻特征，conv表示带批量归一化层和relu激活函数的空洞；
[0089]
步骤2.4.3，通过逐元素相加将得到的全局语义信息添加回输入特征，来分别对输入特征进行空间和语义上的补强。公式如下：
[0090][0091][0092]
其中，为逐元素加法；
[0093]
步骤2.4.4，通过逐元素乘法，来有选择地继承两组从空间和语义上得到补强的特征。从而实现了让输入特征继承重要特性，同时丢弃更多噪声的目标。公式如下：
[0094][0095]
其中，为逐元素乘法；
[0096]
步骤2.5，设置网络参数，进行网络训练与测试；
[0097]
步骤3，像素差值转换与结果分析输出；
[0098]
步骤3.1，测量塌落度桶实际高度，将拍摄的塌落度实验前和试验后图像分别送入经过步骤2训练完毕的多尺度复用显著目标识别模块中，输出经过处理的二值化图像p、p
′
，其中灰度值为255的区域分别为对塌落度桶和对水泥的显著目标识别结果；
[0099]
步骤3.2，对步骤3.1得到的塌落度实验前的二值化图像p进行搜索，找到其中灰度值为255的区域的y轴坐标值的最高点y1和最低点yh，计算两点在y轴坐标值上的绝对差值，再根据塌落度桶的实际高度，计算出图像尺寸和实际尺寸的比值k；
[0100]
步骤3.3，对步骤3.1得到的塌落度实验后的二值化图像p
′
进行搜索，找到其中灰度值为255的区域的y轴坐标值最小点y1′
，计算该点和p中灰度值为255的区域的y轴坐标值的最小点的绝对差值，再根据k计算出塌落度的实际高度t；
[0101]
步骤3.4，根据塌落度分级计算混凝土分类结果，其中塌落度在10～40mm内为低塑性混凝土；塌落度在50～90mm内为塑性混凝土；塌落度在100～150mm内为流动性混凝土；塌落度大于160mm的为大流动性混凝土；
[0102]
步骤3.5，输出p、p
′
、t与混凝土分类结果。
[0103]
实施例3
[0104]
本实施例以双向密集特征聚合层以步骤2.3.2中为例，具体操作如下：
[0105]
步骤2.3.2.1，a5通过上采样与a4进行逐元素线性加权操作以及卷积操作获得m4，同理自底向上依次获得m3，m2以及b1；
[0106]
步骤2.3.2.2，b1下采样与m2、a2进行逐元素线性加权操作以及卷积操作获得b2，同理自顶向下的依次获得b3，b4，b5。其中b5作为最终的多尺度语义特征之一c5，同时b1，b2，b3，b4作为下一层双向密集特征聚合层的输入，融合公式如下：
[0107][0108][0109]
式中，conv为对特征进行卷积操作，由卷积操作、批归一化和relu激活函数组成；wi为特征融合阶段给每个输入所分配的权重系数，初始化为(0,1)的随机数。

技术特征：
1.基于显著目标检测的混凝土塌落度检测方法，其特征在于，具体按以下步骤实施：步骤1，图像预处理；步骤2，基于深度学习的多尺度复用显著目标识别；步骤3，像素差值转换与结果分析输出。2.根据权利要求1所述的基于显著目标检测的混凝土塌落度检测方法，其特征在于，所述步骤1图像预处理具体按以下步骤实施：步骤1.1，收集具有不同塌落度的混凝土样本图像，并进行标注，将塌落的区域作为显著目标进行标记，构建一个带有标签的训练集；步骤1.2，对训练数据集图像进行处理，处理后产生相似但又不完全相同的样本，进行数据扩充；步骤1.3，将图像的像素值归一化到特定的范围。3.根据权利要求1所述的基于显著目标检测的混凝土塌落度检测方法，其特征在于，所述步骤2基于深度学习的多尺度复用显著目标识别具体按以下步骤实施：步骤2.1，构建一个3
×
3标准卷积进行特征提取并将通道数调整为一半；步骤2.2，构建以resnet50作为主干网络的多尺度特征提取模块进行多尺度图像特征提取；步骤2.3，构建交叉双向密集特征聚合模块对主干网络提取的特征进行全分辨率融合，提取语义更为丰富的多尺度特征；步骤2.4，构建多分辨率语义互补模块，用于保留多个层次的多尺度特征相邻特征节点中的有用信息，逐级还原显著性目标的语义信息和空间信息；步骤2.5，设置网络参数，进行网络训练与测试。4.根据权利要求3所述的基于显著目标检测的混凝土塌落度检测方法，其特征在于，所述步骤2.2具体按以下步骤实施：步骤2.2.1，构建以resnet50为主干的网络；步骤2.2.2，通过堆叠多个残差块来实现多尺度特征提取；步骤2.2.3，最后一层残差块之后添加全局平均池化层，将每个通道上的特征图进行平均池化操作，得到固定长度的特征向量。5.根据权利要求3所述的基于显著目标检测的混凝土塌落度检测方法，其特征在于，所述步骤2.3具体按以下步骤实施：步骤2.3.1，输入resnet50网络5个stage上提取到的基本特征a1～a5，作为第一个双向密集特征聚合模块的输入，该模块共有三层双向密集特征聚合层组成；步骤2.3.2，第一层双向密集特征聚合层，以五个信号为输入，输出为：作为下一层输入的四个信号以及中间的多尺度语义特征n5；步骤2.3.3，第二层双向密集特征聚合层，以四个信号为输入，输出为：作为下一层输入的三个信号以及中间的多尺度语义特征n4；步骤2.3.4，第三层双向密集特征聚合层，以三个信号为输入，输出为：三个中间的多尺度语义特征n1、n2、n3；步骤2.3.5，将五个中间多尺度语义特征n1、n2、n3、n4、n5输入到下一个双向密集特征聚合模块，两个双向密集特征聚合模块共同构成交叉双向密集特征聚合模块，且结构相同，最
终输出为最终多尺度语义特征c1、c2、c3、c4、c5。6.根据权利要求5所述的基于显著目标检测的混凝土塌落度检测方法，其特征在于，所述步骤2.3.2具体按以下步骤实施：步骤2.3.2.1，a5通过上采样与a4进行逐元素线性加权操作以及卷积操作获得m4，同理自底向上依次获得m3，m2以及b1；步骤2.3.2.2，b1下采样与m2、a2进行逐元素线性加权操作以及卷积操作获得b2，同理自顶向下的依次获得b3，b4，b5；其中b5作为最终的多尺度语义特征之一c5，同时b1，b2，b3，b4作为下一层双向密集特征聚合层的输入，融合公式如下：为下一层双向密集特征聚合层的输入，融合公式如下：式中，conv为对特征进行卷积操作，由卷积操作、批归一化和relu激活函数组成；w
i
为特征融合阶段给每个输入所分配的权重系数，初始化为(0，1)的随机数。7.根据权利要求5所述的基于显著目标检测的混凝土塌落度检测方法，其特征在于，所述步骤2.4构建多分辨率语义互补模块具体按以下步骤实施：步骤2.4.1，步骤2.3中双向密集特征聚合模块输出的最终多尺度语义特征c1、c2、c3、c4、c5作为多分辨率语义互补模块的输入，这些特征分辨率依次减半，含有来自不同尺度目标的语义信息；步骤2.4.2，将输入的两个相邻特征进行concat操作合并，然后通过rate为2的空洞卷积，同时，进行归一化和relu操作，从而获取到了融合了两个输入特征的全局语义信息；公式如下：f
g
＝conv(concat(f1，f2))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式中，f1、f2表示相邻特征，conv表示带批量归一化层和relu激活函数的空洞；步骤2.4.3，通过逐元素相加将得到的全局语义信息添加回输入特征，来分别对输入特征进行空间和语义上的补强；公式如下：征进行空间和语义上的补强；公式如下：式中，为逐元素加法；步骤2.4.4，通过逐元素乘法，来有选择地继承两组从空间和语义上得到补强的特征，从而实现了让输入特征继承重要特性，同时丢弃更多噪声的目标，公式如下：式中，为逐元素乘法。8.根据权利要求1所述的基于显著目标检测的混凝土塌落度检测方法，其特征在于，所述步骤3具体按以下步骤实施：步骤3.1，测量塌落度桶实际高度，将拍摄的塌落度实验前和试验后图像分别送入经过
步骤2训练完毕的多尺度复用显著目标识别模块中，输出经过处理的二值化图像p、p
′
，其中灰度值为255的区域分别为对塌落度桶和对水泥的显著目标识别结果；步骤3.2，对步骤3.1得到的塌落度实验前的二值化图像p进行搜索，找到其中灰度值为255的区域的y轴坐标值的最高点y1和最低点y
h
，计算两点在y轴坐标值上的绝对差值，再根据塌落度桶的实际高度，计算出图像尺寸和实际尺寸的比值k；步骤3.3，对步骤3.1得到的塌落度实验后的二值化图像p
′
进行搜索，找到其中灰度值为255的区域的y轴坐标值最小点y1′
，计算该点和p中灰度值为255的区域的y轴坐标值的最小点的绝对差值，再根据k计算出塌落度的实际高度t；步骤3.4，根据塌落度分级计算混凝土分类结果，其中塌落度在10～40mm内为低塑性混凝土；塌落度在50～90mm内为塑性混凝土；塌落度在100～150mm内为流动性混凝土；塌落度大于160mm的为大流动性混凝土；步骤3.5，输出p、p
′
、t与混凝土分类结果。

技术总结
本发明公开了基于显著目标检测的混凝土塌落度检测方法，具体包括如下步骤：步骤1，图像预处理；步骤2，基于深度学习的多尺度复用显著目标识别；步骤3，像素差值转换与结果分析输出；采用本发明，解决了现有检测方法依赖于人工操作和主观判断等问题，实现检测结果更加准确性和稳定性，节约人力资源，丰富了计算机视觉及人工智能技术领域的方法体系，支撑了显著目标检测领域的发展，为混凝土塌落度检测提供了一种选择。了一种选择。了一种选择。


技术研发人员：宋霄罡 闫星宇 黑新宏
受保护的技术使用者：西安理工大学
技术研发日：2023.07.13
技术公布日：2023/10/11