用于像素级裂缝分割的多尺度三注意网络构建方法及装置

1.本文件涉及图像处理和人工智能领域，尤其涉及一种用于像素级裂缝分割的多尺度三注意网络构建方法及装置。


背景技术：

2.随着现代经济的不断发展，基础设施建设也上升到一个新的水平。在众多的基础设施中，最常见的是道路建设，政府在这方面投入了大量的财力和物力，从而全面推动了经济的发展和进步。然而，经过长时间的日晒雨淋和过往车辆的碾压，路面容易出现各种问题，其中最常见的就是裂缝。如不及时由专业人员修复，对路面损伤较轻的会加重，影响通行质量，较重的会造成路面塌陷，造成事故，危及劳动人民的生命健康。因此，为了延长道路的使用寿命，防止事故的发生，准确有效的路面缺陷检测方法是非常必要的。传统的裂纹检测方法一直以人工检测为主，检测过程费时费力，无法应用于现代工业的生产过程。而且，检验过程是以检验工作者的主观意识为基础的。当检验工人精神疲劳时，容易出现误检或漏检裂缝的情况，对检验精度有很大影响。这些裂纹总是面临着复杂的背景、微缺陷、各种缺陷形状和大小、类别不平衡等具有挑战性的因素，这给精确的裂纹检测带来了一些困难。因此，直到现在，精确的裂纹检测仍然是一些研究人员和工业产品生产商的挑战。
3.目前，经过多年的研究和发展，无损裂纹检测采用了多种检测方法，上述无损裂纹检测方法大致可分为两类:基于模型的方法和基于深度学习的方法。在注意路面裂缝分割的早期，基于模型的分割方法最早出现在公众的视野中，并取得了显著的效果。目前，最流行和应用最广泛的基于模型的方法包括基于阈值的方法和基于边缘检测的方法，这是最具代表性的基于图像处理的检测方法。henrique等人提出了一个简单的无监督裂缝检测系统，以减少不均匀像素引起的方差。该方法采用形态学滤波器对缺陷图像进行预处理，并采用动态阈值法对裂纹像素点进行识别。为了去除随背景灰度变化不大的弱边缘，zhao等人提出了一种改进的canny算子用于边缘检测。采用小波变换增强输入图像的弱边缘，canny算法采用遗传算法获得合适的阈值。li等人提出了一种基于双阈值分割方法的裂纹缺陷识别方法。采用otsu算法去除多余的道路标记，提出自适应阈值迭代分割算法获得裂缝图像。同时，由于图像中存在大量的噪声，影响分割的准确性，采用形态学去噪的方法获得目标轮廓。上述基于模型的方法总是根据特定的图像特征，如边缘、纹理和颜色，从缺陷图像中分割裂缝，这些特征受到图像噪声、阴影、复杂背景、光照不均匀等复杂因素的影响很大，导致像素级缺陷检测的准确性和鲁棒性较差。近年来，基于深度学习的方法发展迅速，并在图像分类、目标检测、图像分割等各种计算机视觉任务中表现出优异的性能。基于其优异的性能，在路面裂缝和缺陷的检测任务中也取得了广泛的应用，在检测效率和质量方面都有很好的表现。为了捕捉路面微裂缝的弱特征并消除背景干扰，liu等提出了一种包含两个新模块的端到端特征融合编解码网络，以提高裂缝检测精度，并在分割网络中引入了一个特征融合模块和一个形状语义先验模块。qu针对路面裂缝检测过程中细节丢失和裂缝提取不完整的问题，提出了一种基于注意结构的分层特征融合深度网络模型，以残差网络为基础网，
自动准确检测强度分布不均匀的路面裂缝。为了区分路面缺陷与背景的相似性，避免分割不足的问题，gao等提出了像素级缺陷分割网络，融合了所提出的基线resnet50网络的低、中、高三个层次，更有效地表示了缺陷的详细信息。针对路面裂缝分割中数据集不足、形状长窄的问题，chen提出了一种轻量级混合卷积(convolutional)神经网络模型，以更少的参数实现路面裂缝分割。虽然上述过程中的网络模型在一定程度上提高了路面裂缝分割的精度，对路面的维护和检测起到了积极的作用，但仍存在一些问题，如细节特征检测不足，受背景光影响等。与之前提出的端到端裂缝检测框架相比，本研究还提出了基于编码器-解码器结构的网络模型对图像进行分割。u-net网络是一种优秀的典型编码器-解码器分割网络，编码器与解码器之间采用跳跃式连接结构，有效地聚合编码器与解码器的不同特征信息，已广泛应用于路面裂缝分割等各种分割应用中。
4.针对路面裂缝检测中存在的诸多问题，研究人员利用u-net网络结构，提出了多种u-net网络变体，进一步提高了路面裂缝检测的优越性能。针对混凝土路面纹理背景的复杂性和裂缝形式的多样性，qu提出了一种改进的u-net模型，在编码器部分采用剩余注意机制，在解码器阶段采用金字塔特征融合结构，有效地分割路面裂缝，但分割网络包含了相对较多的卷积层和池化层，容易造成信息丢失问题。为了解决传统分段式(segmentation)网络造成的路面裂缝中断和离散背景噪声的出现问题，han提出了一种变形u-net网络来实现对路面裂缝像素级(pixel)的语义分割，但该网络对路面裂缝的类别不平衡问题不敏感。为了克服裂缝检测精度低、稳定性差的问题，qiao提出了一种改进的u-net卷积神经网络，该网络采用改进的初始模块和atrous空间金字塔池化模块，有效地提高了精度，增加了鲁棒性。但网络模型对裂纹边界信息不是特别敏感，检测到的裂纹边界不清晰。为了注意裂缝的像素区域，augustauskas等人提出了一种改进的带有空间金字塔池化模块的注意力u-net网络，用于像素级路面缺陷分割。综上所述，先前提出的基于u-net的变型网络在路面裂缝分割方面取得了优异的性能，对路面养护具有积极的影响。然而，从上述分析来看，上述网络在进行高精度裂缝分割时仍存在一些问题，如接受域有限、局部特征处理不足、池化操作产生的信息丢失等问题。


技术实现要素：

5.本发明的目的在于提供一种用于像素级裂缝分割的多尺度三注意网络构建方法及装置，旨在解决现有技术中的上述问题。
6.本发明提供一种用于像素级裂缝分割的多尺度三注意网络构建方法，包括：
7.采用resnet18网络作为基础网构建骨干网；
8.在所述骨干网中嵌入多尺度输入策略，通过所述多尺度输入策略检测特征信息得到多尺度特征图；
9.对不同分辨率的多尺度特征图进行融合，得到融合后的多尺度特征图；
10.基于融合后的多尺度特征图通过aaf块使用指导底层特征映射的特征学习，得到增强的多尺度特征图；
11.基于所述增强的多尺度特征图，通过ta块检测注意特征得到聚合注意力特征图，其中，所述ta块包括：空间注意、通道注意和像素注意；
12.通过msta-net的损失函数，基于裂纹缺陷数据集，根据所述聚合注意力特征图指
导端到端的像素裂纹检测网络即多尺度三注意网络的训练。
13.本发明提供一种用于像素级裂缝分割的多尺度三注意网络构建装置，包括：
14.骨干网构建模块，用于基于裂纹缺陷数据集，采用resnet18网络作为基础网构建骨干网；
15.多尺度输入策略模块，用于在所述骨干网中嵌入多尺度输入策略，通过所述多尺度输入策略检测特征信息得到多尺度特征图；
16.融合模块，用于对不同分辨率的多尺度特征图进行融合，得到融合后的多尺度特征图；
17.增强模块，用于基于融合后的多尺度特征图通过aaf块使用指导底层特征映射的特征学习，得到增强的多尺度特征图；
18.聚合模块，用于基于所述增强的多尺度特征图，通过ta块检测注意特征得到聚合注意力特征图，其中，所述ta块包括：空间注意、通道注意和像素注意；
19.训练模块，用于通过msta-net的损失函数，指导端到端的像素裂纹检测网络即多尺度三注意网络的训练。
20.采用本发明实施例，针对局部特征处理不足的问题，通过aaf块来指导低层次上下文的特征学习，同时获取全局和局部上下文。针对类不平衡的微裂缝问题，通过包含空间注意、通道注意和像素注意的ta块来抑制背景和无用信息；为了支持深度裂纹分割网络获取更丰富的特征信息，还引入了多尺度输入策略。此外，为了增强多尺度缺陷检测能力，通过多尺度特征聚合单元，以利用来自不同感受野的多尺度上下文。实现了像素级裂纹的自动精确定位。
附图说明
21.为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
22.图1是本发明实施例的用于像素级裂缝分割的多尺度三注意网络构建方法的流程图；
23.图2是本发明实施例的裂纹检测方案的示意图；
24.图3是本发明实施例的mst-net网络的示意图；
25.图4是本发明实施例的aaf块的示意图。
26.图5是本发明实施例的ta块的示意图；
27.图6是本发明实施例的用于像素级裂缝分割的多尺度三注意网络构建装置的示意图。
具体实施方式
28.为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不
是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
29.方法实施例
30.根据本发明实施例，提供了一种用于像素级裂缝分割的多尺度三注意网络构建方法，图1是本发明实施例的用于像素级裂缝分割的多尺度三注意网络构建方法的流程图，如图1所示，根据本发明实施例的用于像素级裂缝分割的多尺度三注意网络构建方法具体包括：
31.步骤s101，采用resnet18网络作为基础网构建骨干网；具体包括：
32.采用resnet18网络的第2、3、4、5个残差块进行多尺度特征表示，其中，所述resnet18网络包括4个相同的残差块，每个残差块具有相似的网络结构，所述残差块的网络结构具体位置：2个3
×
3卷积层，后面连接有bn层、relu函数、残差连接和最大池化层。
33.步骤s102，在所述骨干网中嵌入多尺度输入策略，通过所述多尺度输入策略检测特征信息得到多尺度特征图；具体包括：
34.通过所述最大池化层得到从上到下的多尺度输入图像，所述最大池化层经过3
×
3卷积层，并伴随着bn层和relu函数进行处理，生成多尺度特征图，将所述多尺度特征图与来自前一个网络层的多尺度特征图连接起来，作为当前网络层的输入。
35.步骤s103，对不同分辨率的多尺度特征图进行融合，得到融合后的多尺度特征图；具体包括：
36.从基础网获得不同分辨率的多尺度特征图，通过双线性插值处理，得到具有相同特征通道和维度的多尺度特征图f1，f2，f3，f4；
37.通过特征拼接将各个比例尺上的多尺度特征图进行融合，融合后的多尺度特征图包含局部特征信息和全局上下文信息；
38.采用1
×
1卷积层+bn层对融合后的特征图进行通道调整处理，生成最终的融合后的多尺度特征图f。
39.步骤s104，基于融合后的多尺度特征图通过aaf块使用指导底层特征映射的特征学习，得到增强的多尺度特征图；具体包括：
40.设置f为融合后的多尺度特征图，fi为双线性插值后的多尺度特征图，在特征学习之前，对两个输入多尺度特征图进行1
×
1卷积，得到f和fi相同的通道号，基于公式1通过mish激活函数、1
×
1卷积和sigmoid激活函数得到多尺度特征图的注意权值：
41.fa＝σ(conv
1*1
(mish(conv
1*1
(f)+conv
1*1
(fi))))公式1；
42.其中，fa表示注意力权重，conv
1*1
表示1
×
1卷积，σ表示sigmoid激活函数；
43.将得到的注意权值乘以fi，用于底层特征图的特征学习，以增强特征表示能力，并根据公式2在aaf块中引入残差连接：
44.fi′
＝conv
1*1
(fi)*fa+fi公式2；
45.其中，fi′
表示通过特征学习得到的多尺度特征图。
46.步骤s105，基于所述增强的多尺度特征图，通过ta块检测注意特征得到聚合注意力特征图，其中，所述ta块包括：空间注意、通道注意和像素注意；具体包括：
47.步骤1，将所述于所述增强的多尺度特征图作为所述ta块的输入，得到通道注意力特征图、空间注意特征图以及像素注意力特征图；具体包括：
48.通过通道注意块将通道权值由全局平均池化层、全连接层加relu函数和全连接层加sigmoid激活函数获得，基于公式3，使用sigmoid激活函数将输入特征图fi′
相乘得到通道注意力特征图：
[0049][0050]
其中，是生成的通道注意力特征图，gap表示全局平均池化层，fc表示将图像信息平铺成向量的完整连接层，α代表发送sigmoid激活函数，表示元素乘法；
[0051]
全局平均池化层将多尺度特征图压缩到单个通道中，通过带有sigmoid激活函数的3
×
3卷积层表征空间注意力权重，结合输入特征图fi′
与空间注意权重的元素乘法，根据公式4，通过空间注意力块获取空间注意力特征图，增加裂缝区域的权重：
[0052][0053]
其中，为生成的空间注意特征图；
[0054]
通过像素注意力块基于公式5，使每个通道的空间权值通过一个1
×
1的卷积层，再加上一个sigmoid激活函数，将激活重新缩放到[0,1]，最终像素注意力特征图通过与输入特征图fi′
按元素乘法得到：
[0055][0056]
其中，为生成的像素注意力特征图。
[0057]
步骤2，将上述通道注意力特征图、空间注意特征图以及像素注意力特征图通过元素相加的方法融合在一起，进行注意特征融合，生成聚合注意力特征图。具体包括：
[0058]
根据公式6生成聚合注意力特征图：
[0059][0060]
其中，表示聚合注意力特征图。
[0061]
步骤s106，通过msta-net的损失函数，基于裂纹缺陷数据集，根据所述聚合注意力特征图指导端到端的像素裂纹检测网络即多尺度三注意网络的训练。具体包括：
[0062]
基于公式7，通过msta-net的损失函数，指导端到端的像素裂纹检测网络即多尺度三注意网络的训练：
[0063][0064]
其中，p和t分别代表预测值和真实值，lossi(,t)表示msta-net的损失函数，i表示像素数，h表示图像高度，w表示图像宽度，ti表示第i个像素的真实值，pi表示第i个像素的预测值；
[0065]
对每个输出层分别采用深度监督机制，在四个分支上使用softmax函数进行1
×
1卷积，生成四个输出缺陷掩码，将bce损失函数应用于四个网络分支和最终输出网络分支，根据公式8确定总损失函数的表达式：
[0066][0067]
其中，loss1表示第一个网络分支损失，loss2表示第二个网络分支损失，loss3表示第三个网络分支损失，loss4表示第四个网络分支损失，loss5表示最终输出网络分支损失。
[0068]
以下结合附图，对本发明实施例的上述技术方案进行详细说明。
[0069]
本发明实施例提出了一种多尺度三注意网络，称为mst-net，用于端到端和精确的像素裂纹检测网络，为质量控制和维护决策服务。图2是本发明实施例的裂纹检测方案的示意图。结合三个公开的裂纹缺陷数据集，在复杂背景干扰下，该方法在像素级裂纹检测方面表现出优异的性能，尤其适用于微裂纹的精确检测。
[0070]
本发明实施例的mst-net如图3所示。它从一个7
×
7的卷积层开始，然后是一个批量归一化(bn)层和一个整流线性单元(relu)，以获得一个大的接受场。
[0071]
剩余网络:剩余网络是典型的深层网络，已被广泛应用于不同的模式，作为基础网(base)；它在图像分类、目标检测、图像分割等不同任务中具有优异的特征表示性能。由于残余网络在计算机视觉方面的成功，采用resnet18网络作为基础网来构建骨干网。具体来说，采用resnet18网络的第2、3、4、5个残差块进行多尺度特征表示。
[0072]
如图3所示，残差网络包括4个相同的残差块，每个残差块具有相似的网络结构，间隔为2个3
×
3卷积层，后面是bn层、relu函数、残差连接和最大池化层。
[0073]
多尺度输入单元:为支持深裂缝分割网获取更丰富的特征信息，在骨干网中嵌入多尺度输入策略，检测丰富的特征信息。同时，它可以显著降低池化操作所产生的信息丢失问题的影响。在这里，从上到下的多尺度输入图像可以通过平均池化层得到，池化层经过3
×
3卷积层，并伴随着bn层和relu函数进行处理，通过卷积层生成多尺度特征图。这些特征映射与来自前一个网络层的特征映射连接起来，作为当前网络层的输入。
[0074]
多尺度特征学习:为了保证融合了全局和局部特征信息的多尺度缺陷的检测精度，有效的多尺度特征聚合表现出了显著的性能优化。受此机制启发，从基础网获得不同分辨率的特征图，通过双线性插值处理，得到具有相同特征通道和维度的特征图f1，f2，f3，f4。在此基础上，通过特征拼接将各个比例尺上的特征图进行融合，其中包含局部特征信息和全局上下文信息。融合后的特征映射被aaf块用于指导底层特征映射的特征学习。
[0075]
为降低计算成本，采用1
×
1卷积层+bn层对融合后的特征图进行通道调整处理，生成最终的融合特征f，为每个比例的特征图提供额外的注意力融合指导，使提取的特征更具辨别力。
[0076]
针对残差网络生成的粗糙特征图，为使提取的特征更容易识别，提出了一种基于aaf块的特征图加性注意融合引导方法。
[0077]
如图4所示，f为多尺度融合特征图，其中不仅包含浅层纹理和边界信息，还包含高级语义信息，fi为双线性插值后的特征图。在特征学习之前，对两个输入特征图进行1
×
1卷积，得到f和fi相同的通道号。这两个特征映射是通过元素相加来处理的。通过mish激活函数、1
×
1卷积和sigmoid激活函数得到特征图的注意权值。
[0078]
fa＝σ(conv
1*1
(mish(conv
1*1
(f)+conv
1*1
(fi))))
ꢀꢀꢀ
(1)
[0079]
其中fa表示注意力权重，conv
1*1
表示1
×
1卷积，σ表示sigmoid激活函数。
[0080]
他将得到的注意权值乘以fi，用于底层特征图的特征学习，以增强特征表示能力。同时，在所提出的aaf块中也引入了残差连接，如式(2)所示。
[0081]fi
′
＝conv
1*1
(fi)*fa+fiꢀꢀ
(2)
[0082]
其中fi′
表示通过特征学习得到的特征图。结合所提出的aaf块，得到增强的多尺度特征图，可用于特征解码，获得更准确的分割结果。
[0083]
本发明实施的多尺度特征学习单元mfl单元生成的输出特征图包含了不同尺度的浅层和深层上下文信息，但简单的元素相加或通道特征拼接无法有效地聚合多尺度特征图，因为它们不仅生成了过多的参数，而且还会导致特征信息的冗余。因此，为了实现裂纹图像的有效特征表示和抑制背景干扰，提出了一个ta块来检测注意特征，从而更好地聚焦到裂纹区域。所提出的ta块如图5所示，ta块由空间注意、通道注意和像素注意组成。
[0084]
如图5所示，所述mfl单元的输出特征图作为所述ta块的输入，所述ta块包含三个并行网络分支，重点注意关键通道信息、空间信息和像素信息。将上述注意特征图通过元素相加的方法融合在一起，进行注意特征融合，生成最终的注意特征图。
[0085]
通道注意:为了更好地关注关键特征通道，本研究提出了一个通道注意力块来构建通道之间的相互依赖关系。这里，通道权值由全局平均池化层、全连接层加relu函数和全连接层加sigmoid激活函数获得，用sigmoid激活函数将输入特征图fi′
相乘得到通道注意力特征图，如式(3)所示。
[0086][0087]
其中是生成的通道注意力特征图，gap表示全局平均池化层，fc表示将图像信息平铺成向量的完整连接层，α代表发送sigmoid激活函数，表示元素乘法。
[0088]
通过通道注意块，特征通道中不同的空间位置具有相同的权重，获取通道之间的相互依赖关系，抑制无用的特征通道。
[0089]
空间注意力:为了更有效地表达裂缝区域信息，提出空间注意力块来获取空间注意力特征图，增加裂缝区域的权重，如式(4)所示。
[0090][0091]
其中为生成的空间注意特征图。
[0092]
全局平均池化层可以将特征图压缩到单个通道中，通过带有sigmoid激活函数的3
×
3卷积可以有效地表征空间注意力权重。结合输入特征图fi′
与空间注意权重的元素乘法，生成空间注意特征图，突出缺陷区域。
[0093]
像素注意力：对于像素注意力块，每个通道的空间权值可以通过一个1
×
1的卷积层，再加上一个sigmoid激活函数，将激活重新缩放到[0,1]，如式(5)所示。最终像素注意力特征图通过与输入特征图fi′
按元素乘法得到。
[0094][0095]
其中为生成的像素注意力特征图。通过像素注意块，强调了特征图中每个像素的重要性，进一步突出了详细的特征信息。
[0096]
由于在路面裂缝分割任务中，各注意机制所注意的注意点不同，因此将上述三个注意块融合在一起，形成了本研究提出的ta块，具体表达式如式(6)所示。
[0097][0098]
其中表示聚合注意力特征图。结合所提出的ta块，有效整合空间注意、通道注意和像素注意信息，抑制背景干扰，为存在类别不平衡问题的路面裂缝精确分割提供有效支持。
[0099]
深度监督：二元交叉熵(binary cross-entropy,bce)损失函数在各种分类任务中表现出了良好的性能，它代表了真实值与预测值之间的差距。基于bce损失函数的优良性能，将其设置为所提出的msta-net的损失函数，以指导网络训练，如式(7)所示。
[0100][0101]
其中p和t分别代表预测值和真实值。
[0102]
为了提高mst-net网络的分割精度，加快分割网络的收敛速度，还对每个输出层分别采用了深度监督机制。
[0103]
对于深度监控机制，在四个分支上使用softmax函数进行1
×
1卷积，生成四个输出缺陷掩码。将bce损失函数应用于四个网络分支和最终输出网络分支。总损失函数的特殊表达式见式(8)。
[0104]
loss＝loss1+loss2+loss3+loss4+loss
5 (8)
[0105]
本研究提出的深度监督机制不仅可以缓解参数过多的问题，而且可以有效地加快裂缝分割模型的收敛速度。
[0106]
目前，智能裂缝检测对于基础设施的维护具有重要的价值，其中在中国最重要的是道路。对于路面缺陷，通过准确的缺陷检测任务，可以对路面进行及时的修复和维护，大大减少了危害的发生。然而，由于路面缺陷的背景复杂、微缺陷、缺陷形状和大小各异、类别不平衡等问题，路面缺陷的检测仍然是一个巨大的挑战。近年来，深度学习在像素级图像分割方面表现出了优异的性能，但在要求较高的像素级图像分割方面仍存在一些问题，如接受域有限、局部特征处理不足、池化操作产生的信息丢失等。基于以上问题，提出了一种多尺度三注意网络mst-net，用于端到端像素级裂缝检测。首先，将多尺度输入策略应用于所提出的分割网络，以捕获更多的上下文信息。同时，它能有效地降低池化操作所产生的信息丢失问题的影响。其次，为了实现局部特征的有效表示，提出了一种加性注意融合(additive attention fusion,aaf)块来指导特征学习捕获全局和局部上下文。此外，针对存在类不平衡问题的裂纹检测任务，提出了一种三注意(ta)块，分别检测空间、通道和像素注意信息，抑制背景信息和无用信息，有利于微裂纹的表征。最后，针对缺陷接收域有限的问题，提出了一种多尺度特征聚合单元进行特征融合，以提高多尺度缺陷的检测能力。为了更好地指导网络训练，还引入了深度监督机制，以加快所提出的分割模型的收敛速度，提高缺陷分割的性能。
[0107]
装置实施例
[0108]
根据本发明实施例，提供了一种用于像素级裂缝分割的多尺度三注意网络构建装置，图6是本发明实施例的用于像素级裂缝分割的多尺度三注意网络构建装置的示意图，如图6所示，根据本发明实施例的用于像素级裂缝分割的多尺度三注意网络构建装置具体包括：
[0109]
骨干网构建模块60，用于基于裂纹缺陷数据集，采用resnet18网络作为基础网构建骨干网；
[0110]
多尺度输入策略模块61，用于在所述骨干网中嵌入多尺度输入策略，通过所述多尺度输入策略检测特征信息得到多尺度特征图；
[0111]
融合模块62，用于对不同分辨率的多尺度特征图进行融合，得到融合后的多尺度特征图；
[0112]
增强模块63，用于基于融合后的多尺度特征图通过aaf块使用指导底层特征映射的特征学习，得到增强的多尺度特征图；
[0113]
聚合模块64，用于基于所述增强的多尺度特征图，通过ta块检测注意特征得到聚合注意力特征图，其中，所述ta块包括：空间注意、通道注意和像素注意；
[0114]
训练模块65，用于通过msta-net的损失函数，指导端到端的像素裂纹检测网络即多尺度三注意网络的训练。
[0115]
本发明实施例是与上述方法实施例对应的装置实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
[0116]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种用于像素级裂缝分割的多尺度三注意网络构建方法，其特征在于，包括：采用resnet18网络作为基础网构建骨干网；在所述骨干网中嵌入多尺度输入策略，通过所述多尺度输入策略检测特征信息得到多尺度特征图；对不同分辨率的多尺度特征图进行融合，得到融合后的多尺度特征图；基于融合后的多尺度特征图通过aaf块使用指导底层特征映射的特征学习，得到增强的多尺度特征图；基于所述增强的多尺度特征图，通过ta块检测注意特征得到聚合注意力特征图，其中，所述ta块包括：空间注意、通道注意和像素注意；通过msta-net的损失函数，基于裂纹缺陷数据集，根据所述聚合注意力特征图指导端到端的像素裂纹检测网络即多尺度三注意网络的训练。2.根据权利要求1所述的方法，其特征在于，采用resnet18网络作为基础网构建骨干网具体包括：采用resnet18网络的第2、3、4、5个残差块进行多尺度特征表示，其中，所述resnet18网络包括4个相同的残差块，每个残差块具有相似的网络结构，所述残差块的网络结构具体位置：2个3
×
3卷积层，后面连接有bn层、relu函数、残差连接和最大池化层。3.根据权利要求2所述的方法，其特征在于，在所述骨干网中嵌入多尺度输入策略，通过所述多尺度输入策略检测特征信息得到多尺度特征图具体包括：通过所述最大池化层得到从上到下的多尺度输入图像，所述最大池化层经过3
×
3卷积层，并伴随着bn层和relu函数进行处理，生成多尺度特征图，将所述多尺度特征图与来自前一个网络层的多尺度特征图连接起来，作为当前网络层的输入。4.根据权利要求1所述的方法，其特征在于，对不同分辨率的多尺度特征图进行融合，得到融合后的多尺度特征图具体包括：从基础网获得不同分辨率的多尺度特征图，通过双线性插值处理，得到具有相同特征通道和维度的多尺度特征图f1，f2，f3，f4；通过特征拼接将各个比例尺上的多尺度特征图进行融合，融合后的多尺度特征图包含局部特征信息和全局上下文信息；采用1
×
1卷积层+bn层对融合后的特征图进行通道调整处理，生成最终的融合后的多尺度特征图f。5.根据权利要求4所述的方法，其特征在于，基于融合后的多尺度特征图通过aaf块使用指导底层特征映射的特征学习，得到增强的多尺度特征图具体包括：设置f为融合后的多尺度特征图，fi为双线性插值后的多尺度特征图，在特征学习之前，对两个输入多尺度特征图进行1
×
1卷积，得到f和fi相同的通道号，基于公式1通过mish激活函数、1
×
1卷积和sigmoid激活函数得到多尺度特征图的注意权值：f
a
＝σ(conv
1*1
(mish(conv
1*1
(f)+conv
1*1
(f
i
))))
ꢀꢀꢀ
公式1；其中，f
a
表示注意力权重，conv
1*1
表示1
×
1卷积，σ表示sigmoid激活函数；将得到的注意权值乘以f
i
，用于底层特征图的特征学习，以增强特征表示能力，并根据公式2在aaf块中引入残差连接：f
i
′
＝conv
1*1
(f
i
)*f
a
+f
i
ꢀꢀꢀꢀ
公式2；
其中，f
′
i
表示通过特征学习得到的多尺度特征图。6.根据权利要求4所述的方法，其特征在于，基于所述增强的多尺度特征图，通过ta块检测注意特征得到聚合注意力特征图具体包括：将所述于所述增强的多尺度特征图作为所述ta块的输入，得到通道注意力特征图、空间注意特征图以及像素注意力特征图；将上述通道注意力特征图、空间注意特征图以及像素注意力特征图通过元素相加的方法融合在一起，进行注意特征融合，生成聚合注意力特征图。7.根据权利要求6所述的方法，其特征在于，将所述于所述增强的多尺度特征图作为所述ta块的输入，得到通道注意力特征图、空间注意特征图以及像素注意力特征图具体包括：通过通道注意块将通道权值由全局平均池化层、全连接层加relu函数和全连接层加sigmoid激活函数获得，基于公式3，使用sigmoid激活函数将输入特征图f
i
′
相乘得到通道注意力特征图：其中，是生成的通道注意力特征图，g表示全局平均池化层，f表示将图像信息平铺成向量的完整连接层，α代表发送sigmoid激活函数，表示元素乘法；全局平均池化层将多尺度特征图压缩到单个通道中，通过带有sigmoid激活函数的3
×
3卷积层表征空间注意力权重，结合输入特征图f
i
′
与空间注意权重的元素乘法，根据公式4，通过空间注意力块获取空间注意力特征图，增加裂缝区域的权重：其中，为生成的空间注意特征图；通过像素注意力块基于公式5，使每个通道的空间权值通过一个1
×
1的卷积层，再加上一个sigmoid激活函数，将激活重新缩放到[0,1]，最终像素注意力特征图通过与输入特征图f
i
′
按元素乘法得到：其中，为生成的像素注意力特征图。8.根据权利要求7所述的方法，其特征在于，将上述通道注意力特征图、空间注意特征图以及像素注意力特征图通过元素相加的方法融合在一起，进行注意特征融合，生成聚合注意力特征图具体包括：根据公式6生成聚合注意力特征图：其中，表示聚合注意力特征图。9.根据权利要求1所述的方法，其特征在于，通过msta-net的损失函数，指导端到端的像素裂纹检测网络即多尺度三注意网络的训练具体包括：基于公式7，通过msta-net的损失函数，指导端到端的像素裂纹检测网络即多尺度三注意网络的训练：
其中，p和t分别代表预测值和真实值，loss
i
(,t)表示msta-net的损失函数，i表示像素数，h表示图像高度，w表示图像宽度，t
i
表示第i个像素的真实值，p
i
表示第i个像素的预测值；对每个输出层分别采用深度监督机制，在四个分支上使用softmax函数进行1
×
1卷积，生成四个输出缺陷掩码，将bce损失函数应用于四个网络分支和最终输出网络分支，根据公式8确定总损失函数的表达式：其中，loss1表示第一个网络分支损失，loss2表示第二个网络分支损失，loss3表示第三个网络分支损失，loss4表示第四个网络分支损失，loss5表示最终输出网络分支损失。10.一种用于像素级裂缝分割的多尺度三注意网络构建装置，其特征在于，包括：骨干网构建模块，用于基于裂纹缺陷数据集，采用resnet18网络作为基础网构建骨干网；多尺度输入策略模块，用于在所述骨干网中嵌入多尺度输入策略，通过所述多尺度输入策略检测特征信息得到多尺度特征图；融合模块，用于对不同分辨率的多尺度特征图进行融合，得到融合后的多尺度特征图；增强模块，用于基于融合后的多尺度特征图通过aaf块使用指导底层特征映射的特征学习，得到增强的多尺度特征图；聚合模块，用于基于所述增强的多尺度特征图，通过ta块检测注意特征得到聚合注意力特征图，其中，所述ta块包括：空间注意、通道注意和像素注意；训练模块，用于通过msta-net的损失函数，指导端到端的像素裂纹检测网络即多尺度三注意网络的训练。

技术总结
本说明书实施例提供了一种用于像素级裂缝分割的多尺度三注意网络构建方法及装置，其中，方法包括：采用ResNet18网络作为基础网构建骨干网；在所述骨干网中嵌入多尺度输入策略，通过所述多尺度输入策略检测特征信息得到多尺度特征图；对不同分辨率的多尺度特征图进行融合，得到融合后的多尺度特征图；基于融合后的多尺度特征图通过AAF块使用指导底层特征映射的特征学习，得到增强的多尺度特征图；基于所述增强的多尺度特征图，通过TA块检测注意特征得到聚合注意力特征图，通过MSTA-Net的损失函数，基于裂纹缺陷数据集，根据所述聚合注意力特征图指导端到端的像素裂纹检测网络即多尺度三注意网络的训练。多尺度三注意网络的训练。多尺度三注意网络的训练。


技术研发人员：蔡长青 高梦恬 徐昊雯 梁增贤 吴佳臻 余晓雯 李丹虹 梁懋林 卢思雅
受保护的技术使用者：广州大学
技术研发日：2023.06.29
技术公布日：2023/10/15