基于卷积神经网络和变换器双路径的道路裂缝分割方法

1.本发明涉及道路质量与安全监测技术领域，更具体地，涉及一种基于卷积神经网络和变换器双路径的道路裂缝分割方法。


背景技术：

2.城市道路路面受到重型货车碾压或者其他自然因素的影响，极易造成结构性损伤。而道路裂缝又其最常见的一种伤害。道路裂缝一经产生，如果不及时修复，则会逐渐蔓延，产生更大更宽的缝隙。并且裂缝也是影响道路使用寿命的一个关键因素。而目前在全球大部分地区和国家，对于裂缝的检测，仍然是雇佣专业技术人员进行人工检测。这种检测方式无疑是费时费力的，且需要耗费大量资金，并且带有极强的主观因素，这很容易造成漏检和误检。而随着机器学习与深度学习的发展，目前有许多优秀的算法被提出用于裂缝检测，实现裂缝的自动化检测，可以节省大量的人力物力，提高检测效率，并且检测的精度也更高，有更少的主观因素。
3.当我们使用传统方法如salman等人提出基于gabor滤波的裂缝检测方法、talab等人采用sobel滤波器去除灰度图像中的噪声并用otsu方法完成裂缝的检测、徐等人首先对道路裂缝分组进行灰度校正，然后基于灰度稀疏度和整体对比度，计算粗尺度下裂缝的显著值的方式来检测裂缝，受到环境因素如噪声和光照的影响，鲁棒性差，并且对于裂缝的连续性和完整性考虑不足，因此检测准确率和效率较低，在实际应用中效果并不理想。
4.故而亟需提出一种基于卷积神经网络和变换器双路径的道路裂缝分割方法来解决所提出的问题。


技术实现要素：

5.(一)要解决的技术问题
6.基于此，本发明提供了一种基于卷积神经网络和变换器双路径的道路裂缝分割方法，对于细小裂缝的分割更有利，可以更完整的分割裂缝，提高分割的表现，有效提高检测准确率和效率。
7.(二)技术方案
8.为解决上述技术问题，本发明提出了一种基于卷积神经网络和变换器双路径的道路裂缝分割方法，其包括如下步骤：
9.步骤s100、加载基于卷积神经网络和变换器双路径的道路裂缝图像的数据集，对双路径网络进行训练；
10.步骤s200、基于卷积神经网络对初始输入图像进行特征提取，获取各个卷积层提取到的特征图及通过一个深度可分离卷积进行下采样得到卷积神经网络编码器最终提取的特征图；其中，所述卷积神经网络包括卷积神经网络编码器，卷积神经网络编码器包括多个卷积层及一个深度可分离卷积；
11.步骤s300、基于变换器对初始输入图像进行特征提取，获取各个变换器块提取的
特征图；其中，所述变换器包括变换器编码器，所述变换器编码器包括多个特征提取层，每个特征提取层中均设有变换器块，变换器编码器最后一个特征提取层中变换器块提取的特征图为变换器编码器最终提取的特征图；
12.步骤s400、对卷积神经网络编码器的中间卷积层提取的特征图分别与变换器编码器的中间特征提取层中的变换器块提取的特征图进行匹配融合，得到互补融合特征；
13.步骤s500、对卷积神经网络编码器最终提取的特征图与变换器编码器最终提取的特征图进行匹配融合，得到简单融合特征；
14.步骤s600、将简单融合特征输入进解码器进行图像的恢复，配合采取跳跃连接的策略将互补融合特征连接输入解码器，获取裂缝分割结果。
15.(三)有益效果
16.本发明与现有技术对比，本发明一种基于卷积神经网络和变换器双路径的道路裂缝分割方法利用卷积神经网络和变换器的互补性，采用卷积神经网络编码器中间层及变换器编码器中间层分别提取特征图进入互补融合模块进行深度融合，配合对卷积神经网络编码器最终提取的特征图与变换器编码器最终提取的特征图进行简单融合，一起送入解码器进行解码，最终得到恢复完整的裂缝分割结果，对于细小裂缝的分割更有利，可以更完整的分割裂缝，提高分割的表现，有效提高检测准确率和效率。
附图说明
17.通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
18.图1是本发明优选实施例公开的一种基于卷积神经网络和变换器双路径的道路裂缝分割方法的流程示意图；
19.图2是本发明优选实施例公开的基于卷积神经网络和变换器双路径的道路裂缝分割方法的总体框架示意图；
20.图3是本发明优选实施例公开的卷积神经网络编码器中各卷积层的具体结构，其中，变量r表示每层卷积层的残差块内的卷积块数量不同；
21.图4是本发明优选实施例公开的变换器编码器和解码器中变换器块的结构示意图；
22.图5是本发明优选实施例公开的变换器块内全卷积高低频注意力的结构示意图；
23.图6是本发明优选实施例公开的变换器块内前馈网络的结构示意图；
24.图7是本发明优选实施例公开的互补融合模块的结构示意图；
25.图8是本发明优选实施例公开的简单融合模块的结构示意图；
26.图9是本发明优选实施例公开的卷积神经网络编码器各中间层提取的特征图示例；
27.图10是本发明优选实施例公开的变换器编码器各中间层提取的特征图示例；
28.图11是本发明优选实施例公开的互补融合模块产生的互补融合特征示例，其中，层4表示简单融合后的特征图；
29.图12是本发明优选实施例公开的所采用不同损失函数时,在deepcrack数据集上训练时的损失变化曲线；
30.图13是本发明优选实施例公开的在deepcrack数据集上,与其他方法相比,在训练阶段的准确率变化曲线；
31.图14是本发明优选实施例公开的在deepcrack数据集上,与其他方法相比,在训练阶段的精确度变化曲线；
32.图15是本发明优选实施例公开的在deepcrack数据集上,与其他方法相比,在训练阶段的召回率变化曲线；
33.图16是本发明优选实施例公开的在deepcrack数据集上,与其他方法相比,在训练阶段的f1得分变化曲线；
34.图17是本发明优选实施例公开的在deepcrack数据集上,与其他方法相比,在训练阶段的损失值变化曲线；
35.图18是本发明优选实施例公开的不采用卷积神经网络编码器、不采用变换器编码器和本发明所采用的双路径编码器三种不同结构的裂缝分割效果的示例；
36.图19是本发明优选实施例公开的本发明方法与其他方法相比,裂缝分割效果的示例。
具体实施方式
37.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
38.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接，可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通，也可以是“传动连接”，即通过带传动、齿轮传动或链轮传动等各种合适的方式进行动力连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
39.图1是本发明实施例提供的一种基于卷积神经网络和变换器双路径的道路裂缝分割方法的流程示意图，如图1所示，该基于卷积神经网络和变换器双路径的道路裂缝分割方法，包括步骤s100-步骤s600，具体如下：
40.步骤s100、加载基于卷积神经网络和变换器双路径的道路裂缝图像的数据集，对双路径网络进行训练；其中，双路径网络包括神经网络和变换器所对应的网络，数据集包括训练集和测试集，该数据集可以通过已知的道路裂缝图像数据集获取，也可以通过新组建的数据集获取，新组建的数据集可采用利用相机对道路表面进行拍照获取。
41.本实施例中，可对获取的数据集图像进行数据增强操作，具体地，对获取的数据集图像进行数据增强操作的方法为：对训练集中的图像依次进行尺寸变换、随机水平方向翻转、随机垂直方向翻转、随机旋转16
°
、中心裁剪至预设大小的操作，对训练集中的图像进行尺寸变换和中心裁剪至预设大小的操作，可有效扩充数据集，还能弱化数据噪声、增加模型稳定性，能帮助卷积神经网络学习到更多的局部特征。
42.本发明步骤s100、加载基于卷积神经网络和变换器双路径的道路裂缝图像的数据
集，对双路径网络进行训练的方法中，采用adam优化器对网络进行优化，初始学习率设置为0.001，选择带热重启的余弦退火的调度器对网络学习率进行动态调整，在第15个批次时首次回到初始学习率，之后的每次回归将在前一次的基础上扩大2倍，网络总共训练80个批次，每个批次大小设置为4。
43.本发明步骤s100中对双路径网络进行训练的方法中，使用的损失函数为：
44.loss(x，y)＝bce loss(x，y)+dice loss(x，y)；
45.其中，bce_loss(x，y)＝-(1-y)log(1-x)-ylog(x)，x表示预测值，y表示真实值，ε表示平滑因子，防止分母预测为零的情况，同时也可以起到平滑loss和梯度的作用。
46.具体地，以卷积神经网络为例，变换器同理，在本实施例中，使用了binary cross-entropy loss(bce_loss)和dice loss(dice_loss)作为卷积神经网络的损失函数，以在训练阶段对卷积神经网络网络优化。裂缝分割只需要判别出裂缝和背景，因此属于一个二分类问题，可采用bce_loss作为损失函数的一部分：bce_loss(x，y)＝-(1-y)log(1-x)y log(x)，x表示预测值，y表示真实值；但是裂缝分割存在另一个问题，即正负样本的不平衡，往往一个图像中，裂缝区域与背景是极度不平衡的，而二分类交叉熵损失是单独预测每一个像素，然后取平均值得到所有像素的预测结果，这样会导致裂缝区域被大量背景所干扰，这是不利于分割的，而dice_loss会使得卷积神经网络网络在训练过程中更加关注裂缝区域，有效地缓解正负样本不平衡带来的问题，因此，为了更好的挖掘前景信息，突出裂缝区域，故在bce_loss的基础上加上了骰子损失：x表示预测值，y表示真实值，ε表示平滑因子，防止分母预测为零的情况，同时也可以起到平滑loss和梯度的作用。
47.步骤s200、基于卷积神经网络对初始输入图像进行特征提取，获取各个卷积层提取到的特征图及通过一个深度可分离卷积a进行下采样得到卷积神经网络编码器最终提取的特征图；其中，所述卷积神经网络包括卷积神经网络编码器，卷积神经网络编码器包括多个卷积层及一个深度可分离卷积a，本实施例中，卷积神经网络编码器中每层的卷积层如图3所示，该卷积神经网络编码器包括依次设置的卷积层1、卷积层2、卷积层3、卷积层4及一个深度可分离卷积a。
48.具体地，初始输入图像会输入进卷积神经网络编码器中以对初始输入图像的图像特征进行提取，在卷积神经网络编码器中，初始输入图像会依次通过卷积神经网络编码器中的四个卷积层：卷积层1、卷积层2、卷积层3及卷积层4，卷积层1、卷积层2、卷积层3及卷积层4逐步对应提取到不同尺度的特征图；其中，在卷积神经网络编码器中，每经过一层卷积层，卷积层提取的特征图都会被下采样两倍，通道数c则扩大两倍，每层卷积层提取到的特征图大小从卷积层1至卷积层4依次为和h为特征图像的高度，w为特征图像的宽度，本实施例中，通道数c设置为32。
49.卷积神经网络中卷积层中设置有卷积块，卷积块是一个基本单元，其由深度可分离卷积、批归一化和gelu激活函数组成，使用深度可分离卷积会比标准卷积操作参数量和
计算量更少，但是特征提取能力不会丝毫减弱，故可通过堆叠卷积块，来完成对输入图像特征的提取，其中，多个堆叠的卷积块又组成卷积层中的残差块。
50.本实施例中，所述步骤s200的方法，具体包括如下步骤：
51.在卷积神经网络编码器的每一层卷积层中，通过一个卷积块，对当前输入图像进行一个粗略特征提取，使得输入图像中的每个位置不再具有单一的信息，而是建立了一个局部的交互，使得输入图像中的每个位置拥有局部的纹理和语义信息；其中，所述卷积神经网络编码器包括依次串联的卷积层1、卷积层2、卷积层3及卷积层4四个卷积层及一个深度可分离卷积a，第一层卷积层1对应的当前输入图像为初始输入图像，第二层卷积层2、第三层卷积层3及第四层卷积层4对应的当前输入图像为上一层卷积层输出的特征图，该深度可分离卷积a对应的当前输入图像为第四层卷积层4输出的特征图；
52.通过每个卷积层内的深度可分离卷积完成下采样；具体地，卷积层1对应的深度可分离卷积1完成对初始输入图像的下采样，卷积层2对应的深度可分离卷积2完成对卷积层1输出特征图的下采样，卷积层3对应的深度可分离卷积3完成对卷积层2输出特征图的下采样，卷积层4对应的深度可分离卷积4完成对卷积层3输出特征图的下采样；
53.在残差块内堆叠数量为r的卷积块进行特征提取；其中，第一层卷积层1、第二层卷积层2、第三层卷积层3、第四层卷积层4对应残差块中的卷积块数量r分别取值为2、2、4、2；
54.残差块内最后一个卷积块提取到的特征会在通道方向上与该层卷积层的输入进行连接，再次经过一个逐点卷积聚合特征并降低维度，得到卷积神经网络编码器的每一层卷积层提取的特征图；具体地，每一层卷积层中残差块内的卷积块至上而下进行堆叠，残差块内最后一个卷积块对应残差块内最下方的卷积块；卷积层1中最后一个卷积块提取到的特征会在通道方向上与该层卷积层1的输入进行连接，再次经过一个逐点卷积聚合特征并降低维度，得到卷积层1提取的特征图；卷积层2中最后一个卷积块提取到的特征会在通道方向上与该层卷积层2的输入进行连接，再次经过一个逐点卷积聚合特征并降低维度，得到卷积层2提取的特征图；卷积层3中最后一个卷积块提取到的特征会在通道方向上与该层卷积层3的输入进行连接，再次经过一个逐点卷积聚合特征并降低维度，得到卷积层3提取的特征图；卷积层4中最后一个卷积块提取到的特征会在通道方向上与该层卷积层4的输入进行连接，再次经过一个逐点卷积聚合特征并降低维度，得到卷积层4提取的特征图；
55.第四层卷积层4的特征图会通过一个深度可分离卷积进行下采样得到卷积神经网络编码器最终提取的特征图，以方便与变换器编码器最终提取的特征图进行融合。
56.步骤s300、基于变换器对初始输入图像进行特征提取，获取各个变换器块提取的特征图；其中，所述变换器包括变换器编码器，所述变换器编码器包括第一特征提取层、第二特征提取层、第三特征提取层及第四特征提取层等多个依次设置的特征提取层，每个特征提取层中均设有变换器块；具体地，第一特征提取层包括块嵌入层和变换器块1，第二特征提取层包括块合并层1和变换器块2，第三特征提取层包括块合并层2和变换器块3，第四特征提取层包括块合并层3和变换器块4，变换器块1处于块嵌入层与块合并层1之间，变换器块2处于块合并层1与块合并层2之间，变换器块3处于块合并层2与块合并层3之间，变换器块4处于块合并层3之后，变换器编码器最后一个特征提取层中的变换器块即变换器块4提取的特征图为变换器编码器最终提取的特征图；初始输入图像会输入进变换器编码器中，依次经过变换器编码器中各个特征提取层的图像特征提取操作，获取变换器块1、变换
器块2、变换器块3、变换器块4提取的特征图，变换器编码器中各个特征提取层对应的变换器块如图4所示。
57.具体地，所述步骤s300的方法，包括如下步骤：
58.步骤s310、通过块嵌入层将初始输入图像划分为多个4
×
4像素大小的图像块，获取划分好的初始输入图像；此时，初始输入图像也将被投影至较高维度，初始输入图像在变换器编码器当中会提取到语义信息更充分的特征图；
59.步骤s320、当前输入图像进入变换器块中的第一残差块，通过计算全卷积高低频注意力获取变换器块中第一残差块输出的第一图像特征；其中，每个变换器块主要由第一残差块及第二残差块两个残差块组成，此时，变换器块1对应的当前输入图像为划分好的初始输入图像，第二至第四特征提取层中变换器块对应的当前输入图像分别为上一层特征提取层中变换器块提取的特征图经过当前特征提取层中块合并层处理后的输出图像，即第二特征提取层中变换器块2对应的当前输入图像为变换器块1提取的特征图经过第二特征提取层中块合并层1处理后的输出图像，第三特征提取层中的变换器块3对应的当前输入图像为变换器块2提取的特征图经过第三特征提取层中块合并层2处理后的输出图像，第四特征提取层中的变换器块4对应的当前输入图像为变换器块3提取的特征图经过第四特征提取层中块合并层3处理后的输出图像，变换器块内的全卷积高低频注意力如图5所示。
60.步骤s330、将变换器块中第一残差块输出的第一图像特征作为变换器块中第二残差块的输入，通过前馈网络及批归一化操作后获取变换器块中第二残差块输出的第二图像特征；利用前馈网络将输入特征投射到高维空间，然后再变回低维空间，以便学习更抽象的特征；变换器块内的前馈网络如图6所示。
61.步骤s340、变换器块中第二残差块输出的第二图像特征经过批归一化处理后，与变换器块中第一残差块输出的第一图像特征进行逐元素相加，作为变换器块的输出图像；其中，当当前输入图像为划分好的初始输入图像时，变换器块的输出图像为变换器块1提取的特征图；当当前输入图像为变换器块1提取的特征图经过第二特征提取层中块合并层1处理后的输出图像时，变换器块的输出图像为变换器块2提取的特征图；当当前输入图像为变换器块2提取的特征图经过第三特征提取层中块合并层2处理后的输出图像时，变换器块的输出图像为变换器块3提取的特征图；当当前输入图像为变换器块3提取的特征图经过第四特征提取层中块合并层3处理后的输出图像时，变换器块的输出图像为变换器块4提取的特征图；
62.步骤s350、利用深度可分离卷积和批归一化对变换器块1提取的特征图进行预处理，通过块合并层1将变换器块1提取的特征图中的图像块两两合并，完成对变换器块1提取的特征图的尺度转变，将尺度转变后的变换器块1提取的特征图经过变换器块2进行特征提取，获取变换器块2提取的特征图；其中，所述变换器编码器包括第一特征提取层、第二特征提取层、第三特征提取层及第四特征提取层等多个依次设置的特征提取层，每个特征提取层中均设有变换器块；具体地，第一特征提取层包括块嵌入层和变换器块1，第二特征提取层包括块合并层1和变换器块2，第三特征提取层包括块合并层2和变换器块3，第四特征提取层包括块合并层3和变换器块4；将尺度转变后的变换器块1提取的特征图经过变换器块2进行特征提取，获取变换器块2提取的特征图的方法可通过步骤s320～步骤s340获得，此时，当前输入图像为尺度转变后的变换器块1提取的特征图；
63.步骤s360、利用深度可分离卷积和批归一化对变换器块2提取的特征图进行预处理，通过块合并层2将变换器块2提取的特征图中的图像块两两合并，完成对变换器块2提取的特征图的尺度转变，将尺度转变后的变换器块2提取的特征图经过变换器块3进行特征提取，获取变换器块3提取的特征图；其中，将尺度转变后的变换器块2的特征图经过变换器块3进行特征提取，获取变换器块3提取的特征图的方法可通过步骤s320～步骤s340获得，此时，当前输入图像为尺度转变后的变换器块2提取的特征图；
64.步骤s370、利用深度可分离卷积和批归一化对变换器块3提取的特征图进行预处理，通过块合并层3将变换器块3提取的特征图中的图像块两两合并，完成对变换器块3提取的特征图的尺度转变，将尺度转变后的变换器块3提取的特征图经过变换器块4进行特征提取，获取变换器块4提取的特征图；其中，将尺度转变后的变换器块3的特征图经过变换器块4进行特征提取，获取变换器块4提取的特征图的方法可通过步骤s320～步骤s340获得，此时，当前输入图像为尺度转变后的变换器块3提取的特征图。
65.在一个实施例中，所述步骤s320、当前输入图像进入变换器块中的第一残差块，通过计算全卷积高低频注意力获取变换器块中第一残差块输出的第一图像特征的方法，具体包括如下步骤：
66.当前输入图像x会在通道方向上按照比例α进行划分，高频分支将得到(1-α)nh，低频分支将得到αnh，nh为头数，对高频分支和低频分支两部分分别计算自注意力；
67.在高频分支中，当前输入图像x通过深度可分离卷积获得各个头的查询q、键k和值v：q＝cq(x)，k＝ck(x)，v＝cv(x)，将查询q、键k和值v通过缩放点积注意力进行计算：
[0068][0069][0070]
其中，cq、ck、cv分别表示获得查询q、键k、值v的深度可分离卷积；dh为隐藏层维度，sah表示一个头的缩放点积自注意力的结果，msa表示将多个头的计算结果在通道方向上进行连接，经过一个深度可分离卷积聚合得到高频特征；查询q、键k和值v的组数即为分配给高频分支的头数(1-α)nh；
[0071]
在低频分支中，将当前输入图像x通过全局平均池化的操作先得到其低频分量，将该低频分量通过深度可分离卷积得到多个头的键k’和值v’，查询q’由当前输入图像x直接通过深度可分离卷积获得；查询q’、键k’和值v’通过缩放点积注意力进行计算，然后将多个头的计算结果在通道方向上进行连接，经过一个深度可分离卷积聚合得到低频特征，查询q’、键k’和值v’的组数即为分配给低频分支的头数δnh；其中，低频分支中获得查询q’、键k’及值v’的深度可分离卷积与高频分支中获得查询q、键k、值v的深度可分离卷积相同；低频分支中查询q’、键k’及值v’通过缩放点积注意力进行计算的公式与高频分支中查询q、键k和值v通过缩放点积注意力进行计算的公式相同；
[0072]
将得到的高频特征和低频特征在通道方向上进行拼接，提取得到当前输入图像x的高低频特征；
[0073]
将当前输入图像x与进行批归一化之后的高低频特征进行逐元素相加，作为变换器块中第一残差块输出的第一图像特征。
[0074]
在一个实施例中，所述步骤s330、将变换器块中第一残差块输出的第一图像特征作为变换器块中第二残差块的输入，通过前馈网络及批归一化操作后获取变换器块中第二残差块输出的第二图像特征的方法具体操作为：
[0075]
将输入首先通过一个逐点卷积进行升维，然后通过gelu激活函数进行非线性的变换，再通过一个深度可分离卷积学习高维空间中的特征，再次经过gelu激活函数，并通过dropout层，最后再次通过一个逐点卷积回到原始维度，获得经前馈网络得到的特征图像，将前馈网络得到的特征图像经过批归一化后，获取变换器块中第二残差块输出的第二图像特征。
[0076]
步骤s400、对卷积神经网络编码器的中间卷积层提取的特征图分别与变换器编码器的中间特征提取层中的变换器块提取的特征图进行匹配融合，得到互补融合特征；具体地，将卷积神经网络编码器第二层卷积层2提取的特征图与变换器编码器第一特征提取层中变换器块1提取的特征图进行匹配融合，得到第一互补融合特征；将卷积神经网络编码器第三层卷积层3提取的特征图与变换器编码器第二特征提取层中变换器块2提取的特征图进行匹配融合，得到第二互补融合特征；将卷积神经网络编码器第四层卷积层4提取的特征图与变换器编码器第三特征提取层中变换器块3提取的特征图进行匹配融合，得到第三互补融合特征；将卷积神经网络编码器和变换器编码器的中间层生成的特征进行融合，以增强它们所携带的裂缝信息。
[0077]
所述步骤s400的方法，具体操作为：
[0078]
将卷积神经网络编码器的中间卷积层提取的特征图xi与变换器编码器的中间特征提取层中的变换器块提取的特征图yi匹配输入进互补融合模块，对于输入进互补融合模块的卷积神经网络编码器部分的特征图xi及变换器编码器部分的特征图yi，首先经过通道注意力调整各个通道的权重，使得对分割有利的通道占比更大，减轻无利和冗余的通道对分割的影响；经过通道注意力之后的两部份特征图将进行矩阵乘法运算得到相关性增强特征图以增强两部份特征图的相关性；将在通道方向上连接经过通道注意力之后的两部份特征图与相关性增强特征图进行初步融合得到初步融合特征图fi，再通过一个残差卷积模块对初步融合特征图fi进行聚合，得到互补融合特征；互补融合模块如图7所示，本实施例中，互补融合模块设定有三个，分别为互补融合模块1、互补融合模块2及互补融合模块3，将卷积神经网络编码器中卷积层2提取的特征图与变换器编码器中第一特征提取层中变换器块1提取的特征图匹配输入进互补融合模块1，将卷积神经网络编码器中卷积层3提取的特征图与变换器编码器中第二特征提取层中变换器块2提取的特征图匹配输入进互补融合模块2，将卷积神经网络编码器中卷积层4提取的特征图与变换器编码器中第三特征提取层中变换器块3提取的特征图匹配输入进互补融合模块3。
[0079]
进一步地，所述通过一个残差卷积模块对初步融合特征图进行聚合，得到互补融合特征的方法，具体操作为：
[0080]
在残差卷积模块内将首先通过倒置深度可分离卷积、批归一化及gelu激活函数的组合对初步融合特征图进行降维获得降维后的特征图，然后通过两个深度可分离卷积、批归一化及gelu激活函数的组合对降维后的特征图进行聚合，得到互补融合特征；其中，所述残差卷积模块包括一个倒置深度可分离卷积、批归一化及gelu激活函数的组合1、及两个深
度可分离卷积、批归一化及gelu激活函数的组合2，组合2中的深度可分离卷积、批归一化及gelu激活函数依次串联设置，组合1中的倒置深度可分离卷积、批归一化及gelu激活函数依次串联设置，组合1与两个组合2依次串联设置，标准的深度可分离卷积先执行深度卷积再执行逐点卷积，而倒置深度可分离卷积会先执行逐点卷积再执行深度卷积，在需要降维时会进一步减少计算量。
[0081]
步骤s500、对卷积神经网络编码器最终提取的特征图与变换器编码器最终提取的特征图进行匹配融合，得到简单融合特征。
[0082]
所述步骤s500的方法，具体操作为：
[0083]
将卷积神经网络编码器最终提取的特征图与变换器编码器最终提取的特征图匹配输入进简单融合模块，对于输入进简单融合模块的卷积神经网络编码器最终提取的特征图与变换器编码器最终提取的特征图，分别通过通道注意力调整各个通道的权重之后在通道方向上连接获得连接的特征图，然后采用倒置深度可分离卷积、批归一化及gelu激活函数对连接的特征图进行聚合和降维，得到简单融合特征；其中，倒置深度可分离卷积、批归一化及gelu激活函数依次串联设置，简单融合模块如图8所示。
[0084]
步骤s600、将简单融合特征输入进解码器进行图像的恢复，配合采取跳跃连接的策略将互补融合特征连接输入解码器，获取裂缝分割结果；将互补融合特征通过跳跃连接方式传入解码器，使解码器在恢复图像时能够获得更多信息，以更好地恢复裂缝特征。
[0085]
所述步骤s600的方法，具体操作为：
[0086]
采用解码器中的亚像素卷积对输入的简单融合特征进行上采样，获取经亚像素卷积上采样后的特征；它不再需要像线性插值一样去扩大输入的尺寸，使用很小的卷积核就能实现很好的效果，这大大降低了参数量和计算量，并且它也不像转置卷积一样单纯地补零，而是使用像素重组的方式，即利用了每一个通道的特征，恢复的图像也包含更丰富和准确的信息，然后每次上采样操作会上采样两倍；其中，解码器主要由亚像素卷积、倒置深度可分离卷积和变换器块组成；具体地，所述解码器包括亚像素卷积1、三个由倒置可分离卷积、变换器块、亚像素卷积组成的的组合3、组合4、组合5及倒置可分离卷积1，亚像素卷积、组合3、组合4、组合5及倒置可分离卷积依次串联设置，组合3、组合4、组合5中的倒置可分离卷积、变换器块、亚像素卷积依次串联设置；进一步地，组合3包括依次串联的倒置可分离卷积2、变换器块5及亚像素卷积2，组合4包括依次串联的倒置可分离卷积3、变换器块6及亚像素卷积3，组合5包括依次串联的倒置可分离卷积4、变换器块7及亚像素卷积4；本实施例中，采用解码器中的亚像素卷积1对输入的简单融合特征进行上采样，获取经亚像素卷积1上采样后的特征。
[0087]
接收编码器对应层的互补融合特征，互补融合特征采取跳跃连接的策略在通道方向上与经亚像素卷积上采样后的特征进行连接，通过倒置深度可分离卷积去融合互补融合特征、经亚像素卷积上采样后的特征并进行降维处理获取降维后的特征，然后再通过变换器块对降维后的特征进行解码送至匹配的亚像素卷积进行上采样，如此循环三次得到经最后一个亚像素卷积上采样后的最终特征；本实施例中，当互补融合特征是第三互补融合特征时，第三互补融合特征采取跳跃连接的策略在通道方向上与经亚像素卷积1上采样后的特征进行连接，通过倒置深度可分离卷积2去融合第三互补融合特征、经亚像素卷积1上采样后的特征并进行降维处理获取降维后的特征，然后再通过变换器块5对降维后的特征进
行解码送至匹配的亚像素卷积2进行上采样，得到经亚像素卷积2上采样后的特征；当互补融合特征是第二互补融合特征时，第二互补融合特征采取跳跃连接的策略再循环一次上述操作，得到经亚像素卷积3上采样后的特征；当互补融合特征是第一互补融合特征时，第一互补融合特征采取跳跃连接的策略再循环一次上述操作，得到经亚像素卷积4上采样后的最终特征；
[0088]
将经最后一个亚像素卷积上采样后的最终特征通过一个倒置深度可分离卷积得到裂缝分割结果；将经亚像素卷积4上采样后的最终特征通过一个倒置深度可分离卷积1得到裂缝分割结果。
[0089]
本实施例中，如图2所示，对于整个网络而言，采取了金字塔结构的设计，分层提取不同尺度的特征。初始输入图像为rgb图像,大小为3
×h×
w，两个解码器都被划分为4层,在卷积神经网络编码器中，每经过一层特征图都会被下采样两倍，通道数则扩大两倍,特征图大小从上至下依次为和而在变换器编码器中，初始输入图像首先会通过块块嵌入层，使得大小变为了输入图像的1/4,因此为了使得进行互补融合的特征图大小一致，我们会将卷积神经网络编码器的第二层提取的特征与变换器编码器第一层提取的特征进行互补融合，以此类推。而卷积神经网络编码器的最后一层提取的特征会再次通过一个深度可分离卷积对特征图的大小进行改变，以便于能和变换器编码器最后一层提取的特征进行简单融合，最后的简单融合特征及互补融合特征会通过解码器，逐步恢复至初始输入图像大小，从而得到裂缝分割结果，大小为1
×h×
w；其中，通道数c被设置为32，图像的高h被设置为512，图像的宽w被设置为512。
[0090]
如图9至图11所示，对于本发明中涉及的互补融合模块，通过对比编码器各中间层特征图可以看出，通过互补融合模块后得到的互补融合特征的关注点更加集中，且语义信息和纹理信息更加均衡，对于细小裂缝的分割更有利，可以更完整的分割裂缝，提高分割的表现，有效提高检测准确率和效率。
[0091]
本发明一种基于卷积神经网络和变换器双路径的道路裂缝分割方法利用卷积神经网络和变换器的互补性，采用卷积神经网络编码器中间层及变换器编码器中间层分别提取特征图进入互补融合模块进行深度融合，配合对卷积神经网络编码器最终提取的特征图与变换器编码器最终提取的特征图进行简单融合，一起送入解码器进行解码，最终得到恢复完整的裂缝分割结果，对于细小裂缝的分割更有利，可以更完整的分割裂缝，提高分割的表现，有效提高检测准确率和效率。
[0092]
本发明采用准确率(acc)、精确度(pre)、召回率(re)、f1得分(f1)和平均交并比(miou)作为评价指标，
[0093][0094][0095]
[0096][0097][0098]
其中，真阳性(tp)表示像素的真实类别是裂缝，并且它被正确地识别为裂缝；假阳性(fp)意味着像素的真实类别是背景，并且它被错误地识别为裂缝；假阴性(fn)意味着像素的真实类别是裂缝，并且它被错误地识别为背景。真阴性(tn)表示像素真实类别为背景，且被正确的识别为背景。
[0099]
为验证本发明提出的基于卷积神经网络和变换器双路径的道路裂缝分割方法的合理性与有效性，我们选择了6种不同的常用于分割的损失函数cross-entropy loss(ce_loss),bce_loss,dice_loss,tversky loss(tv_loss),focal loss(fl)和generalized focal loss(gfl)及两种组合损失函数bce_loss+dice_loss和fl+dice_loss，应用于本发明上，在deepcrack数据集上进行了测试。分别为选择了效果最好的一种损失函数的组合。图12为不同损失函数在deepcrack数据集上训练阶段的损失值变化曲线。表1为本发明使用不同损失函数在deepcrack数据集上测试的结果。
[0100]
表1
[0101][0102][0103]
本发明在三个不同特点的公开路面裂缝数据集deepcrack、crackforest和cracktree260上进行了实验，验证了本发明的效果达到了目前的先进水平。本发明方法分别与目前七种不同的先进方法unet、fcn16s、segnet、rcf、hed、deepcrack和deeplabv3+进行了对比，本发明方法的综合效果皆高于他们，裂缝分割效果对比如图19所示。图13为多种方法在deepcrack数据集上的训练阶段的准确率变换曲线。图14为多种方法在deepcrack数据集上的训练阶段的精确度变换曲线。图15为多种方法在deepcrack数据集上的训练阶段的召回率变换曲线。图16为多种方法在deepcrack数据集上的训练阶段的f1得分变换曲线。图17为多种方法在deepcrack数据集上的训练阶段的损失值变换曲线。表2为多种方法在deepcrack数据集上的测试结果。表3为多种方法在crackforest数据集上的测试结果。表4为多种方法在cracktree260数据集上的测试结果。
[0104]
表2
[0105]
modelpre(％)re(％)f1(％)miou(％)unet87.7172.2979.2683.32fcn16s88.8171.8879.4581.33segnet75.4578.1176.7679.08rcf88.8751.6465.3269.52hed82.9764.4072.5175.36deepcrack82.3384.6683.4884.93deeplabv3+88.9372.4179.8282.84proposed89.3182.3385.6887.04
[0106]
表3
[0107]
modelpre(％)re(％)f1(％)miou(％)unet78.0058.5966.9173.28fcn16s73.0871.5972.3377.95segnet76.2366.1370.2876.05rcf53.3174.7662.2469.42hed50.4071.4159.1067.29deepcrack67.6172.0269.7573.45deeplabv3+71.8866.0768.8573.41proposed78.4781.2979.8582.56
[0108]
表4
[0109]
modelpre(％)re(％)f1(％)miou(％)unet86.6454.9567.2576.85fcn16s79.4435.3848.9667.34segnet84.1056.3767.5076.49rcf70.971.573.0749.43hed81.7717.3428.6257.15deepcrack79.8863.1070.5177.25deeplabv3+72.2128.8841.2563.65proposed80.5570.7675.3480.43
[0110]
此外，我们还进行了充分的消融实验。表5为消融实验的结果。为了证明本发明的互补融合想法的有效性。我们对比了不采用卷积神经网络编码器、不采用变换器编码器和本发明所采用的双路径编码器结构的性能，裂缝分割效果对比如图18所示。
[0111]
表5
[0112]
modelpre(％)re(％)f1(％)miou(％)without cnn90.1778.5083.9485.54without transformer89.1580.5284.6186.26proposed89.3182.3385.6887.04
[0113]
对于本发明中全卷积高低频中高频和低频的划分，测试了多组参数，得出了表现
最好的搭配。表6为高频和低频划分比例α取不同值时的实验结果。
[0114]
表6
[0115]
αpre(％)re(％)f1(％)miou(％){0.4,0.5,0.3,0.2}86.9380.4583.5685.87{0.4,0.4,0.4,0.4}88.4676.9182.2884.99{0.5,0.5,0.5,0.5}88.8172.6379.9184.10{0.4,0.3,0.2,0.1}89.3182.3385.6887.04{0.5,0.4,0.3,0.2}88.8977.6682.8985.48
[0116]
为了验证本发明所采用的互补融合模块是有效的，我们也进行了充分的消融实验。表7为互补融合模块消融实验结果。
[0117]
表7
[0118]
cfm1cfm2cfm3pre(％)re(％)f1(％)miou(％)
ꢀꢀꢀ
87.4577.4382.1484.16√
ꢀꢀ
91.175.9182.8185.11 √ 88.9376.782.3684.76
ꢀꢀ
√88.6174.280.7783.74√√ 88.4677.3882.5584.9 √√90.6573.2281.0183.92√ √89.6778.1183.4985.7√√√89.3182.3385.6887.04
[0119]
为了更好的验证本发明的泛化性和适应能力，我们进行了交叉数据集验证。训练和测试采用不同的数据集，本发明也表现了良好的性能。表8为交叉数据集验证的结果。
[0120]
表8
[0121][0122][0123]
综上所述，本发明一种基于卷积神经网络和变换器双路径的道路裂缝分割方法利用卷积神经网络和变换器的互补性，采用卷积神经网络编码器中间层及变换器编码器中间层分别提取特征图进入互补融合模块进行深度融合，配合对卷积神经网络编码器最终提取的特征图与变换器编码器最终提取的特征图进行简单融合，一起送入解码器进行解码，最终得到恢复完整的裂缝分割结果，对于细小裂缝的分割更有利，可以更完整的分割裂缝，提高分割的表现，有效提高检测准确率和效率。
[0124]
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发
明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

技术特征：
1.一种基于卷积神经网络和变换器双路径的道路裂缝分割方法，其特征在于，包括如下步骤：步骤s100、加载基于卷积神经网络和变换器双路径的道路裂缝图像的数据集，对双路径网络进行训练；步骤s200、基于卷积神经网络对初始输入图像进行特征提取，获取各个卷积层提取到的特征图及通过一个深度可分离卷积进行下采样得到卷积神经网络编码器最终提取的特征图；其中，所述卷积神经网络包括卷积神经网络编码器，卷积神经网络编码器包括多个卷积层及一个深度可分离卷积；步骤s300、基于变换器对初始输入图像进行特征提取，获取各个变换器块提取的特征图；其中，所述变换器包括变换器编码器，所述变换器编码器包括多个特征提取层，每个特征提取层中均设有变换器块，变换器编码器最后一个特征提取层中变换器块提取的特征图为变换器编码器最终提取的特征图；步骤s400、对卷积神经网络编码器的中间卷积层提取的特征图分别与变换器编码器的中间特征提取层中的变换器块提取的特征图进行匹配融合，得到互补融合特征；步骤s500、对卷积神经网络编码器最终提取的特征图与变换器编码器最终提取的特征图进行匹配融合，得到简单融合特征；步骤s600、将简单融合特征输入进解码器进行图像的恢复，配合采取跳跃连接的策略将互补融合特征连接输入解码器，获取裂缝分割结果。2.根据权利要求1所述的基于卷积神经网络和变换器双路径的道路裂缝分割方法，其特征在于，所述步骤s100中对双路径网络进行训练的方法中，使用的损失函数为：loss(x，y)＝bce loss(x，y)+dice loss(x，y)；其中，bce_loss(x，y)＝-(1-y)log(1-x)-y log(x)，x表示预测值，y表示真实值，ε表示平滑因子。3.根据权利要求1所述的基于卷积神经网络和变换器双路径的道路裂缝分割方法，其特征在于，所述步骤s200的方法，具体包括如下步骤：在卷积神经网络编码器的每一层卷积层中，通过一个卷积块，对当前输入图像进行一个粗略特征提取；其中，所述卷积神经网络编码器包括卷积层1、卷积层2、卷积层3及卷积层4四个卷积层及一个深度可分离卷积；通过每个卷积层内的深度可分离卷积完成下采样；在残差块内堆叠不同数量为r的卷积块进行特征提取；残差块内最后一个卷积块提取到的特征会在通道方向上与该层卷积层的输入进行连接，再次经过一个逐点卷积聚合特征并降低维度，得到卷积神经网络编码器的每一层卷积层提取的特征图；第四层卷积层4的特征图会通过一个深度可分离卷积进行下采样得到卷积神经网络编码器最终提取的特征图。4.根据权利要求1所述的基于卷积神经网络和变换器双路径的道路裂缝分割方法，其特征在于，所述步骤s300的方法，包括如下步骤：
步骤s310、通过块嵌入层将初始输入图像划分为多个4
×
4像素大小的图像块，获取划分好的初始输入图像；步骤s320、当前输入图像进入变换器块中的第一残差块，通过计算全卷积高低频注意力获取变换器块中第一残差块输出的第一图像特征；其中，每个变换器块主要由第一残差块及第二残差块两个残差块组成；步骤s330、将变换器块中第一残差块输出的第一图像特征作为变换器块中第二残差块的输入，通过前馈网络及批归一化操作后获取变换器块中第二残差块输出的第二图像特征；步骤s340、变换器块中第二残差块输出的第二图像特征经过批归一化处理后，与变换器块中第一残差块输出的第一图像特征进行逐元素相加，作为变换器块的输出图像；其中，当当前输入图像为划分好的初始输入图像时，变换器块的输出图像为变换器块1提取的特征图；步骤s350、利用深度可分离卷积和批归一化对变换器块1提取的特征图进行预处理，通过块合并层1将变换器块1提取的特征图中的图像块两两合并，完成对变换器块1提取的特征图的尺度转变，将尺度转变后的变换器块1提取的特征图经过变换器块2进行特征提取，获取变换器块2提取的特征图；其中，所述变换器编码器包括第一特征提取层、第二特征提取层、第三特征提取层及第四特征提取层，第一特征提取层包括块嵌入层和变换器块1，第二特征提取层包括块合并层1和变换器块2，第三特征提取层包括块合并层2和变换器块3，第四特征提取层包括块合并层3和变换器块4；步骤s360、利用深度可分离卷积和批归一化对变换器块2提取的特征图进行预处理，通过块合并层2将变换器块2提取的特征图中的图像块两两合并，完成对变换器块2提取的特征图的尺度转变，将尺度转变后的变换器块2提取的特征图经过变换器块3进行特征提取，获取变换器块3提取的特征图；步骤s370、利用深度可分离卷积和批归一化对变换器块3提取的特征图进行预处理，通过块合并层3将变换器块3提取的特征图中的图像块两两合并，完成对变换器块3提取的特征图的尺度转变，将尺度转变后的变换器块3提取的特征图经过变换器块4进行特征提取，获取变换器块4提取的特征图。5.根据权利要求4所述的基于卷积神经网络和变换器双路径的道路裂缝分割方法，其特征在于，所述步骤s320、当前输入图像进入变换器块中的第一残差块，通过计算全卷积高低频注意力获取变换器块中第一残差块输出的第一图像特征的方法，具体包括如下步骤：当前输入图像x会在通道方向上按照比例α进行划分，高频分支将得到(1-α)n
h
，低频分支将得到αn
h
，n
h
为头数，对高频分支和低频分支两部分分别计算自注意力；在高频分支中，当前输入图像x通过深度可分离卷积获得各个头的查询q、键k和值v：q＝c
q
(x)，k＝c
k
(x)，v＝c
v
(x)将查询q、键k和值v通过缩放点积注意力进行计算：(x)将查询q、键k和值v通过缩放点积注意力进行计算：其中，c
q
、c
k
、c
v
分别表示获得查询q、键k、值v的深度可分离卷积；d
h
为隐藏层维度，sa
h
表
示一个头的缩放点积自注意力的结果，msa表示将多个头的计算结果在通道方向上进行连接，经过一个深度可分离卷积聚合得到高频特征；查询q、键k和值v的组数即为分配给高频分支的头数(1-α)n
h
；在低频分支中，将当前输入图像x通过全局平均池化的操作先得到其低频分量，将该低频分量通过深度可分离卷积得到多个头的键k’和值v’，查询q’由当前输入图像x直接通过深度可分离卷积获得；查询q’、键k’和值v’通过缩放点积注意力进行计算，然后将多个头的计算结果在通道方向上进行连接，经过一个深度可分离卷积聚合得到低频特征，查询q’、键k’和值v’的组数即为分配给低频分支的头数αn
h
；将得到的高频特征和低频特征在通道方向上进行拼接，提取得到当前输入图像x的高低频特征；将当前输入图像x与进行批归一化之后的高低频特征进行逐元素相加，作为变换器块中第一残差块输出的第一图像特征。6.根据权利要求4所述的基于卷积神经网络和变换器双路径的道路裂缝分割方法，其特征在于，所述步骤s330、将变换器块中第一残差块输出的第一图像特征作为变换器块中第二残差块的输入，通过前馈网络及批归一化操作后获取变换器块中第二残差块输出的第二图像特征的方法具体操作为：将输入首先通过一个逐点卷积进行升维，然后通过gelu激活函数进行非线性的变换，再通过一个深度可分离卷积学习高维空间中的特征，再次经过gelu激活函数，并通过dropout层，最后再次通过一个逐点卷积回到原始维度，获得经前馈网络得到的特征图像，将前馈网络得到的特征图像经过批归一化后，获取变换器块中第二残差块输出的第二图像特征。7.根据权利要求1所述的基于卷积神经网络和变换器双路径的道路裂缝分割方法，其特征在于，所述步骤s400的方法，具体操作为：将卷积神经网络编码器的中间卷积层提取的特征图与变换器编码器的中间特征提取层中的变换器块提取的特征图匹配输入进互补融合模块，对于输入进互补融合模块的卷积神经网络编码器部分的特征图及变换器编码器部分的特征图，首先经过通道注意力调整各个通道的权重，经过通道注意力之后的两部份特征图将进行矩阵乘法运算得到相关性增强特征图，将在通道方向上连接经过通道注意力之后的两部份特征图与相关性增强特征图进行初步融合得到初步融合特征图，再通过一个残差卷积模块对初步融合特征图进行聚合，得到互补融合特征。8.根据权利要求7所述的基于卷积神经网络和变换器双路径的道路裂缝分割方法，其特征在于，所述通过一个残差卷积模块对特征图进行聚合，得到互补融合特征的方法，具体操作为：在残差卷积模块内将首先通过倒置深度可分离卷积、批归一化及gelu激活函数的组合对初步融合特征图进行降维获得降维后的特征图，然后通过两个深度可分离卷积、批归一化及gelu激活函数的组合对降维后的特征图进行聚合，得到互补融合特征。9.根据权利要求1所述的基于卷积神经网络和变换器双路径的道路裂缝分割方法，其特征在于，所述骤s500的方法，具体操作为：将卷积神经网络编码器最终提取的特征图与变换器编码器最终提取的特征图匹配输
入进简单融合模块，对于输入进简单融合模块的卷积神经网络编码器最终提取的特征图与变换器编码器最终提取的特征图，分别通过通道注意力调整各个通道的权重之后在通道方向上连接获得连接的特征图，然后采用倒置深度可分离卷积、批归一化及gelu激活函数对连接的特征图进行聚合和降维，得到简单融合特征。10.根据权利要求1所述的基于卷积神经网络和变换器双路径的道路裂缝分割方法，其特征在于，所述步骤s600的方法，具体操作为：采用解码器中的亚像素卷积对输入的简单融合特征进行上采样，获取经亚像素卷积上采样后的特征；其中，解码器主要由亚像素卷积、倒置深度可分离卷积和变换器块组成；接收编码器对应层的互补融合特征，互补融合特征采取跳跃连接的策略在通道方向上与经亚像素卷积上采样后的特征进行连接，通过倒置深度可分离卷积去融合互补融合特征、经亚像素卷积上采样后的特征并进行降维处理获取降维后的特征，然后再通过变换器块对降维后的特征进行解码送至匹配的亚像素卷积进行上采样，如此循环三次得到经最后一个亚像素卷积上采样后的最终特征；将经最后一个亚像素卷积上采样后的最终特征通过一个倒置深度可分离卷积得到裂缝分割结果。

技术总结
本发明公开了一种基于卷积神经网络和变换器双路径的道路裂缝分割方法，其包括加载基于卷积神经网络和变换器双路径的道路裂缝图像的数据集；基于卷积神经网络对初始输入图像进行特征提取，获取各个卷积层提取到的特征图及通过一个深度可分离卷积进行下采样得到最终提取的特征图；基于变换器对初始输入图像进行特征提取，获取各个变换器块提取的特征图；得到互补融合特征；得到简单融合特征；将简单融合特征输入进解码器进行图像的恢复，配合采取跳跃连接的策略将互补融合特征连接输入解码器，获取裂缝分割结果。本发明利用卷积神经网络和变换器的互补性，将互补融合特征与简单融合特征一起送入解码器进行解码，最终得到恢复完整的裂缝分割结果。复完整的裂缝分割结果。复完整的裂缝分割结果。


技术研发人员：张建明 曾志高 王进
受保护的技术使用者：长沙理工大学
技术研发日：2023.05.11
技术公布日：2023/8/9