一种地表水边界精细化提取方法

1.本发明涉及一种地表图像处理技术，尤其涉及一种地表水边界精细化提取方法。


背景技术：

2.地表水是生态系统中最重要的组成部分之一，地表水对于人类生产生活而言也是十分重要的，因此，监测掌握地表水的情况，这对于有效保护地球生态环境而言是十分重要的。
3.近年来，随着深度学习技术的发展，特别是卷积神经网络，已被广泛应用于图像分割、分类和目标检测任务中。2017年，isikdogan首次提出了一种新的cnn架构，名为deepwatermap，该模型采用全卷积网络结构，将光谱、空间、纹理和形状特征结合起来，区分水体和扰动特征，如雪、冰和地形阴影。然而，该方法在设计卷积神经网络时，旨在网络关注前景(水体)，最终达到一个总体良好的效果。而在针对较为窄小的河流以及细小的水体类型方面，目前很难提取该水体类型，往往会造成漏检或者误检。


技术实现要素：

4.本发明的目的在于提供一种地表水边界精细化提取方法，该地表水边界精细化提取方法能够实现对地表图像中较为窄小的河流以及细小的水体进行标注，从而实现对地表水边界的精细化提取。
5.为了实现上述技术目的，本发明采用如下技术方案：
6.一种地表水边界精细化提取方法，所述地表水边界精细化提取方法包括：
7.构建地表水图像数据集合，其中设置训练集和测试集；
8.构建卷积神经网络，所构建的卷积神经网络中包括卷积块处理通道、浅层特征提取模块、se注意力模块和特征融合模块；
9.所述卷积块处理通道用于实现对输入图像的特征学习；
10.所述浅层特征提取模块用于对卷积块处理通道中的前期下采样卷积块处理后的特征进行sa模块处理，然后将处理后的特征加入卷积块处理通道中的每个上采样卷积块中；
11.所述se注意力模块用于对卷积块处理通道的输入图像进行se模块处理，将经过处理的图像传输至卷积块处理通道的输出处；
12.所述特征融合模块用于对卷积块处理通道中的下采样卷积块处理后的特征进行特征融合，然后将融合的特征加入卷积块处理通道中的每个上采样卷积块中；
13.采用地表水图像数据集合对卷积神经网络进行训练，在训练时使用sobel边缘损失函数来计算损失，得到训练好的地表水边界提取模型；
14.用训练好的地表水边界提取模型对待处理地表图像上地表水边界进行自动提取，获得地表水图。
15.进一步地，所述卷积块处理通道中设置有7个卷积块，其中，4个卷积块为下采样卷
积块，另外3个卷积块为上采样卷积块，在4个下采样卷积块与3个上采样卷积块之间设置aspp处理模块。
16.进一步地，所述卷积神经网络中设置浅层特征提取模块的数量为2个，2个浅层特征提取模块分别用于对卷积块处理通道中的第1个和第2个下采样卷积块处理后的特征进行sa模块处理。
17.进一步地，所述特征融合模块用于对卷积块处理通道中的第1个、第2个以及第4个下采样卷积块处理后的特征进行特征融合。
18.进一步地，所述地表水边界精细化提取方法还包括：针对卷积神经网络的输出，设置sigmoid激活函数，该sigmoid激活函数用于对卷积神经网络输出图像中的每个像素进行sigmoid激活函数处理，得到图像中每个像素的分类结果。
19.进一步地，在对卷积神经网络进行训练时，使卷积神经网络迭代200次后完成训练。
20.进一步地，在对卷积神经网络进行训练时，使用自适应梯度优化器以及动量算法。
21.进一步地，所述地表水图像数据集合中的图像数据选取自公开数据集eswkb。
22.在本发明的地表水边界精细化提取方法中，在卷积神经网络中设置浅层特征提取模块、se注意力模块以及特征融合模块，所述浅层特征提取模块用于对卷积块处理通道中的下采样卷积块处理后的特征进行sa模块处理，然后将处理后的特征加入卷积块处理通道中的上采样卷积块中，所述se注意力模块用于对卷积块处理通道的输入图像进行se模块处理，所述特征融合模块用于对卷积块处理通道中的下采样卷积块处理后的特征进行特征融合，然后将融合的特征加入卷积块处理通道中的上采样卷积块中，这样一来，se注意力模块和特征融合模块能够探索边界语义信息，而特征融合模块能够组合从不同深度提取的特征，并且使用sobel边缘损失函数来增强网络对于边界信息的注意，经过训练得出的地表水边界提取模型，其能够对地表图像中较为窄小的河流以及细小的水体进行标注，从而实现对地表水边界的精细化提取。
23.本发明的地表水边界精细化提取方法相对现有技术，其有益效果在于：该地表水边界精细化提取方法能够实现对地表图像中较为窄小的河流以及细小的水体进行标注，从而实现对地表水边界的精细化提取。
附图说明
24.图1为基于本发明的一实施方式的一种地表水边界精细化提取方法中的卷积神经网络的示意图；
25.图2为辫状河流地区和密集分布的河流地区分别在不同模型下的局部放大图；
26.图3为使用不同方法的六种测试图像的效果比较图。
具体实施方式
27.下面用具体实施例对本发明作进一步说明：
28.本实施方式提供了一种地表水边界精细化提取方法，该地表水边界精细化提取方法能够对地表图像中较为窄小的河流以及细小的水体进行标注。
29.本实施方式的地表水边界精细化提取方法包括如下步骤s1至s4。
30.具体来说，
31.s1，预先构建一个地表水图像数据集合，其中的图像数据选取自公开数据集eswkb(earth surface water knowledge base)，该eswkb是由大气校正的哨兵-2多光谱仪器(msi)图像建立而成。
32.需要说明的是，之前提到的eswkb是一个公开的数据集，其中具有全球各地和一年四季的哨兵-2图像，从31张图像中捕获的95个场景构成了整个eswkb数据集。
33.在本实施方式中，从eswkb中挑选出6个不同水体类型的场景作为测试集，其余的89个场景作为训练集。
34.在其它实施方式中，可根据需要来确定选取场景的数量。
35.s2，构建一个卷积神经网络。
36.参见图1，该构建的卷积神经网络包括：一个卷积块处理通道、一个se注意力模块(se attention)、两个浅层特征提取模块(sa)，以及，一个特征融合模块(mff)。
37.所述卷积块处理通道用于实现对输入图像的特征学习的功能。
38.具体来说，
39.所述卷积块处理通道中设置有多个串联在一起的卷积块(conv block)。在本实施方式中，卷积块处理通道中设置卷积块的数量是7个，其中，卷积块处理通道中最上游的4个卷积块用于实施下采样操作，该卷积块称其为下采样卷积块，卷积块处理通道中最下游的3个卷积块用于实施上采样操作，该卷积块称其为上采样卷积块。
40.此外，所述卷积块处理通道中还设置有一个aspp处理模块，该aspp处理模块设置在第4卷积块和第5卷积块之间，即，下采样卷积块与上采样卷积块之间，该aspp处理模块是一个现有技术的多尺度特征提取模块，其在卷积块处理通道中的作用是捕捉不同尺度下的上下文信息，以提高网络的感受野(receptive field)和语义理解能力。
41.所述卷积块处理通道中设置的卷积块，其主要的操作步骤依次包括：由卷积核大小为3*3的卷积操作、bn标准化操作、relu激活函数操作和跳跃连接操作。
42.需要说明的是，在本实施方式中，将卷积块处理通道中最上游侧的卷积块(输入处的卷积块)称为“卷积块处理通道中的第1个卷积块”，后续的卷积块则依次称为第2、3、4、
…………
卷积块，将卷积块处理通道中最下游侧的卷积块(输出处的卷积块)称为“卷积块处理通道中的最后一个卷积块”。
43.所述se注意力模块用于对卷积块处理通道输入处的输入图像进行se模块处理，然后将经过处理的图像传输至卷积块处理通道的输出处，以辅助最终结果图的生成。
44.所述两个浅层特征提取模块分别设置在卷积块处理通道中的第1个和第2个卷积块处，两个浅层特征提取模块分别用于对卷积块处理通道中的第1个和第2个卷积块(下采样卷积块)处理后的特征进行sa模块处理，将处理后的特征输入到aspp处理模块中，然后，aspp处理模块将经由sa模块处理的特征加入每个上采样卷积块中，以辅助图像还原。
45.所述特征融合模块用于对卷积块处理通道中的第1个卷积块、第2个卷积块以及第4个卷积块(3个下采样卷积块)处理后的特征进行特征融合，然后将融合的特征输入到aspp处理模块中，aspp处理模块将经由特征融合模块融合的特征加入每个上采样卷积块中，这样一来，结合三个尺度特征，有利于帮助网络更好的学习，辅助图像更好的还原。
46.此外，针对构建的卷积神经网络的输出，还设置一个sigmoid激活函数，该sigmoid
激活函数用于对卷积神经网络输出图像中的每个像素进行sigmoid激活函数处理，从而得到图像中每个像素的分类结果。
47.之前提及的se注意力模块，该模块的基本结构如下：首先，卷积层：输入经过一系列的卷积层来提取特征。其次，挤压操作通过全局池化将输入特征映射的每个通道压缩为一个标量，从而捕获特征映射的全局统计信息。这有助于识别输入中的关键区域，从而保留对象边界信息。接下来，激励操作获取挤压操作的输出，并将其通过一个完全连接的网络产生一组权向量，这些向量用于对每个通道的特征图进行加权，从而放大关键区域的响应。这进一步增强了模型对对象边界信息的关注，从而更容易区分不同的对象。重新缩放层：最后，将0到1之间的值乘回原始特征图上，加权其重要性，增强关键信息的影响。在se注意力模块对输入的6通道图像进行处理后，将其引入到网络的最后一个上采样层，帮助网络在瓶颈层获得更抽象的信息。se注意力模块主要由四个步骤组成：首先从给定的特征图中生成特征图，然后通过全局平均池化得到一个向量。同时，还可以获得各特征通道的全局压缩特征量。之后，它通过两个完全连接的层为每个特征通道分配一个新的权值。最后，将新的权值与初始特征图相乘，得到所需的特征图。
48.之前提及的特征融合模块。该模块通过整合空间注意和通道注意，提高了网络建模空间信息和通道信息的能力。首先，对输入进行3x3卷积处理，并将特征图分别输入到空间注意模块和通道注意模块中。信道注意模块对输入特征进行全局最大池化和全局平均池化，生成两个特征图，然后由多层感知器处理并加在一起。然后将得到的特征通过一个sigmoid函数得到一个权值矩阵，并与输入的特征映射相乘，以增强最相关的通道。空间注意模块对输入特征进行全局最大池和全局平均池化，生成特征图，然后通过7x7卷积和s型激活连接处理，得到权重矩阵。然后将权重矩阵与输入的特征图相乘，以增强最相关的空间位置。最后，将通道注意和空间注意增强的特征图加在一起。
49.之前提及的特征融合模块。该特征融合模块的设计是为了结合了浅层特征和深层特征的优点。当特征在编码器的早期层时，它们包含了丰富的对象边界细节，尽管只经历了少量的卷积。相比之下，更深的编码器层的特征在语义层次上更加抽象，并突出了目标的位置。通过融合浅层特征和深层特征，希望结合它们的优势，得到一个具有粗糙边界和精确位置的初始显著性特征图。然后，可以将该映射引入到每个上采样层，以帮助网络在解码过程中恢复边界细节。
50.之前提及的sobel损失函数。sobel边缘损失函数使用sobel算子计算水平和垂直方向的图像梯度，可以很好地捕捉边界信息，特别是对于小水体，因为水体边界通常是连续的，其梯度方向在空间上应该一致。与二值交叉熵损失相比，sobel边缘损失函数可以通过加强梯度方向的一致性来减少误分割。
51.后续的实验都是基于89个场景作为训练集，训练好的模型在6张测试集数据上进行评估。通过进行各种消融实验来分析eb-net各组成部分的贡献。由于该方法的网络主干是resnet，所以比较了eb-net体系结构的三种变体与resnet，以验证在该模型中提出的每个模块的有效性。
52.表1和图2表示从每个模型的模块配置中获得的评估指标和预测结果，其中，模型no.1：resnet+bce，模型no.2：resnet+sa+bce，模型no.3：resnet+sa+mff+sea+bce，模型no.4：resnet+sa+mff+sea+mse，模型no.5：resnet+sa+mff+sea+focal，模型no.6：resnet+
sa+mff+se+sobel(本实施方式的方法)。在表1中，sa、mff和sea分别代表了浅层注意模块、多特征融合模块和挤压-激励注意模块。bce表示二值交叉熵损失函数，mse表示均方误差损失函数，焦点表示焦点损失损失函数，sobel表示sobel边缘损失函数。评价值是6幅测试图像的平均结果。
53.特征融合模块旨在从两个浅层特征中提取边缘语义。为了测试sa的有效性，在模型框架中将sa模块添加到resnet主干网络中，并与以resnet为主干网络的编码-解码器结构网络进行比较。如表1所示，可以看到，查准率和查全率分别略微提高了0.38％和0.26％。
54.如图2所示，对于辫状河流区域，模型1和模型2，可以看到，在添加sa模块后，之前被resnet遗漏的小分支水体得到了一定的形状，效果显著。在密集分布的河流地区，对于模型1和模型2，可以看到，在添加sa模块后，之前断开的分支水体现在是明显连续的，并且效果是显著的。
55.在主干网络的基础上，引入mff聚合三个浅、中、深特征，生成初始目标图，并将其集成到解码器中，逐步引导最终的显著性预测。然后，将sea模块应用于网络最后一层的上采样输出，使输出通道更具方向性，这有助于将关键方向纳入最终的显著性预测结果中。如表1(模型2,3)所示，可以观察到查全率增加了1.72％，但查准率略有下降，f1综合指标提高了0.29％。在图2中，对于辫状河流和密集分布的河流区域，可以看到，在添加了mff和sea模型后，一些不连续的分支水体提高了连续性。
56.sobel边缘损失函数利用两个滤波器不断推动模型，进行优化解学习，并关注网络优化过程中分割边界的误差。如表1(模型3、6)所示，可以看到查准率、查全率和f1综合指标分别提高了1.2％、0.66％和0.93％，表明模型有了显著的改善。考虑到在水分割任务中仍有一些常用的损失函数，所以在网络中用mse和焦点损失替换sobel边缘损失函数进行了比较实验。如图2(模型4,5)所示，可以清楚地看到，当面对小的水信息时，mse和焦点损失并不能有效地帮助网络探索这些小的特征。因此一个适当的损失函数可以帮助每个模块充分发挥其作用，使目标识别更具方向性。如图2中的各种图像所示，该方法提出的模型(模型6)在提取小水体方面有了显著的改进，进一步增强了小水体之间的关系，改善了之前断开的支流。此外，可以观察到，该模型在改变损失函数后被忽略的水体特征有了显著的改善，说明sobel边缘损失函数不断地将模型聚焦到目标边界上。综上所述，sobel边缘损失函数在检测细长水体特征方面具有优越的性能。
57.表1，模型在eswkb数据集上的消融实验
[0058][0059]
s3，将步骤s1中构建的地表水图像数据集合输入到步骤s2中构建的卷积神经网络中，采用地表水图像数据集合对卷积神经网络进行训练，最终得到训练好的模型，该模型称其为地表水边界提取模型。
[0060]
需要说明的是，在训练卷积神经网络时，使用sobel边缘损失函数来计算损失。
[0061]
需要说明的是，在训练卷积神经网络时，可以使用自适应梯度优化器(adam)以及动量算法，以达到优化模型参数的目的。
[0062]
此外，可以预先确定了一个训练迭代次数n，对于卷积神经网络的训练，可使卷积神经网络迭代n次后完成训练，从而得到最终训练好的地表水边界提取模型。
[0063]
在本实施方式中，训练迭代次数n预先设置为200，也就是说，卷积神经网络迭代200次后，得到最终训练好的地表水边界提取模型。
[0064]
在训练好地表水边界提取模型后，使用该地表水边界提取模型对大小为512*512*6的测试图像数据进行水体提取，以此来评估该地表水边界提取模型的使用效果。
[0065]
评估方法选择了四个常用的语义分割指标：准确率、查准率、查全率和f1综合分数。准确率表示所有正确分类的像素与总像素数的比率。查准率表示正确分类的水像素与所有分类为水的像素的比例。查全率表示检测到的水像素与所有真实的水像素的比例。f1综合指标是一种结合了精度和查全率的综合度量指标，通常用于衡量方法的整体性能。f1综合指标的值接近1表示方法性能越好，而值接近0表示方法性能越差。
[0066]
不同方法的结果列在表2和图3中。图3中六张图片的类型分别是：[a]边界不规则
湖泊、[b]辫状河流、[c]池塘间散布的线性河流、[d]密集分布的河流、[e]小河流、[f]边界规则的湖泊。
[0067]
从表格和图表中可以看出，传统的基于水指数的方法，如mndwi，噪声较大，容易受到非水特征的干扰。svm分类器的查全率最高，但精度低，错误检测次数多。u-net对小水体很敏感，但缺乏连续性，这在一些地区对小支流的间歇性识别中可以看出。resnet和deepwatermapv2受到云层覆盖的影响，这增加了假阳性(非水像素)，并且对被陆地特征包围的小水体不敏感。该方法提出的eb-net将编码器结构与深度卷积方法相结合，并在编码中集成了深度和浅特征的关键信息以帮助解码。将卷积层的不同层的接受域传输到网络中，引导网络定向学习小水体的特征，与现有的深度学习方法相比，可以获得最佳的水提取效果。
[0068]
表2.不同方法的评价指标。所列的值是6张测试图像的平均结果。
[0069][0070]
表3为6张测试图像中不同方法的准确率比较。从图和表中可以看出，提出的eb-net在所有测试图像中达到了最好的准确性，在边界不规则湖泊地区达到98.73％，在辫状河流地区达到97.81％，在池塘间散布的线性河流区域达到99.04％，在密集分布的河流地区达到97.96％，在小河流地区达到97.94％，在边界规则的湖泊地区达到99.58％。总体而言，对于边界不规则湖泊、辫状河流、池塘间散布的线性河流、密集分布的河流、小河流等形态复杂的水体，准确率的提高更为显著。与最低的准确率相比，在上述场景中，准确率分别提高了约0.78％、4.14％、1.95％、6.43％和8.10％。在边界规则的湖泊中，除svm法外，其余方法均取得了满意的结果，准确率均高于99％。
[0071]
表3.水图上每种测试方法的准确率、查准率、查全率和f1综合指标。
[0072]
[0073][0074]
s4，最后，用训练好的地表水边界提取模型对待处理的地表图像上地表水边界进行自动提取，从而获得地表水图。
[0075]
本领域技术人员可以理解，地表水图是在地表图像的基础上对地表水边界进行标注的图像。
[0076]
在本实施方式的地表水边界精细化提取方法中，在卷积神经网络中设置浅层特征提取模块、se注意力模块以及特征融合模块，所述浅层特征提取模块用于对卷积块处理通道中的下采样卷积块处理后的特征进行sa模块处理，然后将处理后的特征加入卷积块处理通道中的上采样卷积块中，所述se注意力模块用于对卷积块处理通道的输入图像进行se模块处理，所述特征融合模块用于对卷积块处理通道中的下采样卷积块处理后的特征进行特征融合，然后将融合的特征加入卷积块处理通道中的上采样卷积块中，这样一来，se注意力模块和特征融合模块能够探索边界语义信息，而特征融合模块能够组合从不同深度提取的特征，并且使用sobel边缘损失函数来增强网络对于边界信息的注意，经过训练得出的地表水边界提取模型，其能够对地表图像中较为窄小的河流以及细小的水体进行标注，从而实现对地表水边界的精细化提取。
[0077]
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，因此，凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种地表水边界精细化提取方法，其特征在于：所述地表水边界精细化提取方法包括：构建地表水图像数据集合，其中设置训练集和测试集；构建卷积神经网络，所构建的卷积神经网络中包括卷积块处理通道、浅层特征提取模块、se注意力模块和特征融合模块；所述卷积块处理通道用于实现对输入图像的特征学习；所述浅层特征提取模块用于对卷积块处理通道中的前期下采样卷积块处理后的特征进行sa模块处理，然后将处理后的特征加入卷积块处理通道中的每个上采样卷积块中；所述se注意力模块用于对卷积块处理通道的输入图像进行se模块处理，将经过处理的图像传输至卷积块处理通道的输出处；所述特征融合模块用于对卷积块处理通道中的下采样卷积块处理后的特征进行特征融合，然后将融合的特征加入卷积块处理通道中的每个上采样卷积块中；采用地表水图像数据集合对卷积神经网络进行训练，在训练时使用sobel边缘损失函数来计算损失，得到训练好的地表水边界提取模型；用训练好的地表水边界提取模型对待处理地表图像上地表水边界进行自动提取，获得地表水图。2.根据权利要求1所述一种地表水边界精细化提取方法，其特征在于：所述卷积块处理通道中设置有7个卷积块，其中，4个卷积块为下采样卷积块，另外3个卷积块为上采样卷积块，在4个下采样卷积块与3个上采样卷积块之间设置aspp处理模块。3.根据权利要求2所述一种地表水边界精细化提取方法，其特征在于：所述卷积神经网络中设置浅层特征提取模块的数量为2个，2个浅层特征提取模块分别用于对卷积块处理通道中的第1个和第2个下采样卷积块处理后的特征进行sa模块处理。4.根据权利要求2所述一种地表水边界精细化提取方法，其特征在于：所述特征融合模块用于对卷积块处理通道中的第1个、第2个以及第4个下采样卷积块处理后的特征进行特征融合。5.根据权利要求1所述一种地表水边界精细化提取方法，其特征在于：所述地表水边界精细化提取方法还包括：针对卷积神经网络的输出，设置sigmoid激活函数，该sigmoid激活函数用于对卷积神经网络输出图像中的每个像素进行sigmoid激活函数处理，得到图像中每个像素的分类结果。6.根据权利要求1所述一种地表水边界精细化提取方法，其特征在于：在对卷积神经网络进行训练时，使卷积神经网络迭代200次后完成训练。7.根据权利要求1所述一种地表水边界精细化提取方法，其特征在于：在对卷积神经网络进行训练时，使用自适应梯度优化器以及动量算法。8.根据权利要求1所述一种地表水边界精细化提取方法，其特征在于：所述地表水图像数据集合中的图像数据选取自公开数据集eswkb。

技术总结
本发明公开了一种地表水边界精细化提取方法。该地表水边界精细化提取方法包括：构建地表水图像数据集合；构建卷积神经网络，卷积神经网络包括浅层特征提取模块、SE注意力模块和特征融合模块；浅层特征提取模块用于对卷积块处理通道中的下采样卷积块处理后的特征进行SA模块处理；SE注意力模块用于对卷积块处理通道的输入图像进行SE模块处理；特征融合模块用于进行特征融合；采用地表水图像数据集合对卷积神经网络进行训练，得到训练好的地表水边界提取模型；用训练好的模型对待处理地表图像上的地表水边界自动提取。本发明的地表水边界精细化提取方法实现对地表图像中窄小的河流以及细小的水体进行标注，实现对地表水边界的精细化提取。精细化提取。精细化提取。


技术研发人员：潘海燕 陈颢心 洪中华 周汝雁 马振玲 张云 韩彦岭 王静 杨树瑚 徐利军
受保护的技术使用者：上海海洋大学
技术研发日：2023.05.18
技术公布日：2023/10/15