一种联合多注意的跨尺度遥感图像耕地提取方法与流程

1.本发明属于遥感图像分割领域，具体涉及一种联合多注意的跨尺度遥感图像耕地提取方法。


背景技术：

2.遥感图像分割是指将遥感图像中的像素按照其所属的不同类别进行划分的过程。遥感图像分割技术已经在许多领域得到了广泛应用，如农业、城市规划、环境监测、天文学和地质学等领域。通过遥感图像分割，可以提取出地表覆盖类型、道路网络、建筑物轮廓、森林覆盖范围等信息，从而为相关领域的决策提供支持。
3.耕地提取是指利用遥感技术和图像处理算法，从高分辨率的远程遥感图像中准确提取出农业耕地的过程。它是精准农业中的重要任务之一。在农业生产中，对耕地的识别和提取具有重要意义，可以在农业管理、决策制定、精准施肥等方面提供有力的支持。
4.由于遥感图像具有分辨率高、维度多、背景复杂、目标尺度不一致等特点，因此传统的图像分割方法在遥感图像分割中面临着很大的挑战。为提高分割准确率，当前的前沿方法往往基于神经网络，考虑多尺度或引入注意力机制。这些方法可以学习不同尺度图像的类别信息，增强困难样本的特征，从而提高语义分割的准确性。但是，这些方法也存在一些问题。首先，它们未能很好地平衡全局信息和局部信息。现有的多尺度方法没有考虑遥感图像的信息密集性和广泛性，导致模型无法充分学习遥感图像的全局轮廓，也容易忽略遥感图像的局部特征。其次，这些方法缺乏上下文相关性信息，忽略了不同维度之间的潜在特征，这使得上下文信息缺失。最后，这些方法没有考虑像素类别边界信息对图像分割的影响。


技术实现要素：

5.本发明的目的是针对上述的不足，提出了一种新的遥感图像分割方法，它结合了注意力机制和跨尺度融合，可以更好地提高遥感图像的分割准确率。本发明采用了语义分割中的encoder-decoder架构。对于encoder，本发明利用swin transformer作为骨干网络结构提取遥感图像中丰富的语义信息以及上下文信息。对于decoder，通过注意力机制，使网络关注到更重要的区域，最后通过跨尺度特征融合，将经过注意力之后得到的深层特征与浅层特征进行融合，最后将融合的特征进行预测，提升了遥感图像分割的性能。
6.本发明解决该问题采用的技术方案为：
7.一种联合多注意的跨尺度遥感图像耕地提取方法，包括如下步骤：
8.步骤1，划分训练数据集和测试数据集；
9.步骤2，对训练集遥感图像数据进行预处理，得到经过数据增强后的遥感图像数据；
10.步骤3，将训练集图像输入构建网络的编码器进行编码，得到多尺度特征；
11.步骤4，对于编码器得到的多尺度特征，执行包含通道注意(ca)、空间注意(sa)的
跨尺度融合模块，得到融合特征；
12.步骤5，将融合的特征上采样到统一分辨率得到最终的融合特征；
13.步骤6，使用softmax函数来识别标签。
14.更优的，步骤3中我们使用的swin transformer每个stage的block数量分别为2，6，18，2；经过每个stage后得到的特征图大小分别为h/4
×
w/4，h/8
×
w/8，h/16
×
w/16，h/32
×
w/32，通道数分别为96，192，384，768。
15.更优的，步骤4中通道注意的处理过程如下；
16.对于输入特征f，对其进行平均池化和最大池化操作，得到两个不同的空间上下文描述符和然后将它们输入到一个共享的多层感知器(mlp)中，mlp的隐藏层大小设置为r
c/r
×1×
1，其中r是缩减比，c是通道数，然后逐元素求和得到最终的输出特征；该过程用数学公式表示为：
[0017][0018]
其中sig为sigmoid函数，w0∈r
c/r
×c，mlp权重w0和w1是共享的，relu激活函数后面是w0；
[0019]
更优的，对于空间注意力模块部分，首先将输入特征f进行平均池化和最大池化操作，从而分别获取特征和接着，将这两个结果特征连接起来，然后使用卷积层对它们进行处理，最后生成空间注意特征图；
[0020][0021]
其中sig为sigmoid函数，f3×3表示卷积核大小为3
×
3的卷积运算。
[0022]
更优的，步骤4中生成跨尺度融合特征的过程如下；
[0023]
首先定义经过swin transformer的4个stage得到的由浅至深的特征为f1，f2，f3，f4，采用跨层融合方式进行；(f1，f3)和(f2，f4)分别表示由浅层和深层特征组成的特征对；
[0024]
具体来说，对于特征对(f1，f3)(另一个特征对同理)，对于深层特征f3来说，依次经过通道注意力，1
×
1卷积，sigmoid函数以及4倍上采样得到浅层注意权重w；接着，对于浅层特征f1，依次经过空间注意力模块以及1
×
1卷积得到特征图f1'；接着f1'和w进行点积操作得到融合特征f'；该过程用数学公式表示为:
[0025]
f'＝f1×1(sa(f1))*sig(upsample(f1×1(ca(f3))
ꢀꢀꢀ
(3)
[0026]
其中，f1×1表示1
×
1卷积，sig表示sigmoid函数，sa表示空间注意力，ca表示通道注意力，upsample表示四倍上采样操作，*表示1
×
1点积操作。
[0027]
更优的，步骤5中将步骤4中得到的融合特征均上采样到输入图像的1/4大小，并且使用concat函数进行拼接，最后在步骤6中使用softmax函数进行预测。
[0028]
更优的，训练整体网络模型时，使用adam算法进行优化，学习率设置为6
×
10-5
，批量大小设置为8，训练40000轮迭代，通过训练模型从而得到网络的权重参数w和偏置参数b。
[0029]
本发明的有益效果是：本发明设计了一种结合通道注意以及空间注意的跨尺度多注意力模块。我们分别定义模块中的两个特征为浅层特征和深层特征。对于深层特征来说，通道数量大，该模块先利用通道注意对通道进行选择，通道注意力可以根据不同通道的重要性自适应地加权图像中的特征，从而使得模型更加关注对于特定任务最为重要的特征，
并且通道注意力可以自适应地调整通道的权重，从而可以在一定程度上应对不同的数据集和应用场景，提高模型的鲁棒性。而对于浅层特征来说，特征图分辨率较大，所包含的空间位置信息更加丰富，通过空间注意力机制，模型能够更加聚焦于图像中具有重要特征的区域，强化关键区域的特征表示。之后，深层特征经过sigmoid函数以及上采样后，得到的特征与浅层特征进行融合得到融合特征进行预测。关于decoder设计部分，我们定义通过swin transformer的4个stage得到的特征分别为f1，f2，f3，f4.本发明使用跨层特征融合的方式，即(f1，f3)和(f2，f4)对应两个(深层特征，浅层特征)的特征对进行特征融合，从而达到更高的分割效果。
[0030]
与现有用于遥感图像分割的网络结构相比，本发明提出的网络框架结合了多种注意力机制，既包括通道力也包括了空间注意力，为了融合缓解transformer不同层encoder对特征提取程度的巨大差异以及充分利用transformer框架提取出来的全局信息，我们采用了跨层融合的结构，将跨层次信息融合后再用于后续分割，使网络对于遥感图像中这些样本数较少的类别具有更强的容错能力以及更好的鲁棒性。
附图说明
[0031]
图1为本发明的网络框架结构图。
[0032]
图2为本发明中通道注意机制图。
[0033]
图3为本发明中空间注意机制图。
[0034]
图4为本发明中跨层特征自适应融合结构图。
具体实施方式
[0035]
下面结合附图对本发明的技术方案作进一步描述。
[0036]
如图1-4所示，本发明提供的一种联合多注意的跨尺度遥感图像耕地提取方法，具体步骤如下：
[0037]
步骤1，划分训练数据集和测试数据集；
[0038]
步骤2，对训练集遥感图像数据进行预处理，得到经过数据增强后的遥感图像数据；
[0039]
步骤3，将训练集图像输入构建网络的编码器进行编码，得到多尺度特征；
[0040]
步骤4，对于编码器得到的多尺度特征，执行包含通道注意(ca)、空间注意(sa)的跨尺度融合模块，得到融合特征；
[0041]
步骤5，将融合的特征上采样到统一分辨率得到最终的融合特征；
[0042]
步骤6，使用softmax函数来识别标签。
[0043]
进一步的，步骤3中我们使用swin transformer作为编码器，共4个stage，每个stage包含多个swin transfomerblock。
[0044]
进一步的，步骤3中我们使用的swin transformer每个stage的block数量分别为2，6，18，2。经过每个stage后得到的特征图大小分别为h/4
×
w/4，h/8
×
w/8，h/16
×
w/16，h/32
×
w/32，通道数分别为96，192，384，768。
[0045]
进一步的，在步骤4中，为了设计通道注意力，我们使用了一个具体的过程，如图2所示。对于输入特征f，我们对其进行平均池化和最大池化操作，得到两个不同的空间上下
文描述符和然后将它们输入到一个共享的多层感知器(mlp)中，mlp的隐藏层大小设置为r
c/r
×1×
1，其中r是缩减比，c是通道数，然后逐元素求和得到最终的输出特征。该过程用数学公式表示为：
[0046][0047]
其中sig为sigmoid函数，w0∈r
c/r
×c，mlp权重w0和w1是共享的，relu激活函数后面是w0。
[0048]
进一步的，为了实现空间注意力模块，我们首先将输入特征f进行平均池化和最大池化操作，从而分别获取特征和接着，将这两个结果特征连接起来，然后使用卷积层对它们进行处理，最后生成空间注意特征图。具体过程如附图3所示。
[0049][0050]
其中sig为sigmoid函数，f为输入特征，f3×3表示卷积核大小为3
×
3的卷积运算。
[0051]
进一步的，步骤4中的跨尺度融合模块具体操作过程如下：
[0052]
首先定义经过swin transformer的4个stage得到的由浅至深的特征为f1，f2，f3，f4。本发明采用跨层融合方式进行，具体来说(f1，f3)和(f2，f4)分别表示由浅层和深层特征组成的特征对。具体来说，以特征对(f1，f3)为例，对于深层特征f3来说，依次经过通道注意力，1
×
1卷积，sigmoid函数以及4倍上采样得到浅层注意权重w。接着，对于浅层特征f1，依次经过空间注意力模块以及1
×
1卷积得到特征图f1'。接着f1'和w进行点积操作得到融合特征f'。该过程用数学公式表示为:
[0053]
f'＝f1×1(sa(f1))*sig(upsample(f1×1(ca(f3))
ꢀꢀꢀ
(3)
[0054]
其中，f1×1表示1
×
1卷积(输出通道数均设置为512)，sig表示sigmoid函数，sa表示空间注意力，ca表示通道注意力，upsample表示四倍上采样操作，*表示1
×
1点积操作。
[0055]
进一步的，步骤5中从步骤4中得到的融合特征f'上采样到输入大小的1/4大小，并且使用concat函数进行拼接，最后在步骤6中使用softmax函数进行预测。
[0056]
进一步的，训练整体网络模型时，使用交叉熵(cross-entropy，ce)损失函数，使用adam算法进行优化，学习率设置为6
×
10-5
，批量大小设置为8，训练40000轮迭代，通过训练模型从而得到网络的权重参数w和偏置参数b。
[0057]
本实施例采用的环境是intel xeon(r)silver 4210r cpu，64gb ram，and an nvidia quadro rtx 500016gb gpu、linux操作系统，运用python和开源库pytorch进行开发。
[0058]
接下来，我们以isprs potsdam数据集为例来说明我们设计的分类网络框架。
[0059]
使用isprs potsdam数据集，对于该数据集的划分如下：
[0060]
isprs potsdam数据集一共有38个图像块，每个图像块大小为6000
×
6000分辨率，我们根据mmsegmentation的基准进行数据集的切分，使用24张图像块用于训练，使用14张图像块用于测试，将每张图像块都切割成512
×
512大小的图像作为网络的输入。
[0061]
将512
×
512的图像输入到swin transformer进行特征提取，经过四个stage得到由浅至深的四个特征f1，f2，f3，以及f4。大小分别为128
×
128
×
96，64
×
64
×
192，32
×
32
×
384以及16
×
16
×
768。
[0062]
接着，f1和f3作为一个特征对，f2以及f4作为一个特征对。以f2和f4为例，对于f4，执行一个通道注意模块和一个使用512个1
×
1的二维卷积层，接着利用四倍上采样以及sigmoid函数后获得的特征图f4'大小为64
×
64
×
512。对于f2，执行一个空间注意模块和一个使用512个1
×
1的二维卷积层，以获得特征图f2'，大小为64
×
64
×
512，接着将f2'和f4'做点积操作获得最终的融合特征f
24
。特征f1和f3同理获得融合特征f
13
。
[0063]
然后，将f
24
上采样到和f
13
同样的大小128
×
128
×
512，两个特征进行拼接，最后利用softmax函数得到最终的预测结果。
[0064]
计算检索精度及测试：
[0065]
使用上述训练的网络计算测试数据集中样本并计算三个评价指标，它们分别是：平均像素准确度(mpa)、平均准确率(macc)、平均交并比(miou)。这三个指标的值越大，分割结果就越好。
[0066]
为了评估本发明方法的有效性，我们在两个公共遥感图像分割数据集(isprs potsdam数据集、isprs vaihingen数据集)上选择了几种具有代表性的方法进行比较实验：danet，pspnet，deeplabv3+、gcnet、segformer和我们提出的方法。同时，对于不同方法中训练集和测试集的划分，我们保持了一致，以体现对比实验的公平性。
[0067]
表1
[0068][0069]
表1是本发明与其他方法在isprs potsdam数据集上的比较实验结果。
[0070]
表2
[0071][0072]
表2是本发明与其他方法在isprs vaihingen数据集上的比较实验结果。
[0073]
本发明的实施方案仅仅为了清楚地说明本发明的举例，并不局限上述举例。本领域人员在此方法上的基础上作不同形式的改变或等同替换，但凡与本发明类似的变化都属于本发明权利要求的保护范围之中。

技术特征：
1.一种联合多注意的跨尺度遥感图像耕地提取方法，其特征在于，包括如下步骤：步骤1，划分训练数据集和测试数据集；步骤2，对训练集遥感图像数据进行预处理，得到经过数据增强后的遥感图像数据；步骤3，将训练集图像输入构建网络的编码器进行编码，得到多尺度特征；步骤4，对于编码器得到的多尺度特征，执行包含通道注意ca、空间注意sa的跨尺度融合模块，得到融合特征；步骤5，将融合的特征上采样到统一分辨率得到最终的融合特征；步骤6，使用softmax函数来识别标签。2.如权利要求1所述的一种联合多注意的跨尺度遥感图像耕地提取方法，其特征在于：步骤3中我们使用的swintransformer每个stage的block数量分别为2，6，18，2；经过每个stage后得到的特征图大小分别为h/4
×
w/4，h/8
×
w/8，h/16
×
w/16，h/32
×
w/32，通道数分别为96，192，384，768。3.如权利要求1所述的一种联合多注意的跨尺度遥感图像耕地提取方法，其特征在于：步骤4中通道注意的处理过程如下；对于输入特征f，对其进行平均池化和最大池化操作，得到两个不同的空间上下文描述符和然后将它们输入到一个共享的多层感知器mlp中，mlp的隐藏层大小设置为r
c/r
×1×
1，其中r是缩减比，c是通道数，然后逐元素求和得到最终的输出特征；该过程用数学公式表示为：其中sig为sigmoid函数，w0∈r
c/r
×
c
，mlp权重w0和w1是共享的，relu激活函数后面是w0。4.如权利要求1所述的一种联合多注意的跨尺度遥感图像耕地提取方法，其特征在于：对于空间注意力模块部分，首先将输入特征f进行平均池化和最大池化操作，从而分别获取特征和接着，将这两个结果特征连接起来，然后使用卷积层对它们进行处理，最后生成空间注意特征图；其中sig为sigmoid函数，f3×3表示卷积核大小为3
×
3的卷积运算。5.如权利要求1所述的一种联合多注意的跨尺度遥感图像耕地提取方法，其特征在于：步骤4中生成跨尺度融合特征的过程如下；首先定义经过swintransformer的4个stage得到的由浅至深的特征为f1，f2，f3，f4，采用跨层融合方式进行；(f1，f3)和(f2，f4)分别表示由浅层和深层特征组成的特征对；具体来说，对于特征对(f1，f3)(另一个特征对同理)，对于深层特征f3来说，依次经过通道注意力，1
×
1卷积，sigmoid函数以及4倍上采样得到浅层注意权重w；接着，对于浅层特征f1，依次经过空间注意力模块以及1
×
1卷积得到特征图f1'；接着f1'和w进行点积操作得到融合特征f'；该过程用数学公式表示为:f'＝f1×1(sa(f1))*sig(upsample(f1×1(ca(f3))
ꢀꢀꢀꢀꢀꢀ
(3)其中，f1×1表示1
×
1卷积，sig表示sigmoid函数，sa表示空间注意力，ca表示通道注意
力，upsample表示四倍上采样操作，*表示1
×
1点积操作。6.如权利要求1所述的一种联合多注意的跨尺度遥感图像耕地提取方法，其特征在于：步骤5中将步骤4中得到的融合特征均上采样到输入图像的1/4大小，并且使用concat函数进行拼接，最后在步骤6中使用softmax函数进行预测。7.如权利要求1所述的一种联合多注意的跨尺度遥感图像耕地提取方法，其特征在于：训练整体网络模型时，使用adam算法进行优化，学习率设置为6
×
10-5
，批量大小设置为8，训练40000轮迭代，通过训练模型从而得到网络的权重参数w和偏置参数b。

技术总结
本发明公开了一个联合多注意以及跨尺度特征融合网络来充分提取遥感图像的空间特征和纹理特征。多注意模块包括通道注意和空间注意，以进一步关注重要区域的信息。此外，本发明提出了一种跨尺度特征融合模块，以充分融合浅层和深层信息进行预测，使得特征表示和学习后的混合信息包含了多层次的特征。该网络在两个遥感图像分割数据集上进行了测试，显示了良好的分类性能。结果表明，该方法对遥感图像中的深层语义信息非常有效。深层语义信息非常有效。深层语义信息非常有效。


技术研发人员：张波 邢青涛 朱济帅 李海霞
受保护的技术使用者：海南聚能科技创新研究院有限公司
技术研发日：2023.06.06
技术公布日：2023/10/8