一种基于CNN和MixFormer的遥感图像水体提取方法

一种基于cnn和mixformer的遥感图像水体提取方法
技术领域
1.本技术涉及遥感信息处理技术领域，特别是涉及一种基于cnn和mixformer的遥感图像水体提取方法。


背景技术：

2.水体提取是遥感图像解译中的基本的任务之一，是指在复杂空间背景的干扰下，从遥感图像中准确有效的提取水体体征。从遥感图像提取水体的过程中会受到山影、云影、冰川、积雪等干扰，为了准确的从遥感图像中提取水体，人们提出了大量的方法，传统方法主要分为基于水体指数的光谱分析方法和基于机器学习的方法。
3.基于水体指数的光谱分析方法依赖于阈值，采用水体指数的方法提取水体需要利用不同波段中水体和其他背景特征之间的反射率差异来确定一个阈值，此阈值作为区别水和非水之间的标准，例如：normalised difference water index(ndwi)和modified ndwi(mndwi)。水和非水的特征在近红外波段的差异较大，ndwi利用水在近红外波段的低反射率和绿色波段的高反射率来增强水体的特征。ndwi的提出促进了水体提取在遥感领域的发展，得到的广泛的应用。后来为了解决ndwi不能很好的抑制图像背景噪声的问题，mndwi将光谱中的近红外波段替换为短波红外波段，加强了图像中水体的特征。由于山体阴影或者云影具有与水体相似的光谱特征，单一的阈值可能会造成水体的误分。所以，还可以利用ndwi与其他相关指数相结合，以消除阴影的影响。尽管基于水体指数的方法提取水体的精度在提高，但是静态阈值和主观因素都会影响提取水体的准确性，且阈值法不适合小面积地表水的信息提取，适用性较差。
4.基于机器学习的水体分类方法，主要使用人工设计的水体特征(例如：纹理和光谱特征)，然后将水体特征形成的特征空间输入机器学习模型里进行水体提取。一些常用的机器学习方法例如：支持向量机(svm)、决策树(dt)、随机森林(rf)和多层感知机(mlp)。由于避免了主观选择阈值，并且更好的利用了图像中的信息，采用机器学习的方法来提取水体表现性能更好。尽管使用机器学习的方法在提取水体方面取得了进步，但是人工设计的特征描述能力有限，需要一定的先验知识，不能够充分利用全局信息准确检测水体，泛化能力差。
5.传统的水体提取方法具有泛化能力差，不能很好的去除噪音的干扰等问题。近年来，深度学习技术得到了快速的发展，深度卷积神经网络(dcnn)可以通过多个卷积层自动的从原始数据中学习需要的不同层次特征，避免了复杂的特征选择过程。利用深度学习的方法进行遥感图像分割，提高了分割的自动化水平和准确度。但对于提取水体仍存在一些限制，卷积操作具有固定的感受野，在本质上缺乏对全局上下文信息或者长距离依赖关系的建模能力。在复杂空间背景下，抑制噪音的能力较弱，会丢失很多水体细节。因此，目前的水体提取方法水体识别能力较低，使得水体提取的精度较低。


技术实现要素：

6.基于此，有必要针对上述技术问题，提供一种能够提高水体提取的精度的基于cnn和mixformer的遥感图像水体提取方法。
7.一种基于cnn和mixformer的遥感图像水体提取方法，所述方法包括：
8.获取待水体提取的遥感图像；
9.将所述遥感图像输入遥感图像水体提取模型中的编码器进行处理，提取所述遥感图像中的与水体相关的信息，输出浅层特征信息和深层特征信息；
10.将所述深层特征信息输入到遥感图像水体提取模型中的mixformer block模块建模图像全局上下文信息，提取第一特征信息；
11.将所述第一特征信息和所述浅层特征信息输入到遥感图像水体提取模型中的解码器进行特征融合，输出水体提取图。
12.在其中一个实施例中，所述将所述遥感图像输入遥感图像水体提取模型中的编码器进行处理，提取所述遥感图像中的与水体相关的信息，输出浅层特征信息和深层特征信息，包括：
13.将所述遥感图像输入遥感图像水体提取模型的编码器的第一卷积块进行特征提取，输出第一特征图；
14.将所述第一特征图进行下采样后输入遥感图像水体提取模型的编码器的第二卷积块进行特征提取，输出第二特征图；
15.将所述第二特征图进行下采样后输入遥感图像水体提取模型的编码器的第三卷积块进行特征提取，输出第三特征图；
16.将所述第三特征图进行下采样后输入遥感图像水体提取模型的编码器的第四卷积块进行特征提取，输出第四特征图；
17.将所述第四特征图进行下采样后输入遥感图像水体提取模型的编码器的第五卷积块进行特征提取，输出第五特征图；
18.其中，浅层特征信息包括所述第一特征图、所述第二特征图和所述第三特征图，深层特征信息包括所述第四特征图和所述第五特征图。
19.在其中一个实施例中，所述将所述深层特征信息输入到遥感图像水体提取模型中的mixformer block模块建模图像全局上下文信息，提取第一特征信息，包括：
20.将所述第四特征图输入所述mixformer block模块的第一mixformer block单元建模图像全局上下文信息，输出第六特征图；
21.将所述第五特征图输入所述mixformer block模块的第二mixformer block单元建模图像全局上下文信息，输出第七特征图；
22.所述第一特征信息包括第六特征图和第七特征图。
23.在其中一个实施例中，所述将所述第一特征信息和所述浅层特征信息输入到遥感图像水体提取模型中的解码器进行特征融合，输出水体提取图，包括：
24.将所述第七特征图通过双线性插值进行2倍上采样操作后与所述第六特征图进行特征融合，生成第八特征图；
25.将所述第八特征图经过解码器的第一depthwise卷积块和第六卷积块进行加强特征提取，生成第九特征图；
26.将所述第九特征图通过双线性插值进行2倍上采样操作后与所述第三特征图进行特征融合，生成第十特征图；
27.将所述第十特征图经过解码器的第二depthwise卷积块和第七卷积块进行加强特征提取，生成第十一特征图；
28.将所述第十一特征图通过双线性插值进行2倍上采样操作后与所述第二特征图进行特征融合，生成第十二特征图；
29.将所述第十二特征图经过解码器的第三depthwise卷积块和第八卷积块进行加强特征提取，生成第十三特征图；
30.将所述第十三特征图通过双线性插值进行2倍上采样操作后与所述第一特征图进行特征融合，生成第十四特征图；
31.将所述第十四特征图经过解码器的第四depthwise卷积块和第九卷积块进行加强特征提取，生成第十五特征图；
32.将所述第十五特征图经过解码器的卷积层进行调整通道数，输出水体提取图。
33.在其中一个实施例中，所述第一卷积块、所述第二卷积块、第三卷积块、第四卷积块和第五卷积块为两个依次连接的3
×
3的卷积块。
34.在其中一个实施例中，所述第一mixformer block单元包括一个mixformer block。
35.在其中一个实施例中，所述第二mixformer block单元包括两个mixformer block，两个mixformer block依次连接。
36.在其中一个实施例中，所述mixformer block包括第一标准化层、第二标准化层、自注意力层和多层感知机，所述第一标准化层的输出与自注意力层输入连接，自注意力层的输出与第二标准化层的输入连接，第二标准化层的输出与多层感知机的输入连接；
37.输入第一标准化层的特征与自注意力层输出的特征通过残差连接后输入第二标准化层，输入第二标准化层的特征与多层感知机输出的特征通过残差连接后输出特征图。
38.在其中一个实施例中，所述自注意力层包括窗口自注意力、第五depthwise卷积、通道交互单元和空间交互单元，
39.输入自注意力层的特征分别输入到自注意力层的第五depthwise卷积进行特征提取后，输出局部细节特征图，将局部细节特征图输入通道交互单元进行处理后输出与输入自注意力层的特征相乘，再输入到自注意力层的窗口自注意力进行特征提取，输出全局特征图；
40.所述全局特征图输入空间交互单元进行处理后输出与所述局部细节特征图相乘，输出相乘后的局部细节特征图；
41.将所述相乘后的局部细节特征图与所述全局特征图进行拼接后，输出自注意力层输出的特征。
42.在其中一个实施例中，所述通道交互单元包括全局平均池化层、第一卷积层、第一gelu激活函数、第二卷积层和第一sigmoid函数，所述全局平均池化层、所述第一卷积层、所述第一gelu激活函数、所述第二卷积层合所述第一sigmoid函数依次连接；
43.所述空间交互单元包括第三卷积层、bn层、第二gelu激活函数、第四卷积层和第二sigmoid函数，所述第三卷积层、所述bn层、所述第二gelu激活函数、所述第四卷积层和所述
第二sigmoid函数依次连接。
44.上述基于cnn和mixformer的遥感图像水体提取方法，通过获取待水体提取的遥感图像，并将遥感图像输入遥感图像水体提取模型中的编码器进行处理，提取遥感图像中的与水体相关的信息，输出浅层特征信息和深层特征信息，再将深层特征信息输入到遥感图像水体提取模型中的mixformer block模块建模图像全局上下文信息，提取第一特征信息，并将第一特征信息和浅层特征信息输入到遥感图像水体提取模型中的解码器进行特征融合，输出水体提取图。由此，能够提取遥感图像中更丰富的语义信息，在复杂场景下具有更稳健的识别水体能力，同时具有更高的分割精度，提高了遥感图像水体提取的效果，从而提高了水体提取的精度。
附图说明
45.图1为一个实施例中基于cnn和mixformer的遥感图像水体提取方法的流程示意图；
46.图2为一个实施例中基于cnn和mixformer的遥感图像水体提取方法的遥感图像水体提取模型的结构示意图；
47.图3为一个实施例中基于cnn和mixformer的遥感图像水体提取方法的mixformer block的结构示意图；
48.图4为一个实施例中基于cnn和mixformer的遥感图像水体提取方法的自注意力层的结构示意图。
具体实施方式
49.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
50.在一个实施例中，如图1所示，提供了一种基于cnn和mixformer的遥感图像水体提取方法，以该方法应用于终端为例进行说明，包括以下步骤：
51.步骤s220，获取待水体提取的遥感图像。
52.步骤s240，将遥感图像输入遥感图像水体提取模型中的编码器进行处理，提取遥感图像中的与水体相关的信息，输出浅层特征信息和深层特征信息。
53.其中，遥感图像水体提取模型，可以是基于cnn和mixformer构建的遥感图像水体提取模型，该遥感图像水体提取模型包括编码器、mixformer block模块和解码器。可以在挖掘深层次的高级语义信息的同时保留低层次的空间细节信息。
54.其中，编码器，可以对遥感图像进行特征提取。编码器包括第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块。
55.应理解，浅层特征信息含有丰富的位置信息和细节信息，注重捕捉水体的边界，这些特征对于小水体，支流，水田边界的精确提取具有重要的作用。深层特征信息捕捉像素的语义信息，用于像素的准确分类，这对于准确识别水体特征非常重要。
56.步骤s260，将深层特征信息输入到遥感图像水体提取模型中的mixformer block模块建模图像全局上下文信息，提取第一特征信息。
57.其中，mixformer block模块可以进一步建模遥感图像的全局上下文信息，从而提取遥感图像的高级语义信息，提高遥感图像水体提取模型对水体特征的识别能力。
58.其中，深层特征信息可以是编码器中输出的下采样8倍和16倍的特征图。
59.步骤s280，将第一特征信息和浅层特征信息输入到遥感图像水体提取模型中的解码器进行特征融合，输出水体提取图。
60.其中，遥感图像水体提取模型的解码器，可以将第一特征信息通过双线性插值实现上采样与浅层特征信息进行融合，并采用depthwise卷积块和3
×
3的卷积块进行加强特征提取，最后通过1
×
1卷积调整通道数，得到最终的水体提取图。
61.上述基于cnn和mixformer的遥感图像水体提取方法，通过获取待水体提取的遥感图像，并将遥感图像输入遥感图像水体提取模型中的编码器进行处理，提取遥感图像中的与水体相关的信息，输出浅层特征信息和深层特征信息，再将深层特征信息输入到遥感图像水体提取模型中的mixformer block模块建模图像全局上下文信息，提取第一特征信息，并将第一特征信息和浅层特征信息输入到遥感图像水体提取模型中的解码器进行特征融合，输出水体提取图。由此，能够提取遥感图像中更丰富的语义信息，在复杂场景下具有更稳健的识别水体能力，同时具有更高的分割精度，提高了遥感图像水体提取的效果，从而提高了水体提取的精度。
62.如图2所示，在一个实施例中，将遥感图像输入遥感图像水体提取模型中的编码器进行处理，提取遥感图像中的与水体相关的信息，输出浅层特征信息和深层特征信息，包括：
63.将所述遥感图像进行输入遥感图像水体提取模型的编码器的第一卷积块进行特征提取，输出第一特征图；将所述第一特征图进行下采样后输入遥感图像水体提取模型的编码器的第二卷积块进行特征提取，输出第二特征图；将所述第二特征图进行下采样后输入遥感图像水体提取模型的编码器的第三卷积块进行特征提取，输出第三特征图；将所述第三特征图进行下采样后输入遥感图像水体提取模型的编码器的第四卷积块进行特征提取，输出第四特征图；将所述第四特征图进行下采样后输入遥感图像水体提取模型的编码器的第五卷积块进行特征提取，输出第五特征图；其中，浅层特征信息包括所述第一特征图、所述第二特征图和所述第三特征图，深层特征信息包括所述第四特征图和所述第五特征图。其中，第一卷积块、第二卷积块、第三卷积块和第四卷积块和第五卷积块采用3
×
3的卷积块提取特征信息。
64.其中，编码器还包括每个卷积块之前连接的最大池化层(max-pooling)，该最大池化层用于将输入每个卷积块之前的特征先进行下采样后再输入到卷积块进行特征提取。
65.其中，第一特征图、第二特征图、第三特征图、第四特征图和第五特征图通道数分别为64，128，256，512，512。在实现最后一次下采样的时候，图像分辨率变小，但通道数保持不变。
66.其中，第一特征图的维度可以是(64，h，w),其中，h为高，w为宽，64指的是通道数为64。
67.其中，第二特征图的维度可以是128指的是通道数为128。
68.其中，第三特征图的维度可以是256指的是通道数为256。
69.其中，第四特征图的维度可以是512指的是通道数为512。
70.其中，第五特征图的维度可以是
71.应理解，浅层特征信息含有丰富的位置信息和细节信息，注重捕捉水体的边界，这些特征对于小水体，支流，水田边界的精确提取具有重要的作用。深层特征信息捕捉像素的语义信息，用于像素的准确分类，这对于准确识别水体特征非常重要。
72.在一个实施例中，将深层特征信息输入到遥感图像水体提取模型中的mixformer block模块建模图像全局上下文信息，提取第一特征信息，包括：
73.将第四特征图输入mixformer block模块的第一mixformer block单元建模图像全局上下文信息，输出第六特征图；将第五特征图输入mixformer block模块的第二mixformer block单元建模图像全局上下文信息，输出第七特征图；第一特征信息包括第六特征图和第七特征图。
74.在一个实施例中，第一mixformer block单元包括一个mixformer block。
75.在一个实施例中，第二mixformer block单元包括两个mixformer block，两个mixformer block依次连接。
76.应理解，由编码器得到通道数为512的第四特征图通过一层mixformer block后直接输出第六特征图。而通道数同为512的第五特征图通过两层mixformer block后输出第七特征图，对深层特征信息进一步提取其语义信息，建模图像上下文信息。两个不同大小的特征图在mixformer block中的处理方式是一样的，且输入特征图和输出特征图的分辨率大小相同。
77.如图3所示，在一个实施例中，mixformer block包括第一标准化层、第二标准化层、自注意力层和多层感知机，第一标准化层的输出与自注意力层输入连接，自注意力层的输出与第二标准化层的输入连接，第二标准化层的输出与多层感知机的输入连接；输入第一标准化层的特征与自注意力层输出的特征通过残差连接后输入第二标准化层，输入第二标准化层的特征与多层感知机输出的特征通过残差连接后输出特征图。
78.其中，mixformer block包括两个标准化层(layernorm)，一个自注意力层(mixing attention)，一个多层感知机(mlp)。自注意力层(mixing attention)之后连接多层感知机(mlp)。
79.其中，在mixformer block中输入特征前向运算的表达式如下：
[0080][0081][0082]
其中，x
l
为输入特征，x
l+1
为输出特征，代表中间的特征图。mix代表自注意力层(mixing attention)，ln代表标准化层(layernorm)，w-msa代表窗口自注意力操作，conv代表卷积核大小为3
×
3的第五depthwise卷积，mlp代表多层感知机。
[0083]
如图4所示，在一个实施例中，自注意力层包括窗口自注意力、第五depthwise卷积、通道交互单元和空间交互单元，
[0084]
输入自注意力层的特征分别输入到自注意力层的第五depthwise卷积进行特征提取后，输出局部细节特征图，将局部细节特征图输入通道交互单元进行处理后输出与输入自注意力层的特征相乘，再输入到自注意力层的窗口自注意力进行特征提取，输出全局特征图；全局特征图输入空间交互单元进行处理后输出与局部细节特征图相乘，输出相乘后的局部细节特征图；将相乘后的局部细节特征图与全局特征图进行拼接后，输出自注意力层输出的特征。
[0085]
其中，自注意力层是一个并行分支双向互动操作结构，可以提取输入自注意力层的特征中在通道维度和空间维度上丰富的语义信息。并行分支中的窗口自注意力操作窗口为8
×
8，第五depthwise卷积的卷积核大小为3
×
3。并行分支把基于窗口自注意力和第五depthwise卷积相结合起来，以实现跨窗口的信息交互，扩大了感受野。第五depthwise卷积的使用也可以捕捉到图像的局部关系，使用自注意力得到的全局信息和用cnn得到的局部信息形成互补。
[0086]
在一个实施例中，通道交互单元包括全局平均池化层、第一卷积层、第一gelu激活函数、第二卷积层和第一sigmoid函数，全局平均池化层、第一卷积层、第一gelu激活函数、第二卷积层合第一sigmoid函数依次连接；空间交互单元包括第三卷积层、bn层、第二gelu激活函数、第四卷积层和第二sigmoid函数，第三卷积层、bn层、第二gelu激活函数、第四卷积层和第二sigmoid函数依次连接。
[0087]
其中，通道交互单元的流程为从第五depthwise卷积输出的特征通过全局平均池化层，两个1
×
1的卷积层(即第一卷积层和第二卷积层)变换通道数，两个卷积层之间具有一个第一gelu激活函数，最后通过一个第一sigmoid函数生成通道维度的注意力信息。空间交互的流程为，从窗口自注意力分支输出的特征，通过两个1
×
1的卷积层(即第三卷积层和第四卷积层)将通道数变为1，两个卷积层之间具有归一化层(即，batchnorm，bn层)和第二gelu激活函数，再通过一个第二sigmoid函数生成空间维度的注意力信息。双向互动的操作增强了遥感图像水体提取模型在通道维度和空间维度挖掘特征的能力。
[0088]
具体地，在cnn的编码器获得深层特征之后，通过mixformer block来建模全局上下文信息，改善图像长距离依赖关系，提取到更丰富的语义信息，增强了遥感图像水体提取模型对水体上下文信息的理解能力。
[0089]
在一个实施例中，将第一特征信息和浅层特征信息输入到遥感图像水体提取模型中的解码器进行特征融合，输出水体提取图，包括：
[0090]
将所述第七特征图通过双线性插值进行2倍上采样操作后与所述第六特征图进行特征融合，生成第八特征图；将所述第八特征图经过解码器的第一depthwise卷积块和第六卷积块进行加强特征提取，生成第九特征图；将所述第九特征图通过双线性插值进行2倍上采样操作后与所述第三特征图进行特征融合，生成第十特征图；将所述第十特征图经过解码器的第二depthwise卷积块和第七卷积块进行加强特征提取，生成第十一特征图；将所述第十一特征图通过双线性插值进行2倍上采样操作后与所述第二特征图进行特征融合，生成第十二特征图；将所述第十二特征图经过解码器的第三depthwise卷积块和第八卷积块进行加强特征提取，生成第十三特征图；将所述第十三特征图通过双线性插值进行2倍上采样操作后与所述第一特征图进行特征融合，生成第十四特征图；将所述第十四特征图经过解码器的第四depthwise卷积块和第九卷积块进行加强特征提取，生成第十五特征图；将所
述第十五特征图经过解码器的卷积层进行调整通道数，输出水体提取图。
[0091]
其中，将第七特征图经过双线性插值操作进行2倍上采样，然后与第六特征图进行特征融合生成第八特征图。然后第八特征图经过一个第一depthwise卷积块和3
×
3的第六卷积块进行加强特征提取，生成第九特征图。第一depthwise卷积块和第六卷积块整合通道维度的信息，进一步提取信息。第一depthwise卷积块包括一个3
×
3的逐通道卷积操作，一个batchnorm，一个relu6激活函数。3
×
3的第六卷积块包括一个3
×
3卷积，一个batchnorm，一个relu6激活函数。然后再将第九特征图不断进行2倍上采样依次与浅层特征信息进行特征融合和加强特征提取，最后通过一个1
×
1的卷积层转变通道数，生成最后的水体提取图。
[0092]
其中，第一depthwise卷积块、第二depthwise卷积块、第三depthwise卷积块和第四depthwise卷积块的结构相同，包括一个3
×
3的逐通道卷积操作，一个batchnorm，一个relu6激活函数。
[0093]
其中，第六卷积块、第七卷积块、第八卷积块和第九卷积块的结构相同，包括一个3
×
3卷积，一个batchnorm，一个relu6激活函数。
[0094]
其中，编码器得到的通道数为512的第四特征图通过一层mixformer block模块后直接输出第六特征图。而通道数同为512的第五特征图通过两层mixformer block后输出第七特征图，对深层特征信息进一步提取其语义信息，建模图像上下文信息。两个不同大小的特征图在mixformer block中的处理方式是一样的，且输入特征图和输出特征图的分辨率大小相同。
[0095]
在一个实施例中，第一卷积块、第二卷积块、第三卷积块、第四卷积块和第五卷积块为两个依次连接的3
×
3的卷积块。
[0096]
上述基于cnn和mixformer的遥感图像水体提取方法，充分利用了cnn在捕捉图像细节信息的能力和mixformer结构建模全局信息的能力。通过mixformer block建模全局上下文信息，弥补了cnn操作的不足之处。将深层特征通过mixformer block获得更大的感受野，进一步的建模全局上下文信息，提高遥感图像水体提取模型在通道维度和空间维度的建模能力。在解码器部分，引入dpethwise卷积，在不损失精度的情况下减少了遥感图像水体提取模型计算量，降低了遥感图像水体提取模型的复杂度。采用双线性插值进行上采样，与浅层特征进行融合，不断恢复图像的细节信息，提高水体边缘和细节方面的精度。本技术不仅可以更准确的提取水体，并且很好的抑制了噪声的干扰，在小型支流和复杂场景下具有较强的水体识别能力，获得了更高的像素精度和准确的位置信息。
[0097]
在一个实施例中，使用整体准确度(overall accuracy，简写为oa)、精准率(precision)、召回率(recall)、f1分数(f1-score,简写为f1)和交并比(intersection over union，简写为iou)验证本技术的有效性。这五个值越高，代表分割效果越好。其中，recall的功能是评价分割不足问题的严重程度，该值越低，分割不足的问题就越严重。precision的作用是评估过度分割问题的严重程度，该值越低，过度分割问题就越严重。f1-score表示precision和recall的一个调和均值。参见表1，在数据集(gaofen image dataset，gid)上，本技术的基于cnn和mixformer的遥感图像水体提取方法(即wtunet)与现有的方法(其中，现有的方法包括：unet、pspnet、deeplabv3+、segnet、danet、transunet、swinunet和banet等)对比，recall指标超越了大部分现有的分割模型，oa，precision，recall，iou这4个指标在对比实验中取得最优。除此之外，还验证了mixformer block对所
提出方法表现的影响，参见表2。
[0098]
表1本技术提出的方法与其它现有的方法在数据集(gid)上的对比实验
[0099][0100][0101]
表2是否加入mixformer block对实验结果的影响
[0102][0103]
由此可以看出，本技术提出的方法与其他现有的方法相比，取得更好的性能，其中oa达到了97.39，iou达到了89.36。
[0104]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0105]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛
盾，都应当认为是本说明书记载的范围。
[0106]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于cnn和mixformer的遥感图像水体提取方法，其特征在于，所述方法包括：获取待水体提取的遥感图像；将所述遥感图像输入遥感图像水体提取模型中的编码器进行处理，提取所述遥感图像中的与水体相关的信息，输出浅层特征信息和深层特征信息；将所述深层特征信息输入到遥感图像水体提取模型中的mixformer block模块建模图像全局上下文信息，提取第一特征信息；将所述第一特征信息和所述浅层特征信息输入到遥感图像水体提取模型中的解码器进行特征融合，输出水体提取图。2.根据权利要求1所述的方法，其特征在于，所述将所述遥感图像输入遥感图像水体提取模型中的编码器进行处理，提取所述遥感图像中的与水体相关的信息，输出浅层特征信息和深层特征信息，包括：将所述遥感图像输入遥感图像水体提取模型的编码器的第一卷积块进行特征提取，输出第一特征图；将所述第一特征图进行下采样后输入遥感图像水体提取模型的编码器的第二卷积块进行特征提取，输出第二特征图；将所述第二特征图进行下采样后输入遥感图像水体提取模型的编码器的第三卷积块进行特征提取，输出第三特征图；将所述第三特征图进行下采样后输入遥感图像水体提取模型的编码器的第四卷积块进行特征提取，输出第四特征图；将所述第四特征图进行下采样后输入遥感图像水体提取模型的编码器的第五卷积块进行特征提取，输出第五特征图；其中，浅层特征信息包括所述第一特征图、所述第二特征图和所述第三特征图，深层特征信息包括所述第四特征图和所述第五特征图。3.根据权利要求2所述的方法，其特征在于，所述将所述深层特征信息输入到遥感图像水体提取模型中的mixformer block模块建模图像全局上下文信息，提取第一特征信息，包括：将所述第四特征图输入所述mixformer block模块的第一mixformer block单元建模图像全局上下文信息，输出第六特征图；将所述第五特征图输入所述mixformer block模块的第二mixformer block单元建模图像全局上下文信息，输出第七特征图；所述第一特征信息包括第六特征图和第七特征图。4.根据权利要求3所述的方法，其特征在于，所述将所述第一特征信息和所述浅层特征信息输入到遥感图像水体提取模型中的解码器进行特征融合，输出水体提取图，包括：将所述第七特征图通过双线性插值进行2倍上采样操作后与所述第六特征图进行特征融合，生成第八特征图；将所述第八特征图经过解码器的第一depthwise卷积块和第六卷积块进行加强特征提取，生成第九特征图；将所述第九特征图通过双线性插值进行2倍上采样操作后与所述第三特征图进行特征融合，生成第十特征图；
将所述第十特征图经过解码器的第二depthwise卷积块和第七卷积块进行加强特征提取，生成第十一特征图；将所述第十一特征图通过双线性插值进行2倍上采样操作后与所述第二特征图进行特征融合，生成第十二特征图；将所述第十二特征图经过解码器的第三depthwise卷积块和第八卷积块进行加强特征提取，生成第十三特征图；将所述第十三特征图通过双线性插值进行2倍上采样操作后与所述第一特征图进行特征融合，生成第十四特征图；将所述第十四特征图经过解码器的第四depthwise卷积块和第九卷积块进行加强特征提取，生成第十五特征图；将所述第十五特征图经过解码器的卷积层进行调整通道数，输出水体提取图。5.根据权利要求4所述的方法，其特征在于，所述第一卷积块、所述第二卷积块、第三卷积块、第四卷积块和第五卷积块为两个依次连接的3
×
3的卷积块。6.根据权利要求3所述的方法，其特征在于，所述第一mixformer block单元包括一个mixformer block。7.根据权利要求3所述的方法，其特征在于，所述第二mixformer block单元包括两个mixformer block，两个mixformer block依次连接。8.根据权利要求6或7所述的方法，其特征在于，所述mixformer block包括第一标准化层、第二标准化层、自注意力层和多层感知机，所述第一标准化层的输出与自注意力层输入连接，自注意力层的输出与第二标准化层的输入连接，第二标准化层的输出与多层感知机的输入连接；输入第一标准化层的特征与自注意力层输出的特征通过残差连接后输入第二标准化层，输入第二标准化层的特征与多层感知机输出的特征通过残差连接后输出特征图。9.根据权利要求8所述的方法，其特征在于，所述自注意力层包括窗口自注意力、第五depthwise卷积、通道交互单元和空间交互单元，输入自注意力层的特征分别输入到自注意力层的第五depthwise卷积进行特征提取后，输出局部细节特征图，将局部细节特征图输入通道交互单元进行处理后输出与输入自注意力层的特征相乘，再输入到自注意力层的窗口自注意力进行特征提取，输出全局特征图；所述全局特征图输入空间交互单元进行处理后输出与所述局部细节特征图相乘，输出相乘后的局部细节特征图；将所述相乘后的局部细节特征图与所述全局特征图进行拼接后，输出自注意力层输出的特征。10.根据权利要求9所述的方法，其特征在于，所述通道交互单元包括全局平均池化层、第一卷积层、第一gelu激活函数、第二卷积层和第一sigmoid函数，所述全局平均池化层、所述第一卷积层、所述第一gelu激活函数、所述第二卷积层合所述第一sigmoid函数依次连接；所述空间交互单元包括第三卷积层、bn层、第二gelu激活函数、第四卷积层和第二sigmoid函数，所述第三卷积层、所述bn层、所述第二gelu激活函数、所述第四卷积层和所述
第二sigmoid函数依次连接。

技术总结
本申请涉及一种基于CNN和MixFormer的遥感图像水体提取方法。该方法包括：获取待水体提取的遥感图像，并将遥感图像输入遥感图像水体提取模型中的编码器进行处理，提取遥感图像中的与水体相关的信息，输出浅层特征信息和深层特征信息，再将深层特征信息输入到遥感图像水体提取模型中的MixFormer block模块建模图像全局上下文信息，提取第一特征信息，并将第一特征信息和浅层特征信息输入到遥感图像水体提取模型中的解码器进行特征融合，输出水体提取图。由此，能够提取遥感图像中更丰富的语义信息，在复杂场景下具有更稳健的识别水体能力，同时具有更高的分割精度，提高了遥感图像水体提取的效果，从而提高了水体提取的精度。从而提高了水体提取的精度。从而提高了水体提取的精度。


技术研发人员：逯焕宇 张永宏 马光义 朱灵龙 赵华俊 谢东林 耿苏桐
受保护的技术使用者：南京信息工程大学
技术研发日：2023.03.10
技术公布日：2023/8/9