语义分割方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种语义分割方法、装置、计算机设备和存储介质。


背景技术：

2.语义分割在诸多图像处理应用中发挥关键作用，图像语义分割是指像素级别地识别图像，即标注图像中每个像素所属的对象类别的过程。遥感图像语义分割需要考虑噪声的影响，对图像中的不同规格的目标进行识别和标注，以区分大范围的背景，得到分割结果。
3.但是，由于遥感图像存在背景复杂、目标多样且大小不一致、幅宽大等特点，使得遥感图像的语义分割带来巨大挑战，因此，亟需改进。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高对遥感图像语义分割精度的语义分割方法、装置、计算机设备和存储介质。
5.第一方面，本技术提供了一种语义分割方法，该方法包括：
6.获取待测图像在不同分辨率下提取到的单一尺度特征图；
7.将各单一尺度特征图分别输入至注意力通道模块，通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；
8.将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益；
9.基于第一融合特征和多尺度的信息增益，生成语义分割结果。
10.在其中一个实施例中，获取待测图像在不同分辨率下提取到的单一尺度特征图，包括：利用resnet，densenet和vgg三种骨干网络模型分别对不同分辨率的待测图像进行特征提取，得到各个不同尺度的单一尺度特征图。
11.在其中一个实施例中，将各单一尺度特征图分别输入至注意力通道模块，通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征，包括：
12.将各单一尺度特征图分别输入至注意力通道模块中的通道学习子模块，通过通道学习子模块学习各单一尺度特征图的通道注意力，得到多尺度通道注意力特征；
13.将各单一尺度特征图分别输入至注意力通道模块中的空间学习子模块，通过空间学习子模块学习各单一尺度特征图的空间注意力，得到多尺度空间注意力特征；
14.基于多尺度通道注意力特征和多尺度空间注意力特征，得到第一融合特征图。
15.在其中一个实施例中，将各单一尺度特征图分别输入至注意力通道模块中的通道学习子模块，通过通道学习子模块学习各单一尺度特征图的通道注意力，得到多尺度通道注意力特征，包括：
16.针对任一单一尺度特征图，通过通道学习子模块，在使用不降维的全局平均池化层聚合卷积特征之后，自适应确定卷积核大小，并基于卷积核进行一维卷积；
17.通过激活函数，学习通道该单一尺度特征图对应的通道间子特征；
18.将单一尺度特征图经过自适应池化层，得到该单一尺度特征图对应的通道池化子特征；
19.基于各单一尺度特征图对应的通道间子特征和通道池化子特征，得到多尺度通道注意力特征。
20.在其中一个实施例中，将各单一尺度特征图分别输入至注意力通道模块中的空间学习子模块，通过空间学习子模块学习各单一尺度特征图的空间注意力，得到多尺度空间注意力特征，包括：
21.通过空间学习子模块中的不同尺寸的卷积块，构建多尺度注意力机制；
22.基于多尺度注意力机制，预测得到各单一尺度特征图中的感兴趣区域，将感兴趣区域的特征，作为多尺度空间注意力特征。
23.在其中一个实施例中，将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益，包括：
24.经不同扩张率的带孔卷积核对第一融合特征图进行卷积采样，得到多个增益子特征图；
25.将采样后的增益子特征图使用密集连接的结构连接；
26.将连接后的增益子特征图，作为空洞卷积层输出的多尺度的信息增益。
27.第二方面，本技术还提供了一种语义分割网络，应用上述语义分割方法，语义分割网络，包括：
28.特征提取子网络，包括resnet网络模型、densenet网络模型和vgg网络模型，用于提取待测图像在不同尺度下的单一尺度特征图；
29.注意力通道子网络，包括eca-net、自适应池化和msam网络模型，用于各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；
30.空洞卷积子网络，包括denseaspp模型，用于将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益；
31.输出层，包括全连接层，用于基于第一融合特征和多尺度的信息增益，生成语义分割结果。
32.第三方面，本技术还提供了一种语义分割装置，该装置包括：
33.获取模块，用于获取待测图像在不同分辨率下提取到的单一尺度特征图；
34.注意力模块，用于将各单一尺度特征图分别输入至注意力通道模块，通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；
35.增益模块，用于将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益；
36.分割模块，用于基于第一融合特征和多尺度的信息增益，生成语义分割结果。
37.第三方面，本技术还提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
38.获取待测图像在不同分辨率下提取到的单一尺度特征图；
39.将各单一尺度特征图分别输入至注意力通道模块，通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；
40.将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益；
41.基于第一融合特征和多尺度的信息增益，生成语义分割结果。
42.第四方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
43.获取待测图像在不同分辨率下提取到的单一尺度特征图；
44.将各单一尺度特征图分别输入至注意力通道模块，通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；
45.将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益；
46.基于第一融合特征和多尺度的信息增益，生成语义分割结果。
47.上述语义分割方法、装置、计算机设备和存储介质，对不同分辨率的待测图像进行多尺度特征提取，并通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，使得第一融合特征包括各特征图在通道维度的注意力特征以及各特征图在空间维度的注意力特征，使用通道注意力模块的目的是为了让输入的图像更有意义,通过网络计算出输入图像各个通道的权重。具体来说，就是哪些通道包含关键信息就多加关注，少关注没什么重要信息的通道，从而达到提高特征表示能力的目的；另外，空洞卷积是为了解决在提升感受野的同时不损失信息，能够获取多尺度的信息增益；通过包含待测图像多尺度特征的第一融合特征和多尺度的信息增益，使得该语义分割方法能够适配不同尺度的目标识别，提高了语义分割的识别准确度。。
附图说明
48.图1为一个实施例中语义分割方法的流程示意图；
49.图2为一个实施例中得到第一融合特征图的流程示意图；
50.图3为一个实施例中ecap模块的网络结构图；
51.图4为一个实施例中msam的网络结构图；
52.图5为一个实施例中denseaspp的网络结构图；
53.图6为一个实施例中语义分割网络的网络结构图；
54.图7为一个实施例中语义分割装置的结构框图；
55.图8为一个实施例中计算机设备的内部结构图。
具体实施方式
56.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
57.在一个实施例中，如图1所示，提供了一种语义分割方法，由电子设备执行，具体包
括以下步骤：
58.s101，获取待测图像在不同分辨率下提取到的单一尺度特征图。
59.其中，待测图像可以为遥感图像。具体的，利用resnet，densenet和vgg三种骨干网络模型分别对不同分辨率的待测图像进行特征提取，得到各个不同尺度的单一尺度特征图。
60.可选的，多尺度特征提取的输入部分采用级联图像输入，输入图像尺度分别为1，1/2，1/4的高中低三种分辨率图像，并分别经过resnet101，densenet169和vgg16三种骨干网络对图像进行特征提取。
61.其中，resnet又称残差神经网络，它通过引入shortcut结构来规避普通神经网络中出现的梯度消失和网络退化问题。
62.densenet则采用另一种思路，改变了传统神经网络中每层只和下一层连接的方式，将每一层与其余层进行密集连接，以期望各层的信息流动达到最大。resnet的特点是：(1)残差学习；(2)shortcuts连接；(3)加深网络不退化。densenet的特点是：(1)密集shortcut连接；(2)特征重用；(3)引入过渡层。虽然densenet虽然需要参数数量少于resnet，但是需要频繁读取内存，所以训练速度比resnet训练速度慢。densenet每一次卷积输入输出的通道个数要比resnet少很多。全连接层的参数也比resnet少很多。虽然densenet虽然需要参数数量少于resnet，densenet的特征图比resnet大很多，导致卷积过程的计算量比resnet大很多，内存的占用要大一些,并且需要频繁读取内存，所以训练速度比resnet训练速度慢。因此综合内存消耗、速度、参数量等因素，在scale＝1和1/2的图像的特征提取网络分别采用resnet01和densenet169。然而在scale较低的1/4尺寸，则采用层数相对较少、参数量较小的vgg16来进行特征提取。
63.s102，将各单一尺度特征图分别输入至注意力通道模块，通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图。
64.其中，使用通道注意力模块的目的是为了让输入的图像更有意义,通过网络计算出输入图像各个通道的权重。具体来说，就是哪些通道包含关键信息就多加关注，少关注没什么重要信息的通道，从而达到提高特征表示能力的目的。
65.其中，第一融合特征包括：各特征图在通道维度的注意力特征以及各特征图在空间维度的注意力特征。可选的，通道注意力模块可以为scanet网络。
66.s103，将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益。
67.其中，空洞卷积是为了解决在提升感受野的同时不损失信息，aspp将不同空洞率的空洞卷积平行或者级联堆叠来获取多尺度的信息增益。
68.s104，基于第一融合特征和多尺度的信息增益，生成语义分割结果。
69.具体的，将基于第一融合特征经过1*1卷积，能够多尺度的信息增益经过1*1卷积后，均输入至全连接层，得到预测结果，该预测结果即为语义分割结果。
70.上述语义分割方法中，对不同分辨率的待测图像进行多尺度特征提取，并通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，使得第一融合特征包括各特征图在通道维度的注意力特征以及各特征图在空间维度的注意力特征，使用通道注意力模块的目的是为了让输入的图像更有意义,通过网络计算出输入图像各个通道的
权重。具体来说，就是哪些通道包含关键信息就多加关注，少关注没什么重要信息的通道，从而达到提高特征表示能力的目的；另外，空洞卷积是为了解决在提升感受野的同时不损失信息，能够获取多尺度的信息增益；通过包含待测图像多尺度特征的第一融合特征和多尺度的信息增益，使得该语义分割方法能够适配不同尺度的目标识别，提高了语义分割的识别准确度。
71.如图2所示，本实施例提供了一种将各单一尺度特征图分别输入至注意力通道模块，通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征的可选方式，即提供了一种对s102进行细化的方式。具体实现过程可以包括：
72.s201，将各单一尺度特征图分别输入至注意力通道模块中的通道学习子模块，通过通道学习子模块学习各单一尺度特征图的通道注意力，得到多尺度通道注意力特征。
73.本实施例中，通道学习子模块(ecap模块)以轻量型通道注意力机制eca-net和池化模块pooling组合的方式，如图3所示，图3为ecap模块的网络结构图。
74.具体的，ecap模块在各单一尺度特征图的通道注意力时：
75.eca-net，针对任一单一尺度特征图，在使用不降维的全局平均池化层聚合卷积特征之后，自适应确定卷积核大小k，并基于卷积核进行一维卷积；通过激活函数sigmoid，学习通道该单一尺度特征图对应的通道间子特征；
76.可以理解的是，由于senet中的gap后的两个fc层中的维度衰减影响了通道注意力的权重学习。在不降低维数的通道级全局平均池化之后，eca-net通过考虑每个通道及其k个邻域来捕获局部跨通道交互信息。eca-net保证了模型效率和计算效果，并且取得了比senet更好的效果。
77.对于不降维的聚合特征y∈rc，eca-net可以学习通道注意力：
78.w＝σ(w(y))
79.w为cxc的参数矩阵；
[0080][0081]
其中，w
var2
是一个对角矩阵，包含c个参数；
[0082]wvar3
是一个完整的矩阵，包含c
×
c个参数；
[0083]
关键的区别在于：se-var3考虑了跨通道交互，而se-var2没有考虑，因此se-var3的性能更好。
[0084]
在eca-net中，探索了另一种获取局部跨通道交互的方法，以保证效率和有效性，使用一个波段矩阵wk来学习通道注意力：
[0085][0086]
w＝σ(c1dk(y))
[0087]
其中，c1d表示一维卷积。
[0088]
进一步的，将单一尺度特征图经过自适应池化层，得到该单一尺度特征图对应的通道池化子特征；基于各单一尺度特征图对应的通道间子特征和通道池化子特征，得到多尺度通道注意力特征。
[0089]
可以理解的是，平均池化是取每个矩形区域中的平均值，可以提取特征图中所有特征的信息进入下一层，而不像最大池化只保留值最大的特征，由于遥感影像的特殊性，其图像的有用信息较多，背景信息较少，所以利用平均池化可以更多保留图像的信息。
[0090]
自适应池化(adaptive pooling)的特殊性在于输出张量的大小都是给定的output_size。其原理为：若已知池化层的kernel_size、padding、stride以及输入张量的大小input_size,则输出张量大小output_size为:
[0091]
output_size＝(input_size+2
×
padding-kernel_size)/stride+1
[0092]
那么，kernel_size＝(input_size+2
×
padding)-(output_size-1)
×
stride
[0093]
因此，pooling模块选用自适应平均池化设计，输出的特征图大小为1
×
1，2
×
2，3
×
3，6
×
6，并且通道数不发生改变。
[0094]
s202，将各单一尺度特征图分别输入至注意力通道模块中的空间学习子模块，通过空间学习子模块学习各单一尺度特征图的空间注意力，得到多尺度空间注意力特征。
[0095]
具体的，通过空间学习子模块中的不同尺寸的卷积块，构建多尺度注意力机制；基于多尺度注意力机制，预测得到各单一尺度特征图中的感兴趣区域，将感兴趣区域的特征，作为多尺度空间注意力特征。
[0096]
可以理解的是，空间注意力选用多尺度注意力机制，注意力机制的本质就是定位到感兴趣的信息，抑制无用信息。不是图像中所有的区域对任务的贡献都是同样重要的,只有任务相关的区域才是需要关心的，比如分类任务的主体，空间注意力模型就是寻找网络中最重要的部位进行处理。
[0097]
如图4所示，本实施例中的空间学习子模块为msam，msam是利用3*3,5*5,7*7的卷积块，构建多尺度空间注意力模块，借鉴inceptionv3中factorization into small convolutions的思想，将一个较大的二维卷积拆成两个较小的一位卷积。具体来说，将3*3，5*5，7*7卷积分别拆成1*3和3*1，1*5，和5*1，1*7卷积和7*1卷积。通过卷积拆分，一方面节约了大量参数，加速运算并减去过拟合，同时增加了一层非线性扩展模型表达能力。这样非对称的卷积结构拆分，结果比对称地拆分为几个相同的小卷积核效果更明显，可以处理更多、更丰富的空间特征、增加特征多样性。
[0098]
s203，基于多尺度通道注意力特征和多尺度空间注意力特征，得到第一融合特征图。
[0099]
具体的，将基于各单一尺度特征图得到的多尺度通道注意力特征和多尺度空间注意力特征，进行融合，即可得到第一融合特征图。
[0100]
本实施例提供了一种将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益的可选方式，即提供了一种对s103进行细化的方式。具体实现过程可以包括：经不同扩张率的带孔卷积核对第一融合特征图进行卷积采样，得到多个增益子特征图；将采样后的增益子特征图使用密集连接的结构连接；将连接后的增益子特征图，作为空洞卷积层输出的多尺度的信息增益。
[0101]
具体的，如图5所示，本实施中的空洞卷积层为denseaspp。
[0102]
可以理解的是，denseaspp结合了densenet(dense convolutional network)和空洞空间卷积池化金字塔(aspp，atrous spatial pyramid pooling)的思想。第一融合特征图经由不同扩张率的带孔卷积核卷积采样，得到增益子特征图；而这些采样后的增益子特征图使用密集连接的结构，这种连接使得每一层的卷积特征图与之后的所有层结合，每一层的特征图也是之前所有层特征图的结合。
[0103]
通过不同扩张率的带孔卷积，获取不同尺度的目标图像特征，再通过密集连接的方式进行结合，而这种密集连接会获得比某一个带孔卷积或者单纯的多个带孔卷积金字塔具有更大的感受野，而且显然比aspp或者编码器-译码器模型具有更好的特征重用的优点。
[0104]
denseaspp相较于传统的aspp获得了更大的感受野。在aspp中，atrous卷积层并行工作，并且四个子分支在前馈过程中不共享任何信息。相反，denseaspp中的扩张卷积层通过跳层连接共享信息。扩张率小且扩张率大的层相互依赖地工作，其中前馈过程不仅构成更密集的特征金字塔，而且还产生更大的过滤器来感知更大的上下文信息。aspp的最大感受野(3,6,12,18,24)是
[0105]rmax
＝max[r
3,3
,r
3,6
,r
3,12
,r
3,18
,r
3,24
]＝r
3,24
＝51，
[0106]
然而，denseaspp的最大感受野(3,6,12,18,24)是：
[0107]rmax
＝r
3,3
+r
3,6
+r
3,12
+r
3,18
+r
3,24-4＝128.
[0108]
同时由于不同尺度特征图的密集连接和互相合并,也可以弥补扩张率较大的带孔卷积核留下的空隙无法采样细节信息的问题。为了控制模型大小并防止网络变得太宽，遵循densenet，在denseaspp中的每个扩张卷积层之前添加1
×
1卷积层，以将要素图的通道数减少到其原始大小的一半。该网络还具有densenet的优点，即可以缓解深层网络梯度消失的问题。
[0109]
本实施例提供了一种语义分割网络，应用上述语义分割方法，如图6所示，语义分割网络，包括：
[0110]
特征提取子网络backbone，包括resnet网络模型、densenet网络模型和vgg网络模型，用于提取待测图像在不同尺度下的单一尺度特征图；
[0111]
注意力通道子网络attention，包括eca-net、自适应池化和msam网络模型，用于各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；
[0112]
空洞卷积子网络denseaspp，包括denseaspp模型，用于将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益；
[0113]
输出层concat，包括全连接层，用于基于第一融合特征和多尺度的信息增益，生成语义分割结果。
[0114]
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确
的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0115]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的语义分割方法的语义分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个语义分割装置实施例中的具体限定可以参见上文中对于语义分割方法的限定，在此不再赘述。
[0116]
在一个实施例中，如图7所示，提供了一种语义分割装置1，包括：获取模块11、注意力模块12、增益模块13和分割模块14，其中：
[0117]
获取模块11，用于获取待测图像在不同分辨率下提取到的单一尺度特征图；
[0118]
注意力模块12，用于将各单一尺度特征图分别输入至注意力通道模块，通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；
[0119]
增益模块13，用于将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益；
[0120]
分割模块14，用于基于第一融合特征和多尺度的信息增益，生成语义分割结果。
[0121]
在一个实施例中，获取模块11，用于利用resnet，densenet和vgg三种骨干网络模型分别对不同分辨率的待测图像进行特征提取，得到各个不同尺度的单一尺度特征图。
[0122]
在一个实施例中，注意力模块12，包括：
[0123]
第一注意力子模块，用于将各单一尺度特征图分别输入至注意力通道模块中的通道学习子模块，通过通道学习子模块学习各单一尺度特征图的通道注意力，得到多尺度通道注意力特征；
[0124]
第二注意力子模块，用于将各单一尺度特征图分别输入至注意力通道模块中的空间学习子模块，通过空间学习子模块学习各单一尺度特征图的空间注意力，得到多尺度空间注意力特征；
[0125]
第三注意力子模块，基于多尺度通道注意力特征和多尺度空间注意力特征，得到第一融合特征图。
[0126]
在一个实施例中，第一注意力子模块，还用于：针对任一单一尺度特征图，通过通道学习子模块，在使用不降维的全局平均池化层聚合卷积特征之后，自适应确定卷积核大小，并基于卷积核进行一维卷积；
[0127]
通过激活函数，学习通道该单一尺度特征图对应的通道间子特征；
[0128]
将单一尺度特征图经过自适应池化层，得到该单一尺度特征图对应的通道池化子特征；
[0129]
基于各单一尺度特征图对应的通道间子特征和通道池化子特征，得到多尺度通道注意力特征。
[0130]
在一个实施例中，第二注意力子模块，还用于通过空间学习子模块中的不同尺寸的卷积块，构建多尺度注意力机制；
[0131]
基于多尺度注意力机制，预测得到各单一尺度特征图中的感兴趣区域，将感兴趣区域的特征，作为多尺度空间注意力特征。
[0132]
在一个实施例中，增益模块13，还用于：经不同扩张率的带孔卷积核对第一融合特征图进行卷积采样，得到多个增益子特征图；
[0133]
将采样后的增益子特征图使用密集连接的结构连接；
[0134]
将连接后的增益子特征图，作为空洞卷积层输出的多尺度的信息增益。
[0135]
上述语义分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0136]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储语义分割方法的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种语义分割方法。
[0137]
本领域技术人员可以理解，图8中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0138]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0139]
获取待测图像在不同分辨率下提取到的单一尺度特征图；
[0140]
将各单一尺度特征图分别输入至注意力通道模块，通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；
[0141]
将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益；
[0142]
基于第一融合特征和多尺度的信息增益，生成语义分割结果。
[0143]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0144]
获取待测图像在不同分辨率下提取到的单一尺度特征图；
[0145]
将各单一尺度特征图分别输入至注意力通道模块，通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；
[0146]
将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益；
[0147]
基于第一融合特征和多尺度的信息增益，生成语义分割结果。
[0148]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括
非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0149]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0150]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种语义分割方法，其特征在于，所述方法包括：获取待测图像在不同分辨率下提取到的单一尺度特征图；将各单一尺度特征图分别输入至注意力通道模块，通过所述注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；将第一融合特征图输入至空洞卷积层，得到所述空洞卷积层输出的多尺度的信息增益；基于所述第一融合特征和所述多尺度的信息增益，生成语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述获取待测图像在不同分辨率下提取到的单一尺度特征图，包括：利用resnet，densenet和vgg三种骨干网络模型分别对不同分辨率的待测图像进行特征提取，得到各个不同尺度的单一尺度特征图。3.根据权利要求1所述的方法，其特征在于，所述将各单一尺度特征图分别输入至注意力通道模块，通过所述注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征，包括：将各单一尺度特征图分别输入至注意力通道模块中的通道学习子模块，通过所述通道学习子模块学习各单一尺度特征图的通道注意力，得到多尺度通道注意力特征；将各单一尺度特征图分别输入至注意力通道模块中的空间学习子模块，通过所述空间学习子模块学习各单一尺度特征图的空间注意力，得到多尺度空间注意力特征；基于所述多尺度通道注意力特征和所述多尺度空间注意力特征，得到第一融合特征图。4.根据权利要求3所述的方法，其特征在于，所述将各单一尺度特征图分别输入至注意力通道模块中的通道学习子模块，通过所述通道学习子模块学习各单一尺度特征图的通道注意力，得到多尺度通道注意力特征，包括：针对任一单一尺度特征图，通过所述通道学习子模块，在使用不降维的全局平均池化层聚合卷积特征之后，自适应确定卷积核大小，并基于所述卷积核进行一维卷积；通过激活函数，学习通道该单一尺度特征图对应的通道间子特征；将单一尺度特征图经过自适应池化层，得到该单一尺度特征图对应的通道池化子特征；基于各单一尺度特征图对应的通道间子特征和通道池化子特征，得到多尺度通道注意力特征。5.根据权利要求3所述的方法，其特征在于，所述将各单一尺度特征图分别输入至注意力通道模块中的空间学习子模块，通过所述空间学习子模块学习各单一尺度特征图的空间注意力，得到多尺度空间注意力特征，包括：通过所述空间学习子模块中的不同尺寸的卷积块，构建多尺度注意力机制；基于所述多尺度注意力机制，预测得到各单一尺度特征图中的感兴趣区域，将所述感兴趣区域的特征，作为多尺度空间注意力特征。6.根据权利要求1所述的方法，其特征在于，所述将第一融合特征图输入至空洞卷积层，得到所述空洞卷积层输出的多尺度的信息增益，包括：经不同扩张率的带孔卷积核对所述第一融合特征图进行卷积采样，得到多个增益子特征图；
将采样后的增益子特征图使用密集连接的结构连接；将连接后的增益子特征图，作为所述空洞卷积层输出的多尺度的信息增益。7.一种语义分割网络，应用上述权利要求1-6任一项中的语义分割方法，其特征在于，所述语义分割网络，包括：特征提取子网络，包括resnet网络模型、densenet网络模型和vgg网络模型，用于提取待测图像在不同尺度下的单一尺度特征图；注意力通道子网络，包括eca-net、自适应池化和msam网络模型，用于各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；空洞卷积子网络，包括denseaspp模型，用于将第一融合特征图输入至空洞卷积层，得到所述空洞卷积层输出的多尺度的信息增益；输出层，包括全连接层，用于基于所述第一融合特征和所述多尺度的信息增益，生成语义分割结果。8.一种语义分割装置，其特征在于，所述装置包括：获取模块，用于获取待测图像在不同分辨率下提取到的单一尺度特征图；注意力模块，用于将各单一尺度特征图分别输入至注意力通道模块，通过所述注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；增益模块，用于将第一融合特征图输入至空洞卷积层，得到所述空洞卷积层输出的多尺度的信息增益；分割模块，用于基于所述第一融合特征和所述多尺度的信息增益，生成语义分割结果。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及图像处理技术领域，特别是涉及一种语义分割方法、装置、计算机设备和存储介质。该方法包括：获取待测图像在不同分辨率下提取到的单一尺度特征图；将各单一尺度特征图分别输入至注意力通道模块，通过注意力通道模块对各单一尺度特征图的通道维度和空间维度进行特征提取，得到第一融合特征图；将第一融合特征图输入至空洞卷积层，得到空洞卷积层输出的多尺度的信息增益；基于第一融合特征和多尺度的信息增益，生成语义分割结果。本申请能够提高遥感图像的语义分割精度。够提高遥感图像的语义分割精度。够提高遥感图像的语义分割精度。


技术研发人员：曹连雨 张小璐
受保护的技术使用者：中科弘云科技（南京）有限公司
技术研发日：2023.05.12
技术公布日：2023/8/4