遥感图像跨域语义分割方法及装置与流程

1.本发明属于计算机技术领域，具体涉及一种遥感图像跨域语义分割方法及装置。


背景技术：

2.卫星遥感技术因其客观、快速、准确获取数据的特点，已成为自然资源监测工作中不可或缺的技术手段。作为自然资源管理的先决条件，如何从海量遥感图像中自动识别和提取影像中的各类地物对自然资源调查监测意义重大。
3.相关技术中，遥感图像语义分割能够自动实现图像分类标注，获取有效的地表空间结构信息和几何信息，精准识别各类自然资源要素，使得遥感图像自动解译成为可能。特别是近年来以卷积神经网络(convolutional neural networks，cnn)为代表的深度学习方法，具有强大的特征抽取能力，极大提高了遥感图像语义分割的精度。在已有研究中，segnet、u-net、pspnets、deeplab等cnn模型已经展示了它们在遥感语义分割任务的有效性。在数据集存在高质量语义标注的情况下，训练一个最先进的模型可以很容易地获得超过80％的分割准确率。
4.然而，这些基于cnn的方法只有在训练集(源域)和测试集(目标域)的分布相似时才能够较好地泛化至测试图像。由于cnn对不同数据的分布敏感性较高，直接将源域数据训练的模型应用于分布差异较大的目标域时无法给出令人满意的分割效果。而在实际场景中，由于光照条件、成像传感器、地理位置等多种因素的影响，导致不同的遥感图像具有较大的数据偏移。例如，从不同卫星传感器获取的图像可能具有不同的颜色，在不同季节拍摄的同一农作物具有不同的光谱特征。对目标域图像进行语义标注是提高模型分割精度的有效手段，然而手动标记每个数据集需要昂贵的人力成本和时间成本。
5.为了在不对目标域进行重新标注的前提下提高分割效果，作为迁移学习的一个分支，域适应通过最小化源域和目标域之间的分布差异来提高模型在目标域的泛化能力。在域适应中，主要采用分布差异最小化或对抗学习的方式以实现深层级特征的语义对齐。但是，深层特征的语义对齐可能无法保持对图像低层级外观变化的鲁棒性，容易导致前景目标与背景混淆，造成边界模糊，导致分割效果差。


技术实现要素：

6.有鉴于此，本发明的目的在于克服现有技术的不足，提供一种遥感图像跨域语义分割方法及装置，以解决现有技术无法保持对图像低层级外观变化的鲁棒性，容易导致前景目标与背景混淆，造成边界模糊，导致分割效果差的问题。
7.为实现以上目的，本发明采用如下技术方案：一种遥感图像跨域语义分割方法，包括：
8.构建用于位置注意力增强的deeplabv3语义分割网络，采用源域有标注数据对所述deeplabv3语义分割网络进行预训练，得到预训练后的deeplabv3语义分割网络；
9.构建用于循环一致性对抗域适应的cyclegan风格迁移网络，对所述cyclegan风格
迁移网络进行像素级域适应和特征级域适应，得到域适应cyclegan风格迁移网络；
10.获取目标域遥感图像，利用所述域适应cyclegan风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；
11.利用所述预训练后的deeplabv3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。
12.进一步的，所述构建用于位置注意力增强的deeplabv3语义分割网络，包括：
13.构建位置注意力模块；
14.构建编码器网络；所述编码器网络采用具有resnet101残差结构的resnet101网络；
15.将所述位置注意力模块嵌入至所述resnet101残差结构中，得到deeplabv3语义分割网络。
16.进一步的，采用源域有标注数据对所述deeplabv3语义分割网络进行预训练，包括：
17.获取源域数据和目标域数据，对所述源域数据进行标注，得到源域标签数据；
18.将所述源域数据输入所述deeplabv3语义分割网络的编码器网络，进行位置注意力细化，得到分割结果；
19.计算所述分割结果与源域标签数据之间的像素分类损失函数；
20.利用所述分类损失函数对所述deeplabv3语义分割网络进行训练。
21.进一步的，所述将所述源域数据输入所述deeplabv3语义分割网络的编码器网络，进行位置注意力细化，包括：
22.将编码器网络中间层的特征张量输入位置注意力模块对其进行位置信息编码，得到方向感知特征图；所述方向感知特征图包括纵向感知特征图和横向感知特征图；
23.连接所述纵向感知特征图和横向感知特征图并进行卷积变换，得到中间特征图；
24.沿空间维度将所述中间特征图分解为第一张量和第二张量；
25.对所述第一张量和第二张量进行卷积变换，得到所述源域数据相同大小的原始特征张量，得到注意力权重；
26.基于所述注意力权重和原始特征张量，获取位置注意力增强的特征表示。
27.进一步的，所述像素分类损失函数为：
[0028][0029]
其中，σ表示softmax函数，i表示所述语义分割网络，1
[.]
为指示函数，若k＝ys为1，反之为0。
[0030]
进一步的，所述构建用于循环一致性对抗域适应的cyclegan风格迁移网络，包括：
[0031]
构建由目标域转换至源域的第一生成器网络，及由源域转换至目标域的第二生成器网络；
[0032]
利用patchgan网络构建源域判别器网络和目标域判别器网络；
[0033]
基于所述第一生成器网络、第二生成器网络、源域判别器网络和目标域判别器网络得到用于循环一致性对抗域适应的cyclegan风格迁移网络。
[0034]
进一步的，对所述cyclegan风格迁移网络进行像素级域适应，包括：
[0035]
将源域数据输入所述第二生成器网络，经过从源域到目标域的映射，得到转换为目标域风格的源域图像；
[0036]
将所述目标域风格的源域图像输入目标域判别器网络，得到源域图像的第一判别输出；
[0037]
将目标域数据输入目标域判别器网络，得到目标域图像的第二判别输出；
[0038]
利用所述第一判别输出和第二判别输出，计算目标域对抗损失；
[0039]
将目标域数据数据输入第一生成器网络，经过从目标域到源域的映射，得到转换为源域风格的目标域图像；
[0040]
将所述源域风格的目标域图像输入源域判别器网络，得到目标域图像的第三判别输出；
[0041]
将源域图像输入源域判别器网络，得到源域图像的第四判别输出；
[0042]
利用第三判别器输出和第四判别器输出计算源域对抗损失；
[0043]
其中，所述目标对抗损失和所述源域对抗损失均设有循环一致性约束。
[0044]
进一步的，对所述cyclegan风格迁移网络进行特征级域适应，包括：
[0045]
将目标域风格的源域图像输入预设的遥感语义分割网络，获取最后一层的第一特征输出；
[0046]
将目标域图像输入所述遥感语义分割网络，获取最后一层的第二特征输出；
[0047]
利用所述第一特征和第二特征输出计算特征级的对抗损失函数；
[0048]
利用所述对抗损失函数计算cyclegan风格迁移网络的总损失，以优化模型参数。
[0049]
本技术实施例提供一种遥感图像跨域语义分割装置，包括：
[0050]
第一构建模块，用于构建用于位置注意力增强的deeplabv3语义分割网络，采用源域有标注数据对所述deeplabv3语义分割网络进行预训练，得到预训练后的deeplabv3语义分割网络；
[0051]
第二构建模块，用于构建用于循环一致性对抗域适应的cyclegan风格迁移网络，对所述cyclegan风格迁移网络进行像素级域适应和特征级域适应，得到域适应cyclegan风格迁移网络；
[0052]
转换模块，用于获取目标域遥感图像，利用所述域适应cyclegan风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；
[0053]
分割模块，用于利用所述预训练后的deeplabv3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。
[0054]
本发明采用以上技术方案，能够达到的有益效果包括：
[0055]
本发明提供一种遥感图像跨域语义分割方法及装置，本技术通过构建位置注意力增强的deeplabv3语义分割网络，并采用源域有标注数据对所述语义分割网络模型进行遥感语义分割预训练；然后构建用于循环一致性对抗域适应的cyclegan风格迁移网络，通过对cyclegan风格迁移网络进行像素级域适应和特征级域适应；利用域适应完成的cyclegan风格迁移网络将目标域图像转换为源域风格；利用预训练完成的deeplabv3语义分割网络对转换为源域风格的目标域遥感图像进行语义分割。本技术将循环一致性对抗网络应用于遥感图像的不同数据域的风格迁移，利用位置注意力增强的deeplabv3语义分割网络用于遥感图像的跨域语义分割，在目标域缺乏标注信息且具有较大分布差异的情况下，能够有
效提高目标域的遥感图像分割效果。
附图说明
[0056]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0057]
图1为本发明遥感图像跨域语义分割方法的步骤示意图；
[0058]
图2为本发明遥感图像跨域语义分割装置的结构示意图。
具体实施方式
[0059]
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
[0060]
下面结合附图介绍本技术实施例中提供的一个具体的遥感图像跨域语义分割方法及装置。
[0061]
首先，定义源域数据为xs，目标域数据为x
t
，源域标签数据为ys，目标域数据没有标签信息。其中，源域与目标域图像的像元类别数为k，(xs,ys)～(xs,ys)表示源域中的采样数据，x
t
～x
t
表示目标域中的采样数据。本文方法旨在利用有标注源域数据和无标注目标域数据联合训练一个风格迁移网络，使得目标域图像可以经由该网络转换至源域风格，从而缩小目标域图像与源域图像
[0062]
′
的数据偏移。我们定义经由风格迁移后源域风格的目标域数据为ys。这样，源域数据训练的位置注意力增强的遥感语义分割网络可以准确识别目标域数据
′
[0063]ys
上的自然资源要素。
[0064]
如图1所示，本技术实施例中提供的遥感图像跨域语义分割方法，包括：
[0065]
s101，构建用于位置注意力增强的deeplabv3语义分割网络，采用源域有标注数据对所述deeplabv3语义分割网络进行预训练，得到预训练后的deeplabv3语义分割网络；
[0066]
一些实施例中，所述构建用于位置注意力增强的deeplabv3语义分割网络，包括：
[0067]
构建位置注意力模块；
[0068]
构建编码器网络；所述编码器网络采用具有resnet101残差结构的resnet101网络；
[0069]
将所述位置注意力模块嵌入至所述resnet101残差结构中，得到deeplabv3语义分割网络。
[0070]
作为一种优选的实施方式，采用源域有标注数据对所述deeplabv3语义分割网络进行预训练，包括：
[0071]
获取源域数据和目标域数据，对所述源域数据进行标注，得到源域标签数据；
[0072]
将所述源域数据输入所述deeplabv3语义分割网络的编码器网络，进行位置注意力细化，得到分割结果；
[0073]
计算所述分割结果与源域标签数据之间的像素分类损失函数；
[0074]
利用所述分类损失函数对所述deeplabv3语义分割网络进行训练。
[0075]
作为一个实施例，所述将所述源域数据输入所述deeplabv3语义分割网络的编码器网络，进行位置注意力细化，包括：
[0076]
将编码器网络中间层的特征张量输入位置注意力模块对其进行位置信息编码，得到方向感知特征图；所述方向感知特征图包括纵向感知特征图和横向感知特征图；
[0077]
连接所述纵向感知特征图和横向感知特征图并进行卷积变换，得到中间特征图；
[0078]
沿空间维度将所述中间特征图分解为第一张量和第二张量；
[0079]
对所述第一张量和第二张量进行卷积变换，得到所述源域数据相同大小的原始特征张量，得到注意力权重；
[0080]
基于所述注意力权重和原始特征张量，获取位置注意力增强的特征表示。
[0081]
具体的，本技术中将位置注意力机制与deeplabv3+网络相融合，提出一种基于改进的deeplabv3+遥感影像语义分割模型。主要包括：在特征编码器部分，使用resnet101残差网络抽取遥感图像的高维特征进行训练，位置注意力模块被嵌入至resnet101残差网络的残差结构中。由于残差网络是由多个残差结构堆叠构成，不同层级的残差结构中的位置注意力模块可以对不同尺度的特征图进行细化，因此，位置注意力模块不仅细化了重要的空间特征表示，同时顾及了遥感图像的多尺度特征，可以更好地获取不同形状大小的地物目标信息。具体地，位置注意力细化的过程为：
[0082]
在一个残差结构内，输入位置注意力模块的特征张量定义为f＝[f1,f2,
…
,fc]∈rc×h×w，其中c表示特征图的通道数，h表示特征图的高度，w表示特征图的高度。首先，使用两个空间范围的池化核(h,1)和(1,w)来分别沿着水平坐标和垂直坐标编码每个通道。其中，第c个通道在高度h处的输出为：
[0083][0084]
由此得到纵向感知特征图。类似的，在宽度为w处的第c个通道的输出为：
[0085][0086]
由此得到横向感知特征图。上述两种变换分别沿两个空间方向聚合特征，产生一对方向感知特征图。之后，计算位置注意力权重，对于上述产生的方向感知特征图，首先连接纵向感知特征图与横向感知特征图，之后对其进行1
×
1卷积变换(conv1×1)，产生中间特征图：
[0087]fmid
＝δ(conv1×1([zh,zw]))
[0088]
其中，[
·
,
·
]表示沿着空间维度的连接操作，δ表示非线性激活函数，表示是在纵向和横向编码空间信息的中间特征图，r表示用于控制通道数量的缩减率。之后，沿空间维度把f
mid
分解两个独立的张量和进而采用1
×
1卷积将和变换为与输入特征张量f具有相同大小的张量，得到对应的注意力权重：
[0089][0090][0091]
其中，σ是sigmoid函数。r表示用于控制通道数量的缩减率以降低模型计算的复杂度。之后，利用位置注意力权重与原始特征张量f获取位置注意力细化的特征表示f
′
：
[0092][0093]
其中，c表示特征图的通道索引，i,j分别表示特征图空间位置的水平与垂直索引。位置注意力可以沿着一个空间方向捕获长程相关性，同时可以沿着另一个空间方向保留精确的位置信息。然后，将得到的特征图分别编码成一对方向感知和位置敏感的注意力图，它们可以互补地应用于输入特征图，以增强感兴趣对象的表示。
[0094]
为了保证上述遥感影像中的各类自然资源要素可以被准确识别，首先利用有标注的源域数据对上述遥感语义分割网络进行有监督预训练。具体地，将源域图像输入预先构建的deeplabv3语义分割网络的编码器网络，得到其预测分割结果。进一步地，利用源域的标签信息，计算源域图像的像素分类损失：
[0095][0096]
其中，σ表示softmax函数，i表示所述语义分割网络，为指示函数，若k＝ys为1，反之为0。
[0097]
s102，构建用于循环一致性对抗域适应的cyclegan风格迁移网络，对所述cyclegan风格迁移网络进行像素级域适应和特征级域适应，得到域适应cyclegan风格迁移网络；
[0098]
一些实施例中，所述构建用于循环一致性对抗域适应的cyclegan风格迁移网络，包括：
[0099]
构建由目标域转换至源域的第一生成器网络，及由源域转换至目标域的第二生成器网络；
[0100]
利用patchgan网络构建源域判别器网络和目标域判别器网络；
[0101]
基于所述第一生成器网络、第二生成器网络、源域判别器网络和目标域判别器网络得到用于循环一致性对抗域适应的cyclegan风格迁移网络。
[0102]
作为一个实施例，对所述cyclegan风格迁移网络进行像素级域适应，包括：
[0103]
将源域数据输入所述第二生成器网络，经过从源域到目标域的映射，得到转换为目标域风格的源域图像；
[0104]
将所述目标域风格的源域图像输入目标域判别器网络，得到源域图像的第一判别输出；
[0105]
将目标域数据输入目标域判别器网络，得到目标域图像的第二判别输出；
[0106]
利用所述第一判别输出和第二判别输出，计算目标域对抗损失；
[0107]
将目标域数据数据输入第一生成器网络，经过从目标域到源域的映射，得到转换为源域风格的目标域图像；
[0108]
将所述源域风格的目标域图像输入源域判别器网络，得到目标域图像的第三判别
输出；
[0109]
将源域图像输入源域判别器网络，得到源域图像的第四判别输出；
[0110]
利用第三判别器输出和第四判别器输出计算源域对抗损失；
[0111]
其中，所述目标对抗损失和所述源域对抗损失均设有循环一致性约束。
[0112]
作为一个实施例，对所述cyclegan风格迁移网络进行特征级域适应，包括：
[0113]
将目标域风格的源域图像输入预设的遥感语义分割网络，获取最后一层的第一特征输出；
[0114]
将目标域图像输入所述遥感语义分割网络，获取最后一层的第二特征输出；
[0115]
利用所述第一特征和第二特征输出计算特征级的对抗损失函数；
[0116]
利用所述对抗损失函数计算cyclegan风格迁移网络的总损失，以优化模型参数。
[0117]
具体的，本技术中考虑到不同来源的遥感图像具有较大的外观变化，为了提高语义分割模型在无标注目标域数据集的泛化能力，基于风格迁移的思想，采用cyclegan网络进行域间对抗训练，以学习域间不变特征表示。这样，目标域的图像可以转换至源域风格，从而使得语义分割网络泛化至无标注的目标域。
[0118]
本文采用的循环一致性对抗域适应作为一类用于无监督机器学习的算法，能够生成服从真实数据概率分布的数据。生成对抗网络由生成器和判别器两部分构成，其中生成器生成试图欺骗判别器的样本数据，而判别器被训练来辨别所生成的样本数据与真实数据之间的相关性。两者之间的对抗关系使得生成器和判别器在连续的迭代训练中促进对方完成训练。当判别器无法辨别样本来源时，则表明生成器能够生成符合真实数据分布的样本，即对抗训练任务完成。
[0119]
需要说明的是，cyclegan内部包含两个生成器和判别器，来实现两个不同图像之间的相互映射。本技术中，定义g
t
→s表示由目标域图像映射至源域图像的第一生成器，gs→
t
表示由源域图像映射至目标域图像的第二生成器，ds为源域判别器网络，用于判断生成图像是否为源域图像；d
t
为目标域判别器网络，用于判断生成图像是否为目标域图像，d
feat
为特征级判别器。本技术采用u-net构建生成器网络，采用patchgan构建判别器网络。基于上述cyclegan网络，本文采用联合像素级域适应与特征级域适应的多层次域适应方法，对该网络进行对抗训练。
[0120]
其中，像素级域适应具体如下：
[0121]
(1)源域迁移至目标域的对抗学习：将源域图像xs输入cyclegan的第一生成器gs→
t
中，得到转换为目标域风格的源域图像gs→
t
(xs)。之后将目标域风格的源域图像gs→
t
(xs)输入cyclegan的目标域判别器网络d
t
，得到该图像的判别输出d
t
(gs→
t
(xs))；同时，将目标域图像x
t
输入cyclegan的目标域判别器网络d
t
，得到目标域图像的判别输出d
t
(x
t
)。源域迁移至目标域的对抗损失为：
[0122][0123]
(2)目标域迁移至源域的对抗学习：将目标域图像x
t
输入cyclegan的第一生成器g
t
→s中，得到转换为源域风格的目标域图像g
t
→s(xs)。之后将源域风格的目标域图像g
t
→s(xs)输入cyclegan的源域判别器网络ds，得到该图像的判别输出ds(g
t
→s(x
t
))；同时，我们将源域图像xs输入cyclegan的目标域判别器网络ds，得到目标域图像的判别输出ds(xs)。目标域迁移至源域的对抗损失为：
[0124][0125]
为了在转换过程中保存单个域的有效信息，要求将输入图像的风格转换从原始域迁移为另一域图像的风格后可以再映射回原始的域，以重建原始样本，从而实现循环一致性。对此施加循环一致性约束为：
[0126][0127]
其中，特征级域适应具体为：
[0128]
像素级域适应将源域和目标域在风格上映射为同一外观类型，缩小了不同数据分布的差异。但像素级域适应是由cyclegan网络实现，遥感语义分割网络提取不同域的特征可能仍存在一定程度的偏移，因此需要进行遥感语义分割网络的特征对齐。具体地，将目标域风格的源域图像输入遥感语义分割网络i，获取i最后一层的特征输出i(gs→
t
(xs))。同时，将目标域图像输入遥感语义分割网络i，获取i最后一层的特征输出i(x
t
)。利用cyclegan网络的特征判别器对上述特征进行判别，特征级域适应的对抗损失为：
[0129][0130]
最后，联合优化以上各项损失，模型的总损失为：
[0131][0132]
s103，获取目标域遥感图像，利用所述域适应cyclegan风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；
[0133]
然后通过域适应cyclegan风格迁移网络就能够将待转换的目标域遥感图像转换为源域风格，从而得到源域风格的目标域遥感图像。
[0134]
s104，利用所述预训练后的deeplabv3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。
[0135]
最后利用训练好的deeplabv3语义分割网络对源域风格的目标域遥感图像进行语义分割，得到分割结果。
[0136]
遥感图像跨域语义分割方法的工作原理为：本技术通过构建位置注意力增强的deeplabv3语义分割网络，并采用源域有标注数据对所述语义分割网络模型进行遥感语义分割预训练；然后构建用于循环一致性对抗域适应的cyclegan风格迁移网络，通过对cyclegan风格迁移网络进行像素级域适应和特征级域适应；利用域适应完成的cyclegan风格迁移网络将目标域图像转换为源域风格；利用预训练完成的deeplabv3语义分割网络对转换为源域风格的目标域遥感图像进行语义分割。本技术将循环一致性对抗网络应用于遥感图像的不同数据域的风格迁移，利用位置注意力增强的deeplabv3语义分割网络用于遥感图像的跨域语义分割，在目标域缺乏标注信息且具有较大分布差异的情况下，能够有效提高目标域的遥感图像分割效果。
[0137]
本技术为了捕获重要自然资源要素的鉴别性特征，采用设置了位置注意力增强的遥感语义分割网络。具体地，将位置注意力模块嵌入至deeplabv3+语义分割网络的特征编
码网络中，沿着不同的空间方向细化图像特征表示。考虑到不同来源的遥感图像具有较大的外观变化，为了提高语义分割模型在无标注目标域数据集的泛化能力，采用联合像素级域适应和特征级域适应的cyclegan网络进行域间对抗训练，以学习域间不变特征表示。之后，利用cyclegan网络将目标域的图像被转换至源域风格，使得语义分割网络可以作用于无标注的目标域。
[0138]
如图2所示，本技术实施例提供一种遥感图像跨域语义分割装置，包括：
[0139]
第一构建模块201，用于构建用于位置注意力增强的deeplabv3语义分割网络，采用源域有标注数据对所述deeplabv3语义分割网络进行预训练，得到预训练后的deeplabv3语义分割网络；
[0140]
第二构建模块202，用于构建用于循环一致性对抗域适应的cyclegan风格迁移网络，对所述cyclegan风格迁移网络进行像素级域适应和特征级域适应，得到域适应cyclegan风格迁移网络；
[0141]
转换模块203，用于获取目标域遥感图像，利用所述域适应cyclegan风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；
[0142]
分割模块204，用于利用所述预训练后的deeplabv3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。
[0143]
本技术实施例提供的遥感图像跨域语义分割装置的工作原理为，第一构建模块201构建用于位置注意力增强的deeplabv3语义分割网络，采用源域有标注数据对所述deeplabv3语义分割网络进行预训练，得到预训练后的deeplabv3语义分割网络；第二构建模块202构建用于循环一致性对抗域适应的cyclegan风格迁移网络，对所述cyclegan风格迁移网络进行像素级域适应和特征级域适应，得到域适应cyclegan风格迁移网络；转换模块203获取目标域遥感图像，利用所述域适应cyclegan风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；分割模块204利用所述预训练后的deeplabv3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。
[0144]
综上所述，本发明提供一种遥感图像跨域语义分割方法及装置，本技术通过构建位置注意力增强的deeplabv3语义分割网络，并采用源域有标注数据对所述语义分割网络模型进行遥感语义分割预训练；然后构建用于循环一致性对抗域适应的cyclegan风格迁移网络，通过对cyclegan风格迁移网络进行像素级域适应和特征级域适应；利用域适应完成的cyclegan风格迁移网络将目标域图像转换为源域风格；利用预训练完成的deeplabv3语义分割网络对转换为源域风格的目标域遥感图像进行语义分割。本技术将循环一致性对抗网络应用于遥感图像的不同数据域的风格迁移，利用位置注意力增强的deeplabv3语义分割网络用于遥感图像的跨域语义分割，在目标域缺乏标注信息且具有较大分布差异的情况下，能够有效提高目标域的遥感图像分割效果。
[0145]
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
[0146]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形
式。
[0147]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0148]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0149]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0150]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种遥感图像跨域语义分割方法，其特征在于，包括：构建用于位置注意力增强的deeplabv3语义分割网络，采用源域有标注数据对所述deeplabv3语义分割网络进行预训练，得到预训练后的deeplabv3语义分割网络；构建用于循环一致性对抗域适应的cyclegan风格迁移网络，对所述cyclegan风格迁移网络进行像素级域适应和特征级域适应，得到域适应cyclegan风格迁移网络；获取目标域遥感图像，利用所述域适应cyclegan风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；利用所述预训练后的deeplabv3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。2.根据权利要求1所述的方法，其特征在于，所述构建用于位置注意力增强的deeplabv3语义分割网络，包括：构建位置注意力模块；构建编码器网络；所述编码器网络采用具有resnet101残差结构的resnet101网络；将所述位置注意力模块嵌入至所述resnet101残差结构中，得到deeplabv3语义分割网络。3.根据权利要求2所述的方法，其特征在于，采用源域有标注数据对所述deeplabv3语义分割网络进行预训练，包括：获取源域数据和目标域数据，对所述源域数据进行标注，得到源域标签数据；将所述源域数据输入所述deeplabv3语义分割网络的编码器网络，进行位置注意力细化，得到分割结果；计算所述分割结果与源域标签数据之间的像素分类损失函数；利用所述分类损失函数对所述deeplabv3语义分割网络进行训练。4.根据权利要求2所述的方法，其特征在于，所述将所述源域数据输入所述deeplabv3语义分割网络的编码器网络，进行位置注意力细化，包括：将编码器网络中间层的特征张量输入位置注意力模块对其进行位置信息编码，得到方向感知特征图；所述方向感知特征图包括纵向感知特征图和横向感知特征图；连接所述纵向感知特征图和横向感知特征图并进行卷积变换，得到中间特征图；沿空间维度将所述中间特征图分解为第一张量和第二张量；对所述第一张量和第二张量进行卷积变换，得到所述源域数据相同大小的原始特征张量，得到注意力权重；基于所述注意力权重和原始特征张量，获取位置注意力增强的特征表示。5.根据权利要求3所述的方法，其特征在于，所述像素分类损失函数为：其中，σ表示softmax函数，i表示所述语义分割网络，1
[.]
为指示函数，若k＝y
s
为1，反之为0。6.根据权利要求1所述的方法，其特征在于，所述构建用于循环一致性对抗域适应的cyclegan风格迁移网络，包括：
构建由目标域转换至源域的第一生成器网络，及由源域转换至目标域的第二生成器网络；利用patchgan网络构建源域判别器网络和目标域判别器网络；基于所述第一生成器网络、第二生成器网络、源域判别器网络和目标域判别器网络得到用于循环一致性对抗域适应的cyclegan风格迁移网络。7.根据权利要求6所述的方法，其特征在于，对所述cyclegan风格迁移网络进行像素级域适应，包括：将源域数据输入所述第二生成器网络，经过从源域到目标域的映射，得到转换为目标域风格的源域图像；将所述目标域风格的源域图像输入目标域判别器网络，得到源域图像的第一判别输出；将目标域数据输入目标域判别器网络，得到目标域图像的第二判别输出；利用所述第一判别输出和第二判别输出，计算目标域对抗损失；将目标域数据数据输入第一生成器网络，经过从目标域到源域的映射，得到转换为源域风格的目标域图像；将所述源域风格的目标域图像输入源域判别器网络，得到目标域图像的第三判别输出；将源域图像输入源域判别器网络，得到源域图像的第四判别输出；利用第三判别器输出和第四判别器输出计算源域对抗损失；其中，所述目标对抗损失和所述源域对抗损失均设有循环一致性约束。8.根据权利要求7所述的方法，其特征在于，对所述cyclegan风格迁移网络进行特征级域适应，包括：将目标域风格的源域图像输入预设的遥感语义分割网络，获取最后一层的第一特征输出；将目标域图像输入所述遥感语义分割网络，获取最后一层的第二特征输出；利用所述第一特征和第二特征输出计算特征级的对抗损失函数；利用所述对抗损失函数计算cyclegan风格迁移网络的总损失，以优化模型参数。9.一种遥感图像跨域语义分割装置，其特征在于，包括：第一构建模块，用于构建用于位置注意力增强的deeplabv3语义分割网络，采用源域有标注数据对所述deeplabv3语义分割网络进行预训练，得到预训练后的deeplabv3语义分割网络；第二构建模块，用于构建用于循环一致性对抗域适应的cyclegan风格迁移网络，对所述cyclegan风格迁移网络进行像素级域适应和特征级域适应，得到域适应cyclegan风格迁移网络；转换模块，用于获取目标域遥感图像，利用所述域适应cyclegan风格迁移网络将所述目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；分割模块，用于利用所述预训练后的deeplabv3语义分割网络对所述源域风格的目标域遥感图像进行语义分割，得到分割结果。

技术总结
本发明涉及一种遥感图像跨域语义分割方法及装置，所述方法包括构建DeeplabV3语义分割网络，采用源域有标注数据对DeeplabV3语义分割网络进行预训练；构建CycleGAN风格迁移网络，进行像素级域适应和特征级域适应，得到域适应CycleGAN风格迁移网络；利用域适应CycleGAN风格迁移网络将目标域遥感图像转换为源域风格，得到源域风格的目标域遥感图像；利用预训练后的DeeplabV3语义分割网络对源域风格的目标域遥感图像进行语义分割，得到分割结果。本发明将循环一致性对抗网络应用于遥感图像的不同数据域的风格迁移，利用位置注意力增强的DeepLabV3语义分割网络用于遥感图像的跨域语义分割，在目标域缺乏标注信息且具有较大分布差异的情况下，能够有效提高目标域的遥感图像分割效果。感图像分割效果。感图像分割效果。


技术研发人员：武昊 张俊 侯东阳 王思远
受保护的技术使用者：国家基础地理信息中心
技术研发日：2023.05.12
技术公布日：2023/7/27