基于点线面多任务遥感影像建筑物提取方法

1.本发明属于遥感影像处理领域，具体涉及一种基于点线面多任务遥感影像建筑物提取方法。


背景技术：

2.建筑物作为人们生产生活的主要场所，是基础地理信息要素的重要构成部分。建筑物信息作为城市变迁和人类活动的重要指示因子，在城市规划、房地产管理、灾害管理、地理信息系统等领域发挥着重要作用，研究高分遥感影像建筑物自动提取算法具有重要的学术研究和工程实用价值(李传林,黄风华,胡威,等.基于res_attentionunet的高分辨率遥感影像建筑物提取方法[j].地球信息科学学报,2021,23(12):2232-2243.)。近年来，基于深度学习的建筑物提取方法取得具体的进步，根据建筑物提取的思路不同，主要分为语义分割和边缘检测两种：
[0003]
(1)基于语义分割的方法：基于语义分割的方法将遥感影像上的地物视为建筑物和背景，通过语义分割网络实现二者的区分。主流的语义分割网络大多是在影像分类的深度卷积神经网络基础上改造而来，通过将全连接层替换成卷积层实现语义分割。由于特征提取经过多次下采样后导致深层特征空间位置信息丢失，深层特征对背景和建筑物区域的边界响应不敏感，即语义分割结果不能准确区分二者边界。同时，由于上采样过程中空间位置信息恢复不足，分割结果上小目标丢失，提取的边缘存在偏离真实边界、不规则等问题。同时，语义分割采用像素级分类，忽略了像素之间的关系，导致分割结果出现空间不连续现象，形成椒盐噪声(guo m,liu h,xu y,et al.building extraction based on u-net with an attention block and multiple losses[j].remote sensing,2020,12(9):1400.)。同时，在一些复杂场景下，基于语义分割方式的建筑物和背景之间的分割比较困难，影响建筑物提取结果的完整性。
[0004]
(2)基于边缘检测的方法：边缘检测是利用深度学习网络，从遥感影像上提取建筑物的语义边缘，需要注意的是，这里提取的边缘仅包含建筑物边缘，而忽略了其他边缘，称之为语义边缘。利用深度卷积神经网络检测遥感影像中建筑物的边缘，同样会随着卷积神经网络下采样丢失边缘信息，提取结果可能导致边缘呈锯齿状或者建筑屋顶分离的情况，但获取的边界精度相对于语义分割有较大提高(wen x,li x,zhang c,et al.me-net:a multi-scale erosion network for crisp building edge detection from very high resolution remote sensing imagery[j].remote sensing,2021,13(19):3826.)。此外，边缘检测方法只能获得建筑物轮廓信息，对于建筑物内部和细节信息缺乏充分考虑。同时，边缘是一种弱信息，由于受到遮挡等因素影响，容易形成边界断裂，而无法形成封边建筑物多边形。
[0005]
根据以上分析可以看出：基于语义分割方法获得建筑物边界无法准确贴合真实边界，基于边缘检测方法的结果存在忽略建筑物内部和细节信息等不足。使用边缘检测任务来对语义分割任务进行约束以增强语义分割结果的物体边缘，同时提高二者的分割精度具
有重要意义。
[0006]
gis空间数据分析时，往往需要矢量数据，通过高分辨率遥感影像提取得到的建筑物栅格数据直接矢量化的数据时，由于影像分辨率和矢量化算法的原因，同一条边界线上出现重复点、多余的拐点，这不仅导致大量数据冗余，也使得矢量化后的建筑物边界会出现锯齿状。所以，还需要进一步对边界进行简化处理，以提高其对建筑物的精确表示和消除数据冗余。
[0007]
针对上述问题，考虑到语义分割任务中建筑物的语义边界通常与建筑物边缘检测任务中的边缘一致，语义分割任务与边缘检测任务之间存在协同作用的关系。因此使用边缘检测任务来对语义分割任务进行约束以增强语义分割结果的物体边缘。本发明提出一种利用点线面融合的多任务方法实现对遥感影像建筑物的准确提取方法，该方法通过协同点线面任务，实现任务整体精度的提高，同时提供矢量化所需要的点线面信息，提高矢量化精度。


技术实现要素：

[0008]
本发明要克服现有技术的上述缺点，提供一种点线面融合的多任务遥感建筑物提取方法。
[0009]
本发明的一种点线面融合的多任务遥感建筑物提取方法，具体包括以下步骤：
[0010]
步骤1，构建样本集：
[0011]
为了训练多任务模型，需要使用三种标签，即语义标签、边缘标签和角点标签，当前样本数据大多是面向语义分割准备，即语义标签，该标签可以从开源数据获取，或者采用人工方式进行标记；
[0012]
边缘标签是从建筑物到背景转换而形成的线，依次判断语义标签上各个像素的8邻域的像素类型，如果存在建筑物像素和背景像素，则该像素是边缘，否则是非边缘；
[0013]
角点标签利用局部窗口在语义标签上进行移动，依次判断各个像素的角点响应函数c：
[0014][0015][0016][0017]
其中，i
x
和iy表示x和y方向的梯度，λ1和λ2表示m的特征值，r表示m的特征向量，a表示振幅，σ
x
和σy表示方差，x0和y0表示在x和y方向上的中心位置；
[0018]
判断角点响应函数是否大于阈值θ，如果大于阈值θ，则该像素为角点；
[0019]
步骤2，对特征图进行编码；
[0020]
以deeplabv3+网络为基础，选取resnest50作为骨干网络提取特征，输入长和宽分
别h的w的影像，网络共5层，只保留前四层，分别用f1、f2、f3、f4表示，其特征图大小分别为原影像的1/2、1/4、1/8、1/16，每一层都会将特征通道为c的特征图分为k个基数组，每个基数组称为fk，fk中的特征图继续分为r个小组，每个小组称为f
kr
，f
kr
特征图经过卷积层后会对所得特征进行求和操作，然后通过全局平均池化操作，得到与f
kr
影像特征相同维度的特征向量，然后使用两组卷积核卷积操作进行权重系数的分配，公式如下：
[0021][0022]
通过r-softmax函数对各个f
kr
影像特征的权重分别计算，得到各个f
kr
影像特征对应的独立分布的权重，最后各个f
kr
影像特征与其对应权重相乘再求和，公式如下：
[0023][0024]
在各个fk之间将特征进行聚合得到s，公式如下：
[0025][0026]
以标准的残差结构将当前特征向量的输入与输出相连接，并作为新的特征输入到下一层网络中；
[0027]
在编码器的最后一层将特征图通过daspp结构，daspp公式如下：
[0028]
y＝h
k,dr
([y0,y1,y
n-1
,yn])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0029]
其中，hk表示空洞卷积，dr表示第r层的膨胀率，[y0,y1,y
n-1
,yn]表示特征图通过对上层的输出进行concat操作得到特征图，y表示经过daspp后聚合后的特征图；
[0030]
步骤3，对特征图进行解码；
[0031]
步骤3.1，构建角点和边缘任务分支解码器：
[0032]
由于角点面积较小，是一种典型的小目标，经过下采样之后会造成信息丢失，而边缘信息采用二值形式表示边界，采用角点和边缘联合训练策略，即使用相同的编码器结构，然后采用两组卷积核解码特征，获得一个边缘分支和一个角点分支，两个分支的特征图通过concat合并，该过程称为stage公式如下：
[0033]
stage＝concat[e
conv
(f),c
conv
(f)]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0034]
其中，e
conv
表示边缘分支，c
conv
表示角点分支，f表示输入的特征图；
[0035]
将stage模块出来的特征图进行上采样操作，通过add操作将特征融合到语义分割任务中达到边缘约束的目的，公式如下：
[0036]
f”i+1
＝add[fi,upsampling(stagei)]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0037]
其中，upsampling为上采样函数，i表示特征图所在的位置；
[0038]
diceloss系数是一种集合相似度度量函数，适用于样本极度不均的情况，由于边缘/角点与背景像素数量差距极大，所以角点和边缘分支中使用diceloss函数公式如下：
[0039][0040]
其中，x和y分别表示真实值和预测值，这里分别表示建筑物的标签和建筑物的预测结果，|.|表示集合中的元素个数，分子中的系数2，是因为分母存在重复计算x和y之间的共同元素，diceloss的取值范围为[0,1]；
[0041]
步骤3.2，构建语义分割任务分支解码器：
[0042]
采用特征逐层融合的方式解码特征，经过步骤2特征提取网络得到f1，f2，f3，f4，顺序通过通道注意力模块和空间注意力模块，得到即包含通道和空间注意力权重的特征图，将将该过程称为att，到解码后的特征图分别用f1'，f2'，f3'，f4'表示，语义分割分支需要融合边缘和角点分支的特征图，将编码器输出的特征f4'，使用上采样对输入特征f4'进行放大得到f
4”，公式如下：
[0043]
f”i
＝upsampling(att(fi)) (11)
[0044]
其中，att表示注意力模块，upsampling为上采样函数；
[0045]
然后与f3'按通道维度concat，再与角点和边缘分支模块的stage执行add操作，输入卷积层中进行融合并解码，得到特征f
3”，公式如下：
[0046]fi”＝conv(add[stagei,concat(f
i”+1
,fi')]) (12)
[0047]
其中，conv为基础的卷积操作，i表示特征图所在的层数位置；
[0048]
将角点和边缘分支与语义分支在同一层的特征进行融合，直到所有的特征图融合完成，得到与原始影像尺寸相同的特征图完成分割；
[0049]
由于语义分割是对每一个像素决定类别，不同类别的数量相对均匀，损失函数使用二分类交叉熵损失loss
sem
，公式如下：
[0050]
loss
sem
＝-[plog(q)+(1-p)log(1-q)] (13)
[0051]
其中，p为建筑物的真实值，q为网络预测为建筑物的概率值；
[0052]
步骤3.3，构建多任务损失函数：
[0053]
为了平衡语义分割分支、边缘检测分支、角点检测分支的损失，多任务网络使用的加权损失公式如下：
[0054]
loss
total
＝w1loss
sem
+w2loss
edge
+w3loss
corner (14)
[0055]
其中，loss
sem
表示语义分割分支损失，loss
edge
表示边缘检测分支损失，loss
corner
表示角点检测分支损失，w1，w2，w3表示调节三个分支之间权重的超参数，loss
total
表示多任务网络最终的损失值；
[0056]
步骤4，模型训练与使用：
[0057]
训练用于提取建筑物特征的多任务网络，得到多任务建筑物特征提取模型，将影像输入到模型中，同时得到建筑物的语义、边缘和角点结果，在此基础上，通过阈值分割得到二值化语义、边缘和角点结果，然后采用由点连线，由线构面方式实现建筑物矢量的提取。
[0058]
本发明充分利用尺度内和尺度间的特征融合方式，提升了对建筑物多尺度特征的信息提取能力；使用边缘和角点特征增强了语义的边缘，使得建筑物语义分割边缘更加规则；同时多任务网络能够共享特征，任务之间彼此监督，通过使用任务之间相关联的特征信息来减少误差，提高建筑物分割的准确性和完整性。
[0059]
本发明的优点是：
[0060]
(1)以语义分割单任务模型为基础扩展为可以对遥感影像进行语义分割、边缘检测、角点检测多任务模型。此多任务网络共享特征，任务之间相互监督，通过使用多任务之间的相互关联信息减少误差，提高分割的准确性和完整性。
[0061]
(2)本发明同时提供点线面信息，为后续的矢量化奠定基础。
附图说明
[0062]
图1(a)～图1(d)是建筑物标签数据示例图，其中，图1(a)为原始影像，图1(b)为角点标签，图1(c)为边缘标签，图1(d)为语义分割标签。
[0063]
图2是本发明的编码器网络结构图。
[0064]
图3是本发明的特征逐层融合图。
[0065]
图4是本发明的网络结构图。
[0066]
图5(a)～图5(b)是使用本发明实施例方法的建筑物多任务预测图，图5(a)为建筑物标签图，图5(b)为预测结果图。
具体实施方式
[0067]
以下结合实施例进一步说明本发明内容。应当理解并非所有实施方式的所有特征都和本实施例一样，在实际工程项目中，可以根据具体条件和目标改变本发明的实施细节。
[0068]
本实施例使用crowd ai数据集，有rgb三个波段，每张图片的大小为300
×
300像素，该数据集标注了建筑物，提供coco格式的标注文件，为了方便操作将影像扩充大小为320
×
320像素。最终挑选4000张影像用于训练，1000张影像用于验证，1000张影像用于测试。
[0069]
步骤1，制作建筑物标签；
[0070]
本发明首先从标注文件提取出建筑物的语义标签，再根据语义标签提取边缘标签和角点标签。典型建筑物标签如图1所示。
[0071]
步骤2，对特征图进行编码；
[0072]
以deeplabv3+网络为基础，选取resnest50作为骨干网络提取特征，将影像输入到三个3
×
3的卷积层中得到通道数为64个的特征图，将获得的特征图分为32个基数组，通过1
×
1和3
×
3的卷积核调整通道数为512个。通过随机分配操作将特征图分成16组，并将所有特征相加后进行平均池化操作得到中间特征，然后通过全连接压缩通道数为1
×1×
16，再通过全连接将通道数提升到1
×1×
32，再与随机分配的特征图对应通道相乘，最终得到与输入特征维度相同的特征图，网络结构如图2所示。
[0073]
32个基数组通过concat融合特征经过1
×
1的卷积调整通道为64个得到f1。f2、f3、f4以相同的方式获得，通道数分别为128、256、512。
[0074]
步骤3，对特征图进行解码；
[0075]
步骤3.1，构建角点和边缘任务分支解码器；
[0076]
为了提高模块的复用，角点和边缘两个分支采用相同的结构解码特征图，具体为3
×
3和1
×
1的卷积操作。将特征图f4通过3
×
3和1
×
1的卷积得到边缘和角点分支，结果为通道数为1024个融合后的特征图，通过1
×
1的卷积调整为512个。使用公式(8)得到当前stage模块的特征图，同时使用转置卷积进行2倍上采样输出特征图，得到下一层stage所需要的输入特征图，将解码器中所有的相同尺寸的特征图采用相同stage操作，经过4次上采样之后还原特征图大小为320
×
320像素，完成角点和边缘分支的分割。
[0077]
步骤3.2，构建语义分割任务分支解码器；
[0078]
使用公式(7)计算f4得到尺寸为20
×
20通道数为2560个特征向量，经过1
×
1的卷积调整通道数为512个，并通过add操作聚合角点和边缘分支的特征向量，使用全局平均池
化将空间维度20
×
20的特征映射成1
×1×
512。通过两个全连接层帮助网络训练并限制模型的复杂性，使用sigmoid函数将权重固定到[0,1]之间，权重通过乘法逐通道加权到输入特征层上得到f
4”。f
3”、f
2”、f
1”以相同的方式获得并经过4次上采样的方式还原特征图，如图3所示。多任务网络结构图如图4所示，最终还原特征图尺寸大小为320
×
320像素，完成语义分割任务分支分割。
[0079]
步骤3.3，构建多任务损失函数；
[0080]
本发明使用公式(14)将w1，w2，w3调节三个分支之间权重的超参数设置为2，1，1。
[0081]
步骤4，模型训练与使用；
[0082]
使用步骤1得到的样本集作为网络模型的输入，设定超参数：epochs为100、batch size为4、learning rate为0.001、optimizer为adam。经过网络输出模型的预测结果与步骤1得到的标签，使用不同分支对应的损失函数公式计算损失值，再通过梯度反向传播使用余弦退火算法动态调整学习率。不断迭代训练，保留在验证集上最高iou的模型作为最终的模型。
[0083]
得到稳定的网络模型之后，将遥感影像输入到模型进行概率预测图的生成，经过模型预测生成建筑物语义、边缘、角点三者结果概率图。该方法得到的结果如图5所示，(a)是原始建筑物的语义、边缘、角点标签，(b)是经过点线面多任务遥感影像建筑物提取网络的结果，本发明的结果能够有效保留建筑物的正确形状和几何细节，如清晰的边界、准确的角点位置，建筑物的精度较高。
[0084]
以上仅是对本发明实施例的描述，但本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

技术特征：
1.一种点线面融合的多任务遥感建筑物提取方法，其特征在于，包含以下步骤：步骤1，构建样本集：为了训练多任务模型，需要使用三种标签，即语义标签、边缘标签和角点标签，当前样本数据大多是面向语义分割准备，即语义标签，该标签可以从开源数据获取，或者采用人工方式进行标记；边缘标签是从建筑物到背景转换而形成的线，依次判断语义标签上各个像素的8邻域的像素类型，如果存在建筑物像素和背景像素，则该像素是边缘，否则是非边缘；角点标签利用局部窗口在语义标签上进行移动，依次判断各个像素的角点响应函数c：角点标签利用局部窗口在语义标签上进行移动，依次判断各个像素的角点响应函数c：角点标签利用局部窗口在语义标签上进行移动，依次判断各个像素的角点响应函数c：其中，i
x
和i
y
表示x和y方向的梯度，λ1和λ2表示m的特征值，r表示m的特征向量，a表示振幅，σ
x
和σ
y
表示方差，x0和y0表示在x和y方向上的中心位置；判断角点响应函数是否大于阈值θ，如果大于阈值θ，则该像素为角点；步骤2，对特征图进行编码；以deeplabv3+网络为基础，选取resnest50作为骨干网络提取特征，输入长和宽分别h的w的影像，网络共5层，只保留前四层，分别用f1、f2、f3、f4表示，其特征图大小分别为原影像的1/2、1/4、1/8、1/16，每一层都会将特征通道为c的特征图分为k个基数组，每个基数组称为f
k
，f
k
中的特征图继续分为r个小组，每个小组称为f
kr
，f
kr
特征图经过卷积层后会对所得特征进行求和操作，然后通过全局平均池化操作，得到与f
kr
影像特征相同维度的特征向量，然后使用两组卷积核卷积操作进行权重系数的分配，公式如下：通过r-softmax函数对各个f
kr
影像特征的权重分别计算，得到各个f
kr
影像特征对应的独立分布的权重，最后各个f
kr
影像特征与其对应权重相乘再求和，公式如下：在各个f
k
之间将特征进行聚合得到s，公式如下：以标准的残差结构将当前特征向量的输入与输出相连接，并作为新的特征输入到下一层网络中；在编码器的最后一层将特征图通过daspp结构，daspp公式如下：
y＝h
k,dr
([y0,y1,
…
y
n-1
,y
n
])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)其中，h
k
表示空洞卷积，dr表示第r层的膨胀率，[y0,y1,
…
y
n-1
,y
n
]表示特征图通过对上层的输出进行concat操作得到特征图，y表示经过daspp后聚合后的特征图；步骤3，对特征图进行解码；步骤3.1，构建角点和边缘任务分支解码器：由于角点面积较小，是一种典型的小目标，经过下采样之后会造成信息丢失，而边缘信息采用二值形式表示边界，采用角点和边缘联合训练策略，即使用相同的编码器结构，然后采用两组卷积核解码特征，获得一个边缘分支和一个角点分支，两个分支的特征图通过concat合并，该过程称为stage公式如下：stage＝concat[e
conv
(f),c
conv
(f)]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)其中，e
conv
表示边缘分支，c
conv
表示角点分支，f表示输入的特征图；将stage模块出来的特征图进行上采样操作，通过add操作将特征融合到语义分割任务中达到边缘约束的目的，公式如下：f”i+1
＝add[f
i
,upsampling(stage
i
)]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)其中，upsampling为上采样函数，i表示特征图所在的位置；diceloss系数是一种集合相似度度量函数，适用于样本极度不均的情况，由于边缘/角点与背景像素数量差距极大，所以角点和边缘分支中使用diceloss函数公式如下：其中，x和y分别表示真实值和预测值，这里分别表示建筑物的标签和建筑物的预测结果，|.|表示集合中的元素个数，分子中的系数2，是因为分母存在重复计算x和y之间的共同元素，diceloss的取值范围为[0,1]；步骤3.2，构建语义分割任务分支解码器：采用特征逐层融合的方式解码特征，经过步骤2特征提取网络得到f1，f2，f3，f4，顺序通过通道注意力模块和空间注意力模块，得到即包含通道和空间注意力权重的特征图，将将该过程称为att，到解码后的特征图分别用f1'，f2'，f3'，f4'表示，语义分割分支需要融合边缘和角点分支的特征图，将编码器输出的特征f4'，使用上采样对输入特征f4'进行放大得到f
4”，公式如下：f”i
＝upsampling(att(f
i
)) (11)其中，att表示注意力模块，upsampling为上采样函数；然后与f3'按通道维度concat，再与角点和边缘分支模块的stage执行add操作，输入卷积层中进行融合并解码，得到特征f
3”，公式如下：f
i”＝conv(add[stage
i
,concat(f
i”+1
,f
i
')]) (12)其中，conv为基础的卷积操作，i表示特征图所在的层数位置；将角点和边缘分支与语义分支在同一层的特征进行融合，直到所有的特征图融合完成，得到与原始影像尺寸相同的特征图完成分割；由于语义分割是对每一个像素决定类别，不同类别的数量相对均匀，损失函数使用二分类交叉熵损失loss
sem
，公式如下：loss
sem
＝-[plog(q)+(1-p)log(1-q)] (13)
其中，p为建筑物的真实值，q为网络预测为建筑物的概率值；步骤3.3，构建多任务损失函数：为了平衡语义分割分支、边缘检测分支、角点检测分支的损失，多任务网络使用的加权损失公式如下：loss
total
＝w1loss
sem
+w2loss
edge
+w3loss
corner
ꢀꢀꢀꢀꢀꢀꢀ
(14)其中，loss
sem
表示语义分割分支损失，loss
edge
表示边缘检测分支损失，loss
corner
表示角点检测分支损失，w1，w2，w3表示调节三个分支之间权重的超参数，loss
total
表示多任务网络最终的损失值；步骤4，模型训练与使用：训练用于提取建筑物特征的多任务网络，得到多任务建筑物特征提取模型，将影像输入到模型中，同时得到建筑物的语义、边缘和角点结果，在此基础上，通过阈值分割得到二值化语义、边缘和角点结果，然后采用由点连线，由线构面方式实现建筑物矢量的提取。

技术总结
基于点线面多任务遥感影像建筑物提取方法，包括：首先在原始语义分割网络的基础上引入边缘和角点联合检测分支结构，分别提取建筑物语义、边缘、角点多尺度特征；其次对三类特征进行尺度内融合；最后对融合后的多尺度特征进行尺度间融合，得到建筑物的语义分割、边缘检测、角点检测结果。本发明充分利用尺度内和尺度间的特征融合方式，提升了对建筑物多尺度特征的信息提取能力；使用边缘和角点特征增强了语义的边缘，使得建筑物语义分割边缘更加规则；同时多任务网络能够共享特征，任务之间彼此监督，通过使用任务之间相关联的特征信息来减少误差，提高建筑物分割的准确性和完整性。提高建筑物分割的准确性和完整性。提高建筑物分割的准确性和完整性。


技术研发人员：何治宇 吴炜
受保护的技术使用者：浙江工业大学
技术研发日：2023.05.16
技术公布日：2023/9/5