空间形态信息引导的高分遥感影像建筑物规则化提取方法

1.本发明涉及遥感应用技术领域，尤其是涉及空间形态信息引导的高分遥感影像建筑物规则化提取方法。


背景技术：

2.建筑物作为构成城市空间的主要物质要素，其多边形地理对象的规则矢量化表示是城市规划与管理、数字制图、城市建模等大量遥感和地理信息下游应用任务中的数据分析依据。近年来，在深度学习网络和算力的支持下，基于高分辨率俯角遥感影像的单栋建筑物屋顶语义分割取得了长足的进步，并以u-net为基础骨架网络构建了大量基于编码器-解码器结构的卷积神经网络(convolutional neural network,cnn)模型，大幅提高了遥感影像中建筑物目标提取的准确率。城市中的人工建筑物形式大多包含鲜明的直线和直角，形成的建筑物群组也呈现出典型的排列、分布模式。这些空间形态和分布特征在以往基于边缘检测、角点检测的建筑物提取研究中表现为基于统计学的形态学描述指标及其复杂组合，使其算法精度、普适性和效率都被cnn迅速超越。
3.单要素二值分割模型通过对逐像素进行分类判断提供像素级分割结果，不会考虑对象级几何结构特征，并且经深度网络中卷积、池化运算损失的空间位置细节信息即便经解码器恢复，其还原程度仍然有限，生成模糊、不平整的不规则建筑物边界，与真实人工建筑物外观构造和制图所需建筑物数据需求相差较大，在应用衔接中出现断层。一些面向分割结果的边界约束后处理算法也因此陆续被提出，但非端到端的处理流程致使其很大程度上取决于分割结果的数据质量，没有迭代、学习的优化能力也会导致精度的降低，处理海量数据时效率也受到较大限制。因此，如何以端到端的方式直接预测规则化的城市建筑物对象多边形矢量轮廓是联结数据生产与应用分析的关键纽带。
4.此外，cnn应用于图形的空间深度特征提取时效果不佳，这是因为cnn的优越性在于二维欧氏空间图像数据的纹理、光谱、抽象语义特征提取，但无法挖掘不规则图形数据结构的几何信息，基于拓扑结构的图卷积神经网络(graph convolutional neural network,gcnn)则是对抽象图形节点(nodes)、边(edge)及图(graph)的嵌入表示进行特征提取的利器；单栋建筑物的边界轮廓及建筑物群的结构模式恰恰天然形成了图结构，轮廓边界顶点或是建筑物分割对象可抽象为节点，图网络中节点描述特征及相邻节点间的信息传递可为边界的精确定位提供了可学习的局部与全局空间深度特征。
5.因此，如何科学且全面建立建筑物的空间形态、分布特征定量化表示输入gcnn，以有效地描述节点特征的相似性与差异性、描述节点间的空间关系复杂度，在获取准确位置的同时实现边界的规则与平滑，是高分遥感影像建筑物规则化提取的关键问题。利用图卷积神经网络进行建筑物规则化提取的目的是将呈锯齿状、破碎化的斑点状建筑物对象优化为精确、简洁的规则、完整的建筑物对象，提升遥感影像对象提取包含的空间形态信息量，衔接上游建筑物要素数据生产与下游制图综合等应用任务。


技术实现要素：

6.为了解决上述技术问题，本发明采取gcnn联合cnn的策略，利用mask-rcnn模型获取建筑物实例对象的深度图像语义特征图和初始轮廓预测，基于建筑物的空间分布、形态定量描述指标作为“对象分割-边缘规则化”双分支gcnn模型的向量输入，最后通过金字塔池模块聚集来自cnn解码器的图像语义特征和来自gcnn双分支的空间分布结构特征和边缘空间形态特征，引入正则化优化函数补充交叉熵函数对建筑物对象几何描述的一致性，输出高精度的城市建筑物规则化矢量结果。
7.本发明的技术方案为：空间形态信息引导的高分遥感影像建筑物规则化提取方法，包括以下步骤：
8.步骤一，利用mask-rcnn基础骨架网络获取建筑物实例对象的深度图像语义特征图和预测初始轮廓，同时保留预测对象与真值对象间的对应关系与轮廓边界点信息；
9.步骤二，构建图卷积神经网络gcnn，所述图卷积神经网络gcnn包括两个分支，分别为用于获取建筑物空间分布深度结构特征的基于对象全局信息的分割分支，和用于获取建筑物空间边缘深度形态特征的基于对象局部信息的边缘规则化分支；
10.其中，基于对象全局信息的分割分支包括若干个图卷积层，其输入是以建筑物实例对象中心点为节点构图，根据对象层级的位置、尺寸、方向、形状指标表征影像中建筑物对象的空间分布特征；
11.基于对象局部信息的边缘规则化分支同样包括若干个图卷积层，其输入是以建筑物实例轮廓的边界点为节点构图，根据边界节点层级的多层邻域三角形形态指标表征对象边界的形态特征；
12.步骤三，采取金字塔池模块聚集图像深度语义特征、建筑物空间分布深度结构特征和建筑物空间边缘深度形态特征，得到多个不同尺寸的特征图，最后通过卷积、上采样、以及通道拼接处理得到建筑物对象的规则化提取预测图；
13.步骤四，训练由步骤一至步骤三构成的建筑物规则化提取网络模型，引入正则化损失函数补充交叉熵函数进一步约束矢量边界，利用训练好的建筑物规则化提取网络模型实现高分遥感影像建筑物规则化提取。
14.进一步的，步骤二中基于对象全局信息的分割分支的具体实施步骤如下：
15.(a1)以步骤一中获取的实例对象中心点为顶点构建狄洛尼三角网，将中心点作为图的节点，将狄洛尼三角网的边作为图的连接边，因此每张训练样本图像中多个建筑物实例对象构成的三角网分别形成一张图；
16.(a2)基于群组中建筑物多边形对象的位置分布、尺寸分布、方向分布、形状分布四类特征获得图节点的12项指标特征，其中位置分布特征即为建筑物实例对象的中心点，尺寸分布特征中包括建筑物实例的面积、周长、均半径3项指标，方向分布特征中包括建筑物实例最小外接矩形方向的主方向和建筑物墙方向的主方向这2项指标，形状分布特征中包括紧凑度、分形维度、延展度、凹度、重叠度、傅里叶形状描述子这6项指标；
17.(a3)基于对象全局信息的分割分支由5个图卷积层grpah conv组成，graphconv1的输出通道为16，graphconv2的输出通道为64，graphconv3的输出通道为128，graphconv4的输出通道为256，graphconv5的输出通道为256，每个卷积层均采用修正线性单元激活；每个图节点包含了来自图形和图像的特征，其中图形的特征通过步骤(a2)计算得的，图像的
特征即为深度图像语义特征图。
18.进一步的，建筑物实例的均半径由其轮廓上的所有边界点到其中心点的平均距离计算而得：
[0019][0020]
其中dj表示边界点j到中心点的距离；m为边界点的数量。
[0021]
进一步的，建筑物实例的紧凑度由其面积与周长间的二次关系计算而得：
[0022][0023]
分形维度(fractality)、延展度(elongation)、凹度(concavity)、重叠度(overlap_index)的计算分别为：
[0024][0025][0026]
式中，l
sbr
、w
sbr
分别是建筑物实例最小外接矩形的长和宽；
[0027][0028]
式中，ach是建筑物实例凸壳(convex hull,ch)的面积；
[0029][0030]
式中，a
b∩eac
、a
b∪eac
分别是建筑物实例与其等面积圆(equal area circle,eac)的交集和并集的面积。
[0031]
进一步的，傅里叶形状描述子通过傅里叶变换将基于建筑物实例轮廓的形状表达为基于离散向量的数学表示，建筑物实例轮廓上边界点pj的坐标关于轮廓起始点p0至pj的边界总长度l的函数由傅里叶级数表示为：
[0032][0033]
其中，各阶次的傅里叶系数fk表达式为
[0034][0035]
式中，l是建筑物实例对象的周长，也是p(l)函数的周期，(xj,yj)为边界顶点pj点的坐标，j是p0至pj的线段长度和，lj≤l≤l
j+1
，0≤j≤m-1；此式中，i指代虚数单位，i2＝-1；
[0036]
可以看出，p(l)的系数fk均为复数，因此，取fk的模向量构成p(l)的模向量f，为
[0037]
f＝(||f1||,||f2||,
…
,||fk||)
ꢀꢀꢀꢀꢀꢀꢀ
(32)
[0038]
通过归一化处理使f具有旋转、尺度、平移不变性，得到建筑物实例的傅里叶形状描述子；
[0039][0040]
考虑到归一化处理后第一项的值均为1，去除第一项，d为：
[0041]
d＝(d1,d2,
…
,d
k-1
)
ꢀꢀꢀꢀꢀꢀꢀ
(34)
[0042]
由此可得，傅里叶描述子的长度随拟合精度的提高趋近于无限大，在实际运行时取拟合精度大于0.98时的长度50，向量维数为1
×
50。
[0043]
进一步的，步骤二中基于对象局部信息的边缘规则化分支的具体实施步骤如下：
[0044]
(b1)经步骤一处理的建筑物实例对象轮廓边界顶点数均为n且起始点为左下角点，以顶点和点间边界线段构图，基于顶点的邻域三角形形态特征，提取顶点的多维尺度特征；
[0045]
(b2)基于对象局部信息的边缘规则化分支由3个图卷积层grpah conv和1个常规卷积层组成，graphconv1的输出通道为16，graphconv2的输出通道为64，graphconv3的输出通道为128，每个卷积层均采用修正线性单元激活；每个图节点包含了来自图形和图像的特征，其中图形的特征通过步骤(b1)计算得的，图像的特征即为深度图像语义特征图。
[0046]
进一步的，步骤(b1)中的基于顶点的邻域三角形形态特征包含7项特征，具体如下：
[0047]
(a)边界序列点与其k阶邻域形成的结构特征，设置当前点a和它的k阶邻域的两个点b和c构成一个三角形δabc，结构特征包括δabc的面积特征弦长特征和转角特征其中，的符号取决于弧段bac的凹凸性，当ba到ac以顺时针旋转时，弧段呈凸性，取正值，反之则取负值；和分别计算如下：
[0048][0049]
式中为δabc的面积，s为建筑物实例的面积；
[0050][0051]
式中为点b与点c之间的边界距离；
[0052]
(b)边界序列点的k阶邻域点与该建筑物实例对象的中心点形成的结构特征，设置中心点o和当前边界点a的两个k阶邻域点b和c构成一个三角形δobc，结构特征包括δobc的面积特征弦长特征和夹角特征其中弦长特征又包括半周长和半径夹角即ob与oc形成的夹角，计算如下：
[0053][0054]
式中为δobc的面积；
[0055][0056][0057]
式中为δobc的半周长，d1、d2、d3分别是δobc三边的边长；
[0058][0059]
[0060]
式中为δobc的半径。
[0061]
进一步的，金字塔池模块包含了4种不同尺寸的池化操作，分别是1x1、2x2、3x3和6x6，得到多个尺寸的特征图，再通过1
×
1的常规卷积减少这些特征图的通道数，最后通过双线性插值上采样操作获得金字塔模块前相同尺寸的特征图，并在通道上进行拼接，得到建筑物对象的规则化提取预测图。
[0062]
进一步的，步骤四中引入l
ncut
与l
potts
正则化优化函数补充了常规交叉熵函数l
bce
对建筑物对象几何描述的一致性，计算如下：
[0063][0064]
式中，yi是预测像素i属于建筑物对象的概率，是标签图像的真值，n是像素个数；
[0065]
l
potts
＝∑k(yk)
t
w(1-yk)
ꢀꢀꢀꢀꢀꢀ
(43)
[0066][0067][0068]
式中，y是基于影像输入x的建筑物规则化提取网络的输出图像矩阵，属预测值，yk指y的第k个通道，k是预测类别数，此处k＝2，即建筑物和非建筑物，w和分别是衡量输入x和输出y图像上像素点间连接边权重的相似矩阵，由高斯核函数在rgbxy空间上计算而得；
[0069]
l＝α
·
l
bce
+β
·
l
potts
+γ
·
l
ncut
ꢀꢀꢀꢀꢀꢀꢀ
(46)
[0070]
式中，l是损失函数总项，α，β，γ为常数。
[0071]
本发明在空间形态信息引导下建立cnn与gcnn双分支联合的深度网络模型，该方法通过联合常规卷积网络(convolutional neural network,cnn)在规则图像特征学习和图卷积网络(graph convolutional neural network,gcnn)在不规则图形结构特征学习方面的优势，提升了高分辨率遥感影像单栋建筑物的提取精度与数据产品可用性。建筑物形态由模糊、不平整的不规则状态向边界精确、简洁的规则状态转变，其空间形态信息量增加，研究高分辨率遥感影像中单体建筑物的规则化提取方法，特点是：
[0072]
(1)由于常规卷积神经网络无法挖掘不规则图形数据结构的几何信息，研究基于拓扑结构的图卷积神经网络，提出端到端的高分遥感影像建筑物规则化矢量数据提取方法，图卷积神经网络规则化提取中集成了大量制图经验和知识，能更好地适应不同尺度、区域的数据；
[0073]
(2)针对建筑物的空间局部形态和全局分布特征，采用定量化的建筑物对象认知参量，设计并行的图卷积神经网络分支同时估计单个建筑物边界、多个建筑物对象间的空间关系特征，有效描述节点特征的相似性、差异性和节点间的空间关系复杂度；
[0074]
(3)引入l
ncut
与l
potts
正则化优化函数补充了常规交叉熵函数对建筑物对象几何描述的一致性，提升城市单栋建筑物的提取精度，增强提取矢量数据的可用性。
附图说明
[0075]
图1是空间形态信息引导的高分遥感影像建筑物规则化提取方法的模型结构图。
[0076]
图2是本发明实例中主方向示意图。
[0077]
图3是本发明实施例中边界序列点的k阶邻域点与该建筑物实例对象的中心点形成的结构特征示意图。
具体实施方式
[0078]
本发明提出了空间形态信息引导的高分遥感影像建筑物规则化提取方法。首先利用mask-rcnn基础骨架网络模型获取建筑物实例对象的深度图像语义特征图和初始轮廓预测，同时保留预测对象与真值对象间的对应关系与轮廓边界点信息；其次，联合cnn的深度语义特征与建筑物形态、结构认知参量特征利用gcnn对建筑物对象进行提取与边界规则化。基于gcnn基本架构的建筑物规则化网络包含两个分支，基于对象全局信息的分割分支和基于对象局部信息的边缘规则化分支：全局结构信息分支以建筑物实例对象的中心点为节点，考虑对象层级的位置、尺寸、方向、形状共12项指标表征影像中建筑物对象的空间分布特征；局部形态信息分支以建筑物实例轮廓的边界点为节点，考虑边界节点层级的多尺度邻域三角形形态共7项指标表征对象边界的形态特征；最后，通过金字塔池模块聚集来自cnn解码器的图像语义特征和来自gcnn双分支的空间分布结构特征和边缘空间形态特征，引入正则化优化函数补充交叉熵函数对建筑物对象几何描述的一致性，提供高精度的城市建筑物规则化矢量提取结果。
[0079]
以下结合附图和实施例详细说明本发明技术方案，模型结构图如图1所示，实施例的技术方案流程包括以下步骤：
[0080]
步骤一，利用mask-rcnn基础骨架网络模型获取建筑物实例对象的深度图像语义特征图和初始轮廓预测，同时保留预测对象与真值对象间的对应关系与轮廓边界点信息。得到深度图像语义特征图和建筑物初始轮廓边界点的具体实施步骤如下：
[0081]
(1)利用mask r-cnn骨架网络获取每个建筑物实例的定位框(proposal)及其分割二值掩膜(mask)，预测二值掩膜视为实例对象的初始轮廓，由mask r-cnn的掩膜分支(m ask-branch)获取来自图像的深度语义特征，维度为256
×
28
×
28；
[0082]
(2)考虑到不同建筑物实例的形状复杂度与分割精度存在差异，其轮廓组成的边界点个数可能相差较大，需要对实例的初始轮廓预测进行处理：
[0083]
(a)基于每个实例的掩膜图(即mask r-cnn掩膜分支的输出预测结果)获取实例对象的中心点坐标、外轮廓及其轮廓边界点坐标，采用douglas-peucker(dp)算法对实例轮廓进行自适应简化得到化简轮廓，化简阈值根据每个实例的闭合轮廓长度进行自适应的调整；
[0084]
(b)采用等距离插值算法对化简轮廓进行插值，考虑到建筑物边界节点的冗余度及图卷积神经网络模型中特征图数量、池化层数等，设置内插后边界点节点数量为64；
[0085]
(c)将轮廓左下角的边界点调整为轮廓序列的起始节点。
[0086]
步骤二，以建筑物实例对象中心点为节点构图，考虑对象层级的位置、尺寸、方向、形状共12项指标表征影像中建筑物对象的空间分布特征，设计基于对象全局信息的分割gcnn(graph convolution neural network)分支。构建建筑物实例对象空间形态特征引导的gcnn分割分支具体实施步骤如下：
[0087]
(1)以步骤一中获取的实例对象中心点为顶点构建狄洛尼三角网(delaunay triangle)，将中心点作为图的节点(nodes)，将delaunay网络的边作为图的连接边
(edges)，因此每张训练样本图像中多个建筑物实例对象构成的三角网分别形成一张图(graph)；
[0088]
(2)考虑到多个建筑物对象的分布结构形成了复杂多样的、非规则的群组空间关系，基于群组中建筑物多边形对象的位置、尺寸、方向、形状四类共12项特征，构建gcnn可处理的建筑物空间分布描述向量，衡量其几何属性的多样性：
[0089]
(a)位置分布特征：
[0090]
建筑物实例对象的中心点由其轮廓边界节点的算术平均坐标计算而得：
[0091][0092]
式中xj，yj为轮廓上各边界点的坐标，m为边界点的数量，c
x
,cy为建筑物实例对象的中心点坐标。
[0093]
(b)尺寸分布特征：
[0094]
不同于上一项位置特征，建筑物实例的尺寸特征由面积(ab)、周长(pb)、均半径(rj)三项指标表示。其中，建筑物实例的均半径由其轮廓上的所有边界点到其中心点的平均距离计算而得：
[0095][0096]
其中dj表示边界点j到中心点的距离；
[0097]
(c)方向分布特征：
[0098]
建筑物实例的方向特征由最小外接矩形方向(sbro)、建筑物墙方向的主方向(wswo)两项指标表示。建筑物最小外接矩形以mask r-cnn提供的定位框近似表示，其主方向定义为其长轴与水平轴的夹角，如图2所示，墙方向主方向同理。
[0099]
首先需要计算每个建筑物实例对象的主方向(θ)，定义主方向分类的数量，然后统计不同类别建筑物的数量、统计群组中建筑物的主方向在每个分类区间的数量，进行群组内方向分布的差异性分析。
[0100]
(d)形状分布特征：
[0101]
建筑物实例的形状特征由紧凑度、分形维度、延展度、凹度、重叠度、傅里叶形状描述子六项指标表示。其中，建筑物实例的紧凑度由其面积与周长间的二次关系计算而得：
[0102][0103]
分形维度(fractality)、延展度(elongation)、凹度(concavity)、重叠度(overlap_index)的计算分别为：
[0104][0105][0106]
式中，l
sbr
、w
sbr
分别是建筑物实例最小外接矩形的长和宽；
[0107][0108]
式中，ach是建筑物实例凸壳(convex hull,ch)的面积；
[0109][0110]
式中，a
b∩eac
、a
b∪eac
分别是建筑物实例与其等面积圆(equal area circle,eac)的交集和并集的面积。
[0111]
傅里叶形状描述子通过傅里叶变换将基于建筑物实例轮廓的形状表达为基于离散向量的数学表示。建筑物实例轮廓上边界点pj的坐标关于轮廓起始点p0至pj的边界总长度l的函数由傅里叶级数表示为：
[0112][0113]
其中，各阶次的傅里叶系数fk表达式为
[0114][0115]
式中，l是建筑物实例对象的周长，也是p(l)函数的周期，(xj,yj)为边界顶点pj点的坐标，(x
j+1
,y
j+1
)依此类推，lj是p0至pj的线段长度和(lj≤l≤l
j+1
，0≤j≤m-1)；此式中，i指代虚数单位，i2＝-1。
[0116]
可以看出，p(l)的系数fk均为复数，因此，取fk的模向量构成p(l)的模向量f，为
[0117]
f＝(||f1||,||f2||,
…
,||fk||)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(56)
[0118]
通过归一化处理使f具有旋转、尺度、平移不变性，得到建筑物实例的傅里叶形状描述子；
[0119][0120]
考虑到归一化处理后第一项的值均为1，去除第一项，d为：
[0121]
d＝(d1,d2,
…
,d
k-1
)
ꢀꢀꢀꢀꢀꢀꢀ
(58)
[0122]
由式可得，傅里叶描述子的长度随拟合精度的提高趋近于无限大，在实际运行时取拟合精度大于0.98时的长度50，向量维数为1
×
50。
[0123]
(e)以上可得，建筑物实例的位置、尺寸、方向、形状分布特征由一组指标进行衡量，为避免指标量纲影响后续分析，对所有指标进行z-score归一化，其平均值和标准偏差由训练集中所有实例对象计算得到，来自图形的输入特征维度共62(12+50)维，其中前面的12维特征是指位置分布特征中的c
x
,cy，尺寸特征中的面积(ab)、周长(pb)、均半径(rj)，最小外接矩形方向的主方向、建筑物墙方向的主方向，以及紧凑度、分形维度、延展度、凹度、重叠度，傅里叶描述子的维度为50。
[0124]
(3)基于对象全局信息的分割gcnn分支由5个图卷积层组成(grpah conv)，graphconv1的输出通道为16，graphconv2的为64，graphconv3的为128，graphconv4的为256，graphconv5的为256，每个卷积层均采用修正线性单元(rectified linear unit，relu)激活；图节点包含了来自图形和图像的输入特征，共318(256+62)维；网络优化器采用adam算法，学习率和衰减率分别为0.001和0.95，其中256是由mask r-cnn的掩膜分支(mask-branch)获取的来自图像的深度语义特征的维度。
[0125]
步骤三(与步骤二同时进行)，以建筑物实例轮廓的边界点为节点构图，考虑边界节点层级的多层邻域三角形形态共7项指标表征对象边界的形态特征，设计基于对象局部信息的边缘规则化gcnn分支。构建建筑物对象边界的形态信息引导的gcnn边缘规则化分支
的具体实施步骤如下：
[0126]
(1)经步骤一处理的建筑物实例对象轮廓边界顶点数均为64且起始点为左下角点，以顶点和点间边界线段构图，基于顶点的邻域三角形形态共7项特征，考虑多个邻域尺寸，提取多维尺度特征；
[0127]
(a)边界序列点与其k阶邻域形成的结构特征，以1阶邻域为例，见图3，当前点a和它的1阶邻域的两个点b和c构成一个三角形δabc，结构特征包括δabc的面积特征弦长特征和转角特征其中，的符号取决于弧段bac的凹凸性，当ba到ac以顺时针旋转时，弧段呈凸性，取正值，反之则取负值；和分别计算如下：
[0128][0129]
式中为δabc的面积，s为建筑物实例的面积。
[0130][0131]
式中为点b与点c之间的边界距离。
[0132]
(b)边界序列点的k阶邻域点与该建筑物实例对象的中心点形成的结构特征，以1阶邻域为例，见图3，中心点o和当前边界点a的两个1阶邻域点b和c构成一个三角形δobc，结构特征包括δobc的面积特征弦长特征(半周长半径)和夹角特征(即ob与oc形成的夹角)，分别计算如下：
[0133][0134]
式中为δobc的面积。
[0135][0136][0137]
式中为δobc的半周长，d1、d2、d3分别是δobc三边的边长。
[0138][0139][0140]
式中为δobc的半径。
[0141]
(c)以上可得，建筑物实例边界点的邻域特征由一组指标进行衡量，为避免指标量纲影响后续分析，对所有指标进行z-score归一化，保证了指标的平移、缩放、旋转不变性；此处考虑2个邻域尺寸{2,4}，因此，每个节点包含来自图形的输入特征维度共14(7
×
2)维。
[0142]
(2)基于对象局部信息的边缘规则化gcnn分支由3个图卷积层组成(grpah conv)，graphconv1的输出通道为16，graphconv2的为64，graphconv3的为128，每个卷积层均采用修正线性单元(rectified linear unit，relu)激活；为了和来自图像的特征图进行合并，第4层为常规卷积层(256
×1×
1)；图节点包含了来自图形和图像的输入特征，共270(256+
14)维；网络优化器采用adam算法，学习率和衰减率分别为0.001和0.95。
[0143]
步骤四，采取金字塔池模块聚集图像深度语义特征、建筑物空间分布深度结构特征和建筑物空间边缘深度形态特征，并引入正则化损失函数补充交叉熵函数进一步约束矢量边界。得到基于金字塔池模块的特征聚合及正则化优化函数的具体实施步骤如下：
[0144]
(1)由初始轮廓预测提供的图像深度特征图、来自空间形态信息双分支的图形深度特征图通过金字塔池模块加强上下文信息的捕捉，该模块包含了4种不同尺寸的池化操作，分别是1x1、2x2、3x3和6x6，得到多个尺寸的特征图，再通过1
×
1的常规卷积减少这些特征图的通道数，最后通过双线性插值上采样操作获得金字塔模块前相同尺寸的特征图，并在通道上进行拼接，得到建筑物对象的规则化提取预测图；
[0145]
(2)引入l
ncut
与l
potts
正则化优化函数补充了常规交叉熵函数l
bce
对建筑物对象几何描述的一致性，计算如下：
[0146][0147]
式中，yi是预测像素i属于建筑物对象的概率，是标签图像的真值，n是像素个数。
[0148]
l
potts
＝∑k(yk)
)
w(1-yk)
ꢀꢀꢀꢀꢀꢀꢀ
(67)
[0149][0150][0151]
式中，y是基于影像输入x的建筑物规则化提取网络的输出图像矩阵，属预测值，yk指y的第k个通道，k是预测类别数，此处k＝2，即building/non-building，w和分别是衡量输入x和输出y图像上像素点间连接边权重的相似矩阵，由高斯核函数在rgbxy空间上计算而得。
[0152]
l＝α
·
l
bce
+β
·
l
potts
+γ
·
l
ncut
ꢀꢀꢀꢀꢀꢀ
(70)
[0153]
式中，l是损失函数总项，α＝10，β＝100，γ＝1。
[0154]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

技术特征：
1.空间形态信息引导的高分遥感影像建筑物规则化提取方法，其特征在于，包括以下步骤：步骤一，利用mask-rcnn基础骨架网络获取建筑物实例对象的深度图像语义特征图和预测初始轮廓，同时保留预测对象与真值对象间的对应关系与轮廓边界点信息；步骤二，构建图卷积神经网络gcnn，所述图卷积神经网络gcnn包括两个分支，分别为用于获取建筑物空间分布深度结构特征的基于对象全局信息的分割分支，和用于获取建筑物空间边缘深度形态特征的基于对象局部信息的边缘规则化分支；其中，基于对象全局信息的分割分支包括若干个图卷积层，其输入是以建筑物实例对象中心点为节点构图，根据对象层级的位置、尺寸、方向、形状指标表征影像中建筑物对象的空间分布特征；基于对象局部信息的边缘规则化分支同样包括若干个图卷积层，其输入是以建筑物实例轮廓的边界点为节点构图，根据边界节点层级的多层邻域三角形形态指标表征对象边界的形态特征；步骤三，采取金字塔池模块聚集图像深度语义特征、建筑物空间分布深度结构特征和建筑物空间边缘深度形态特征，得到多个不同尺寸的特征图，最后通过卷积、上采样、以及通道拼接处理得到建筑物对象的规则化提取预测图；步骤四，训练由步骤一至步骤三构成的建筑物规则化提取网络模型，引入正则化损失函数补充交叉熵函数进一步约束矢量边界，利用训练好的建筑物规则化提取网络模型实现高分遥感影像建筑物规则化提取。2.根据权利要求1所述的空间形态信息引导的高分遥感影像建筑物规则化提取方法，其特征在于：步骤二中基于对象全局信息的分割分支的具体实施步骤如下：(a1)以步骤一中获取的实例对象中心点为顶点构建狄洛尼三角网，将中心点作为图的节点，将狄洛尼三角网的边作为图的连接边，因此每张训练样本图像中多个建筑物实例对象构成的三角网分别形成一张图；(a2)基于群组中建筑物多边形对象的位置分布、尺寸分布、方向分布、形状分布四类特征获得图节点的12项指标特征，其中位置分布特征即为建筑物实例对象的中心点，尺寸分布特征中包括建筑物实例的面积、周长、均半径3项指标，方向分布特征中包括建筑物实例最小外接矩形方向的主方向和建筑物墙方向的主方向这2项指标，形状分布特征中包括紧凑度、分形维度、延展度、凹度、重叠度、傅里叶形状描述子这6项指标；(a3)基于对象全局信息的分割分支由5个图卷积层grpah conv组成，graphconv1的输出通道为16，graphconv2的输出通道为64，graphconv3的输出通道为128，graphconv4的输出通道为256，graphconv5的输出通道为256，每个卷积层均采用修正线性单元激活；每个图节点包含了来自图形和图像的特征，其中图形的特征通过步骤(a2)计算得的，图像的特征即为深度图像语义特征图。3.根据权利要求2所述的空间形态信息引导的高分遥感影像建筑物规则化提取方法，其特征在于：建筑物实例的均半径由其轮廓上的所有边界点到其中心点的平均距离计算而得：
其中d
j
表示边界点j到中心点的距离；m为边界点的数量。4.根据权利要求2所述的空间形态信息引导的高分遥感影像建筑物规则化提取方法，其特征在于：建筑物实例的紧凑度由其面积与周长间的二次关系计算而得：分形维度(fractality)、延展度(elongation)、凹度(concavity)、重叠度(overlap_index)的计算分别为：index)的计算分别为：式中，l
sbr
、w
sbr
分别是建筑物实例最小外接矩形的长和宽；式中，a
c
h是建筑物实例凸壳(convex hull,ch)的面积；式中，a
b∩eac
、a
b∪eac
分别是建筑物实例与其等面积圆(equal area circle,eac)的交集和并集的面积。5.根据权利要求2所述的空间形态信息引导的高分遥感影像建筑物规则化提取方法，其特征在于：傅里叶形状描述子通过傅里叶变换将基于建筑物实例轮廓的形状表达为基于离散向量的数学表示，建筑物实例轮廓上边界点p
j
的坐标关于轮廓起始点p0至p
j
的边界总长度l的函数由傅里叶级数表示为：其中，各阶次的傅里叶系数f
k
表达式为式中，l是建筑物实例对象的周长，也是p(l)函数的周期，(x
j
，y
j
)为边界顶点p
j
点的坐标，l
j
是p0至p
j
的线段长度和，l
j
≤l≤l
j+1
，0≤j≤m-1；此式中，i指代虚数单位，i2＝-1；可以看出，p(l)的系数f
k
均为复数，因此，取f
k
的模向量构成p(l)的模向量f，为f＝(||f1||，||f2||，
…
，||f
k
||)
ꢀꢀꢀꢀ
(9)通过归一化处理使f具有旋转、尺度、平移不变性，得到建筑物实例的傅里叶形状描述子；考虑到归一化处理后第一项的值均为1，去除第一项，d为：d＝(d1，d2，
…
，d
k-1
)
ꢀꢀꢀꢀ
(11)由此可得，傅里叶描述子的长度随拟合精度的提高趋近于无限大，在实际运行时取拟合精度大于0.98时的长度50，向量维数为1
×
50。6.根据权利要求1所述的空间形态信息引导的高分遥感影像建筑物规则化提取方法，
其特征在于：步骤二中基于对象局部信息的边缘规则化分支的具体实施步骤如下：(b1)经步骤一处理的建筑物实例对象轮廓边界顶点数均为n且起始点为左下角点，以顶点和点间边界线段构图，基于顶点的邻域三角形形态特征，提取顶点的多维尺度特征；(b2)基于对象局部信息的边缘规则化分支由3个图卷积层grpah conv和1个常规卷积层组成，graphconv1的输出通道为16，graphconv2的输出通道为64，graphconv3的输出通道为128，每个卷积层均采用修正线性单元激活；每个图节点包含了来自图形和图像的特征，其中图形的特征通过步骤(b1)计算得的，图像的特征即为深度图像语义特征图。7.根据权利要求1所述的空间形态信息引导的高分遥感影像建筑物规则化提取方法，其特征在于：步骤(b1)中的基于顶点的邻域三角形形态特征包含7项特征，具体如下：(a)边界序列点与其k阶邻域形成的结构特征，设置当前点a和它的k阶邻域的两个点b和c构成一个三角形δabc，结构特征包括δabc的面积特征弦长特征和转角特征其中，的符号取决于弧段bac的凹凸性，当ba到ac以顺时针旋转时，弧段呈凸性，取正值，反之则取负值；和分别计算如下：式中为δabc的面积，s为建筑物实例的面积；式中为点b与点c之间的边界距离；(b)边界序列点的k阶邻域点与该建筑物实例对象的中心点形成的结构特征，设置中心点o和当前边界点a的两个k阶邻域点b和c构成一个三角形δobc，结构特征包括δobc的面积特征弦长特征和夹角特征其中弦长特征又包括半周长和半径夹角即ob与oc形成的夹角，计算如下：式中为δobc的面积；为δobc的面积；式中为δobc的半周长，d1、d2、d3分别是δobc三边的边长；分别是δobc三边的边长；式中为δobc的半径。8.根据权利要求1所述的空间形态信息引导的高分遥感影像建筑物规则化提取方法，其特征在于：金字塔池模块包含了4种不同尺寸的池化操作，分别是1x1、2x2、3x3和6x6，得到多个尺寸的特征图，再通过1
×
1的常规卷积减少这些特征图的通道数，最后通过双线性
插值上采样操作获得金字塔模块前相同尺寸的特征图，并在通道上进行拼接，得到建筑物对象的规则化提取预测图。9.根据权利要求1所述的空间形态信息引导的高分遥感影像建筑物规则化提取方法，其特征在于：步骤四中引入l
ncut
与l
potts
正则化优化函数补充了常规交叉熵函数l
bce
对建筑物对象几何描述的一致性，计算如下：式中，y
i
是预测像素i属于建筑物对象的概率，是标签图像的真值，n是像素个数；l
potts
＝∑
k
(y
k
)
t
w(1-y
k
) (20)(20)式中，y是基于影像输入x的建筑物规则化提取网络的输出图像矩阵，属预测值，y
k
指y的第k个通道，k是预测类别数，此处k＝2，即建筑物和非建筑物，w和分别是衡量输入x和输出y图像上像素点间连接边权重的相似矩阵，由高斯核函数在rgbxy空间上计算而得；l＝α
·
l
bce
+β
·
l
potts
+γ
·
l
ncut (23)式中，l是损失函数总项，α，β，γ为常数。

技术总结
本发明公开了一种空间形态信息引导的高分遥感影像建筑物规则化提取方法，首先利用Mask-RCNN基础骨架网络模型获取建筑物实例对象的深度图像语义特征图和初始轮廓预测，同时保留预测对象与真值对象间的对应关系与轮廓边界点信息；其次，联合CNN的深度语义特征与建筑物形态、结构认知参量特征利用GCNN对建筑物对象进行提取与边界规则化，其中GCNN包含两个分支：基于对象全局信息的分割分支和基于对象局部信息的边缘规则化分支；最后，通过金字塔池模块聚集来自CNN解码器的图像语义特征和来自GCNN双分支的空间分布结构特征和边缘空间形态特征，引入正则化优化函数补充交叉熵函数对建筑物对象几何描述的一致性，提供高精度的城市建筑物规则化矢量提取结果。城市建筑物规则化矢量提取结果。城市建筑物规则化矢量提取结果。


技术研发人员：眭海刚 杜卓童
受保护的技术使用者：武汉大学
技术研发日：2023.04.11
技术公布日：2023/8/9