基于循环特征融合的无人机遥感影像分割方法

1.本技术涉及无人机遥感影像技术领域，尤其是涉及基于循环特征融合的无人机遥感影像分割方法。


背景技术：

2.无人机的普及以及人工智能技术在各个领域的迅速发展，为常态化、系统化、智能化监测城市湿地提供了新思路和新的技术条件。无人机遥感技术作为主要的数据采集方式，与卫星遥感技术相比，具有影像空间分辨率高、成本低、智能化、实时性的特点。“人工智能+无人机遥感+行业应用”业已成为解决问题的重要方式。尤其在森林遥感应用领域有着广泛的应用前景，例如无人机火灾自动识别、病虫害防治、森林资源的信息提取等。
3.语义分割是计算机视觉中的一项重要技术，其目的是通过为图像中的每个像素分配一个语义标签来实现像素级图像识别，是解析遥感图像的关键技术。近年来，许多学者采用了深度卷积神经网络(dcnn)方法进行语义分割，并且取得了巨大的成功。2015年，long等人提出的全卷积网络(fcn)在语义分割领域具有开创性的意义。但是，因为无人机遥感影像分割目标的几何拓扑结构复杂，基于网络的语义分割方法自身感受野有限，导致在无人机遥感影像语义上下文内容建模时，存在着对边界特征信息利用不足的缺陷。同时，现有的算法都缺乏对边界特征信息的充分利用，造成对目标区域的分割结果具有很大误差。


技术实现要素：

4.本发明实施例的目的在于提供基于循环特征融合的无人机遥感影像分割方法，由于无人机遥感影像包含的地物对象尺度较大，地物边界比较复杂，因此，针对现有无人机遥感影像分割算法对目标边缘信息获取不足、边界细节分割效果不佳等问题，结合u-net网络融合多尺度特征和残差网络提高图像特征重复利用率的优点，提出了contextual u-net(cu-net)语义分割网络模型。
5.为解决上述技术问题，本发明所采用的技术方案是：
6.基于循环特征融合的无人机遥感影像分割方法，所述方法采用残差网络作为主干，其原始卷积被空洞卷积所取代以扩大感受野；所述方法包括cu-net语义分割网络模型；所述cu-net语义分割网络模型包括：
7.边界特征提取模块，用于将边界预测作为一个独立的子任务与主干网络特征学习一起进行建模分割；
8.自适应特征提取模块，用于捕获边缘不规则区域的像素和物体内部的像素之间的长距离依赖关系，并将边界特征提取模块提取的语义信息嵌入到边缘特征中，以进行语义聚合；
9.循环特征融合模块，用于通过自适应层间特征引导聚合分层特征。
10.在一些实施例中，边界特征提取模块还用于，采用主干残差网络的中间表征作为其输入，用于引导语义内容的聚合过程，再将这些特征与主干残差网络相互联系。
11.在一些实施例中，在主干残差网络和边界网络之间增加了四层连接。
12.在一些实施例中，边界特征提取模块还用于，接收来自主干残差网络每个阶段的最后一个剩余块的特征图，然后经过一个3*3的卷积层以使得其通道统一为相同尺寸。
13.在一些实施例中，自适应特征提取模块还用于，对网络模型中的深层特征语义信息进行记忆，从深层特征语义信息中挑选有用的信息，对浅层特征语义信息进行筛选提炼，根据高层语义信息对低层语义信息在特征图通道上进行权重分配。
14.无人机的普及以及人工智能技术在各个领域的迅速发展，为常态化、系统化、智能化监测城市湿地提供了新思路和新的技术条件。无人机遥感技术作为主要的数据采集方式，与卫星遥感技术相比，具有影像空间分辨率高、成本低、智能化、实时性的特点。“人工智能+无人机遥感+行业应用”业已成为解决问题的重要方式。尤其在森林遥感应用领域有着广泛的应用前景，例如无人机火灾自动识别、病虫害防治、森林资源的信息提取等。
15.语义分割是计算机视觉中的一项重要技术，其目的是通过为图像中的每个像素分配一个语义标签来实现像素级图像识别，是解析遥感图像的关键技术。近年来，许多学者采用了深度卷积神经网络(dcnn)方法进行语义分割，并且取得了巨大的成功。2015年，long等人提出的全卷积网络(fcn)在语义分割领域具有开创性的意义。但是，因为无人机遥感影像分割目标的几何拓扑结构复杂，基于网络的语义分割方法自身感受野有限，导致在无人机遥感影像语义上下文内容建模时，存在着对边界特征信息利用不足的缺陷。
16.为了弥补在语义上下文内容建模中的不足，部分学者在上下文依赖关系上进行了了广泛深入的探索，这些方法简要地归纳为两类：一类是采用金字塔模块。该结构主要是利用不同尺度的卷积核池化层来扩大模型的感受野，比如deeplab中的空洞空间卷积池化金字塔模块和pspnet中的金字塔池化模块。另一类是从图像通道或空间方面对长距离的依赖关系进行适应性建模。图像通道或者空间建模主要是根据各通道或者空间特征的重要程度，增强或者抑制不同的通道或者部分空间。比如，encnet在通道维度学习特征图的权重以及non-local模块利用注意力机制获得周边像素点的上下文信息。虽然以上这些算法在一定程度上获得了比较好的分割效果，但是无论是固定方式还是渐进式的方式聚集上下文信息，都缺乏对边界特征信息的充分利用，造成对目标区域的分割结果具有很大误差。
17.为了充分利用边界特征提供的先验信息，部分学者也探索了将多尺度语义信息和上下文内容依赖关系导入到网络架构中的方法。mdccnet在整个网络结构中融合编码模块不同尺度的特征信息，通过捕捉到多个尺度的目标边界特征，最后自适应的将其纳入到解码模块提高分割精度。周等人也提出一种带有注意力机制的编码解码架构，采取一种改进的残差模块用于捕获边界的特征信息。虽然这一类算法考虑了将边缘信息融入到网络结构的实际中，但是从分割的结果中分析可知，这类算法通常计算复杂度比较高，且边缘分割的效果依然无法满足实际的应用需求。同时，上述方法在很大程度上依赖于编码阶段边界特征提取的准确性，因此容易造成边界区域被误分。
18.现有技术中，如授权公告号为cn 106875407 b的专利文献公开了一种结合形态学和标记控制的无人机影像林冠分割方法，该文献利用无人机获取若干幅林区的局部遥感影像，经镶嵌和正射校正得到完整遥感影像；采用高斯滤波方法对绿光波段进行平滑滤波处理；采用自适应的局部最大值搜索方法从绿光波段中检测林冠顶点位置；利用形态学运算，通过一个强制最小值转换将获取的林冠顶点位置信息强加到影像上；对于正射校正的真彩
色遥感影像，采用isodata聚类算法得到只包含林冠区域和非林冠区域两类的二值影像，将提取出的非林冠区域作为分割的外部标记；将外部标记强加到经过强制最小值转换后的影像上进行分水岭变换分割，获得精确的林分单木林冠边界信息。但是，该文献没有对边界特征信息进行利用，对目标区域的分割结果有误差。
19.本发明提供的基于循环特征融合的无人机遥感影像分割方法，其中，cu-net语义分割网络模型在基础编码器的基础上添加了边界特征提取模块，此模块融合骨干网络所提取的语义特征信息以及由输入图像经过sobel算子和腐蚀数学形态学操作获得的边缘特征信息，更好地学习了无人机遥感影像的边缘特征。此外通过采用空洞卷积扩大感受野，以有效捕获大尺度地物图像的高级语义特征；利用自适应特征提取模块捕获了边缘不规则区域的像素和物体内部的像素之间的长距离依赖关系；利用循环特征融合模块，通过自适应层间特征引导聚合分层特征，以获取图像精确的边缘特征和纹理。
20.基于多尺度特征融合u-net网络模型存在丢失部分分割边缘的问题，本发明提出一种改进的编解码结构的全卷积分割网络架构
‑‑‑
循环特征融合(rff)模块，且基于边界特征提取(bfe)模块和自适应特征提取(afs)模块，增强了网络对边界特征的提取能力。
21.本发明提供的基于循环特征融合的无人机遥感影像分割方法，cu-net语义分割网络模型明确地对边界特征进行建模，确保同一物体的内部像素在上下文聚合过程中能有效获取并进行传递。
附图说明
22.为了更清楚地说明本公开中的技术方案，下面将对本公开一些实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例的附图，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。此外，以下描述中的附图可以视作示意图，并非对本公开实施例所涉及的产品的实际尺寸、方法的实际流程等的限制。
23.图1为根据本公开一些实施例中的cu-net网络模型架构图；
24.图2为根据本公开一些实施例中的frelu原理图；
25.图3为根据本公开一些实施例中的不同分割网络模型在数据集上实验结果可视化对比图；
26.图4为根据本公开一些实施例中的大疆phantom 4rtk四旋翼可见光无人机；
27.图5为根据本公开一些实施例中的无人机拍摄影像效果图；
28.图6为根据本公开一些实施例中的模型消融实验可视化结果对比图。
具体实施方式
29.下面将结合附图，对本公开一些实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开所提供的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本公开保护的范围。
30.除非上下文另有要求，否则，在整个说明书和权利要求书中，术语“包括”被解释为开放、包含的意思，即为“包含，但不限于”。在说明书的描述中，术语“一个实施例”、“一些实施例”、“示例性实施例”、“示例”或“一些示例”等旨在表明与该实施例或示例相关的特定特
征、结构、材料或特性包括在本公开的至少一个实施例或示例中。上述术语的示意性表示不一定是指同一实施例或示例。此外，所述的特定特征、结构、材料或特点可以以任何适当方式包括在任何一个或多个实施例或示例中。
31.本发明实施例提供基于循环特征融合的无人机遥感影像分割方法，如图1所示，方法采用残差网络作为主干，其原始卷积被空洞卷积所取代以扩大感受野。
32.在一些实施例中，方法包括cu-net语义分割网络模型，cu-net语义分割网络模型包括：边界特征提取(boundary feature extraction，bfe)模块、自适应特征提取(adaptive feature selection，afs)模块和循环特征融合(recursive feature fusion，rff)模块。
33.边界特征提取模块，用于将边界预测作为一个独立的子任务与主干网络特征学习一起进行建模分割。
34.为了充分利用无人机遥感影像边界特征，利用边界特征提取(bfe)模块融合骨干网络所提取的语义特征信息，以及由输入图像经过sobel算子和腐蚀数学形态学操作获得的边缘特征信息，更好地学习无人机遥感影像的边界特征，提高网络对边界的学习能力。
35.自适应特征提取模块，用于捕获边缘不规则区域的像素和物体内部的像素之间的长距离依赖关系，并将边界特征提取模块提取的语义信息嵌入到边缘特征中，以进行语义聚合。
36.在边界特征提取模块的基础上，利用自适应特征提取(afs)模块，有效捕获边缘不规则区域的像素和物体内部的像素之间的长距离依赖关系，有效捕捉全局信息，增强网络模型在分割对象上类内的一致性。
37.在编码器端特征提取网络中，不同阶段卷积层输出的特征具有不同层次的图像特征信息。编码器端浅层特征信息感受野较小，难以分辨哪些特征与分割目标相关性较高，深层特征信息感受野较大，有更多与分割目标相关的特征。本发明实施例提供自适应特征提取模块，是一种跨阶段改进的通道注意力机制模块。
38.循环特征融合模块，用于通过自适应层间特征引导聚合分层特征。这样，利用循环特征融合(rff)模块，以便捕捉具有不同语义的边缘信息，以获取图像精确的边缘特征和纹理。
39.此外，cu-net语义分割网络模型中还采用frelu激活函数，利用frelu激活函数的应用提升了网络解析能力，从而提高无人机遥感图像语义分割精度。
40.下面对frelu激活函数进行进一步说明。
41.非线性激活函数为卷积神经网络中提供良好非线性建模能力。目前卷积神经网络常用的激活函数主要以relu和prelu为主，其表达式为：
[0042][0043][0044]
在relu激活函数中，当输入x》0时，是线性的部分；当x《＝0时，全部设置为0对函数进行调整。因此会存在激活死区这一缺点，导致训练过程很脆弱。如一个很大的梯度流过一
个relu神经元，参数更新后这个神经元就再也不会对任何数据有激活现象了。prelu目的是为x《＝0部分线性激活单元，引入了一个可以随计算改变的随机参数α。relu和prelu激活函数被应用在深度学习的各个领域。但是在计算机视觉领域，以上激活函数对空间信息不够敏感，因此，旷视和香港理工大学提出一种视觉激活函数frelu来提高网络的性能，frelu表达式为：
[0045]
frelu(x)＝max(x，t(x))
[0046]
frelu的特点是使用t(x)二维空间条件，增强了卷积神经网络对不规则和详细对象的解析能力，frelu原理如图2所示，空间条件使用了卷积函数提升了像素和像素之间的空间依赖性，实现像素级视觉信息的捕获，更能够提升激活函数在计算视觉语义分割任务中的精度。
[0047]
在一些实施例中，边界特征提取模块还用于，采用主干残差网络的中间表征作为其输入，用于引导语义内容的聚合过程，再将这些特征与主干残差网络相互联系。
[0048]
在一些示例中，在主干残差网络和边界网络之间增加了四层连接。以便低级的特征信息和高级语义信息能够在支干网络中流动，从而使得低层次的细节和高层次的语义信息能够有效结合，得到充分的利用。
[0049]
在一些示例中，边界特征提取模块还用于，接收来自主干残差网络每个阶段的最后一个剩余块的特征图，然后经过一个3*3的卷积层以使得其通道统一为相同尺寸。由于边界特征模块与主干残差网络相互流通，因此使得边界特层和语义信息有效结合。
[0050]
为了使边界区域更为突出，多尺度的特征直接受到从分割数据集中产生的二元边界标签的监督。最后，多尺度特征和边界特征提取模块通过拼接操作连接在一起用于下面的自适应特征提取模块。
[0051]
在一些实施例中，自适应特征提取模块还用于，对网络模型中的深层特征语义信息进行记忆，从深层特征语义信息中挑选有用的信息，对浅层特征语义信息进行筛选提炼，根据高层语义信息对低层语义信息在特征图通道上进行权重分配。
[0052]
与原来计算自我注意力的non-local模块不同，边界特征提取模块作为自适应特征提取模块的关键，采用了丰富语义的多尺度特征，并突出了边界区域，因此来自同一物体的像素会激活相似的注意力区域，来自不同物体的像素则相似度较低。
[0053]
基于多尺度特征融合u-net网络模型存在丢失部分分割边缘的问题，本发明提出一种改进的编解码结构的的全卷积分割网络架构
‑‑‑
循环特征融合(rff)模块，且基于上文提出的边界特征提取(bfe)模块和自适应特征提取(afs)模块，增强了网络对边界特征的提取能力。如图1所示。
[0054]
在编码器阶段，包含四层卷积层和对应的池化层，通过卷积核下采样操作，将输入图像分别缩小为原来的1/2，1/4，1/8和1/16。同时将编码器高层语义信息和低层语义信息，按照从高层到低层的顺序依次输入到边界特征提取模块中。边界特征提取模块将多尺度语义信息，同输入图像经过sobel算子和腐蚀数学形态学操作获得的边缘特征信息进行拼接操作，生成边缘特征图，作为自适应特征提取模块的输入。
[0055]
在解码器端，除了接受来自上采样层的输入之外，经过自适应特征提取(afs)模块的筛选提炼的图像特征也会和上采样之后的特征，进行对应通道的维度拼接操作(concatenate)。编码器端经过多次连续的上采样操作，逐步恢复特征图的尺寸到输入图像
的尺寸大小，完成无人机遥感图像语义分割的任务。
[0056]
下面对本发明提供的基于循环特征融合的无人机遥感影像分割方法进行实验。
[0057]
采用本发明提供的基于循环特征融合的无人机遥感影像分割方法，在实验“无人机可见光遥感植被影像数据集(urs-vid)”进行测试，同时，也采用不同的语义分割算法进行测试，测试的结果如表1所示，表1中表示不同的语义分割算法在该数据集上的分割miou结果。从表1的结果可知，本发明提供的基于循环特征融合的无人机遥感影像分割方法的分割效果与其他经典算法相比，在oa和miou上均达到最佳，分别为85.15％和70.12％，其结果具有一定的竞争力。同时，本发明提供的基于循环特征融合的无人机遥感影像分割方法的可视化结果如图3所示，其结果与量化分析结果一致。
[0058]
表1经典语义分割模型实验结果对比单位：％
[0059][0060][0061]
本发明提供的基于循环特征融合的无人机遥感影像分割方法的性能采用以下三个指标衡量：总体准确度(overall accuracy，oa)，平均交并比(mean intersection over union，miou)以及f1得分。
[0062]
总体准确度(oa)作为语义分割直观的评价指标，计算出正确分类的像素数量与总像素数量的比率，代表了总体像素的一般评估结果。oa可以按照以下方式计算：
[0063][0064]
其中，p
ii
表示将第i类分成第i类的像素数量，即正确分类的像素数量；p
ij
表示将第i类分成第j类的像素数量，即所有像素数量。
[0065]
平均交并比(miou)通过对除了背景之外的所有标签类别的交并比进行平均而得到。miou可以计算如下：
[0066][0067]
f1得分被定义为召回率和精确度的调和平均值，其计算方式如下：
[0068][0069]
其中，recall和precision分别代表召回率和精确度。
[0070]
本实验实施采集数据的研究区域位于福建省福州市仓山区行政区域内金山公园
(119
°
14
′
e，26
°
02
′
n)。仓山区属于亚热带湿润季风气候，年日照量持续时间1700～1980小时，年平均气温18～26度，年降水量900～2000mm。研究区内地物类别丰富，包含树种主要包括小叶榕树(ficus microcarpa)、美丽异木棉(chorisia speciosa)、水杉(dawn redwood)、栾树(goldenrain tree)、羊蹄甲和棕榈树(palm)等常见的城市绿地树种，这些树种也是福州城市树木的典型代表。同时，研究区内地物类别丰富，也包含水体、道路以及建筑物等具有代表性的其他城市地物，本实验的主要目标是实现对木棉、榕树、栾树、水杉、羊蹄甲和棕榈树六种植被的识别。该数据集的全称是“无人机可见光遥感植被影像数据集(urs-vid)”。
[0071]
本实验实施采用的无人机型号是轻小型大疆phantom 4rtk四旋翼可见光无人机，如图4所示。该无人机内置rtk模块，具有携带便捷、对场地要求较低等特点。同时，无人机飞行操作简单方便，结合手柄内置的软件可实现数据的快速获取，包括三维坐标信息，飞行姿态数据等，能够以厘米级精确度确定无人机的位置，满足高精度作业需求。
[0072]
大疆phantom 4rtk无人机云台搭载的相机为phantom 4advanced相机，并配备一台cmos影像传感器，大小为1英寸，像素为2000万，航拍影像包含红绿蓝三个波段，输出rgb类型图像。拍摄效果图如图5所示。
[0073]
本实验的硬件和系统配置分别为geforce gtx3090和win10。实验的基本软件包括python3.6、cuda 11.1、pytorch1.1.0等。为了提高本发明所提出方法的泛化性能，在数据增强中随机采用了一些图像增强操作，如旋转、翻转、颜色调节、高斯噪声处理等。为了避免硬件资源限制造成的问题，图像被裁剪成640*640的图块。在训练过程中，优化器使用sgd，损失函数使用交叉熵损失函数，其他参数设置：lr＝0.001，momentum＝0.99，weight_decay＝0.0005，batch size＝8。
[0074]
本实验是在“无人机可见光遥感植被影像数据集(urs-vid)”上测试的结果，表2中，方法a代表骨干网络unet。方法b在方法a的基础上将编码器部分替换为resnet50，并引入空洞卷积扩大感受野。方法c将注意力机制eca应用于骨干网络构建的方法，方法c代表加入dialated convolution提高receptive field结构。方法d是本发明提出的方法。由表2中结果可知，与骨干网络unet的结果相比，使用本发明提出的方法能有效提升无人机遥感图像的分割性能。方法b，c，d与方法a相比，miou值分别提升了1.10％，1.43％，2.90％。分析可知，方法c比方法b提升更为显著的主要原因在于引入了注意力机制。而方法d效果最为明显，说明afs模块的加入，捕获了边缘不规则区域的像素和物体内部的像素之间的长距离依赖关系，进一步加强了对无人机遥感影像的边缘约束。可视化结果如图6所示，其结果与量化分析结果一致。
[0075]
表2模型消融实验量化实验结果对比单位：％
[0076][0077]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其他修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

技术特征：
1.基于循环特征融合的无人机遥感影像分割方法，其特征在于，所述方法采用残差网络作为主干，其原始卷积被空洞卷积所取代以扩大感受野；所述方法包括cu-net语义分割网络模型；所述cu-net语义分割网络模型包括：边界特征提取模块，用于将边界预测作为一个独立的子任务与主干网络特征学习一起进行建模分割；自适应特征提取模块，用于捕获边缘不规则区域的像素和物体内部的像素之间的长距离依赖关系，并将边界特征提取模块提取的语义信息嵌入到边缘特征中，以进行语义聚合；循环特征融合模块，用于通过自适应层间特征引导聚合分层特征。2.如权利要求1所述的基于循环特征融合的无人机遥感影像分割方法，其特征在于，边界特征提取模块还用于，采用主干残差网络的中间表征作为其输入，用于引导语义内容的聚合过程，再将这些特征与主干残差网络相互联系。3.如权利要求2所述的基于循环特征融合的无人机遥感影像分割方法，其特征在于，在主干残差网络和边界网络之间增加了四层连接。4.如权利要求2所述的基于循环特征融合的无人机遥感影像分割方法，其特征在于，边界特征提取模块还用于，接收来自主干残差网络每个阶段的最后一个剩余块的特征图，然后经过一个3*3的卷积层以使得其通道统一为相同尺寸。5.如权利要求1所述的基于循环特征融合的无人机遥感影像分割方法，其特征在于，自适应特征提取模块还用于，对网络模型中的深层特征语义信息进行记忆，从深层特征语义信息中挑选有用的信息，对浅层特征语义信息进行筛选提炼，根据高层语义信息对低层语义信息在特征图通道上进行权重分配。

技术总结
本发明公开了基于循环特征融合的无人机遥感影像分割方法，涉及无人机遥感影像技术领域。所述方法采用残差网络作为主干，其原始卷积被空洞卷积所取代以扩大感受野；所述方法包括CU-Net语义分割网络模型；所述CU-Net语义分割网络模型包括：边界特征提取模块，用于将边界预测作为一个独立的子任务与主干网络特征学习一起进行建模分割；自适应特征提取模块，用于捕获边缘不规则区域的像素和物体内部的像素之间的长距离依赖关系，并将边界特征提取模块提取的语义信息嵌入到边缘特征中，以进行语义聚合；循环特征融合模块，用于通过自适应层间特征引导聚合分层特征。层间特征引导聚合分层特征。层间特征引导聚合分层特征。


技术研发人员：邵晓艳 赵雪专 胡一帆 李伟超 刘超慧 李玲玲 薄树奎 陈一诺 雷钰炜 樊笑妍
受保护的技术使用者：郑州航空工业管理学院
技术研发日：2023.05.05
技术公布日：2023/7/27