一种基于无人机航拍影像的国土地貌变化快速发现方法

1.本发明涉及地貌变化检测技术领域，具体涉及一种基于无人机航拍影像的国土地貌变化快速发现方法。


背景技术：

[0002][0003]
当前土地资源监测以卫星遥感监测为主、人工巡查为辅的方式进行。但卫星遥感监测受到卫星成像周期的限制，难以实时得到待监测地区的影像，且地貌图像质量受云层影响，使卫星遥感监测的效果不佳。人工巡查受基础道路建设的影响，监测人员难以去没有道路的山地、丘陵地区进行监测，监测覆盖范围受限，无法实现常态化全天候作业。


技术实现要素：

[0004]
为解决上述技术问题，本发明提供一种基于无人机航拍影像的国土地貌变化快速发现方法，可以快速发现地貌的变化。
[0005]
为解决上述技术问题，本发明采用如下技术方案：一种基于无人机航拍影像的国土地貌变化快速发现方法，通过完成训练的地貌变化检测模型实现地貌变化检测；地貌变化检测模型的训练方法包括以下步骤：s1：利用无人机机载成像设备定期地采集同一地点不同时刻的地貌图像，对地貌图像进行标注和预处理；s2：利用多任务学习框架，搭建基于神经网络的地貌变化检测模型，进行地貌变化检测：地貌变化检测模型的输入为同一地点两个不同时刻的地貌图像组成的地貌图像对、输出为地貌图像对中两个地貌图像的语义变化；地貌变化检测模型利用全卷积网络对地貌图像对中两个地貌图像进行语义分割，并计算两个地貌图像的语义分割结果和的语义变化r；所述全卷积网络包括基础主干网络、全卷积层、转置卷积和跳连接；所述基础主干网络用于提取地貌图像中的关键信息，选用去除全连接层后的resnet-19网络；全卷积层有四个，每个全卷积层包括一个卷积层和一个最大池化层，四个全卷积层依次将基础主干网络的输出的宽和高降低为原来的1/2、1/4、1/8和1/16，每个卷积层中卷积核的数量与待分割语义类别的数量相同；转置卷积有四个，分别以四个全卷积层的输出作为输入，将全卷积层的输出的宽和高放大至原来的两倍，每个转置卷积中卷积核的数量与待分割语义类别的数量相同；四个全卷积层的输出分别为，四个转置卷积的输出分别为、输入分别为，则跳连接完成如下功能：
；将两个地貌图像的语义分割结果和均分割成的块，则语义变化r为：；其中，，其中h和w分别为输入至地貌变化检测模型中的地貌图像的高和宽；表示语义分割结果中的第n个块，表示语义分割结果中的第n个块；s3：地貌变化检测模型在多任务学习框架内进行训练，综合单个地貌图像的语义分割任务和地貌图像对的语义变化任务，设置地貌变化检测模型的损失函数：；其中，为交叉熵损失函数，softmax为归一化指数函数，为第个地貌图像的像素级语义标注的结果，为权重参数；s4：在推理阶段，对无人机机载成像设备采集到的地貌图像对进行分割，得到若干子图，将同一地点、不同时刻的子图对输入至完成训练的地貌变化检测模型，得到不同子图对的语义变化r，进而得到完整的地貌图像的地貌变化检测结果。
[0006]
进一步地，步骤s1具体包括以下步骤：s11：对于获取的地貌图像，利用农田、灌木丛、道路、村庄、空地共五种标签进行像素级标注；s12：在同一地点、不同时刻获取的地貌图像中，每次随机选择两张构成地貌图像对，并利用农田、灌木丛、道路、村庄、空地共五种标签手工标记地貌图像对中两个地貌图像的语义变化；s13：对地貌图像对进行的预处理操作，包括旋转、加噪声、直方图均衡化和亮度增强。
[0007]
进一步地，步骤s4具体包括以下步骤：s41：将无人机机载成像设备在同一地点、不同时刻采集到的地貌图像对通过有重叠采样的方式，分割成带重叠区域的大小的子图；水平方向上和垂直方向上两个相邻子图的重叠区域的尺寸均为o；s42：将分割后的同一地点、不同时刻采集到的子图对的输入训练好的地貌变化检测模型，得到的语义变化r；s43：将不同子图对的语义变化r进行综合，得到整个地貌图像上的地貌变化检测结果；其中，每个子图上的与其他子图没有重叠的区域，直接采用没有重叠区域的地貌变化检测结果作为最终地貌变化检测结果；每个子图上与其他子图的重叠区域，采用线性差值的方法得到重叠区域的最终地貌变化检测结果。
[0008]
进一步地，步骤s43中，采用线性差值的方法得到重叠区域的最终地貌变化检测结果时，以两个相邻子图的重叠区域的左下角为原点，建立坐标系，定义如下的权重函数，用
来表示两幅子图里面任意位置上结果的权重：，；其中表示坐标系中的横坐标；i表示地貌图像中子图在水平方向的编号；j表示地貌图像中子图在垂直方向的编号；表示水平方向编号为i、垂直方向编号为j的子图中横坐标为x的所有点的权重、表示水平方向编号为i+1、垂直方向编号为j的子图中横坐标为x的所有点的权重；则重叠区域各位置的最终地貌变化检测结果为：；y表示坐标系中的纵坐标；表示水平方向编号为i、垂直方向编号为j的子图在坐标点处的语义变化；表示水平方向编号为i+1、垂直方向编号为j的子图在坐标点处的语义变化。
[0009]
进一步地，步骤s4中，得到地貌图像的地貌变化检测结果后，通过形态学膨胀和腐蚀操作消除地貌变化检测结果上的空洞和不连通区域。
[0010]
与现有技术相比，本发明的有益技术效果是：本发明采用将航拍地貌图像分块后再进行分割，并对分割结果进行综合的策略来实现地貌检测，能够有效降低推理过程中算法需要的显存，提升算法处理效率。
附图说明
[0011]
图1为地貌图像的分割示意图；图2为地貌图像子图的重合区域的结果融合示意图。
具体实施方式
[0012]
下面结合附图对本发明的一种优选实施方式作详细的说明。
[0013]
针对现有土地资源监测技术的局限性，本发明提出一种基于无人机航拍影像的国土地貌变化快速发现方法，可以快速发现地貌的变化；具体包括以下步骤：s1：利用无人机机载成像设备定期地采集一系列同一地点的地貌图像，本实施例中同一地点具有同一gps经纬度，并根据以下步骤构建数据集：s11：对获取的地貌图像利用农田、灌木丛、道路、村庄、空地等五种标签进行像素级标注。
[0014]
s12：在同一gps经纬度不同时刻获取的地貌图像中，每次随机选择两张出来，构成一系列的地貌图像对，并利用农田、灌木丛、道路、村庄和空地等标签手工标记地貌图像对中两个地貌图像的语义变化。
[0015]
s13：对这些地貌图像对进行的预处理操作，包括旋转、加噪声、直方图均衡化和亮度增强等。
[0016]
s2：利用多任务学习框架，搭建基于神经网络的地貌变化检测模型，进行地貌变化检测；具体包括以下步骤：
s21：地貌变化检测模型的输入为步骤s12中获取的同一位置不同时刻采集到的地貌图像对，输出为两个地貌图像的语义变化。
[0017]
s22：地貌变化检测模型主体部分利用全卷积网络进行语义分割，并计算地貌图像对中两个地貌图像语义分割结果的差值，即语义变化；具体如下：用来语义分割的全卷积网络包括基础主干网络、全卷积层、转置卷积和跳连接四个部分。
[0018]
其中，基础主干网络选用去除全连接层后的resnet-19网络，用以提取地貌图像中的关键信息。
[0019]
全卷积层包括四层，每个全卷积层包括一个卷积层和一个最大池化层，将基础主干网络的输出的宽和高降低为原来的1/2、1/4、1/8和1/16，每个卷积层卷积核的数目和待分割语义类别的数目相同，卷积核大小为3
×
3。
[0020]
四个转置卷积分别以全卷积层的输出为输入，将全卷积层的输出的宽和高放大到为原来的2倍，每个转置卷积中卷积核的数目和待分割语义类别的数目相同。
[0021]
跳连接用来融合网络浅层和深层的信息，假设四个全卷积层的输出分别为，四个转置卷积的输出和输入分别为和，那么跳连接完成如下功能：。
[0022]
两个地貌图像经过全卷积网络后，可以得到语义分割结果。为了计算两个地貌图像语义分割结果的差异，将两个语义分割结果和分别分割成的块，两个地貌图像语义分割结构的语义差异r计算如下：；n的大小根据原始地貌图像尺寸进行取值，；其中h和w分别为输入地貌变化检测模型的地貌图像的高和宽，取值皆为512。
[0023]
s3：地貌变化检测模型在多任务学习框架内进行训练，具体步骤如下：s31：综合单个地貌图像的语义分割任务和地貌图像对的语义变化任务，整个地貌变化检测模型的在一个地貌图像中下的损失函数定义为：；其中，为交叉熵损失函数，softmax为归一化指数函数，为第k个地貌图像的像素级语义标注的结果；为平衡两个任务损失的权重参数，取值为0.9。
[0024]
s32：将步骤一中构建的数据集中的地貌图像对，按照8:2的比例分成训练集和测试集，利用adam算法对地貌变化检测模型在训练集上进行训练，学习速率设置为0.001，并每100代，学习率衰减为原来的10%。当损失函数值基本不变时候，训练结束。将训练好的地貌变化检测模型在测试集上进行测试，并进行地貌变化检测模型的性能评估。
[0025]
s4，推理阶段：考虑到无人机机载成像设备分辨率较高，直接将地貌图像缩放到既定尺寸会大大降低地貌变化检测模型的准确率。因此，本发明将地貌图像分割成若干子图，
如图1所示，经过地貌变化检测模型后，将各个子图的结果拼接起来，构成最终的检测结果。具体步骤如下：s41：将无人机在同一地点、不同时刻采集到的地貌图像对通过有重叠采样的方式，分割成带重叠区域的大小的子图（h=w=512），两子图重叠区域在水平和垂直方向上的尺寸皆为o=64；s42：将分割后的同一地点、不同时刻采集到的子图对输入至训练好的地貌变化检测模型，得到语义分割结果的语义变化。
[0026]
s43：将不同子图上的语义分割结果的语义变化进行综合，得到整个地貌图像上的地貌变化检测结果。
[0027]
其中，每个子图上，与其他子图没有重叠的区域，直接采用该没有重叠的区域的输出结果作为最终检测结果。
[0028]
每个子图上，与其他子图的重叠区域，采用线性差值的方法得到重叠区域的最终检测结果。具体包括：如图2所示，以两个子图的重叠区域的左下角为原点，以地貌图像的水平方向和垂直方向分别为x、y轴，建立坐标系，定义权重函数，用来表示两幅子图里面任意重叠区域位置上检测结果的权重：，；其中表示坐标系中的横坐标；i表示地貌图像中子图在水平方向的编号；j表示地貌图像中子图在垂直方向的编号；表示水平方向编号为i、垂直方向编号为j的子图中横坐标为x的所有点的权重、表示水平方向编号为i+1、垂直方向编号为j的子图中横坐标为x的所有点的权重。
[0029]
则对于重叠区域，融合后的检测结果可以通过下式计算：；y表示坐标系中的纵坐标；表示水平方向编号为i、垂直方向编号为j的子图在坐标点处的语义变化；表示水平方向编号为i+1、垂直方向编号为j的子图在坐标点处的语义变化。
[0030]
对于垂直方向的融合，计算方式和水平方向类似。对于四个子图重叠区域，则先按水平方向融合的方式进行计算，再将结果按照垂直方向融合的方式进行计算。
[0031]
s44，经过步骤s43后，已经得到了整张地貌图像的地貌变化检测结果。s43步骤虽然能够提高整体的预测准确率，但是也会在一些微小的不连通区域上产生误判。为此，本发明最后通过后处理的方式对这些区域进行矫正。具体做法是通过地貌图像处理中的形态学膨胀和腐蚀操作，消除地貌变化检测结果上的细小空洞和不连通区域。在具体实施时，膨胀和腐蚀操作的结构元内核设置为边长为10像素的正方形。
[0032]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权
利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0033]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：
1.一种基于无人机航拍影像的国土地貌变化快速发现方法，通过完成训练的地貌变化检测模型实现地貌变化检测；地貌变化检测模型的训练方法包括以下步骤：s1：利用无人机机载成像设备定期地采集同一地点不同时刻的地貌图像，对地貌图像进行标注和预处理；s2：利用多任务学习框架，搭建基于神经网络的地貌变化检测模型，进行地貌变化检测：地貌变化检测模型的输入为同一地点两个不同时刻的地貌图像组成的地貌图像对、输出为地貌图像对中两个地貌图像的语义变化；地貌变化检测模型利用全卷积网络对地貌图像对中两个地貌图像进行语义分割，并计算两个地貌图像的语义分割结果和的语义变化r；所述全卷积网络包括基础主干网络、全卷积层、转置卷积和跳连接；所述基础主干网络用于提取地貌图像中的关键信息，选用去除全连接层后的resnet-19网络；全卷积层有四个，每个全卷积层包括一个卷积层和一个最大池化层，四个全卷积层依次将基础主干网络的输出的宽和高降低为原来的1/2、1/4、1/8和1/16，每个卷积层中卷积核的数量与待分割语义类别的数量相同；转置卷积有四个，分别以四个全卷积层的输出作为输入，将全卷积层的输出的宽和高放大至原来的两倍，每个转置卷积中卷积核的数量与待分割语义类别的数量相同；四个全卷积层的输出分别为，四个转置卷积的输出分别为、输入分别为，则跳连接完成如下功能：；将两个地貌图像的语义分割结果和均分割成的块，则语义变化r为：；其中，，其中h和w分别为输入至地貌变化检测模型中的地貌图像的高和宽；表示语义分割结果中的第n个块，表示语义分割结果中的第n个块；s3：地貌变化检测模型在多任务学习框架内进行训练，综合单个地貌图像的语义分割任务和地貌图像对的语义变化任务，设置地貌变化检测模型的损失函数：；其中，为交叉熵损失函数，softmax为归一化指数函数，为第个地貌图像的像素级语义标注的结果，为权重参数；s4：在推理阶段，对无人机机载成像设备采集到的地貌图像对进行分割，得到若干子图，将同一地点、不同时刻的子图对输入至完成训练的地貌变化检测模型，得到不同子图对的语义变化r，进而得到完整的地貌图像的地貌变化检测结果。
2.根据权利要求1所述的基于无人机航拍影像的国土地貌变化快速发现方法，其特征在于，步骤s1具体包括以下步骤：s11：对于获取的地貌图像，利用农田、灌木丛、道路、村庄、空地共五种标签进行像素级标注；s12：在同一地点、不同时刻获取的地貌图像中，每次随机选择两张构成地貌图像对，并利用农田、灌木丛、道路、村庄、空地共五种标签手工标记地貌图像对中两个地貌图像的语义变化；s13：对地貌图像对进行的预处理操作，包括旋转、加噪声、直方图均衡化和亮度增强。3.根据权利要求1所述的基于无人机航拍影像的国土地貌变化快速发现方法，其特征在于，步骤s4具体包括以下步骤：s41：将无人机机载成像设备在同一地点、不同时刻采集到的地貌图像对通过有重叠采样的方式，分割成带重叠区域的大小的子图；水平方向上和垂直方向上两个相邻子图的重叠区域的尺寸均为o；s42：将分割后的同一地点、不同时刻采集到的子图对的输入训练好的地貌变化检测模型，得到的语义变化r；s43：将不同子图对的语义变化r进行综合，得到整个地貌图像上的地貌变化检测结果；其中，每个子图上的与其他子图没有重叠的区域，直接采用没有重叠区域的地貌变化检测结果作为最终地貌变化检测结果；每个子图上与其他子图的重叠区域，采用线性差值的方法得到重叠区域的最终地貌变化检测结果。4.根据权利要求3所述的基于无人机航拍影像的国土地貌变化快速发现方法，其特征在于，步骤s43中，采用线性差值的方法得到重叠区域的最终地貌变化检测结果时，以两个相邻子图的重叠区域的左下角为原点，建立坐标系，定义如下的权重函数，用来表示两幅子图里面任意位置上结果的权重：，；其中表示坐标系中的横坐标；i表示地貌图像中子图在水平方向的编号；j表示地貌图像中子图在垂直方向的编号；表示水平方向编号为i、垂直方向编号为j的子图中横坐标为x的所有点的权重、表示水平方向编号为i+1、垂直方向编号为j的子图中横坐标为x的所有点的权重；则重叠区域各位置的最终地貌变化检测结果为：；y表示坐标系中的纵坐标；表示水平方向编号为i、垂直方向编号为j的子图在坐标点处的语义变化；表示水平方向编号为i+1、垂直方向编号为j的子图在坐标点处的语义变化。5.根据权利要求1所述的基于无人机航拍影像的国土地貌变化快速发现方法，其特征
在于，步骤s4中，得到地貌图像的地貌变化检测结果后，通过形态学膨胀和腐蚀操作消除地貌变化检测结果上的空洞和不连通区域。

技术总结
本发明涉及地貌变化检测技术领域，公开了一种基于无人机航拍影像的国土地貌变化快速发现方法，地貌变化检测模型的训练方法包括：利用无人机机载成像设备定期地采集同一地点不同时刻的地貌图像；搭建基于神经网络的地貌变化检测模型，进行地貌变化检测；地貌变化检测模型在多任务学习框架内进行训练，设置地貌变化检测模型的损失函数；在推理阶段，对无人机机载成像设备采集到的地貌图像对进行分割，得到若干子图，将同一地点、不同时刻的子图对输入至完成训练的地貌变化检测模型，得到不同子图对的语义变化，进而得到完整的地貌图像的地貌变化检测结果；本发明利用无人机机载设备采集图像，不受云层、道路条件限制，能够实现常态化全天候作业。态化全天候作业。态化全天候作业。


技术研发人员：刘学亮 步超飞 赵烨 洪日昌 汪萌
受保护的技术使用者：合肥工业大学
技术研发日：2023.06.12
技术公布日：2023/7/22