基于注意力机制与轻量级全卷积网络的农业大棚提取方法与流程

1.本发明涉及遥感信息与图像处理技术领域，具体涉及一种基于注意力机制与轻量级全卷积网络的农业大棚提取方法。


背景技术：

2.农业大棚是现阶段农业活动中常见的设施，大棚以可以保护农作物、非常显著的提高作物产量的两大显著优势迅速被广泛使用。大棚主要种植各种经济作物，及时了解大棚的数量、分布可以从侧面估计农业活动产生的经济效益；另一方面，农业大多使用塑料大棚，而目前大多数塑料是不可降解的，处理不当会对环境造成污染。因此，绘制大棚对农业政策、土地生态环境的保护与农业的可持续发展有着重要的意义。
3.随着商业无人机的发展，目前已经能够以较低的成本使用小型多旋翼无人机或固定翼无人机灵活获取目标区域的高分辨率影像。但在数据获取方式多样化的今天，对数据中的信息，尤其是遥感图像中的大部分感兴趣信息的自动化提取尚不能满足实际需求。目前针对农业大棚的提取可以以其方法分为三大类：1、人工目视解译；2、传统机器学习的方法；3、基于全卷积神经网络的方法。
4.1、人工目视解译
5.人工目视解译方法即使用人在获得的影像上确定并勾画大棚的区域，通常来讲，该方法可以取得最佳的效果，但是该方法具有耗时大的显著缺点，如果使用该方法则整个任务周期时常将显著增加，不能满足即飞即检的需求。
6.2、传统机器学习的方法
7.传统机器学习方法可以分为两大类，一类是无监督提取方法，该方法以多光谱指数计算方法为主，其缺点为需要多光谱的数据，结果也只是定性反应大棚分布；另一类是监督学习的方法，该方法需要“特征工程”设计用于分类的特征，总的来说，传统机器学习的方法因其固有的特性而存在精度有限、环境鲁棒性不强的问题，不满足大面积快速高精度提取的实际需求从而使得应用受限。
8.3、基于深度卷积神经网络的方法
9.计算机视觉的发展带动了人工智能在遥感解译中的应用，由计算机视觉领域提出的深度学习方法在图像识别上展现出了巨大的潜力。目前利用深度学习中的全卷积网络可以以完全满足实际需求的精度提取大棚。但全卷积网络有一个难以克服的问题
‑‑
精度、速度、所需计算资源的平衡，如果使用经典的、效果好的模型意味着需要很大的计算资源同时有着较慢的模型训练与模型推理提取速度，如果使用参数量少的网络则会使得精度较大模型有很大将降低提取效果可能不能满足实际的需求。


技术实现要素：

10.本发明的目的是针对上述问题，提供基于注意力机制与轻量级全卷积网络的农业大棚提取方法。
11.为达到上述目的，本发明采用了下列技术方案：本基于注意力机制与轻量级全卷积网络的农业大棚提取方法，本方法包括以下步骤：
12.s1、目标区域的影像数据获取并进行数据预处理；
13.s2、制作目标区域的二分类大棚样本；
14.s3、构建大棚识别模型；
15.s4、使用大棚样本对构建的大棚识别模型进行训练；
16.s5、使用训练后的模型对目标区域内的影像进行大棚的提取。
17.本方法的模型可快速被训练，在推理时对计算资源的要求低，该模型能满足快速、准确提取大面积影像中大棚区域的需求，解决了常用全卷积神经网络方法下提取精度、速度不平衡，对计算资源需求过大的问题。该发明操作步骤明确可重复，利用该方法可快速得到大棚的面积及区域，及时完成信息的提取。
18.在上述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法中，在步骤s1中，目标区域的影像通过无人机进行获取，数据预处理步骤依次分为拼接、镶嵌、匀色、正射校正、影像裁剪，通过上述步骤获得目标区域完整的高分辨率无人机影像，其影像格式为tiff。
19.在上述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法中，步骤s2具体分为以下步骤：
20.s21、将选择作为样本的目标区域的影像进行裁剪，然后在裁剪的影像上勾画出大棚区域并生成大棚区域的面矢量文件，最终制作出与选择的无人机影像中的区域的像素完全对应的标签图；
21.s22、对勾画出的大棚面矢量栅格化，生成与裁剪区域逐像素对应的栅格文件，并根据标注结果，在栅格文件中将大棚区域标记为1，非大棚区域标记为0；
22.s23、对无人机影像及其标注生成的栅格文件裁剪成相互对应的小块，小块尺寸大小为512*512像素，最后对生成的小块进行增强处理以生成最终的样本；
23.其中，增强处理包括：多尺度缩放、随机旋转、垂直/水平翻转、高斯模糊、随机高斯噪声。
24.在上述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法中，步骤s3具体分为以下步骤：
25.s31、采用两层步距为2、大小为3*3的2d卷积，每个卷积层后面搭配batch normal izat ion层和relu激活函数。经过这两个卷积层后，将输入尺寸大小为512*512的图像降采样到尺寸为128*128的大小，将输入的三个通道即红、绿、蓝扩展到24个通道中，这两个卷积两层结构起降低分辨率以降低需要计算的图像的大小，同时抽取信息扩展到多个通道中。
26.s32、使用残差结构、深度可分离卷积、分组卷积、1x1卷积、膨胀卷积构建特征编码模块,以提取不同的尺度、不同语义层级的信息；
27.s33、使用普通2d卷积、1x1卷积和线性插值上采样方法构建解码器模块，利用该解码器模块对不同尺度下的特征逐层解码；
28.s34、使用自注意力构建类别注意力模块，该类别注意力模块有两个输出分支，一个是主分支，输出预测结果，一个是辅助分支，仅用于辅助训练，不作为推理是的预测结果，将特征图解码到原图大小时，接入类别注意力模块以完成上下文信息聚合。
29.在上述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法中，在步骤s32中，使用三个shift block和conv block构建特征编码器，并将通过两层卷积4倍降采样后得到的特征图送入该特征编码模块得到不同尺度下的特征图，shift block由卷积层+激活函数层+卷积层+卷积层+激活函数层构成，conv block由带残差连接的shift block构成，即在shift block的输入位置和shift block的倒数第一、第二层之间加入连接，以相加融合。
30.在上述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法中，在步骤s33中，使用普通2d卷积、1x 1卷积和线性插值上采样方法构建解码器模块，解码器模块对获取的不同尺度的无人机影像特征图采用逐层解码的方式将特征图大小解码至原图大小，即对bas ic conv3、conv block1、bas ic conv2的结果逐层解码，得到通道数为2、四倍下采样的特征图，其中bas ic conv由卷积层+归一化层+激活函数构成。
31.在上述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法中，膨胀卷积使用膨胀率为[1，2，5]的膨胀卷积、平均池化方法、1*1卷积构建全局信息抽取模块，该模块对输出结果使用不同的卷积方式计算不同尺度下的结果然后将计算结果叠加输出，对输出结果再进行1*1卷积以完成抽取的信息的汇聚。
[0032]
在上述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法中，在步骤s34中，将得到的四倍下采样的特征图以四倍率上采样，并送入类别注意力模块，在该类别注意力模块中首先使用输入的特征图利用两个分支的卷积生成辅助分支与query、key、value，其中，将query与key相乘得到权重，然后将得到的权重与value相乘得到特征图注意力的计算结果，最后将特征图注意力结果与生成query的特征图叠加并送入最后两层卷积得到主分支输出结果即预测结果。
[0033]
在上述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法中，在步骤s4中，大棚识别模型进行训练具体包括以下步骤：
[0034]
s41、批量输入成对的影像与标签；
[0035]
s42、经过网络计算后，在网络最后输出两个结果，一个是主分支预测结果，一个是用于辅助训练的辅助分支输出，对这两个输出结果首先使用softmax方法分别进行通道上的归一化。然后将归一化后的结果与标签图像分别进行损失函数值的计算，即进行误差的计算，并利用反向传播与梯度下降方法更新每个参数的权重。
[0036]
在上述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法中，使用的损失函数是交叉熵损失函数，公式为：
[0037][0038]
其中，n为每张影像像素数量，p(x)为对应像素点i的真实类别分布，q(x)为对应像素点i的预测类别分布。
[0039]
与现有的技术相比，本发明的优点在于：本方法使用了一系列参数量较小的计算单元提取特征，加入了膨胀卷积以增加了上下文信息的抽取能力，采用了编码-解码结构以聚合不同尺度、不同层级的信息，并在解码时加入了类别注意力，进一步聚合特征图的上下文信息，该方法有着媲美经典全卷积网络精度的同时显著降低了计算量，解决了全卷积网
络提取大棚时的效率、精度与可靠性的平衡问题。
附图说明
[0040]
图1为本发明的流程图；
[0041]
图2为本发明中的大棚提取模型示意图；
[0042]
图3为本发明大棚提取模型中三种基本模块的示意图；
[0043]
图4为本发明类别注意力模块的示意图；
具体实施方式
[0044]
下面结合附图和具体实施方式对本发明做进一步详细的说明。
[0045]
如图1所示，本基于注意力机制与轻量级全卷积网络的农业大棚提取方法，本方法包括以下步骤：
[0046]
s1、目标区域的影像数据获取并进行数据预处理；
[0047]
s2、制作目标区域的二分类大棚样本；
[0048]
s3、构建大棚识别模型；
[0049]
s4、使用大棚样本对构建的大棚识别模型进行训练；
[0050]
s5、使用训练后的模型对目标区域内的影像进行大棚的提取。
[0051]
本方法用于对无人机影像中的大棚进行高效、精确地提取，该方法克服了目前常用方法的各种缺点，推理时所需的算力很低，推理速度快、推理结果精度高。
[0052]
在步骤s1中，目标区域的影像通过无人机进行获取，数据预处理步骤依次分为拼接、镶嵌、匀色、正射校正、影像裁剪，通过上述步骤获得目标区域完整的高分辨率无人机影像，其影像格式为tiff。
[0053]
其中，步骤s2具体分为以下步骤：
[0054]
s21、将选择作为样本的目标区域的影像进行裁剪，然后在裁剪的影像上勾画出大棚区域并生成大棚区域的面矢量文件，最终制作出与选择的无人机影像中的区域的像素完全对应的标签图；
[0055]
s22、对勾画出的大棚面矢量栅格化，生成与裁剪区域逐像素对应的栅格文件，并根据标注结果，在栅格文件中将大棚区域标记为1，非大棚区域标记为0；
[0056]
s23、对无人机影像及其标注生成的栅格文件裁剪成相互对应的小块，小块的尺寸大小为512*512像素，最后对生成的小块进行增强处理以生成最终的样本；
[0057]
其中，增强处理包括：多尺度缩放、随机旋转、垂直/水平翻转、高斯模糊、随机高斯噪声。
[0058]
步骤s2利用获得并处理后的影像制作目标区域的大棚样本。
[0059]
如图2所示，步骤s3具体分为以下步骤：
[0060]
s31、采用两层步距为2、大小为3*3的2d卷积，每个卷积层后面搭配batch normalizat ion层和relu激活函数。经过这两个卷积层后，将输入尺寸大小为512*512的图像降采样到尺寸为128*128的大小，将输入的三个通道即红、绿、蓝扩展到24个通道中，这两个卷积两层结构起降低分辨率以降低需要计算的图像的大小，同时抽取信息扩展到多个通道中。
[0061]
s32、使用残差结构、深度可分离卷积、分组卷积、1x1卷积、膨胀卷积构建特征编码模块,以提取不同的尺度、不同语义层级的信息；其中各层参数由表1所示；
[0062][0063]
表1
[0064]
s33、使用普通2d卷积、1x1卷积和线性插值上采样方法构建解码器模块，利用该解码器模块对不同尺度下的特征逐层解码；
[0065]
s34、使用自注意力构建类别注意力模块，该类别注意力模块有两个输出分支，一个是主分支，输出预测结果，一个是辅助分支，仅用于辅助训练，不作为推理是的预测结果，将特征图解码到原图大小时，接入类别注意力模块以完成上下文信息聚合。类别注意力模块如图4所示；
[0066]
步骤s3根据样本构建模型，总体上采用全卷积网络方式并在网络最后加入类别注意力模块，类别注意力模块之前的子网络由2d卷积、残差连接、膨胀卷积、1*1卷积、深度可分离卷积、分组卷积等结构构建，网络整体流程如图2所示；
[0067]
在步骤s32中，使用三个shift block和conv block构建特征编码器，并将通过两层卷积4倍降采样后得到的特征图送入该特征编码模块得到不同尺度下的特征图；shift block由卷积层+激活函数层+卷积层+卷积层+激活函数层构成，conv block由带残差连接的shift block构成，即在shift block的输入位置和shift block的倒数第一、第二层之间加入连接，以相加融合。
[0068]
在步骤s33中，使用普通2d卷积、1x1卷积和线性插值上采样方法构建解码器模块，解码器模块对获取的不同尺度的无人机影像特征图采用逐层解码的方式将特征图大小解
码至原图大小，即对bas ic conv3、conv block1、bas ic conv2的结果逐层解码，得到通道数为2、四倍下采样的特征图，其中bas ic conv由卷积层+归一化层+激活函数构成。
[0069]
其中，膨胀卷积使用膨胀率为[1，2，5]的膨胀卷积、平均池化方法、1*1卷积构建全局信息抽取模块，该模块对输出结果使用不同的卷积方式计算不同尺度下的结果然后将计算结果叠加输出，对输出结果再进行1*1卷积以完成抽取的信息的汇聚。
[0070]
全局信息抽取模块由图2中的bas ic conv3、4、5、6、7构成。
[0071]
在步骤s34中，将得到的四倍下采样的特征图以四倍率上采样，并送入类别注意力模块，在该类别注意力模块中首先使用输入的特征图利用两个分支的卷积生成辅助分支与query、key、value，其中，将query与key相乘得到权重，然后将得到的权重与value相乘得到特征图注意力的计算结果，最后将特征图注意力结果与生成query的特征图叠加并送入最后两层卷积得到主分支输出结果即预测结果。
[0072]
在步骤s4中，大棚识别模型进行训练具体包括以下步骤：
[0073]
s41、批量输入成对的影像与标签；
[0074]
s42、经过网络计算后，在网络最后输出两个结果，一个是主分支预测结果，一个是用于辅助训练的辅助分支输出，对这两个输出结果首先使用softmax方法分别进行通道上的归一化，然后将归一化后的结果与标签图像分别进行损失函数值的计算，即进行误差的计算，并利用反向传播与梯度下降方法更新每个参数的权重。
[0075]
其中，使用的损失函数是交叉熵损失函数，公式为：
[0076][0077]
其中，n为每张影像像素数量，p(x)为对应像素点i的真实类别分布，q(x)为对应像素点i的预测类别分布。
[0078]
模型训练使用交叉熵损失函数，采用反向传播与梯度下降方法更新网络参数以训练模型。
[0079]
步骤s5具体包括一下步骤：
[0080]
s51、将待提取的目标区域处理好的无人机影像数据裁剪并编号；
[0081]
s52、将裁剪好的影像输入至网络中，得到识别结果并按照与输入编号对应的名称命名并保存；
[0082]
s53、将区域预测的结果按照裁剪的编号重新拼接得到目标区域大棚的提取结果。
[0083]
综上所述，本实施例的原理在于：使用了一系列参数量较小的计算单元提取目标区域内的大棚特征，加入了膨胀卷积以增加了上下文信息的抽取能力，采用了编码-解码结构以聚合不同尺度、不同层级的信息，并在解码时加入了类别注意力，进一步聚合特征图的上下文信息，该方法有着媲美经典全卷积网络精度的同时显著降低了计算量，解决了全卷积网络提取大棚时的效率、精度与可靠性的平衡问题。
[0084]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

技术特征：
1.一种基于注意力机制与轻量级全卷积网络的农业大棚提取方法，其特征在于，本方法包括以下步骤：s1、目标区域的光学影像数据获取并进行数据预处理；s2、制作目标区域的二分类大棚样本；s3、构建大棚识别模型；s4、使用大棚样本对构建的大棚识别模型进行训练；s5、使用训练后的模型对目标区域内的大棚影像进行提取。2.根据权利要求1所述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法，其特征在于，在步骤s1中，所述的目标区域的影像通过无人机进行获取，所述的数据预处理步骤依次分为拼接、镶嵌、匀色、正射校正、影像裁剪，通过上述步骤获得目标区域完整的高分辨率无人机影像，其影像格式为tiff。3.根据权利要求1所述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法，其特征在于，步骤s2具体分为以下步骤：s21、将选择作为样本的目标区域的影像进行裁剪，然后在裁剪的影像上勾画出大棚区域并生成大棚区域的面矢量文件，最终制作出与选择的无人机影像中的区域的像素完全对应的标签图；s22、对勾画出的大棚面矢量栅格化，生成与裁剪区域逐像素对应的栅格文件，并根据标注结果，在栅格文件中将大棚区域标记为1，非大棚区域标记为0；s23、对无人机影像及其标注生成的栅格文件裁剪成相互对应的小块，小块的尺寸大小为512*512像素，最后对生成的小块进行增强处理以生成最终的样本；其中，增强处理包括：多尺度缩放、随机旋转、垂直/水平翻转、高斯模糊、随机高斯噪声。4.根据权利要求3所述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法，其特征在于，步骤s3具体分为以下步骤：s31、采用两层步距为2、大小为3*3的2d卷积，每个卷积层后面搭配batch normalization层和relu激活函数。经过这两个卷积层后，将输入尺寸大小为512*512的图像降采样到尺寸为128*128的大小，将输入的三个通道即红、绿、蓝扩展到24个通道中，这两个卷积两层结构起降低分辨率以降低需要计算的图像的大小，同时抽取信息扩展到多个通道中。s32、使用残差结构、深度可分离卷积、分组卷积、1x1卷积、膨胀卷积构建特征编码模块,以提取不同的尺度、不同语义层级的信息；s33、使用普通2d卷积、1x1卷积和线性插值上采样方法构建解码器模块，利用该解码器模块对不同尺度下的特征逐层解码；s34、使用自注意力构建类别注意力模块，该类别注意力模块有两个输出分支，一个是主分支，输出预测结果，一个是辅助分支，仅用于辅助训练，不作为推理时的预测结果，将特征图解码到原图大小时，接入类别注意力模块以完成上下文信息聚合。5.根据权利要求4所述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法，其特征在于，在步骤s32中，使用三个shift block和conv block构建特征编码器，并将通过两层卷积4倍降采样后得到的特征图送入该特征编码模块得到不同尺度下的特征图；其中
shift block由卷积层+激活函数层+卷积层+卷积层+激活函数层构成，conv block由带残差连接的shift block构成，即在shift block的输入位置和shift block的倒数第一、第二层之间加入连接，以相加融合。6.根据权利要求5所述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法，其特征在于，在步骤s33中，使用普通2d卷积、1x1卷积和线性插值上采样方法构建解码器模块，解码器模块对获取的不同尺度的无人机影像特征图采用逐层解码的方式将特征图大小解码至原图大小，即对basic conv3、conv block1、basic conv2的结果逐层解码，得到通道数为2、四倍下采样的特征图，其中basic conv由卷积层+归一化层+激活函数构成。7.根据权利要求3所述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法，其特征在于，所述的膨胀卷积使用膨胀率为[1，2，5]的膨胀卷积、平均池化方法、1*1卷积构建全局信息抽取模块，该模块对输出结果使用不同的卷积方式计算不同尺度下的结果然后将计算结果叠加输出，对输出结果再进行1*1卷积以完成抽取的信息的汇聚。8.根据权利要求1所述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法，其特征在于，在步骤s34中，将得到的四倍下采样的特征图以四倍率上采样，并送入类别注意力模块，在该类别注意力模块中首先使用输入的特征图利用两个分支的卷积生成辅助分支与query、key、value，其中，将query与key相乘得到权重，然后将得到的权重与value相乘得到特征图注意力的计算结果，最后将特征图注意力结果与生成query的特征图叠加并送入最后两层卷积得到主分支输出结果即预测结果。9.根据权利要求1所述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法，其特征在于，在步骤s4中，大棚识别模型进行训练具体包括以下步骤：s41、批量输入成对的影像与标签；s42、经过网络计算后，在网络最后输出两个结果，一个是主分支预测结果，一个是用于辅助训练的辅助分支输出，对这两个输出结果首先使用softmax方法分别进行通道上的归一化，然后将归一化后的结果与标签图像分别进行损失函数值的计算，即进行误差的计算，并利用反向传播与梯度下降方法更新每个参数的权重；其中，使用的损失函数是交叉熵损失函数，公式为：其中，n为每张影像像素数量，p(x)为对应像素点i的真实类别分布，q(x)为对应像素点i的预测类别分布。10.根据权利要求1所述的基于注意力机制与轻量级全卷积网络的农业大棚提取方法，其特征在于，步骤s5具体包括一下步骤：s51、将待提取的目标区域处理好的无人机影像数据裁剪并编号；s52、将裁剪好的影像输入至网络中，得到识别结果并按照与输入编号对应的名称命名并保存；s53、将区域预测的结果按照裁剪的编号重新拼接得到目标区域大棚的提取结果。

技术总结
本发明涉及一种基于注意力机制与轻量级全卷积网络的农业大棚提取方法。它解决了现有技术中农业大棚的提取速度慢、提取效率低的问题。它包括S1、目标区域的影像数据获取并进行数据预处理；S2、制作目标区域的二分类大棚样本；S3、构建大棚识别模型；S4、使用大棚样本对构建的大棚识别模型进行训练；S5、使用训练后的模型对目标区域内的影像进行大棚的提取。本发明的优点在于：提取速度快，提取精度高，解决了常用全卷积神经网络方法下提取精度、速度不平衡，对计算资源需求过大的问题。对计算资源需求过大的问题。对计算资源需求过大的问题。


技术研发人员：万昊明 唐攀攀 赵博 张磊 周敏 廖佳纯 罗小燕
受保护的技术使用者：南湖实验室
技术研发日：2023.03.17
技术公布日：2023/7/7