一种基于金字塔注意力机制的小样本虫害检测方法

1.本发明涉及农业智能化和目标检测技术领域，具体为一种基于金字塔注意力机制的小样本虫害检测方法。


背景技术：

2.当前在农业虫害检测中，单纯依靠人工观测和经验辨识难以达到预期的防治效果。目标检测算法可自动检测田间和大田中的害虫，实现对害虫的监测。faster r-cnn作为基本的检测框架，缺乏针对数据稀缺场景的定制考虑。但当前大多数小样本模型的参数可能会导致数据分布的严重偏移和新数据的利用率不高。faster r-cnn通过共享主干网络(backbone)在类不可知的提取候选框的网络(region proposal network,rpn)和类相关的rcnn之间执行端到端联合优化时，其性能难以满足应用需求。尤其是面对农业领域的特殊性以及各类害虫生活习性差异较大的情况下，图像采集难度较大，因此农业害虫领域公开的图像数据集非常稀少，该问题导致数据不足进而使模型运行效果更差。
3.基于此decoupled faster r-cnn(defrcn)扩展了faster r-cnn，引入用于多级解耦的梯度解耦层(gradient decoupled layer，gdl)和用于多任务解耦的原型校准模块(prototypical calibration block，pcb)。但defrcn模型在处理数据不足的虫害图像集时，存在难以有效获取和利用不同尺度的特征图的空间信息和只捕获局部有效信息，难以建立长期依赖关系的问题，大大降低了模型的检测性能。


技术实现要素：

4.针对现有技术存在的不足，本发明目的是提供一种基于金字塔注意力机制的小样本虫害检测方法，以解决上述背景技术中提出的问题，本发明将多尺度通道注意力机制加入到提取特征的主干网络中，以此来提升模型关注虫害图像特征的能力，有效提升农业场景中对于小样本虫害识别的准确性和效率。
5.为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于金字塔注意力机制的小样本虫害检测方法，包括以下步骤：
6.(1)农业虫害图像数据集制作与处理，该过程通过实地拍摄采集或者通过网络爬虫技术等多种方法收集农业虫害图像；
7.(2)构建e-defrcn模型，所述e-defrcn模型包括一个主干网络、两个梯度解耦层和一个离线的原型校准模块；
8.(3)设置主干网络为epsa模块，该过程中将resnet残差块中3
×
3卷积对应的位置替换为psa模块，输入图像经过输入层，进入卷积核为1*1的卷积层，输出进入psa模块；psa模块在senet模块的基础上提出多尺度特征图提取策略，具体可分为以下四个步骤：一、经过split and concat(spc)模块；二、利用seweight提取不同尺度特征图的通道注意力，得到每个不同尺度上的通道注意力向量；三、建立长期的通道注意力依赖，实现多尺度通道注意力之间的信息交互。进一步利用softmax对通道注意力信息进行权值重标定；四、对重新
校准的权重和相应的特征图按元素进行点乘操作，输出得到一个多尺度特征信息注意力加权之后的特征图；
9.(4)设置gdl模块，所述gdl模块分别插入在共享主干网络和与rpn之间和主干网络与r-cnn之间；
10.(5)设置pcb模块，所述pcb模块与边框分类器并行，用于进一步的分类器预测分数校准；
11.(6)完成模型训练，利用模型预测模块对测试集中的虫害图像进行预测效果对比分析，获取最优检测模型。
12.本发明中，所述步骤(1)中，农业虫害图像数据集制作与处理包括手动筛选图像、对图像进行分类、数据扩充和划分数据集。
13.本发明中，所述手动筛选图像过程中，对经过上述方法筛选后的数据集进行手动筛选，去除极度形变、背景杂波严重等不符合虫害要求的图像。
14.优选的，对图像进行分类，分类过程中将虫害的形状及颜色等特征作为依据对筛选后的图像进行分类，并形成原始数据集a；所述数据扩充过程，通过传统的镜像、旋转、缩放、调整亮度、对比度、高斯噪声等方式对原始数据集a进行数据扩充，并形成初始数据集b；所述划分数据集过程中，将初始数据集b按照7:2:1的比例进行划分，分别为训练集、验证集和测试集。
15.本发明中，所述步骤(3)中，通过spc模块对通道进行切分，然后针对每个通道特征图上的空间信息进行多尺度特征提取；针对划分出来的每个通道特征图，采用多尺度卷积的方式提取不同尺度特征图的空间信息，运用多尺度卷积核分组卷积降低参数量。与此同时，使用根据卷积核的大小来自适应选择组大小的策略，所述步骤(4)中，通过gdl模块对前向特征映射时使用可学习的仿射变换，同时将后向梯度与一个常数相乘，有效解耦前项和后项模块。
16.本发明中，所述gdl模块在前向传播过程中，gdl模块使用仿射变换层a，该层由可学习的通道权重w和偏差b参数化，增强特征表示并执行前向解耦；所述gdl模块在反向传播过程中，gdl模块从后续层获取梯度，与常数λ相乘并反向传递给前一层。
17.本发明中，所述步骤(5)的pcb模块拥有一个经过良好训练的分类模型(例如imagenet数据集预训练)和一组新的支持原型，并将来自小样本目标检测器的区域建议作为输入，使用额外的基于原型的成对分数提升原始逻辑回归(softmax)分数。
18.本发明中，所述pcb模块由来自imagenet预训练模型的强分类器、感兴趣区域对齐层(roi align)和原型库组成所述pcb模块可以即插即用，并能够装备到任何其他架构中构建更强的小样本检测器；所述步骤(6)中，使用precision-recall曲线、ap(检测精度)、map(ap值在所有类别下的均值)评价模型精度，
19.优选的，并利用模型预测模块对测试集中的虫害图像进行预测效果对比分析，获取最优检测模型。
20.本发明的有益效果：
21.1.该基于金字塔注意力机制的小样本虫害检测方法在实施过程中轻量且高效的psa注意力模块替换掉resnet网络中的3x3卷积得到epsa模块，将其作为小样本模型defrcn中新的主干网络，为小样本目标检测模型提供强有力的多尺度特征表示能力。
22.2.该基于金字塔注意力机制的小样本虫害检测方法可以更大限度地提取有限数量中害虫图像数据的特征，从不同尺度分析融合害虫图像特点，有效提高模型对农业虫害检测的准确性。同时，epsa模块作为主干网络可减轻小样本农业害虫检测模型defrcn大小，提升网络模型训练速度。
附图说明
23.图1为本发明检测方法中e-defrcn模型整体流程图；
24.图2为本发明中psa模块图；
25.图3为本发明检测方法中epsa模块图；
26.图4为本发明的梯度解耦层结构图；
27.图5为本发明中spc模块图；
28.图6为本发明检测方法中的原型校准模块结构图。
具体实施方式
29.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
30.请参阅图1至图6，本发明提供一种技术方案：一种基于金字塔注意力机制的小样本虫害检测方法将多尺度通道注意力机制加入到提取特征的主干网络中，以此来提升模型关注虫害图像特征的能力，有效提升农业场景中对于小样本虫害识别的准确性和效率。
31.本实施例包括以下步骤：农业虫害图像数据集制作与处理、构建e-defrcn模型、设置主干网络为epsa模块、设置gdl模块、设置pcb模块、完成模型训练，获取最优检测模型
32.(1)农业虫害图像数据集制作与处理。由于各类害虫生活习性各异，图像采集难度较大，有效数据有限。
33.(1.1)通过实地拍摄采集和网络爬虫等多种方法收集农业虫害图像。设置虫害图像特征成像的阈值，对于像素值低于阈值的图像进行去除。通过机器学习的方法筛选合格图像，删除像素值低，图像虫害特征不明显难以辨别的图像，提高数据质量，提升本发明对农业虫害识别的准确性。
34.(1.2)手动筛选图像，对经过上述方法筛选后的数据集进行手动筛选，去除极度形变、背景杂波严重等不符合虫害要求的图像。
35.(1.3)根据虫害的形状及颜色等特征对筛选后的图像进行分类，形成原始数据集a。
36.(1.4)数据扩充，通过传统的镜像、旋转、缩放、调整亮度、对比度、高斯噪声等方式对原始数据集a进行数据扩充。利用python实现旋转图像角度、缩放原始图像、调节分辨率，添加噪音以改变背景噪音程度，图像平移反转等方法扩充原始数据集。经过扩充后的每类虫害图像在50张左右，共计400张左右。对扩充后的数据集进行均匀混合，形成初始数据集b。
37.(1.5)划分数据集，将初始数据集b按照7:2:1的比例进行划分，分别为训练集、验证集和测试集。
38.(2)构建e-defrcn模型，e-defrcn模型整体流程图如附图1所示，e-defrcn模型包
括一个主干网络、两个梯度解耦层和一个离线的原型校准模块。本发明主要应用金字塔分割注意力模块(pyramid split attention,psa)，将psa注意力模块替换resnet网络瓶颈层(bottleneck)中的3x3卷积得到高效金字塔注意力分割模块(efficient pyramid split attention,epsa)，成为defrcn新的主干网络。在e-defrcn模型中，主干网络的作用是进行图像特征信息提取，gdl是解耦其后继层和前一层的深层运算，pcb是基于原型(prototype)的离线分类模型，以检测器的建议框(proposals)作为输入，通过额外的成对评分来提高原始分类评分进行校正。整体改进实现模型在小样本虫害学习情况下具有更高的分类准确率，并且提升模型最终训练结果的稳定性。具体包括如下步骤：
39.(3)主干网络为epsa模块，其框架图如附图3所示，将resnet残差块中3
×
3卷积对应的位置替换为psa模块。步骤如下：
40.(3.1)输入图像大小为(h,w,c)，其中h代表图像的高，w代表图像的宽，c代表通道数，输入图像经过输入层，进入卷积核为1*1的卷积层，输出进入psa模块。
41.(3.2)psa模块在senet模块的基础上提出多尺度特征图提取策略，整体结构图如附图3所示。具体可分为如下四个步骤：
42.(3.2.1)经过split and concat(spc)模块。spc模块流程如附图4所示，spc模块是实现多尺度特征提取的关键，利用该模块对通道进行切分，然后针对每个通道特征图上的空间信息进行多尺度特征提取。设输入特征图为x，首先将特征图x拆分为s个部分特征图，每个部分用[x0,x1,
…
,x
s-1
]，被拆分部分的通道数均为被拆分部分特征图xi∈rc′×h×w,i＝0,1,
…
,s-1。
[0043]
针对划分出来的每个通道特征图，本发明采用多尺度卷积的方式提取不同尺度特征图的空间信息，运用多尺度卷积核分组卷积降低参数量。与此同时，使用根据卷积核的大小来自适应选择组大小的策略。其中多尺度核大小和组大小之间的关系式为：其中g表示组大小，k表示卷积核大小。
[0044]
多尺度特征图提取过程如以下公式所示，其中fi表示不同尺度的特征映射，ki表示第i个卷积核的大小，gi表示第i个组的大小，
[0045]fi
＝conv(ki×ki
，gi)(xi)，i＝0，1，2，...，s-1
[0046][0047]
完整的多尺度特征映射可以通过级联的方式获得，多尺度融合后的特征图表示为：
[0048]
f＝cat([f0，f1，...，f
s-1
])
[0049]
其中，f∈rc×h×w表示最终的多尺度特征的输出。
[0050]
(3.2.2)再利用seweight(senet中的模块)提取不同尺度特征图的通道注意力，得到每个不同尺度上的通道注意力向量。运用其以自适应地重新校准通道方面的特征权重，增强农业虫害图像中虫害的突出特征，抑制对农业虫害检测不重要的特征，提高网络性能。
[0051]
在提取多尺度特征图之后，对不同尺度的特征图fi进行通道注意力权重提取，权重提取公式如下：
[0052]
zi＝seweight(fi)，i＝0，1，2，...，s-1
[0053]
zi∈rc′×1×1[0054]
整个多尺度通道注意力权重向量计算公式如下式：
[0055][0056]
(3.2.3)建立长期的通道注意力依赖，实现多尺度通道注意力之间的信息交互。进一步利用softmax对通道注意力信息进行权值重标定，公式如下：
[0057][0058]
(3.2.4)对重新校准的权重和相应的特征图按元素进行点乘操作，输出得到一个多尺度特征信息注意力加权之后的特征图，该特征图多尺度信息表示能力更丰富。将对应尺度的特征图fi与进行权值重标定的注意力向量进行通道方向(channel-wise)级别的相乘，具体计算如下：
[0059]
yi＝fi⊙
atti,i＝0,1,2,
…
,s-1
[0060]
将得到的多尺度通道注意力加权之后的特征图yi进行维度拼接，最后输出得到一个多尺度信息更为丰富的特征图out，具体计算如下：
[0061]
out＝cat([y0,y1,
…
,y
s-1
])
[0062]
(4)gdl模块。gdl分别插入在共享主干网络和与rpn之间和主干网络与r-cnn之间，它可以调整三个模块之间的解耦程度。gdl模块对前向特征映射时使用可学习的仿射变换，同时将后向梯度与一个常数相乘，有效解耦前项和后项模块。
[0063]
(4.1)在前向传播过程中，gdl模块使用仿射变换层a，该层由可学习的通道权重w和偏差b参数化，增强特征表示并执行前向解耦。
[0064]
(4.2)在反向传播过程中，gdl模块从后续层获取梯度，与常数λ相乘并反向传递给前一层。该过程如附图4所示，随着反向传播过程gdl下游的损失ld相对于gdl上游的层参数θu的偏导数乘以λ。设置仅仅是被仅仅是被代替，可将gdl正式视为伪函数g
(a,λ)
，由两个描述其正向和反向传播行为的方程定义，具体计算如下：
[0065]g(a,λ)
(x)＝a(x)
[0066][0067]
其中，a是仿射变换层，λ∈[0,1]是一个解耦系数，并且是仿射层的雅可比矩阵。
[0068]
(5)pcb模块，pcb与边框分类器并行，用于进一步的分类器预测分数校准，模块结构图如附图6所示。大多数检测器在共享网络的顶部并行部署分类器和回归器，分类需要平移不变特征，而定位需要平移协变特征。pcb拥有一个经过良好训练的分类模型(例如imagenet数据集预训练)和一组新的支持原型，并将来自小样本目标检测器的区域建议作为输入，使用额外的基于原型的成对分数提升原始逻辑回归(softmax)分数。
[0069]
(5.1)pcb由来自imagenet预训练模型的强分类器、感兴趣区域对齐层(roi align)和原型库组成。给定一个具有支持集的c-way k-shot任务，pcb首先提取原始图像特征映射，然后使用roi与真值框对齐来生成c-k实例表示。基于这些特性，用公式将支持集s
缩减为原型库
[0070][0071]
其中，在含有给定的相同标签c的样本的子集sc中，给定由微调的小样本目标检测器产生的目标建议其中bi是框边界，ci是预测类别和si是对应的得分。
[0072]
(5.2)pcb在预测框bi上执行预测roi align生成的目标特征xi，然后计算xi与之间的余弦相似性
[0073][0074]
(5.3)对pcb中的和小样本检测器中的si进行加权聚合，以获得最终分类分数
[0075][0076]
其中，α是权衡超参数。
[0077]
(5.4)在小样本检测器和pcb模块之间不共享任何参数，pcb不仅可以保持分类目标平移不变性特征的质量，而且可以更好地解耦r-cnn中的分类任务和回归任务。pcb模块引入一个图像特征提取模型，这个模型没有像主干网络和检测头那样被训练调整过，因此可以保留对分类任务的专一性，不会受到回归任务的影响，从而提高小样本分类的效果。并且pcb是离线的模块，无需任何进一步培训。因此，它可以即插即用，并且可以轻松装备到任何其他架构中，以构建更强的小样本检测器。
[0078]
(6)模型训练结束后，通过实验分析对比模型对农业小样本虫害图像的识别精度、识别耗时及模型实时性能。使用precision-recall曲线、ap(检测精度)、map(ap值在所有类别下的均值)评价模型精度，其中ap值即为p-r曲线与坐标轴围成区域面积，map是所有类的ap平均值，p-r曲线中召回率(r)的公式和精准率(p)的公式如下所示：
[0079][0080][0081]
其中t
p
为被判为正类的正类，fn为被判为负类的正类，f
p
为被判为正类的负类，利用模型预测模块对测试集中的虫害图像进行预测效果对比分析，获取最优检测模型。
[0082]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0083]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：
1.一种基于金字塔注意力机制的小样本虫害检测方法，其特征在于，包括以下步骤：(1)农业虫害图像数据集制作与处理，该过程通过实地拍摄采集或者通过网络爬虫技术等多种方法收集农业虫害图像；(2)构建e-defrcn模型，所述e-defrcn模型包括一个主干网络、两个梯度解耦层和一个离线的原型校准模块；(3)设置主干网络为epsa模块，该过程中将resnet残差块中3
×
3卷积对应的位置替换为psa模块，输入图像经过输入层，进入卷积核为1*1的卷积层，输出进入psa模块；psa模块在senet模块的基础上提出多尺度特征图提取策略，具体可分为以下四个步骤：一、经过splitandconcat(spc)模块；二、利用seweight提取不同尺度特征图的通道注意力，得到每个不同尺度上的通道注意力向量；三、建立长期的通道注意力依赖，实现多尺度通道注意力之间的信息交互，进一步利用softmax对通道注意力信息进行权值重标定；四、对重新校准的权重和相应的特征图按元素进行点乘操作，输出得到一个多尺度特征信息注意力加权之后的特征图；(4)设置gdl模块，所述gdl模块分别插入在共享主干网络和与rpn之间和主干网络与r-cnn之间；(5)设置pcb模块，所述pcb模块与边框分类器并行，用于进一步的分类器预测分数校准；(6)完成模型训练，利用模型预测模块对测试集中的虫害图像进行预测效果对比分析，获取最优检测模型。2.根据权利要求1所述的方法，其特征在于：所述步骤(1)中，农业虫害图像数据集制作与处理包括手动筛选图像、对图像进行分类、数据扩充和划分数据集。3.根据权利要求1或2所述的方法，其特征在于：所述手动筛选图像过程中，对经过上述方法筛选后的数据集进行手动筛选，去除极度形变、背景杂波严重等不符合虫害要求的图像；并对图像进行分类，分类过程中，将虫害的形状及颜色等特征作为依据对筛选后的图像进行分类，并形成原始数据集a；所述数据扩充过程，通过传统的镜像、旋转、缩放、调整亮度、对比度、高斯噪声等方式对原始数据集a进行数据扩充，并形成初始数据集b；所述划分数据集过程中，将初始数据集b按照7:2:1的比例进行划分为训练集、验证集和测试集。4.根据权利要求1所述的方法，其特征在于：所述步骤(3)中，通过spc模块对通道进行切分，然后针对每个通道特征图上的空间信息进行多尺度特征提取；针对划分出来的每个通道特征图，采用多尺度卷积的方式提取不同尺度特征图的空间信息，运用多尺度卷积核分组卷积降低参数量。与此同时，使用根据卷积核的大小来自适应选择组大小的策略。5.根据权利要求1所述的方法，其特征在于：所述步骤(4)中，通过gdl模块对前向特征映射时使用可学习的仿射变换，同时将后向梯度与一个常数相乘，有效解耦前项和后项模块。6.根据权利要求1或5所述的法，其特征在于：所述gdl模块在前向传播过程中，gdl模块使用仿射变换层a，该层由可学习的通道权重w和偏差b参数化，增强特征表示并执行前向解耦；所述gdl模块在反向传播过程中，gdl模块从后续层获取梯度，与常数λ相乘并反向传递给前一层。7.根据权利要求1所述的方法，其特征在于：所述步骤(5)的pcb模块拥有一个经过良好
训练的分类模型和一组新的支持原型，并将来自小样本目标检测器的区域建议作为输入，使用额外的基于原型的成对分数提升原始逻辑回归分数。8.根据权利要求1或7所述的方法，其特征在于：所述pcb模块由来自imagenet预训练模型的强分类器、感兴趣区域对齐层和原型库组成。9.根据权利要求8所述的方法，其特征在于：所述pcb模块可以即插即用，并能够装备到任何其他架构中构建更强的小样本检测器。10.根据权利要求1或2所述方法，其特征在于：所述步骤(6)中，使用precision-recall曲线、检测精度、map评价模型精度，并利用模型预测模块对测试集中的虫害图像进行预测效果对比分析，获取最优检测模型。

技术总结
本发明提供一种基于金字塔注意力机制的小样本虫害检测方法，包括以下步骤：(1)农业虫害图像数据集制作与处理；(2)构建E-DeFRCN模型；(3)设置主干网络为EPSA模块；(4)设置GDL模块；(5)设置PCB模块，PCB模块与边框分类器并行，用于进一步的分类器预测分数校准；(6)完成模型训练，利用模型预测模块对测试集中的虫害图像进行预测效果对比分析，获取最优检测模型，该检测方法将多尺度通道注意力机制加入到提取特征的主干网络中，可以更大限度地提取有限数量中害虫图像数据的特征，从不同尺度分析融合害虫图像特点，有效提高模型对农业虫害检测的准确性，也能够提升网络模型训练速度。也能够提升网络模型训练速度。也能够提升网络模型训练速度。


技术研发人员：赵瑞芳 罗长寿 魏清凤 陆阳 曹承忠 于峰 余军 郑亚明 王富荣
受保护的技术使用者：北京市农林科学院
技术研发日：2023.07.12
技术公布日：2023/10/15