一种基于自适应学习的相似病虫害检测方法与流程

1.本发明涉及农保图像检测技术领域，尤其是一种基于自适应学习的相似病虫害检测方法。


背景技术：

2.在imagenet上统计的分类难度，发现细粒度的类别是最难的，在当前目标检测网络中，大量的算法与改进都是针对改进样本不均衡以及定位优化不准确问题，而对于相似度高的样本关注度不高。
3.相似病虫害是农业中一个非常棘手的问题。首先分析相似病害，由于农作物的相似病害主要集中的发病区域是生长期叶片或叶茎，病害一般呈现为斑点状，其形状与大小也会非常相近，不同作物的病斑、甚至相同作物的不同病斑会呈现出高度的相似性，针对这一问题，目前研究的方法并没有完美的解决手段，从农作物相似病虫害数据集smcpd选择三种农作物中七种典型的叶片形似病害分析。由于叶斑上的病害呈现的特征异常相似，叶片的各种病斑都是大小不一的条形或者圆形斑状特征，对于模型具有非常大的迷惑性，如果学习策略有所偏差，将会导致非常大的错误。对于相似虫害的数据分析可知这些害虫的尺度大小非常相近，外观及其相似而且还呈现出不同的姿态，完全是一种眼花缭乱的辨识感。更艰难的是这些相似害虫还密集的分布在一张图像中，使外观相似的迷惑性更是明显。所以能将这些及其相似病虫害准确的分类是视觉领域难度一大难题，这比细粒度针对鸟类、汽车、飞机的类别判定难度有增无减，由此可见对于相似病虫害的分类判别是极具挑战性的任务。
4.相似病害由于病害区域严重程度不同，所以在数据采集时不能选取很大的面积，尽量只对病害突出区域进行样本采集，集中病害最为凸显的特征区域，使相似病害的特征更加清晰。而相似虫害由于大部分属于密集样本，且相对尺度较小，如果采集面积太大，可能会由于划入真实值框的背景信息太多。这些特征都是农作物相似病虫害的基本现状，如果使用不做调整的学习模型很难兼顾到两个子任务的需求。再者，由于相似病虫害在外形上非常接近，且农作物的生长周期比较长，病害与虫害可能同时爆发，会严重干扰相似病虫害特征的提取与分析。因此，急需研发出一种相似病虫害检测方法，以解决现有技术中相似病虫害图像相似度的类别计算难，检测准确性不高、衡量样本方法效果差的问题。


技术实现要素：

5.为解决现有技术中相似病虫害图像相似度的类别计算难，检测准确性不高、衡量样本方法效果差的问题，本发明的目的在于提供一种检测准确性高、衡量样本方法效果好的基于自适应学习的相似病虫害检测方法。
6.为实现上述目的，本发明采用了以下技术方案：一种基于自适应学习的相似病虫害检测方法，该方法包括下列顺序的步骤：
7.(1)获取原始病虫害图像并进行预处理，得到相似病虫害数据集；
8.(2)将经过预处理后的图片输入具有变换器的主干网络，经过主干网络进行特征提取输出特征向量；
9.(3)将特征向量输入金字塔网络，得到不同尺度样本的金字塔网络的五个层上的特征融合向量；
10.(4)将特征融合向量输入到推荐网络中，得到推荐的锚框；
11.(5)将带有锚框的特征融合向量输入至自适应选择样本的头部网络中，计算所有样本特征融合向量的均值与标准差，计算选择样本阈值：选择样本阈值＝均值+2
×
标准差；
12.(6)将高于设定的选择样本阈值的交并比样本图像对应的病虫害样本图像组成相似病虫害正样本候选集；
13.(7)根据推荐的锚框对相似病虫害正样本候选集中的交并比结果进行排序，并选取排在前面的9个结果作为预测框输出；
14.(8)计算相似病虫害检测损失函数，包括分类损失函数和边界框损失函数，经过多次迭代后从9个结果中选择一个最好的结果输出。
15.所述步骤(1)具体包括以下步骤：
16.(1a)获取原始病虫害图像，对原始害虫图像上的病害与虫害进行标注，共计45类相似病虫害，包括玉米、水稻、小麦、油菜四种农作物的21种相似病害与24种相似虫害，去除没有目标的病虫害图像；
17.(1b)将所有经过预处理的病虫害的图像组成相似病虫害数据集，按照8:2的比例将相似病虫害数据集划分为训练集与验证集。
18.所述步骤(2)具体包括以下步骤：
19.(2a)将输入的图像进行图像块分割为的小块，做标记后变换成48通道的特征向量，w、h分别为图像的宽和高；
20.(2b)对48通道的特征向量进行两轮滑动变形器模块的迭代为96通道的特征向量；
21.(2c)将96通道的特征向量经过两轮滑动变形器模块的迭代为192通道的特征向量；
22.(2d)对192通道的特征向量经过六轮滑动变形器模块的迭代为384通道的特征向量；
23.(2e)对384通道的特征向量使用两轮滑动变形器模块迭代为768通道的特征向量后输出至金字塔网络。
24.在步骤(4)中，所述锚框的数量是9个。
25.在步骤(8)中，所述计算分类损失函数是指：
26.计算softmax分类函数：
[0027][0028]
其中，xi表示第yi类相似病虫害的第i个样本的深层特征，wj表示权重的第j列，bj是偏置项，n为相似病虫害类别号，l1是第yi类相似病虫害在整个n类相似病虫害中概率的
softmax损失，是特征向量的权重，b
yi
是特征的偏置向量；
[0029]
让偏置项bj为零，将归一化为||wj||||xi||cosθj，其中，cosθ代表wj和xi之间的夹角；归一化权重wj和xi为1后，预测只依赖于特征与权重的夹角；
[0030]
之后再乘以一个s，将学习到的特征分布在一个半径为s的球体上，公式如下：
[0031][0032]
其中，l2是第yi类相似病虫害在整个n类相似病虫害中概率的指数形式通过归一化后的softmax损失；
[0033]
在wj和xi的夹角上再添加一个附加的边界惩罚因子m，增强相似类内紧性和类间差异，该损失称为余弦加法角度损失，公式如下：
[0034][0035]
l3是第yi类相似病虫害在整个n类相似病虫害中概率的指数形式通过归一化后的softmax损失；
[0036]
通过三步改进后softmax函数得到各类别概率，再计算focal损失，就得到分类损失。
[0037]
在步骤(8)中，所述边界框损失函数的计算是指：
[0038]
计算每个框的交并比损失，对预测框的中心点与真实值的中心点的距离以及最小闭包除了重叠区外的影响按照一定比例进行配比，构造的siou损失的第一种形式，具体公式如下：
[0039][0040]
其中，iou是交并比，β是松弛因子，取值范围为[0,1],c表示最小闭包矩形的对角线距离，ρ2(b,b
gt
)表示预测框与真实框的中点距离，c表示外接矩形的面积，l
siou1
是第一种形式的边界框定位损失；b是预测的边界框，b
gt
是真实的边界框；
[0041]
把闭包的损失加入到中心距离损失中，构成第二种形式公式如下：
[0042][0043]
其中，wc是预测框的宽度，hc是预测框的高度，l
siou2
是第二种形式的边界框定位损失；
[0044]
最后将边界框的长和宽分别加入其中，根据任务的特点进行取舍，形成最完备的损失函数，即第三种形式，具体公式如下：
[0045][0046]
l
siou3
是第三种形式的边界框定位损失，即最终要得到的边界框定位损失；w是预测边界框的宽度，w
gt
是真实边界框的宽度。
[0047]
由上述技术方案可知，本发明的有益效果为：第一，本发明可以实现相似害虫在颜色、形态以及尺度相似方面的检测；第二，本发明可以实现相似病害在颜色，背景以及形状相似方面的检测；第三，本发明使用自适应样本学习策略对相似虫害和病害统一进行检测，检测准确性高、衡量样本方法效果好。
附图说明
[0048]
图1是本发明的方法流程图。
具体实施方式
[0049]
如图1所示，一种基于自适应学习的相似病虫害检测方法，该方法包括下列顺序的步骤：
[0050]
(1)获取原始病虫害图像并进行预处理，得到相似病虫害数据集；
[0051]
(2)将经过预处理后的图片输入具有变换器的主干网络，经过主干网络进行特征提取输出特征向量；
[0052]
(3)将特征向量输入金字塔网络，得到不同尺度样本的金字塔网络的五个层上的特征融合向量；
[0053]
(4)将特征融合向量输入到推荐网络中，得到推荐的锚框；
[0054]
(5)将带有锚框的特征融合向量输入至自适应选择样本的头部网络中，计算所有样本特征融合向量的均值与标准差，计算选择样本阈值：选择样本阈值＝均值+2
×
标准差；
[0055]
(6)将高于设定的选择样本阈值的交并比样本图像对应的病虫害样本图像组成相似病虫害正样本候选集；
[0056]
(7)根据推荐的锚框对相似病虫害正样本候选集中的交并比结果进行排序，并选取排在前面的9个结果作为预测框输出；
[0057]
(8)计算相似病虫害检测损失函数，包括分类损失函数和边界框损失函数，经过多次迭代后从9个结果中选择一个最好的结果输出。
[0058]
所述步骤(1)具体包括以下步骤：
[0059]
(1a)获取原始病虫害图像，对原始害虫图像上的病害与虫害进行标注，共计45类相似病虫害，包括玉米、水稻、小麦、油菜四种农作物的21种相似病害与24种相似虫害，去除没有目标的病虫害图像；
[0060]
(1b)将所有经过预处理的病虫害的图像组成相似病虫害数据集，按照8:2的比例将相似病虫害数据集划分为训练集与验证集。
[0061]
所述步骤(2)具体包括以下步骤：
[0062]
(2a)将输入的图像进行图像块分割为的小块，做标记后变换成48通道的特
征向量，w、h分别为图像的宽和高；
[0063]
(2b)对48通道的特征向量进行两轮滑动变形器模块的迭代为96通道的特征向量；
[0064]
(2c)将96通道的特征向量经过两轮滑动变形器模块的迭代为192通道的特征向量；
[0065]
(2d)对192通道的特征向量经过六轮滑动变形器模块的迭代为384通道的特征向量；
[0066]
(2e)对384通道的特征向量使用两轮滑动变形器模块迭代为768通道的特征向量后输出至金字塔网络。
[0067]
在步骤(4)中，所述锚框的数量是9个。
[0068]
在步骤(8)中，所述计算分类损失函数是指：
[0069]
计算softmax分类函数：
[0070][0071]
其中，xi表示第yi类相似病虫害的第i个样本的深层特征，wj表示权重的第j列，bj是偏置项，n为相似病虫害类别号，l1是第yi类相似病虫害在整个n类相似病虫害中概率的softmax损失，是特征向量的权重，b
yi
是特征的偏置向量；
[0072]
让偏置项bj为零，将归一化为||wj||||xi||cosθj，其中，cosθ代表wj和xi之间的夹角；归一化权重wj和xi为1后，预测只依赖于特征与权重的夹角；
[0073]
之后再乘以一个s，将学习到的特征分布在一个半径为s的球体上，公式如下：
[0074][0075]
其中，l2是第yi类相似病虫害在整个n类相似病虫害中概率的指数形式通过归一化后的softmax损失；
[0076]
在wj和xi的夹角上再添加一个附加的边界惩罚因子m，增强相似类内紧性和类间差异，该损失称为余弦加法角度损失，公式如下：
[0077][0078]
l3是第yi类相似病虫害在整个n类相似病虫害中概率的指数形式通过归一化后的softmax损失；
[0079]
通过三步改进后softmax函数得到各类别概率，再计算focal损失，就得到分类损失。
[0080]
在步骤(8)中，所述边界框损失函数的计算是指：
[0081]
计算每个框的交并比损失，对预测框的中心点与真实值的中心点的距离以及最小闭包除了重叠区外的影响按照一定比例进行配比，构造的siou损失的第一种形式，具体公式如下：
[0082][0083]
其中，iou是交并比，β是松弛因子，取值范围为[0,1],c表示最小闭包矩形的对角线距离，ρ2(b,b
gt
)表示预测框与真实框的中点距离，c表示外接矩形的面积，l
siou1
是第一种形式的边界框定位损失；b是预测的边界框，b
gt
是真实的边界框；
[0084]
对函数继续改进，把闭包的损失加入到中心距离损失中，这样做的好处有二：一是加入的这部分可以弥补中心点重合后模型损失退化的缺点，二是闭包的外接矩形本来就带有长宽比信息，放入中心距离中可以弥补边界框长宽比带来的损失，构成第二种形式公式如下：
[0085][0086]
其中，wc是预测框的宽度，hc是预测框的高度，l
siou2
是第二种形式的边界框定位损失；
[0087]
最后将边界框的长和宽分别加入其中，根据任务的特点进行取舍，形成最完备的损失函数，即第三种形式，具体公式如下：
[0088][0089]
l
siou3
是第三种形式的边界框定位损失，即最终要得到的边界框定位损失；w是预测边界框的宽度，w
gt
是真实边界框的宽度。
[0090]
综上所述，本发明可以实现相似害虫在颜色，形态以及尺度相似方面的检测；本发明可以实现相似病害在颜色，背景以及形状相似方面的检测；本发明使用自适应样本学习策略对相似虫害和病害统一进行检测，检测准确性高、衡量样本方法效果好。
[0091]
以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

技术特征：
1.一种基于自适应学习的相似病虫害检测方法，其特征在于：该方法包括下列顺序的步骤：(1)获取原始病虫害图像并进行预处理，得到相似病虫害数据集；(2)将经过预处理后的图片输入具有变换器的主干网络，经过主干网络进行特征提取输出特征向量；(3)将特征向量输入金字塔网络，得到不同尺度样本的金字塔网络的五个层上的特征融合向量；(4)将特征融合向量输入到推荐网络中，得到推荐的锚框；(5)将带有锚框的特征融合向量输入至自适应选择样本的头部网络中，计算所有样本特征融合向量的均值与标准差，计算选择样本阈值：选择样本阈值＝均值+2
×
标准差；(6)将高于设定的选择样本阈值的交并比样本图像对应的病虫害样本图像组成相似病虫害正样本候选集；(7)根据推荐的锚框对相似病虫害正样本候选集中的交并比结果进行排序，并选取排在前面的9个结果作为预测框输出；(8)计算相似病虫害检测损失函数，包括分类损失函数和边界框损失函数，经过多次迭代后从9个结果中选择一个最好的结果输出。2.根据权利要求1所述的基于自适应学习的相似病虫害检测方法，其特征在于：所述步骤(1)具体包括以下步骤：(1a)获取原始病虫害图像，对原始害虫图像上的病害与虫害进行标注，共计45类相似病虫害，包括玉米、水稻、小麦、油菜四种农作物的21种相似病害与24种相似虫害，去除没有目标的病虫害图像；(1b)将所有经过预处理的病虫害的图像组成相似病虫害数据集，按照8:2的比例将相似病虫害数据集划分为训练集与验证集。3.根据权利要求1所述的基于自适应学习的相似病虫害检测方法，其特征在于：所述步骤(2)具体包括以下步骤：(2a)将输入的图像进行图像块分割为的小块，做标记后变换成48通道的特征向量，w、h分别为图像的宽和高；(2b)对48通道的特征向量进行两轮滑动变形器模块的迭代为96通道的特征向量；(2c)将96通道的特征向量经过两轮滑动变形器模块的迭代为192通道的特征向量；(2d)对192通道的特征向量经过六轮滑动变形器模块的迭代为384通道的特征向量；(2e)对384通道的特征向量使用两轮滑动变形器模块迭代为768通道的特征向量后输出至金字塔网络。4.根据权利要求1所述的基于自适应学习的相似病虫害检测方法，其特征在于：在步骤(4)中，所述锚框的数量是9个。5.根据权利要求1所述的基于自适应学习的相似病虫害检测方法，其特征在于：在步骤(8)中，所述计算分类损失函数是指：计算softmax分类函数：
其中，x
i
表示第y
i
类相似病虫害的第i个样本的深层特征，w
j
表示权重的第j列，b
j
是偏置项，n为相似病虫害类别号，l1是第y
i
类相似病虫害在整个n类相似病虫害中概率的softmax损失，是特征向量的权重，b
yi
是特征的偏置向量；让偏置项b
j
为零，将归一化为||w
j
||||x
i
||cosθ
j
，其中，cosθ代表w
j
和x
i
之间的夹角；归一化权重w
j
和x
i
为1后，预测只依赖于特征与权重的夹角；之后再乘以一个s，将学习到的特征分布在一个半径为s的球体上，公式如下：其中，l2是第y
i
类相似病虫害在整个n类相似病虫害中概率的指数形式通过归一化后的softmax损失；在w
j
和x
i
的夹角上再添加一个附加的边界惩罚因子m，增强相似类内紧性和类间差异，该损失称为余弦加法角度损失，公式如下：l3是第y
i
类相似病虫害在整个n类相似病虫害中概率的指数形式通过归一化后的softmax损失；通过三步改进后softmax函数得到各类别概率，再计算focal损失，就得到分类损失。6.根据权利要求1所述的基于自适应学习的相似病虫害检测方法，其特征在于：在步骤(8)中，所述边界框损失函数的计算是指：计算每个框的交并比损失，对预测框的中心点与真实值的中心点的距离以及最小闭包除了重叠区外的影响按照一定比例进行配比，构造的siou损失的第一种形式，具体公式如下：其中，iou是交并比，β是松弛因子，取值范围为[0,1],c表示最小闭包矩形的对角线距离，ρ2(b,b
gt
)表示预测框与真实框的中点距离，c表示外接矩形的面积，l
siou1
是第一种形式的边界框定位损失；b是预测的边界框，b
gt
是真实的边界框；把闭包的损失加入到中心距离损失中，构成第二种形式公式如下：
其中，w
c
是预测框的宽度，h
c
是预测框的高度，l
siou2
是第二种形式的边界框定位损失；最后将边界框的长和宽分别加入其中，根据任务的特点进行取舍，形成最完备的损失函数，即第三种形式，具体公式如下：l
siou3
是第三种形式的边界框定位损失，即最终要得到的边界框定位损失；w是预测边界框的宽度，w
gt
是真实边界框的宽度。

技术总结
本发明涉及一种基于自适应学习的相似病虫害检测方法，包括：获取原始病虫害图像并进行预处理；经过主干网络进行特征提取输出特征向量；得到不同尺度样本的金字塔网络的五个层上的特征融合向量；得到推荐的锚框；计算选择样本阈值；将高于设定的选择样本阈值的交并比样本图像对应的病虫害样本图像组成相似病虫害正样本候选集；根据推荐的锚框对相似病虫害正样本候选集中的交并比结果进行排序，并选取排在前面的9个结果作为预测框输出；计算相似病虫害检测损失函数，经过多次迭代后从9个结果中选择一个最好的结果输出。本发明使用自适应样本学习策略对相似虫害和病害统一进行检测，检测准确性高、衡量样本方法效果好。衡量样本方法效果好。衡量样本方法效果好。


技术研发人员：王粉梅 王儒敬 徐婧 张涛 杜健铭 余奕昕
受保护的技术使用者：中科合肥智慧农业协同创新研究院
技术研发日：2023.07.06
技术公布日：2023/10/7