农作物虫害检测方法、装置、设备及存储介质

1.本发明涉及图像处理技术领域，尤其涉及一种农作物虫害检测方法、装置、设备及存储介质。


背景技术：

2.近年来，基于卷积神经网络的深度学习模型在目标检测任务中取得了良好的效果。深度学习的出现，能够在复杂的田地环境下帮助很好地识别害虫，并且定位害虫的位置，有助于精准捕杀害虫，所以正逐步应用于农作物虫害。
3.但是，在面临真实田地里的水稻害虫个体较小不易察觉的问题时，小目标的丢失和漏检也成为了目前虫害检测精度不高的关键。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种农作物虫害检测方法、装置、设备及存储介质，旨在解决现有技术虫害识别过程中易出现小目标的丢失和漏检，导致虫害检测精度不高的技术问题。
6.为实现上述目的，本发明提供了一种农作物虫害检测方法，所述方法包括以下步骤：
7.将待检测植物图像输入农作物虫害检测模型，所述农作物虫害检测模型包括预设特征提取网络、特征金字塔网络、区域生成网络；
8.通过所述预设特征提取网络对所述待检测植物图像进行多尺度特征提取，得到多尺度特征图；
9.通过所述特征金字塔网络对所述多尺度特征图进行特征增强，得到多尺度融合特征图；
10.通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息，根据所述上下文信息识别所述待检测植物图像中的虫害。
11.可选地，所述通过所述预设特征提取网络对所述待检测植物图像进行多尺度特征提取，得到多尺度特征图，包括：
12.通过卷积层对所述待检测植物图像进行降维得到多个参考特征；
13.将所述多个参考特征分成n组参考特征，依次对每组参考特征进行卷积，得到每组对应的输出特征；
14.将所述输出特征进行拼接，得到拼接后的特征，对所述拼接后的特征进行卷积降维，得到多尺度特征图。
15.可选地，所述将所述多个参考特征分成n组参考特征，依次对每组参考特征进行卷积，得到每组对应的输出特征，包括：
16.将所述多个参考特征分成n组参考特征；
17.当n为1时，直接将第一组参考特征作为第一组的输出特征；
18.当n大于等于1时，将第n-1组的参考特征与第n组特征相加，得到当前特征，对所述当前特征进行卷积，得到第n组的输出特征。
19.可选地，所述通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息，根据所述上下文信息识别所述待检测植物图像中的虫害，包括：
20.通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息；
21.根据所述上下文信息标注候选框，得到参考候选框；
22.将所述参考候选框映射至所述待检测植物图像，得到含有参考候选框的待检测植物图像；
23.对所述含有参考候选框的待检测植物图像进行池化，得到维度固定的特征；
24.根据所述维度固定的特征识别所述待检测植物图像中的虫害。
25.可选地，所述区域生成网络包括第一跨通道特征融合层、卷积层以及第二跨通道特征融合层；
26.所述通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息，包括：
27.通过第一跨通道特征融合层对所述多尺度融合特征图进行特征融合融合得到初始融合特征；
28.通过所述卷积层对所述初始融合特征进行卷积得到参考卷积特征；
29.通过所述第二跨通道特征融合层对所述参考卷积特征进行特征融合得到上下文信息。
30.可选地，所述农作物虫害检测模型还包括多个级联检测器；
31.所述将待检测植物图像输入农作物虫害检测模型之前，还包括：
32.获取初始训练图像集，对所述初始训练图像集进行目标位置和目标类别的标注，得到训练图像集；
33.将所述训练图像集输入所述农作物虫害检测模型，通过所述级联检测器对所述训练图像集进行正负样本均衡采样，得到采样图像；
34.通过所述采样图像对所述农作物虫害检测模型进行训练，得到训练识别结果；
35.根据训练识别结果计算梯度，通过对所述梯度进行剪裁优化所述农作物虫害检测模型。
36.可选地，所述通过对所述梯度进行剪裁优化所述农作物虫害检测模型，包括：
37.判断所述梯度是否大于预设阈值，若所述梯度大于预设阈值，根据所述预设阈值和所述梯度的二范数对所述梯度进行剪裁得到参考梯度；
38.对所述参考梯度进行归一化得到归一化梯度；
39.根据所述归一化梯度对所述农作物虫害检测模型的参数进行更新，实现优化所述农作物虫害检测模型。
40.此外，为实现上述目的，本发明还提出一种农作物虫害检测装置，所述农作物虫害检测装置包括：
access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
58.本领域技术人员可以理解，图1中示出的结构并不构成对农作物虫害检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
59.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及农作物虫害检测程序。
60.在图1所示的农作物虫害检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明农作物虫害检测设备中的处理器1001、存储器1005可以设置在农作物虫害检测设备中，所述农作物虫害检测设备通过处理器1001调用存储器1005中存储的农作物虫害检测程序，并执行本发明实施例提供的农作物虫害检测方法。
61.本发明实施例提供了一种农作物虫害检测方法，参照图2，图2为本发明一种农作物虫害检测方法第一实施例的流程示意图。
62.本实施例中，所述农作物虫害检测方法包括以下步骤：
63.步骤s10：将待检测植物图像输入农作物虫害检测模型，所述农作物虫害检测模型包括预设特征提取网络、特征金字塔网络、区域生成网络。
64.可理解的是，待检测植物图像可以是通过图像采集设备采集到的水稻图像。
65.应理解的是，农作物虫害检测模型包括预设特征提取网络、特征金字塔网络、区域生成网络，将获取的待检测植物图像输入该农作物虫害检测模型，依次通过预设特征提取网络、特征金字塔网络、区域生成网络进行处理，最终可以得到该待检测植物图像中是否存在虫害的识别结果，或者也可以得到虫害种类和虫害位置等。
66.步骤s20：通过所述预设特征提取网络对所述待检测植物图像进行多尺度特征提取，得到多尺度特征图。
67.需说明的是，预设特征提取网络可以是多尺度特征提取res2net101的结构，在resnet50的基础上使用了较小的滤波器组替换一组3
×
3滤波器，这些滤波器组以分层类似残差样式的连接，增加了每个网络层的感受野。
68.应理解的是，多尺度特征提取可以理解为在对待检测植物图像从不同像素大小进行特征提取。
69.需说明的是，所述通过所述预设特征提取网络对所述待检测植物图像进行多尺度特征提取，得到多尺度特征图，包括：
70.通过卷积层对所述待检测植物图像进行降维得到多个参考特征，可理解的，降维处理可以是通过一个1*1的卷积层进行卷积操作来实现；
71.将所述多个参考特征分成n组参考特征，依次对每组参考特征进行卷积，得到每组对应的输出特征，可理解的是，n组参考特征是将多个参考特征均分后得到的，分组后，对每组参考特征再次进行卷积可以得到每组对应的输出特征；
72.将所述输出特征进行拼接，得到拼接后的特征，对所述拼接后的特征进行卷积降维，得到多尺度特征图。
73.值得说明的是，在真实的田地里，水稻害虫的识别不仅会受到复杂环境的影响，而且水稻害虫目标小、种类繁多，这大大增加了网络特征提取的难度。为了提高网络的多尺度
特征提取能力，本发明引入res2net卷积神经网络作为特征提取器。res2net网络是对resnet网络的改进，使用了较小的滤波器组替换一组3
×
3滤波器，这些滤波器组以分层类似残差样式的连接，在粒度级别表示了多尺度特征，增加了每个网络层的感受野，有利于提取全局和本地信息，从而提高小目标的检测精度。
74.需进一步说明的是，所述将所述多个参考特征分成n组参考特征，依次对每组参考特征进行卷积，得到每组对应的输出特征，包括：
75.将所述多个参考特征分成n组参考特征；
76.当n为1时，直接将第一组参考特征作为第一组的输出特征；
77.当n大于等于1时，将第n-1组的参考特征与第n组特征相加，得到当前特征，对所述当前特征进行卷积，得到第n组的输出特征。
78.在具体实施中，输入的待检测植物图像通过特征提取网络res2net101在更细粒度级别提取特征，生成多尺度特征图。该特征提取网络的提取过程可以参考下列公式：
[0079][0080]
其中，上述公式可以理解为对经过1
×
1卷积输出后的特征图按通道数均分为s组，s可以是3、4等，也可根据实际情况进行调整，本实施例不作限定，分别记作xi(i∈(1,2,
…
,s)),每组特征图的通道数均为输入特征图通道数的1/s。其次，x1组不做处理，其他组的特征图都会经过一个3
×
3的卷积层，将这个卷积操作记为ki。每组卷积后的输出会形成两条线路，一条继续作为该组输出用yi表示，一条则传入下一组特征图与其相加之后再进行ki()操作。最后，将这s组的输出{y1,y2,
…
ys}在通道维度拼接，然后进行1
×
1的卷积操作。显然，每一组的ki()输入都包含了之前{xj,j≤i}的小组特征，正是这种拆分混合连接的结构，res2net模块的输出包含了不同感受野大小的组合，能够更加有效地提取全局特征和局部特征。
[0081]
步骤s30：通过所述特征金字塔网络对所述多尺度特征图进行特征增强，得到多尺度融合特征图。
[0082]
可理解的是，通过特征金字塔网络对所述多尺度特征图进行特征增强，可以得到特征更加明显的多尺度融合特征图。
[0083]
步骤s40：通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息，根据所述上下文信息识别所述待检测植物图像中的虫害。
[0084]
应理解的是，小物体通常分辨率低，外观质量差，因此很难从其扭曲的结构中进行区分学习。同时，小目标的区域特征容易受到背景和其他情况的污染，如图片分辨率不高、图片亮度不够清晰、背景过于复杂、标签噪声(带有正标签的特征可能位于背景或遮挡物上)等，这些都会造成很多无用的特征的提取，从而导致小目标特征提取不精准。
[0085]
需说明的是，跨通道特征融合将不同尺度和不同层级的特征图进行融合使得在训练过程中来自非目标区域(背景或被遮挡区域)的特征和非判别行特征的贡献降低，小目标物体的特征能够被更好地关注到。
[0086]
需说明的是，所述通过所述区域生成网络对所述多尺度融合特征图进行跨通道特
融合，得到上下文信息，根据所述上下文信息识别所述待检测植物图像中的虫害，包括：
[0087]
通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息，可理解的是，上下文信息可以是多尺度融合特征图中的背景信息，前景信息和后景信息，总的可以理解为融合后图片中与虫害特征相关的信息。
[0088]
根据所述上下文信息标注候选框，得到参考候选框，可理解的是，上下文信息是特征图中与虫害特征相关的信息，对这些信息进行框选，就可以得到多个参考候选框；
[0089]
将所述参考候选框映射至所述待检测植物图像，得到含有参考候选框的待检测植物图像，可理解的是，该参考候选框是基于跨通道融合后特征图中选中的参考候选框，将多个参考候选框映射至待检测植物图像，可以准确的框选出待检测图像中的虫害位置；
[0090]
对所述含有参考候选框的待检测植物图像进行池化，得到维度固定的特征，可理解的是，多个参考候选框是通过多尺度特征融合后框选得到的，池化后，根据所述维度固定的特征识别所述待检测植物图像中的虫害，也就是将参考候选框的维度固定在待检测植物图像中，从而能够更加准确的标注框选出待检测植物图像中的虫害位置。
[0091]
需进一步说明的是，所述区域生成网络包括第一跨通道特征融合层、卷积层以及第二跨通道特征融合层；
[0092]
所述通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息，包括：
[0093]
通过第一跨通道特征融合层对所述多尺度融合特征图进行特征融合融合得到初始融合特征；
[0094]
通过所述卷积层对所述初始融合特征进行卷积得到参考卷积特征；
[0095]
通过所述第二跨通道特征融合层对所述参考卷积特征进行特征融合得到上下文信息。
[0096]
在具体实施中，可以参考图3，图中区域特征提取网络中3
×
3的卷积层前后都加入跨通道特征融合层，将不同尺度和不同层级的特征图进行融合，以获取更多的上下文信息，筛选出更加精确地建议区域，建议区域也可以理解为参考候选框，将生成的候选框映射到原图上生成较为准确的roi(regionofinteresting，候选框/标注框)，送入到roialign层中池化，将其转变为固定维度的特征后。
[0097]
本实施例通过跨通道特征融合将不同尺度和不同层级的特征图进行融合使得在训练过程中来自非目标区域(背景或被遮挡区域)的特征和非判别行特征的贡献降低，小目标物体的特征能够被更好地关注，从而更加准确的进行虫害检测，提高虫害检测精度。
[0098]
参考图4，图4为本发明一种农作物虫害检测方法第二实施例的流程示意图。
[0099]
基于上述第一实施例，本实施例农作物虫害检测方法在所述步骤s10之前，还包括：
[0100]
步骤s101：获取初始训练图像集，对所述初始训练图像集进行目标位置和目标类别的标注，得到训练图像集。
[0101]
可理解的是，初始训练图像集可以是从飞桨平台1.8万张水稻虫害图片选取3种1720张常见的水稻虫害稻螟蛉、水稻大螟、稻绿蝽图像。
[0102]
可理解的是，在对所述初始训练图像集进行目标位置和目标类别的标注之前，可以将获取的初始训练图像集进行条数据增强处理，则到图像数据更多更均匀的图像集，作
为信道初始训练图像集。
[0103]
应理解的是，训练图像集中的图像都具有目标位置和目标类别的标注，目标位置可以是水稻害虫的特征点所在的位置，目标类别可以理解为是图像中水稻害虫的种类。
[0104]
步骤s102：将所述训练图像集输入所述农作物虫害检测模型，通过所述级联检测器对所述训练图像集进行正负样本均衡采样，得到采样图像。
[0105]
应理解的是，通过多个级联检测器进行训练和回归，在级联回归过程中使用重采样避免检测器过拟合。
[0106]
需说明的是，重采样方式采用正负样本均衡采样，保证易学习负样本和难负样本比例尽量平衡，避免学习到大量无用特征，能有效提高小目标的检测精度。
[0107]
需强调的是，目前的级联结构中，为了保证样本的质量，采用了随机采样的方式在每个阶段进行重采样。但对于小目标检测来说这种采样方式是不合理的，样本级别的随机采样会带来样本不平衡的问题。因此本发明采用了样本均衡采样的方式，对负样本按照交并比划分为k个区间，每个区间再进行随机采样，保证易学习负样本和难负样本比例尽量平衡，避免学习到大量无用特征。该方法解决了回归预测时正负样本不平衡的问题，能有效提高小目标的检测精度。
[0108]
步骤s103：通过所述采样图像对所述农作物虫害检测模型进行训练，得到训练识别结果。
[0109]
需说明的是，通过所述采样图像对所述农作物虫害检测模型进行训练可以是利用损失函数进行目标物体的类别分类来完成训练。
[0110]
可理解的是，训练识别结果可以是识别正确率。
[0111]
步骤s104：根据训练识别结果计算梯度，通过对所述梯度进行剪裁优化所述农作物虫害检测模型。
[0112]
可理解的是，在深度学习中，训练模型时通常使用反向传播算法来计算梯度，并使用梯度下降等优化算法来更新模型参数。随着网络层数的增加，训练过程的不稳定性增大，使用梯度裁剪技术防止模型梯度爆炸和过拟合。
[0113]
需说明的是，判断所述梯度是否大于预设阈值，若所述梯度大于预设阈值，根据所述预设阈值和所述梯度的二范数对所述梯度进行剪裁得到参考梯度；对所述参考梯度进行归一化得到归一化梯度；根据所述归一化梯度对所述农作物虫害检测模型的参数进行更新，实现优化所述农作物虫害检测模型。
[0114]
在具体实施中，梯度处理的步骤可以参考图5，图中剪裁梯度可以参考下列公式：
[0115][0116]
其中，g表示梯度向量，||g||表示剪裁后梯度的2范数，θ是预先设定的剪裁阈值。
[0117]
值得说明的是，梯度裁剪就是当你梯度太大时强行把梯度缩小(通过乘以一个小于1的数||g||)，当你梯度不是很大时，保持原样，从而达到限制梯度大小的目的。
[0118]
在具体实施中，使用pytorch1.12.1框架，linux操作系统，python3.8版本，处理器为4.7ghz的amdr7-6800h，gpu为nvidiageforcertx2080ti。参数优化器采用sgd，动量参数设置为0.9，分类损失函数采用交叉熵损失。初始学习率设置为0.001，迭代60次，并在迭代的第17和第20次将学习率降低90％。为验证每个改进点对于真实田地水稻害虫检测的有效
性，本发明进行了消融实验。选取目标检测常用模型fastrcnn、fasterrcnn、单阶段检测模型retinanet、yolov3、原始模型cascadercnn与本文改进后的模型进行对比实验，对比实验中的map值变化。
[0119]
本实施例通过使用梯度裁剪技术，在那堆模型进行训练的反向传播过程中，如果梯度的范数超过了一个预先设定的阈值，就将梯度裁剪到阈值之内。保证梯度的大小不会过大，避免了模型的梯度爆炸和过拟合问题，提高模型的识别准确率。
[0120]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有农作物虫害检测程序，所述农作物虫害检测程序被处理器执行时实现如上文所述的农作物虫害检测方法的步骤。
[0121]
参照图6，图6为本发明农作物虫害检测装置第一实施例的结构框图。
[0122]
如图6所示，本发明实施例提出的农作物虫害检测装置包括：
[0123]
图像处理模块10，用于将待检测植物图像输入农作物虫害检测模型，所述农作物虫害检测模型包括预设特征提取网络、特征金字塔网络、区域生成网络；
[0124]
特征提取模块20，用于通过所述预设特征提取网络对所述待检测植物图像进行多尺度特征提取，得到多尺度特征图；
[0125]
特征增强模块30，用于通过所述特征金字塔网络对所述多尺度特征图进行特征增强，得到多尺度融合特征图；
[0126]
特征识别模块40，用于通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息，根据所述上下文信息识别所述待检测植物图像中的虫害。
[0127]
本实施例通过跨通道特征融合将不同尺度和不同层级的特征图进行融合使得在训练过程中来自非目标区域(背景或被遮挡区域)的特征和非判别行特征的贡献降低，小目标物体的特征能够被更好地关注，从而更加准确的进行虫害检测，提高虫害检测精度。
[0128]
在一实施例中，所述特征提取模块20，还用于通过卷积层对所述待检测植物图像进行降维得到多个参考特征；
[0129]
将所述多个参考特征分成n组参考特征，依次对每组参考特征进行卷积，得到每组对应的输出特征；
[0130]
将所述输出特征进行拼接，得到拼接后的特征，对所述拼接后的特征进行卷积降维，得到多尺度特征图。
[0131]
在一实施例中，所述特征提取模块20，还用于将所述多个参考特征分成n组参考特征；
[0132]
当n为1时，直接将第一组参考特征作为第一组的输出特征；
[0133]
当n大于等于1时，将第n-1组的参考特征与第n组特征相加，得到当前特征，对所述当前特征进行卷积，得到第n组的输出特征。
[0134]
在一实施例中，所述特征识别模块40，还用于通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息；
[0135]
根据所述上下文信息标注候选框，得到参考候选框；
[0136]
将所述参考候选框映射至所述待检测植物图像，得到含有参考候选框的待检测植物图像；
[0137]
对所述含有参考候选框的待检测植物图像进行池化，得到维度固定的特征；
[0138]
根据所述维度固定的特征识别所述待检测植物图像中的虫害。
[0139]
在一实施例中，所述特征识别模块40，还用于通过第一跨通道特征融合层对所述多尺度融合特征图进行特征融合融合得到初始融合特征；
[0140]
通过所述卷积层对所述初始融合特征进行卷积得到参考卷积特征；
[0141]
通过所述第二跨通道特征融合层对所述参考卷积特征进行特征融合得到上下文信息。
[0142]
在一实施例中，所述特征识别模块40，还用于获取初始训练图像集，对所述初始训练图像集进行目标位置和目标类别的标注，得到训练图像集；
[0143]
将所述训练图像集输入所述农作物虫害检测模型，通过所述级联检测器对所述训练图像集进行正负样本均衡采样，得到采样图像；
[0144]
通过所述采样图像对所述农作物虫害检测模型进行训练，得到训练识别结果；
[0145]
根据训练识别结果计算梯度，通过对所述梯度进行剪裁优化所述农作物虫害检测模型。
[0146]
在一实施例中，所述特征识别模块40，还用于判断所述梯度是否大于预设阈值，若所述梯度大于预设阈值，根据所述预设阈值和所述梯度的二范数对所述梯度进行剪裁得到参考梯度；
[0147]
对所述参考梯度进行归一化得到归一化梯度；
[0148]
根据所述归一化梯度对所述农作物虫害检测模型的参数进行更新，实现优化所述农作物虫害检测模型。
[0149]
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
[0150]
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
[0151]
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0152]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0153]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0154]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技
术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种农作物虫害检测方法，其特征在于，所述农作物虫害检测方法包括：将待检测植物图像输入农作物虫害检测模型，所述农作物虫害检测模型包括预设特征提取网络、特征金字塔网络、区域生成网络；通过所述预设特征提取网络对所述待检测植物图像进行多尺度特征提取，得到多尺度特征图；通过所述特征金字塔网络对所述多尺度特征图进行特征增强，得到多尺度融合特征图；通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息，根据所述上下文信息识别所述待检测植物图像中的虫害。2.如权利要求1所述的农作物虫害检测方法，其特征在于，所述通过所述预设特征提取网络对所述待检测植物图像进行多尺度特征提取，得到多尺度特征图，包括：通过卷积层对所述待检测植物图像进行降维得到多个参考特征；将所述多个参考特征分成n组参考特征，依次对每组参考特征进行卷积，得到每组对应的输出特征；将所述输出特征进行拼接，得到拼接后的特征，对所述拼接后的特征进行卷积降维，得到多尺度特征图。3.如权利要求2所述的农作物虫害检测方法，其特征在于，所述将所述多个参考特征分成n组参考特征，依次对每组参考特征进行卷积，得到每组对应的输出特征，包括：将所述多个参考特征分成n组参考特征；当n为1时，直接将第一组参考特征作为第一组的输出特征；当n大于等于1时，将第n-1组的参考特征与第n组特征相加，得到当前特征，对所述当前特征进行卷积，得到第n组的输出特征。4.如权利要求1所述的农作物虫害检测方法，其特征在于，所述通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息，根据所述上下文信息识别所述待检测植物图像中的虫害，包括：通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息；根据所述上下文信息标注候选框，得到参考候选框；将所述参考候选框映射至所述待检测植物图像，得到含有参考候选框的待检测植物图像；对所述含有参考候选框的待检测植物图像进行池化，得到维度固定的特征；根据所述维度固定的特征识别所述待检测植物图像中的虫害。5.如权利要求4所述的农作物虫害检测方法，其特征在于，所述区域生成网络包括第一跨通道特征融合层、卷积层以及第二跨通道特征融合层；所述通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息，包括：通过第一跨通道特征融合层对所述多尺度融合特征图进行特征融合融合得到初始融合特征；通过所述卷积层对所述初始融合特征进行卷积得到参考卷积特征；
通过所述第二跨通道特征融合层对所述参考卷积特征进行特征融合得到上下文信息。6.如权利要求1所述的农作物虫害检测方法，其特征在于，所述农作物虫害检测模型还包括多个级联检测器；所述将待检测植物图像输入农作物虫害检测模型之前，还包括：获取初始训练图像集，对所述初始训练图像集进行目标位置和目标类别的标注，得到训练图像集；将所述训练图像集输入所述农作物虫害检测模型，通过所述级联检测器对所述训练图像集进行正负样本均衡采样，得到采样图像；通过所述采样图像对所述农作物虫害检测模型进行训练，得到训练识别结果；根据训练识别结果计算梯度，通过对所述梯度进行剪裁优化所述农作物虫害检测模型。7.如权利要求6所述的农作物虫害检测方法，其特征在于，所述通过对所述梯度进行剪裁优化所述农作物虫害检测模型，包括：判断所述梯度是否大于预设阈值，若所述梯度大于预设阈值，根据所述预设阈值和所述梯度的二范数对所述梯度进行剪裁得到参考梯度；对所述参考梯度进行归一化得到归一化梯度；根据所述归一化梯度对所述农作物虫害检测模型的参数进行更新，实现优化所述农作物虫害检测模型。8.一种农作物虫害检测装置，其特征在于，所述农作物虫害检测装置包括：图像处理模块，用于将待检测植物图像输入农作物虫害检测模型，所述农作物虫害检测模型包括预设特征提取网络、特征金字塔网络、区域生成网络；特征提取模块，用于通过所述预设特征提取网络对所述待检测植物图像进行多尺度特征提取，得到多尺度特征图；特征增强模块，用于通过所述特征金字塔网络对所述多尺度特征图进行特征增强，得到多尺度融合特征图；特征识别模块，用于通过所述区域生成网络对所述多尺度融合特征图进行跨通道特融合，得到上下文信息，根据所述上下文信息识别所述待检测植物图像中的虫害。9.一种农作物虫害检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的农作物虫害检测程序，所述农作物虫害检测程序配置为实现如权利要求1至7中任一项所述的农作物虫害检测方法。10.一种存储介质，其特征在于，所述存储介质上存储有农作物虫害检测程序，所述农作物虫害检测程序被处理器执行时实现如权利要求1至7任一项所述的农作物虫害检测方法。

技术总结
本发明属于图像处理技术领域，公开了一种农作物虫害检测方法、装置、设备及存储介质，该方法包括：将待检测植物图像输入农作物虫害检测模型；通过预设特征提取网络对待检测植物图像多尺度特征提取，得到多尺度特征图；通过特征金字塔网络对多尺度特征图进行特征增强，得到多尺度融合特征图；通过区域生成网络对多尺度融合特征图进行跨通道特融合，得到参考候选框，根据参考候选框识别待检测植物图像中的虫害；本发明通过跨通道特征融合将不同尺度和不同层级的特征图进行融合使得在训练过程中来自背景或被遮挡区域的特征和非判别特征的贡献降低，小目标物体的特征能够被更好地关注，从而更加准确的进行虫害检测，提高虫害检测精度。度。度。


技术研发人员：张聪 魏志慧 成泞伸 陈新波 闫可
受保护的技术使用者：武汉轻工大学
技术研发日：2023.06.30
技术公布日：2023/10/15