害虫识别方法、装置、设备及介质与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及一种害虫识别方法、装置、设备及介质。


背景技术：

2.利用传统机器视觉方法和深度学习方法检测农业害虫方面的问题，对农作物的生产过程和最终品质产生了重大影响。特别是在智慧农业的背景下，提高农作物害虫的识别精度是当前研究的重点方向。
3.现有技术中，通常采用自动学习特征模型实现害虫的识别。但是，上述方案，存在确定的害虫特征点准确度较低的问题。


技术实现要素：

4.本发明提供一种害虫识别方法、装置、设备及介质，以提高确定的害虫特征点的准确度。
5.根据本发明的一方面，提供了一种害虫识别方法，包括：
6.获取待识别对象的待识别红外图像；
7.从所述待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点；
8.对所述可选害虫特征点进行筛选，得到目标害虫特征点；
9.根据所述目标害虫特征点，确定所述待识别红外图像中的害虫。
10.根据本发明的另一方面，提供了一种害虫识别装置，包括：
11.待识别红外图像获取模块，用于获取待识别对象的待识别红外图像；
12.可选害虫特征点获取模块，用于从所述待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点；
13.目标害虫特征点获取模块，用于对所述可选害虫特征点进行筛选，得到目标害虫特征点；
14.害虫识别模块，用于根据所述目标害虫特征点，确定所述待识别红外图像中的害虫。
15.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
16.至少一个处理器；以及
17.与所述至少一个处理器通信连接的存储器；其中，
18.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的害虫识别方法。
19.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述
的害虫识别方法。
20.本发明实施例提供了一种害虫识别方案，通过获取待识别对象的待识别红外图像；从待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点；对可选害虫特征点进行筛选，得到目标害虫特征点；根据目标害虫特征点，确定待识别红外图像中的害虫。上述方案，通过对确定的可选害虫特征点进行再次筛选，得到目标害虫特征点，提高了确定的目标害虫特征点的准确度，降低了对肉眼不可见的害虫进行识别的成本；并且，本方案可以在微小害虫身体部位特征不突出和背景环境复杂的情况下，通过对特征提取出的可选害虫特征点进行再次筛选，提高了确定待识别红外图像中的害虫的准确度。
21.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是本发明实施例一提供的一种害虫识别方法的流程图；
24.图2是本发明实施例一提供的一种高斯金字塔的示意图；
25.图3是本发明实施例一提供的一种高斯差分金字塔的示意图；
26.图4是本发明实施例一提供的一种特征方向赋值图；
27.图5是本发明实施例二提供的一种害虫识别方法的流程图；
28.图6是本发明实施例三提供的一种害虫识别装置的结构示意图；
29.图7是本发明实施例四提供的一种实现害虫识别方法的电子设备的结构示意图。
具体实施方式
30.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
31.由于当前农业资源和图像数据的局限性，现有的害虫识别系统具有以下问题：（1）识别模型泛化能力弱、鲁棒性差。农业田间害虫是一种尺度小、姿态变化多样的视觉目标，对模型识别准确率要求较高，但当前模型大多是针对成虫或者与背景差异大的害虫识别，很难识别出小体积害虫；（2）收集的数据集中涵盖特征较多，但对关键深层特征的选择不够准确，利用保护色特征进行田间害虫识别的研究较少，需要考虑与害虫相关性更高的数据集进行训练；（3）不同地理位置的自然环境条件有一定的差异性，气温、湿度、降水等因素都会对农作物虫害的表现特征产生变化，而这些变化很难被一般的模型识别。因此，现有技术中存在以下问题：（1）准确识别各种体积的害虫，提高模型的泛化能力，（2）考虑作物保护色特征和辐射能量特征，增强模型特征维度，提高识别的准确率；（3）善于排除自然或人为的干扰因素，准确识别害虫特征变化。
32.本发明实施例提出了一种基于elm（极限学习机）-woa（鲸鱼算法）优化sift特征提
取的农业微小害虫识别方法。该方法在实现智慧农业的背景下，旨在实现更准确提取农作物叶片特征以及更准确识别农作物隐含的肉眼不易观察的微小害虫。本发明模拟鲸鱼捕食行为优化特征向量选择，提高了对微小害虫的勘探能力，使其能够进行全局搜索。
33.实施例一
34.图1是本发明实施例一提供的一种害虫识别方法的流程图，本实施例可适用于识别害虫的情况，该方法可以由害虫识别装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于承载害虫识别功能的电子设备中。
35.参见图1所示的害虫识别方法，包括：
36.s110、获取待识别对象的待识别红外图像。
37.其中，待识别对象是指需要进行害虫识别的对象。本发明实施例对待识别对象不作任何限定，可以是技术人员根据经验进行设置。示例性的，待识别对象可以是农作物或植物。
38.其中，待识别红外图像是指红外设备采集到的包括待识别对象的图像。示例性的，待识别红外图像可以是包括农作物的红外图像。本发明实施例对红外设备不作任何限定，可以是技术人员根据经验进行设置。
39.s120、从待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点。
40.其中，预设类型特征可以包括作物保护色特征、纹理特征、颜色特征和尺度不变特征变换（scale-invariant feature transform，sift）特征等中的至少一种。可选害虫特征点是指具有预设类型特征的特征点。
41.示例性的，在待识别红外图像中进行尺度不变特征变换特征提取，得到可选害虫特征点。具体的，通过不同尺度高斯核函数对待识别红外图像进行卷积运算，通过图像相减获得高斯差分金字塔，检测构建的尺度空间极值，过滤低对比度和不稳定的特征点，得到可选害虫特征点。
42.示例性的，参见图2所示的高斯金字塔的示意图。具体的，针对初始组中的图像，搜索该组所有尺度上的各图像中特征点的坐标值，通过不同尺度的高斯核函数对该组图像进行卷积计算，相邻两层图像之间的尺度相差一个比例因子t，假设每组有m层，则，得到octave1；对octave1中的预设层图像进行降采样（分辨率逐级降低）处理，得到octave2；同理，可得到octave3。综上，通过在从底层开始的降采样处理过程中检测出在不同尺度下都存在的特征点，构建尺度空间；不同分辨率下的各尺度空间构成了三组图像，即octave1、octave2和octave3；octave1、octave2和octave3构成了高斯金字塔。需要说明的是，初始组中最底层的图像是通过对待识别红外图像进行卷积计算得到的。示例性的，预设层图像可以是octave1中从上至下的第三层图像。其中，尺度空间是指一层图像。
43.示例性的，可以通过以下公式，构建尺度空间：
44.；
45.；
46.其中，m（x,y,σ）表示高斯核函数；i表示任一层图像中的特征点的坐标；x表示该层图像中特征点的第一方向的坐标值集合；y表示该层图像中特征点的第二方向的坐标值集合；l（x,y,σ）表示尺度空间；σ表示尺度参数或模糊系数。需要说明的是，本发明实施例对σ的值不作具体限定，可以是技术人员根据经验进行设置。举例说明，σ可以是1.6。本发明实施例对第一方向和第二方向不作任何限定，示例性的，第一方向可以为横坐标方向，第二方向可以为纵坐标方向。
47.参见图3所示的高斯差分金字塔的示意图。其中，将相邻两个尺度空间的图像相减构建高斯差分尺度空间，使用dog（difference of guassian，高斯函数的差分）算子来近似log算子，通过每一组相邻的两层尺度空间相减得到高斯差分尺度空间；根据各组尺度空间得到的高斯差分尺度空间，得到对应的octave’1、octave’2和octave’3；根据octave’1、octave’2和octave’3得到高斯差分金字塔。
48.示例性的，可以通过以下公式，确定高斯差分尺度空间：
49.；
50.其中，d（x,y,σ）表示高斯差分尺度空间。
51.进一步的，针对任一特征点，将该特征点和该该特征点的图像域（同一尺度空间）和尺度域（上下相邻的尺度空间）中预设范围内的特征点进行比较，得到可选害虫特征点。具体的，若该特征点的像素值是预设范围内的最大值，则确定该点为可选害虫特征点；或者，若该特征点的像素值大于预设阈值，则该特征点为可选害虫特征点。本发明实施例对预设范围和/或预设阈值的大小不作任何限定，可以是技术人员根据经验进行设置。
52.本发明实施例中，在确定可选害虫特征点的过程中，可以通过d（x,y,σ）函数进行泰勒二次展开求极值寻找极值点，剔除高斯差分尺度空间中低对比度的特征点和不稳定的边缘响应点，得到可选害虫特征点。
53.需要说明的是，对于每组图像中的第一层图像和最后一层图像，在每一组图像的顶层或底层添加一层图像，使处于各组边缘层图像中的特征点可以进行极值检测。本发明实施例中添加的图像可以复制第一层图像或最后一层图像，如若在第一层图像的底部添加一层图像，则该层图像可以为复制的第一层图像；同理，若在最后一层图像的顶部添加一层图像，则该层图像可以为复制的最后一层图像。
54.为了提高确定的可选害虫特征点的准确度和抗噪声能力，可以计算可选害虫特征点为中心，预设半径区域内的特征点的梯度值m和方向θ，将梯度方向归一化到8个方向内，每个方向代表45
°
的范围，用直方图的方式进行统计，确定可选害虫特征点的方向。如图4所示的特征方向赋值图，其中，水平方向（即横轴方向）表示梯度方向的角度（将图4中圆内的梯度方向进行归一化），竖直方向（即纵轴方向）表示对应梯度值的累加，把直方图中的最高峰作为可选害虫特征点的方向。
55.本发明实施例中可以通过调整预设范围内的坐标轴的角度，提高确定的可选害虫特征点的全面性。具体的，在预设范围内，将坐标轴旋转θ（可选害虫特征点的主方向）角度，以可选害虫特征点为中心提取预设像素大小的邻域作为采样窗口，使用预设数量个特征点来描述，每个特征点计算8个梯度方向的累加值，共产生相应维度的sift特征向量。本发明实施例对预设像素大小和/或预设数量大小不作任何限定，可以是技术人员根据经验进行
设置。示例性的，预设像素可以为16
×
16，预设数量可以为16，则相应维度为128维。
56.其中，旋转后预设范围内的特征点的新坐标为：
57.；
58.其中，x1表示旋转后预设范围内特征点的第一方向的坐标值集合；y1表示旋转后预设范围内特征点的第二方向的坐标值集合；x’表示预设范围内特征点的第一方向的坐标值集合；y’表示预设范围内特征点的第二方向的坐标值集合。
59.具体的，对待识别红外图像进行预处理，获取图像数据集（即图3中的高斯差分金字塔）；通过sift特征从图像数据集中提取出可选害虫特征点。
60.s130、对可选害虫特征点进行筛选，得到目标害虫特征点。
61.其中，目标害虫特征点是指可以用于确定待识别红外图像中的害虫的特征点。具体的，目标害虫特征点可以用于定位害虫在待识别红外图像中的位置。
62.具体的，从可选害虫特征点中筛选出目标害虫特征点。
63.s140、根据目标害虫特征点，确定待识别红外图像中的害虫。
64.具体的，根据目标害虫特征点，确定待识别红外图像中害虫所在位置。
65.本发明实施例提供了一种害虫识别方案，通过获取待识别对象的待识别红外图像；从待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点；对可选害虫特征点进行筛选，得到目标害虫特征点；根据目标害虫特征点，确定待识别红外图像中的害虫。上述方案，通过对确定的可选害虫特征点进行再次筛选，得到目标害虫特征点，提高了确定的目标害虫特征点的准确度，降低了对肉眼不可见的害虫进行识别的成本；并且，本方案可以在微小害虫身体部位特征不突出和背景环境复杂的情况下，通过对特征提取出的可选害虫特征点进行再次筛选，提高了确定待识别红外图像中的害虫的准确度。
66.在上述技术方案的基础上，本发明实施例在根据可选害虫特征点得到目标害虫特征点之前，可以对可选害虫特征点进行预处理，初步判断可选害虫特征点表征害虫的可能性。可选的，在从待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点之后，方法还包括：针对任一可选害虫特征点，确定待识别红外图像中与该可选害虫特征点相对应的实际特征点；根据实际特征点对该可选害虫特征点进行对比，得到对比结果；根据对比结果，确定该可选害虫特征点在待识别红外图像中所表征的内容。
67.其中，实际特征点是指可选害虫特征点在待识别红外图像上对应的特征点。
68.具体的，在使用红外设备采集待识别红外图像时，害虫所在位置的红外辐射能量波长与无害虫所在位置的红外辐射能量波长不同，因此，在获取到红外设备采集的待识别红外图像中可以标注出一些用于表征害虫的特征点。针对任一可选害虫特征点，确定该可选害虫特征点在待识别红外图像上的实际特征点；根据实际特征点所表征的内容，对该可选害虫特征点进行初步判断。具体的，若该可选害虫特征点与相应的实际特征点的对比结果一致，即均表征害虫，则可判断该可选害虫特征点表征害虫的可能性较大，可以不再对该可选害虫特征点进行筛选，即可确定该可选害虫特征点为目标害虫特征点；若该可选害虫特征点与相应的实际特征点的对比结果不一致，即实际特征点不表征害虫，则需要对该可选害虫特征点进行后续判断。
69.需要说明的是，引入红外辐射能量波长可以增强对害虫细粒度的识别，增强了特
征提取的抗噪声能力。
70.需要说明的是，待识别红外图像的维度应与sift的特征向量的维度相同，即待识别红外图像的维度应与可选害虫特征点所在图像的维度相同，才可确定待识别红外图像中与可选害虫特征点相对应的实际特征点。
71.可以理解的是，通过引入实际特征点，将实际特征点与可选害虫特征点进行对比，确定该可选害虫特征点在待识别红外图像中所表征的内容，可以实现对可选害虫特征点的初步筛选，提高了后续确定目标害虫特征点的效率。
72.在一个可选实施例中，为了确定实际特征点与可选害虫特征点之间是否一一对应，需要对确定的实际特征点进行验证，保证确定的实际特征点的准确性。具体的，在针对任一可选害虫特征点，确定待识别红外图像中与该可选害虫特征点相对应的实际特征点之后，方法还包括：确定与该可选害虫特征点距离较近的两个可选害虫特征点作为验证害虫特征点；根据各验证害虫特征点与实际特征点之间距离的比值，对实际特征点进行验证，得到验证结果；根据验证结果，确定实际特征点与该可选害虫特征点之间的匹配情况。
73.其中，验证害虫特征点是指可以用于验证实际特征点的可选害虫特征点。
74.具体的，针对任一可选害虫特征点，确定与该可选害虫特征点距离较近的两个可选害虫特征点作为验证害虫特征点；确定各验证害虫特征点与实际特征点之间距离的比值，将该比值与预设比值阈值进行比较，对实际特征点进行验证，得到验证结果；根据验证结果，确定实际特征点与该可选害虫特征点之间的匹配情况。需要说明的是，本发明实施例对预设比值阈值的大小不作任何限定，可以是技术人员根据经验进行设置。
75.示例性的，计算实际特征点与可选害虫特征点所在图像中特征点的特征向量的欧氏距离，确定与实际特征点最近的两个可选害虫特征点。其中，可以通过以下公式确定欧式距离：
76.；
77.；
78.；
79.其中，p
ni
表示实际特征点；q
ni
表示可选害虫特征点；d表示两组特征点的相似性；i表示编号。
80.进一步的，匹配成功的实际特征点需要满足如下条件：
81.；
82.其中，threshold表示预设比值阈值。
83.可以理解的是，通过引入验证害虫特征点，对实际特征点进行验证，确定实际特征点与可选害虫特征点之间的匹配情况，提高了确定的实际特征点的准确度。
84.实施例二
85.图5是本发明实施例二提供的一种害虫识别方法的流程图，本实施例在上述各实施例的基础上，进一步的，将“对可选害虫特征点进行筛选，得到目标害虫特征点”操作，细
化为“将可选害虫特征点输入至训练好的害虫识别模型中，得到候选害虫特征点；对候选害虫特征点进行特征迭代筛选，得到目标害虫特征点；其中，害虫识别模型采用极限学习机的方式训练得到”，以完善目标害虫特征点的获取机制。需要说明的是，在本发明实施例未详述的部分，可参见其他实施例的表述。
86.参见图5所示的害虫识别方法，包括：
87.s210、获取待识别对象的待识别红外图像。
88.s220、从待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点。
89.s230、将可选害虫特征点输入至训练好的害虫识别模型中，得到候选害虫特征点。
90.其中，害虫识别模型可以用于从可选害虫特征点中筛选出候选害虫特征点。本发明实施例中的害虫识别模型可以采用现有技术的至少一种神经网络模型实现，本发明实施例对害虫识别模型的具体网络结构不作任何限定。
91.其中，候选害虫特征点是指可选害虫特征点中具有较大可能性表征害虫的特征点。
92.本发明实施例对训练害虫识别模型的方式不作任何限定，可以是技术人员根据经验进行设置。示例性的，害虫识别模型可以采用极限学习机的方式训练得到。具体的，将样本可选害虫特征点输入至预先构建好的害虫识别模型中，害虫识别模型可以输出样本害虫特征点对应的样本候选害虫特征点；根据样本候选害虫特征点，调整害虫识别模型的参数，如连接权值；技术人员根据经验确定调整完毕的参数，即可完成模型的训练。其中，样本可选害虫特征点可以用于训练害虫识别模型。样本候选害虫特征点是指害虫识别模型在训练过程中输出的特征点。
93.具体的，利用连续概率分布随机生成隐含层节点参数wj和bj，其中wj表示输入层与隐含层之间的连接权值，bj表示隐含层的阈值，通过以下公式确定隐含层节点个数：
94.；
95.其中，h表示隐含层节点个数；m表示输入层节点个数；n表示输出层节点个数；f表示[1,10]之间的常数。
[0096]
进一步的，隐含层输出矩阵h的表达式如下：
[0097]
；
[0098]
其中，x表示样本可选害虫特征点。
[0099]
进一步的，可以通过以下公式确定隐含层节点：
[0100]
；
[0101]
其中，g（x）表示隐含层激活函数。
[0102]
进一步的，根据，确定隐含层与输出层的连接权值矩阵γ：
[0103]
；
[0104]
其中，γ表示连接权值矩阵；h-表示隐含层输出矩阵h的广义逆矩阵；t表示模型输出的转置；||
ꢀꢀ
||表示最小二乘法的公式符号。
[0105]
s240、对候选害虫特征点进行特征迭代筛选，得到目标害虫特征点。
[0106]
在一个可选实施例中，对候选害虫特征点进行特征迭代筛选，得到目标害虫特征点，包括：针对任一特征迭代筛选过程，根据本次迭代的随机概率，确定目标特征筛选方式；其中，目标特征筛选方式为特征搜索或解空间收缩；基于目标特征筛选方式对应的特征处理逻辑，对前次迭代所得的当前害虫特征点进行特征点筛选，得到本次迭代所得的当前害虫特征点；其中，首次进行迭代的当前害虫特征点为候选害虫特征点；将最末次迭代所得的当前害虫特征点，作为目标害虫特征点。
[0107]
其中，随机概率是指任一特征迭代筛选过程中选择特征搜索或解空间收缩的概率。目标特征筛选方式是指筛选出目标害虫特征点的方式。具体的，目标特征筛选方式可以是特征搜索或解空间收缩。特征搜索或解空间收缩均有对应的特征处理逻辑。其中，特征处理逻辑是指确定筛选目标害虫特征点的过程。当前害虫特征点是指包括当前时刻，进行一次特征迭代筛选过程后的目标害虫特征点。特征搜索是指在搜索范围内，寻求最优解。解空间收缩是指通过缩小搜索范围的方式，逐步缩小特征搜索的搜索范围。
[0108]
本发明实施例对特征迭代筛选的数量不作任何限定，可以是技术人员根据经验进行设置。
[0109]
示例性的，可以通过以下公式，根据随机概率，确定目标特征筛选方式：
[0110][0111]
其中，表示本次特征迭代筛选所得的当前害虫特征点；p表示随机概率。
[0112]
可以理解的是，通过引入随机概率，确定目标特征筛选方式，避免了人为确定目标特征筛选方式可能出现确定结果错误的情况，为确定目标特征筛选方式提供了数据支撑，提高了确定目标特征筛选方式的准确度；并且，通过不断的迭代，筛选出目标害虫特征点，提高了目标害虫特征点的准确度。
[0113]
可选的，若目标特征筛选方式为特征搜索，则基于目标特征筛选方式对应的特征处理逻辑，对前次迭代所得的当前害虫特征点进行特征点筛选，得到本次迭代所得的当前害虫特征点，包括：根据距离系数，确定参考害虫特征点；确定参考害虫特征点与前次迭代所得的当前害虫特征点之间的特征搜索距离；根据特征搜索距离，确定本次迭代所得的当前害虫特征点。
[0114]
其中，本发明实施例对距离系数的大小不作任何限定，可以是技术人员根据经验进行设置。参考害虫特征点可以用于为确定本次迭代的当前害虫特征点提供依据。可选的，参考害虫特征点可以是通过随机搜索确定的任一候选害虫特征点，参考害虫特征点还可以是通过最优搜索确定的最优的候选害虫特征点。特征搜索距离是指特征搜索方式下，前次迭代的当前害虫特征点与参考害虫特征点之间的距离。
[0115]
本发明实施例对根据距离系数，确定参考害虫特征点的方式不作具体限定。在一个可选实施例中，可以人为根据距离系数，确定参考害虫特征点。
[0116]
为了提高确定的参考害虫特征点的准确度，在另一个可选实施例中，可以引入随机搜索条件和最优搜索条件，确定参考害虫特征点。具体的，若距离系数满足随机搜索条件，则从候选害虫特征点中选取任意一个作为参考害虫特征点；若距离系数满足最优搜索条件，则从候选害虫特征点选取适配度较高的候选害虫特征点作为参考害虫特征点；其中，随机搜索条件与最优搜索条件互补。
[0117]
本发明实施例对随机搜索条件和/或最优搜索条件的内容不作任何限定，可以是技术人员根据经验进行设置，只需保证随机搜索条件与最优搜索条件互补即可。示例性的，随机搜索条件可以是指距离系数的绝对值大于1；最优搜索条件可以是指距离系数的绝对值小于或等于1。适配度是指各候选害虫特征点可以作为本次迭代的当前害虫特征点的概率。
[0118]
示例性的，若距离系数满足最优搜索条件，则可以通过以下公式，确定特征搜索距离：
[0119]
；
[0120]
；
[0121]
其中，dk表示特征搜索距离；表示参考害虫特征点，即为适配度较高的候选害虫特征点；c表示系数向量，即为距离系数；表示前次迭代所得的当前害虫特征点；r2表示（0,1）之间的随机数。
[0122]
进一步的，根据特征搜索距离，通过以下公式，确定本次迭代所得的当前害虫特征点：
[0123]
；
[0124]
；
[0125]
；
[0126]
其中，a表示系数向量，即为距离系数；l表示在迭代过程中随迭代次数的增加从2线性下降为0的收敛系数；r1表示（0,1）之间的随机数；k
max
表示最大迭代次数；k表示当前迭代次数。
[0127]
示例性的，若距离系数满足随机搜索条件，可以通过以下公式，确定特征搜索距离：
[0128]
；
[0129]
其中，表示参考害虫特征点，即为任一候选害虫特征点。
[0130]
进一步的，根据特征搜索距离，通过以下公式，确定本次迭代所得的当前害虫特征点：
[0131]
；
[0132]
可以理解的是，本发明实施例通过引入参考害虫特征点和特征搜索距离，确定本次迭代的当前害虫特征点，提高了确定本次迭代的当前害虫特征点的准确度。
[0133]
可选的，若目标特征筛选方式为解空间收缩，则基于目标特征筛选方式对应的特征处理逻辑，对前次迭代所得的当前害虫特征点进行特征点筛选，得到本次迭代所得的当前害虫特征点，包括：将适配度较高的候选害虫特征点作为参考害虫特征点；确定参考害虫特征点与前次迭代所得的当前害虫特征点之间的空间搜索距离；根据预设盘旋系数，更新空间搜索距离；根据更新后的空间搜索距离，确定本次迭代所得的当前害虫特征点。
[0134]
其中，空间搜索距离是指解空间收缩方式下，参考害虫特征点与前次迭代的当前害虫特征点之间的距离。本发明实施例对预设盘旋系数的大小不作任何限定，可以是技术人员根据经验进行设置，还可以是通过大量试验反复确定。
[0135]
示例性的，可以通过以下公式，确定空间搜索距离：
[0136]
；
[0137]
其中，d
k’表示空间搜索距离。
[0138]
进一步的，根据预设盘旋系数，对确定的空间搜索距离进行更新；根据更新后的空间搜索距离，通过以下公式，确定本次迭代的当前害虫特征点：
[0139]
；
[0140]
其中，c表示预设盘旋系数（或对数螺旋形状系数）；d表示（-1,1）内的随机数。
[0141]
可以理解的是，通过引入预设盘旋系数，对空间搜索距离进行更新，提高了空间搜索距离的准确度，避免了迭代过程中根据固定的空间搜索距离，确定本次迭代的当前害虫特征点不准确，提高了本次迭代所得的当前害虫特征点的准确度。
[0142]
s250、根据目标害虫特征点，确定待识别红外图像中的害虫。
[0143]
本发明实施例提供了一种害虫识别方案，通过将对可选害虫特征点进行筛选，得到目标害虫特征点操作，细化为将可选害虫特征点输入至训练好的害虫识别模型中，得到候选害虫特征点；对候选害虫特征点进行特征迭代筛选，得到目标害虫特征点；其中，害虫识别模型采用极限学习机的方式训练得到，以完善目标害虫特征点的获取机制。上述方案，通过引入害虫识别模型和特征迭代筛选，得到目标害虫特征点，实现了对可选害虫特征点的多次筛选，提高了确定的目标害虫特征点的准确度。
[0144]
在上述技术方案的基础上，可以将可选害虫特征点输入至训练好的害虫识别模型中，即可得到目标害虫特征点；或者可选的，对可选害虫特征点进行特征迭代筛选，得到目标害虫特征点；即本发明实施例中在对可选害虫特征点进行筛选时，可以仅使用害虫识别模型进行筛选，得到目标害虫特征点；或者在对可选害虫特征点进行筛选时，还可以仅通过特征迭代筛选出目标害虫特征点。
[0145]
实施例三
[0146]
图6是本发明实施例三提供的一种害虫识别装置的结构示意图。本实施例可适用于识别害虫的情况，该方法可以由害虫识别装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于承载害虫识别功能的电子设备中。
[0147]
如图6所示，该装置包括：待识别红外图像获取模块310、可选害虫特征点获取模块320、目标害虫特征点获取模块330和害虫识别模块340。其中，
[0148]
待识别红外图像获取模块310，用于获取待识别对象的待识别红外图像；
[0149]
可选害虫特征点获取模块320，用于从待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点；
[0150]
目标害虫特征点获取模块330，用于对可选害虫特征点进行筛选，得到目标害虫特征点；
[0151]
害虫识别模块340，用于根据目标害虫特征点，确定待识别红外图像中的害虫。
[0152]
本发明实施例提供了一种害虫识别方案，通过待识别红外图像获取模块获取待识别对象的待识别红外图像；通过可选害虫特征点获取模块从待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点；通过目标害虫特征点获取模块对可选害虫特征点进行筛选，得到目标害虫特征点；通过害虫识别模块根据目标害虫特征点，确定待识别红外图像中的害虫。上述方案，通过对确定的可选害虫特征点进行再次筛选，得到目标害虫特征点，提高了确定的目标害虫特征点的准确度，降低了对肉眼不可见的害虫进行识别的成本；并且，本方案可以在微小害虫身体部位特征不突出和背景环境复杂的情况下，通过对特征提取出的可选害虫特征点进行再次筛选，提高了确定待识别红外图像中的害虫的准确度。
[0153]
可选的，目标害虫特征点获取模块330，包括：
[0154]
候选害虫特征点获取单元，用于将可选害虫特征点输入至训练好的害虫识别模型中，得到候选害虫特征点；
[0155]
目标害虫特征点获取单元，用于对候选害虫特征点进行特征迭代筛选，得到目标害虫特征点；
[0156]
其中，害虫识别模型采用极限学习机的方式训练得到。
[0157]
可选的，目标害虫特征点获取单元，包括：
[0158]
目标特征筛选方式确定子单元，用于针对任一特征迭代筛选过程，根据本次迭代的随机概率，确定目标特征筛选方式；其中，目标特征筛选方式为特征搜索或解空间收缩；
[0159]
当前害虫特征点确定子单元，用于基于目标特征筛选方式对应的特征处理逻辑，对前次迭代所得的当前害虫特征点进行特征点筛选，得到本次迭代所得的当前害虫特征点；其中，首次进行迭代的当前害虫特征点为候选害虫特征点；
[0160]
目标害虫特征点确定子单元，用于将最末次迭代所得的当前害虫特征点，作为目标害虫特征点。
[0161]
可选的，若目标特征筛选方式为特征搜索，则当前害虫特征点确定子单元，具体用于：
[0162]
根据距离系数，确定参考害虫特征点；
[0163]
确定参考害虫特征点与前次迭代所得的当前害虫特征点之间的特征搜索距离；
[0164]
根据特征搜索距离，确定本次迭代所得的当前害虫特征点。
[0165]
可选的，若目标特征筛选方式为解空间收缩，则当前害虫特征点确定子单元，具体用于：
[0166]
将适配度较高的候选害虫特征点作为参考害虫特征点；
[0167]
确定参考害虫特征点与前次迭代所得的当前害虫特征点之间的空间搜索距离；
[0168]
根据预设盘旋系数，更新空间搜索距离；
[0169]
根据更新后的空间搜索距离，确定本次迭代所得的当前害虫特征点。
[0170]
可选的，在可选害虫特征点获取模块320之后，该装置还包括：
[0171]
实际特征点获取模块，用于针对任一可选害虫特征点，确定待识别红外图像中与该可选害虫特征点相对应的实际特征点；
[0172]
对比结果获取模块，用于根据实际特征点对该可选害虫特征点进行对比，得到对比结果；
[0173]
对比结果使用模块，用于根据对比结果，确定该可选害虫特征点在待识别红外图像中所表征的内容。
[0174]
可选的，在实际特征点获取模块之后，该装置还包括：
[0175]
验证害虫特征点获取模块，用于确定与该可选害虫特征点距离较近的两个可选害虫特征点作为验证害虫特征点；
[0176]
验证结果确定模块，用于根据各验证害虫特征点与实际特征点之间距离的比值，对实际特征点进行验证，得到验证结果；
[0177]
匹配情况确定模块，用于根据验证结果，确定实际特征点与该可选害虫特征点之间的匹配情况。
[0178]
本发明实施例所提供的害虫识别装置，可执行本发明任意实施例所提供的害虫识别方法，具备执行各害虫识别方法相应的功能模块和有益效果。
[0179]
本发明的技术方案中，所涉及的待识别红外图像、待识别对象、实际特征点和验证害虫特征点等的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0180]
实施例四
[0181]
图7是本发明实施例四提供的一种实现害虫识别方法的电子设备的结构示意图。电子设备410旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0182]
如图7所示，电子设备410包括至少一个处理器411，以及与至少一个处理器411通信连接的存储器，如只读存储器（rom）412、随机访问存储器（ram）413等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器411可以根据存储在只读存储器（rom）412中的计算机程序或者从存储单元418加载到随机访问存储器（ram）413中的计算机程序，来执行各种适当的动作和处理。在ram 413中，还可存储电子设备410操作所需的各种程序和数据。处理器411、rom 412以及ram 413通过总线414彼此相连。输入/输出（i/o）接口415也连接至总线414。
[0183]
电子设备410中的多个部件连接至i/o接口415，包括：输入单元416，例如键盘、鼠标等；输出单元417，例如各种类型的显示器、扬声器等；存储单元418，例如磁盘、光盘等；以及通信单元419，例如网卡、调制解调器、无线通信收发机等。通信单元419允许电子设备410
通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0184]
处理器411可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器411的一些示例包括但不限于中央处理单元（cpu）、图形处理单元（gpu）、各种专用的人工智能（ai）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（dsp）、以及任何适当的处理器、控制器、微控制器等。处理器411执行上文所描述的各个方法和处理，例如害虫识别方法。
[0185]
在一些实施例中，害虫识别方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元418。在一些实施例中，计算机程序的部分或者全部可以经由rom 412和/或通信单元419而被载入和/或安装到电子设备410上。当计算机程序加载到ram 413并由处理器411执行时，可以执行上文描述的害虫识别方法的一个或多个步骤。备选地，在其他实施例中，处理器411可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行害虫识别方法。
[0186]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上系统的系统（soc）、负载可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0187]
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0188]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0189]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
[0190]
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）、区块链网络和互联网。
[0191]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0192]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0193]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种害虫识别方法，其特征在于，包括：获取待识别对象的待识别红外图像；从所述待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点；对所述可选害虫特征点进行筛选，得到目标害虫特征点；根据所述目标害虫特征点，确定所述待识别红外图像中的害虫。2.根据权利要求1所述的方法，其特征在于，所述对所述可选害虫特征点进行筛选，得到目标害虫特征点，包括：将所述可选害虫特征点输入至训练好的害虫识别模型中，得到候选害虫特征点；对所述候选害虫特征点进行特征迭代筛选，得到所述目标害虫特征点；其中，所述害虫识别模型采用极限学习机的方式训练得到。3.根据权利要求2所述的方法，其特征在于，所述对所述候选害虫特征点进行特征迭代筛选，得到所述目标害虫特征点，包括：针对任一特征迭代筛选过程，根据本次迭代的随机概率，确定目标特征筛选方式；其中，所述目标特征筛选方式为特征搜索或解空间收缩；基于所述目标特征筛选方式对应的特征处理逻辑，对前次迭代所得的当前害虫特征点进行特征点筛选，得到本次迭代所得的当前害虫特征点；其中，首次进行迭代的当前害虫特征点为所述候选害虫特征点；将最末次迭代所得的当前害虫特征点，作为所述目标害虫特征点。4.根据权利要求3所述的方法，其特征在于，若所述目标特征筛选方式为特征搜索，则所述基于所述目标特征筛选方式对应的特征处理逻辑，对前次迭代所得的当前害虫特征点进行特征点筛选，得到本次迭代所得的当前害虫特征点，包括：根据距离系数，确定参考害虫特征点；确定所述参考害虫特征点与前次迭代所得的当前害虫特征点之间的特征搜索距离；根据所述特征搜索距离，确定本次迭代所得的当前害虫特征点。5.根据权利要求3所述的方法，其特征在于，若所述目标特征筛选方式为解空间收缩，则所述基于所述目标特征筛选方式对应的特征处理逻辑，对前次迭代所得的当前害虫特征点进行特征点筛选，得到本次迭代所得的当前害虫特征点，包括：将适配度较高的候选害虫特征点作为参考害虫特征点；确定所述参考害虫特征点与前次迭代所得的当前害虫特征点之间的空间搜索距离；根据预设盘旋系数，更新所述空间搜索距离；根据更新后的空间搜索距离，确定本次迭代所得的当前害虫特征点。6.根据权利要求1-5任一项所述的方法，其特征在于，在所述从所述待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点之后，所述方法还包括：针对任一可选害虫特征点，确定所述待识别红外图像中与该可选害虫特征点相对应的实际特征点；根据所述实际特征点对该可选害虫特征点进行对比，得到对比结果；根据所述对比结果，确定该可选害虫特征点在所述待识别红外图像中所表征的内容。7.根据权利要求6所述的方法，其特征在于，在所述针对任一可选害虫特征点，确定所述待识别红外图像中与该可选害虫特征点相对应的实际特征点之后，所述方法还包括：
确定与该可选害虫特征点距离较近的两个可选害虫特征点作为验证害虫特征点；根据各所述验证害虫特征点与所述实际特征点之间距离的比值，对所述实际特征点进行验证，得到验证结果；根据所述验证结果，确定所述实际特征点与该可选害虫特征点之间的匹配情况。8.一种害虫识别装置，其特征在于，包括：待识别红外图像获取模块，用于获取待识别对象的待识别红外图像；可选害虫特征点获取模块，用于从所述待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点；目标害虫特征点获取模块，用于对所述可选害虫特征点进行筛选，得到目标害虫特征点；害虫识别模块，用于根据所述目标害虫特征点，确定所述待识别红外图像中的害虫。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一项所述的一种害虫识别方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种害虫识别方法。

技术总结
本发明实施例公开了一种害虫识别方法、装置、设备及介质，涉及图像处理技术领域。该方法包括：获取待识别对象待识别对象的待识别红外图像；从所述待识别红外图像中提取出具有预设类型特征的特征点，作为可选害虫特征点；对所述可选害虫特征点进行筛选，得到目标害虫特征点；根据所述目标害虫特征点，确定所述待识别红外图像中的害虫。上述方案，通过对确定的可选害虫特征点进行再次筛选，得到目标害虫特征点，提高了确定的目标害虫特征点的准确度，降低了对肉眼不可见的害虫进行识别的成本。低了对肉眼不可见的害虫进行识别的成本。低了对肉眼不可见的害虫进行识别的成本。


技术研发人员：郑新立 易飞
受保护的技术使用者：浙江天演维真网络科技股份有限公司
技术研发日：2023.06.20
技术公布日：2023/7/25