一种基于多级控制的脆李喷药方法和系统与流程

1.本技术涉及农业现代化领域，尤其涉及一种基于多级控制的脆李喷药方法和系统。


背景技术：

2.虫害防治是提高农产品产量和质量的关键技术，通过对虫害产生的早期阶段检测到的虫害类型和数量对虫害状况进行预判并进行农药喷洒以抑制虫害对农产品的侵害。现阶段虫害监测及农药喷洒中的决策过程均依赖于人工，工作量巨大，导致基于人工控制的虫害监测对虫害防治的周期长、效率低，因此，如何高效地实现虫害防治成为亟待解决的问题。


技术实现要素：

3.为了减少农业劳作人员的颈椎和眼睛的疲劳，同时能大幅度提高工作效率，有效提高脆李病变的诊断效率与准确性，本发明请求保护一种基于多级控制的脆李喷药方法和系统。
4.根据本发明第一方面，本发明请求保护一种基于多级控制的脆李喷药方法，包括：采集多个脆李喷药历史影像，对所述脆李喷药历史影像实施成熟度聚类标签化，得到脆李标签化历史影像集合；对所述脆李标签化历史影像集合实施关键帧决策预处理，将关键帧实施影像归一化和数据降噪操作，得到脆李训练历史影像集合；将所述脆李训练历史影像集合输入脆李聚类分片网络中实施循环训练，得到脆李病虫害聚类分片模型；依据所述脆李病虫害聚类分片模型对待喷药脆李的影像实施聚类分片，得到待喷药脆李分片影像的病虫害检测结果；对所述病虫害检测结果实施整合，得到所述待喷药脆李的病虫害风险；依据所述病虫害风险和待喷药脆李的喷药时长，使用所述病虫害风险最低的待喷药脆李区域输出，形成风险喷药报告。
5.根据本发明第二方面，本发明请求保护一种基于多级控制的脆李喷药系统，包括：标签化模块，采集多个脆李喷药历史影像，对所述脆李喷药历史影像实施成熟度聚类标签化，得到脆李标签化历史影像集合；预处理模块，对所述脆李标签化历史影像集合实施关键帧决策预处理，将关键帧实施影像归一化和数据降噪操作，得到脆李训练历史影像集合；训练模块，将所述脆李训练历史影像集合输入脆李聚类分片网络中实施循环训练，得到脆李病虫害聚类分片模型；聚类分片模块，依据所述脆李病虫害聚类分片模型对待喷药脆李的影像实施聚类分片，得到待喷药脆李分片影像的病虫害检测结果；
风险分析模块，对所述病虫害检测结果实施整合，得到所述待喷药脆李的病虫害风险；输出模块，依据所述病虫害风险和待喷药脆李的喷药时长，使用所述病虫害风险最低的待喷药脆李区域输出，形成风险喷药报告。
6.本发明提出了一种基于多级控制的脆李喷药方法和系统，通过采集多个脆李喷药历史影像实施成熟度聚类标签化，得到脆李标签化历史影像集合；执行关键帧决策预处理，完成影像归一化和数据降噪操作，得到脆李训练历史影像集合；输入脆李聚类分片网络中实施循环训练，得到脆李病虫害聚类分片模型；对待喷药脆李的影像实施聚类分片，得到待喷药脆李分片影像的病虫害检测结果并实施整合，得到待喷药脆李的病虫害风险；结合待喷药脆李的喷药时长，使用病虫害风险最低的待喷药脆李区域输出，形成风险喷药报告。本发明准确利用脆李喷药的喷药强度对脆李实施区域分片，适应性地针对脆李不同特征实施循环训练，对于脆李风险的喷药起到更好的鲁棒性。
附图说明
7.图1为本发明所请求保护的一种基于多级控制的脆李喷药方法的工作流程图；图2为本发明所请求保护的一种基于多级控制的脆李喷药系统的结构模块图。
具体实施方式
8.下面将结合附图对本技术实施例中的技术方案实施清除、详尽地描述。其中，在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；文本中的“和/或”仅仅是一种描述关联脆李的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
9.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
10.根据本发明第一实施例，参照附图1，本发明请求保护一种基于多级控制的脆李喷药方法，包括：采集多个脆李喷药历史影像，对脆李喷药历史影像实施成熟度聚类标签化，得到脆李标签化历史影像集合；对脆李标签化历史影像集合实施关键帧决策预处理，将关键帧实施影像归一化和数据降噪操作，得到脆李训练历史影像集合；将脆李训练历史影像集合输入脆李聚类分片网络中实施循环训练，得到脆李病虫害聚类分片模型；依据脆李病虫害聚类分片模型对待喷药脆李的影像实施聚类分片，得到待喷药脆李分片影像的病虫害检测结果；对病虫害检测结果实施整合，得到待喷药脆李的病虫害风险；依据病虫害风险和待喷药脆李的喷药时长，使用病虫害风险最低的待喷药脆李区
域输出，形成风险喷药报告。
11.进一步地，采集多个脆李喷药历史影像，对脆李喷药历史影像实施成熟度聚类标签化，得到脆李标签化历史影像集合，具体包括：从脆李喷药历史影像中采集多个脆李喷药历史影像；将脆李喷药历史影像划分为无关影像和病虫害影像，无关影像包括地面、虚化、空气、反光、脆李外枝干的颜色通道区域，病虫害影像包括脆李外虫洞、农药残留、病斑和因农药造成噪声妨碍的黄色表皮范围；通过多边形标签化工具框选出属于脆李病虫害的成熟颜色区域，对影像实施成熟度标签化，得到脆李标签化历史影像集合。
12.进一步地，对脆李标签化历史影像集合实施关键帧决策预处理，将关键帧实施影像归一化和数据降噪操作，得到脆李训练历史影像集合，具体包括：对脆李标签化历史影像集合实施预处理，将脆李标签化历史影像集合中的地面、空气、反光、虚化的影像作为对照帧影像，将包含脆李病虫害和脆李表皮的影像作为关键帧影像；根据脆李标签化历史影像集合中关键帧影像的数据量，按照对照帧影像：关键帧影像=1：5的比例使用部分对照帧影像作为健康历史，并将多余的对照帧影像剔除；对所有的关键帧影像实施影像归一化和数据降噪操作，得到脆李训练历史影像集合；影像归一化通过去均值实现中心化的处理，数据降噪中，实施空间类和颜色变换类的降噪；空间类包括对影像实施平移、翻转、旋转操作，颜色变换类包括噪声、光滑度、对比度、虚化操作。
13.进一步地，将脆李训练历史影像集合输入脆李聚类分片网络中实施循环训练，得到脆李病虫害聚类分片模型，具体包括：采用点对点的影像分片方法requestinst，将脆李训练历史影像集合中的每个颜色通道分配到不同的脆李影像中，得到脆李训练历史分片网格图；将脆李训练历史分片网格图输入到检测矩形和喷药定位区域中，其中，喷药定位区域对产生的检测矩形实施修正，完成检测矩形分类和脆李位置喷药；采用验证操作脆李喷药器，基于有监督训练模块和卷积采集每个脆李训练历史分片网格图的特征，使用三个并行的句柄，将不同分支的句柄实施共享并相互利用高级聚类特征；采用点对点的影像分片方法requestinst，将脆李训练历史影像集合中的每个颜色通道分配到不同的脆李影像中，得到脆李训练历史分片网格图，具体包括：将640
×
640大小的脆李训练历史影像输入第一级别控制网络，采集第一脆李训练历史分片网格图，第一脆李训练历史分片网格图大小为240
×
240，包括脆李训练历史影像的基础脆李表皮中的表皮特征；将第一脆李训练历史分片网格图输入第二级别控制网络，采集第二脆李训练历史分片网格图，第二脆李训练历史分片网格图大小为160
×
160，包括脆李训练历史影像的脆李中的阳光区域的标注显示；
将第二脆李训练历史分片网格图输入第三级别控制网络和第四级别控制网络，采集第三脆李训练历史分片网格图和第四脆李训练历史分片网格图，第三脆李训练历史分片网格图和第四脆李训练历史分片网格图的大小为90
×
90和45
×
45，包括脆李训练历史影像的脆李中的高级聚类特征脆李病虫害实施分片区域；将第四级别控制网络所生成的第四脆李训练历史分片网格图实施前向训练后，与第三级别控制网络的第三脆李训练历史分片网格图实施1
×
1卷积细化后实施帧差关联，得到第五脆李训练历史分片网格图f5；将f5实施前向训练，与第二级别控制网络的第二脆李训练历史分片网格图实施1
×
1卷积细化后实施帧差关联，整合颜色、光滑度特征，得到第六脆李训练历史分片网格图f6；将f6实施前向训练，与第一级别控制网络的第一脆李训练历史分片网格图实施1
×
1卷积细化后实施帧差关联，整合脆李病虫害边界信息，得到第七脆李训练历史分片网格图f7；具体的，提取第七脆李训练历史分片网格图的多个检测矩形，初始化n个锚框，得到每个锚框与检测矩形的重叠大小；设置无关拆解预设门限值，若重叠大小大于无关拆解预设门限值，则检测矩形的区域为前景，否则为无关；将检测矩形输入到喷药定位区域中，并给定一个验证操作am，将am输入到有监督训练模块得到特征降噪验证操作am
*
，将am
*
和检测矩形作为参考，在卷积下修正特征，作为下一级别控制网络的参考指导，在分片头下生成第一病虫害的分片区域；重复给定验证操作并输入有监督训练模块的步骤，得到第二病虫害的分片区域和第三病虫害的分片区域；对第一病虫害的分片区域、第二病虫害的分片区域和第三病虫害的分片区域实施融合，得到脆李病虫害影像分片结果；依据脆李病虫害影像分片结果对脆李聚类分片网络实施循环训练，得到脆李病虫害聚类分片模型。
14.其中，在该实施例中，通过脆李病害检测模型检测待测脆李影像的步骤可以是，将待测脆李影像输入脆李病害检测模型以获取对应的检测结果。
15.其中，训练过程可以包括：首先获取训练集，所述训练集包括多个训练数据，历史脆李影像的病害检测结果用于指示所述历史脆李影像对应的至少一个叶片是否患有所述脆李病害。可以直观高效地显示出历史脆李影像对应的至少一个叶片是否患有所述脆李病害，智能化程度高。
16.可以将所述训练数据中的历史脆李影像输入预设的深度学习模型，以得到所述历史脆李影像的病害检测结果的预测数据。通过训练获取脆李病害检测模型，并进行检测。该方法基于计算机视觉技术，利用深度学习模型，可以更好地拟合数据和实际情况。
17.利用脆李历史影像和其中脆李的类型对神经网络模型进行得到脆李识别模型之后，即可利用脆李识别模型来识别各个影像区域中包含的各个脆李的健康度。在实施中，可以逐个将各个影像区域输入至脆李识别模型；而为了加快识别速度也可以多个并行的方式将各个影像区域输入脆李识别模型，此种情况，在将各个影像区域输入脆李识别模型进行
识别时，可以对各个影像区域进行标记，比如，利用各个影像区域在待识别影像中的坐标来对各个影像区域进行标记。
18.深度学习模型具有强大的拟合能力，可以逼近复杂的函数，达到无穷维，进一步提升测试的精度。所述方法克服了手工提取脆李影像特征的缺陷，识别精度显著提高，其与农业信息感知的结合为脆李病害检测拓展了全新的研究视角。还可以利用该脆李病害检测模型对待测脆李进行复检，并对该脆李病害检测模型进行更新和调整，有利于全局性跟进脆李的喷药周期、喷药程度和喷药位置。有助于依据脆李病害检测模型的检测结果，针对茶树不同位置的不同的病害状况，制定周密的治疗方案。
19.进一步地，依据脆李病虫害聚类分片模型对待喷药脆李的影像实施聚类分片，得到待喷药脆李分片影像的病虫害检测结果，具体包括：当检测到待喷药脆李的顶端枝条开始到喷药结束的喷药过程时，启动脆李病虫害聚类分片模型对待喷药脆李的影像实施聚类分片，并采集喷药过程的喷药强度；将待喷药脆李划分为顶部区域、主体部区域、底部区域，对三个区域的风险赋予不同的风险值fa，fb，fc；顶部区域靠近顶端枝条，该区域病虫害存在最多，且包括农药、虫洞，对脆李喷药的妨碍大，令fa=3；主体部区域以农药残留为主，存在部分小虫洞，通过多次清洗降低噪声，令fb=2；底部区域包括底部和叶片，病虫害为小区域农药残留和残留农药残留，妨碍最小，令fc=1；依据喷药强度，对待喷药脆李实施顶部区域、主体部区域、底部区域的影像帧边界划分并采集三个区域的影像帧集合；依据脆李病虫害聚类分片模型对影像帧集合实施聚类分片，计算得到待喷药脆李分片影像的病虫害检测结果。
20.其中，在该实施例中，仅在喷药过程中（即检测到顶端枝条开始到喷药结束的过程中）实施实时分片，并计算脆李风险评分。对于为何仅在喷药过程计算脆李风险评分，有以下几点原因：本发明的模型只对喷药过程中的关键帧影像实施调用模型，输出分片结果。
21.若喷药过程中存在空气、虚化、地面等对照帧图片时，模型会跳过该帧数，防止该类情况对模型评分的噪声。
22.阴影区域和病虫害区域可能存在重叠区域，相应地，当同一网格中表征阴影区域的像素点的覆盖率和表征病虫害区域的像素点的覆盖率均高于预设数值的情况下，可以将网格确定为阴影区域所在的网格，避免将阴影区域被当做病虫害区域而造成误处理。
23.在对病虫害区域进行处理时，某些病虫害区域的处理方法依赖于对其生长中心点的识别，比如，对该病虫害区域进行处理时需要对其根部进行喷药药液，对于此种情况，本发明实施例一种实现方式中，可以确定更新后各个影像区域的中心点；利用所确定的各个中心点对所述待识别影像中的植物进行标记。也就是将各个区域的中心点作为的生长中心点。
24.当需要对病虫害区域进行处理时，可以获取脆李影像获取模块与地面在竖直方向上的距离，以及脆李影像获取模块与喷药机在水平方向上的距离，分别作为垂直距离和观
察距离；利用垂直距离、观察距离以及待识别影像的分辨率计算地面中病虫害区域距离喷药机之间的距离。
25.具体的，在该实施例中，实时脆李喷嘴喷射强度段构建方法，包括确定喷药机的移动路线，采集喷嘴喷射脆李上各观测段内t时刻所有喷嘴喷射喷药机的强度和阻力；以每个观测段t时刻所有喷嘴喷射喷药机的强度和阻力为输入变量，以喷药机位移、强度和阻力标准差为输出变量，定义脆李边缘单元数为随机决策单元数，根据效率值的大小实施数据分析确定各决策单元当前时刻的强度段；采用通用的插值方法构建相邻决策单元间的喷嘴喷射强度段，将喷嘴喷射路线上各观测段的强度段连接从而形成当前时刻的喷嘴喷射路线上的喷嘴喷射强度段，每隔δt对喷嘴喷射强度段实施更新循环。
26.在确定喷药机移动路线的基础上，通过医疗喷药系统确定喷嘴喷射路线上脆李边缘单元数量n及间距d，通过各个脆李边缘单元采集对应的n个观测段t时刻通过的所有喷药机的强度、阻力等信息；根据所采集的t时刻各个观测区喷药机的强度和阻力，采用通用的数据分析方法确定t时刻各观测段的喷嘴喷射强度段；对相邻两个观测段的喷嘴喷射强度段的上、下边界分别采用通用的插值计算法实施插值计算，从而将各个相邻的两个观测段喷嘴喷射强度段连接起来形成t时刻喷嘴喷射路线上的喷嘴喷射强度段；随着喷药机移动，间隔δt对喷嘴喷射强度段在时间和空间上实施循环更新一次，从而建立实时脆李喷嘴喷射强度段。
27.观测段的范围由对应脆李边缘单元的观测范围确定。
28.t时刻各观测段的喷嘴喷射强度段采集具体方法为：首先将喷嘴喷射路线上脆李边缘单元数n作为随机决策单元数，以每个观测段t时刻通过的所有喷药机的强度和阻力为输入变量，以喷药机位移、强度标准差和阻力标准差为输出变量；采用通用的数据分析c2r模型建立评价公式和优化模型，计算每个决策单元的效率值θ。
29.对观测段内所有喷嘴喷射喷药机的输入变量数据对应的θ值实施横向比较，确定该观测段喷嘴喷射强度的上、下极值，θ值越大，代表着喷药机喷药有效，对应为强度段的上极值，θ值越小或是输入指标为0时，默认为强度段下极值。
30.实时脆李喷嘴喷射强度段的具体构建方法为：根据时间域上时间间隔δt确定t+δt时刻当前喷药机在移动路线上的位置，根据t+δt当前喷药机的位置对喷嘴喷射路线上的脆李边缘单元数量n和间距等信息实施更新；根据更新后的脆李边缘单元信息，采集各个观测段t+δt的所有喷嘴喷射喷药机的强度和阻力的数据，然后重复完成喷嘴喷射脆李上强度段在时间域和空间域上的更新，从而建立实时的喷嘴喷射强度段。
31.根据检测结果可以判断患病叶片的位置，从而规划导航路线，传输至无人机或移动端，采用无人机或人工喷药农药的方式，对患病叶片进行针对性治疗。根据检测结果可以判断患病叶片的患病程度，根据不同的患病程度进行不同浓度的农药配置，对症下药，节约资源，保护环境。所述规划的导航路线还可以用于茶叶病害复检，用以验证农药药效并根据
复检结果做出适应性调整，例如，如果患病叶片的患病程度减弱，则可以降低农药浓度、减少喷药次数或不予进一步治疗；如果患病叶片的患病程度没有变化，则可以提高农药浓度、增加喷药次数或进行下一轮的针对性治疗。
32.该方法将实时采集的各观测段t时刻所有喷药机强度和阻力作为输入变量，以喷药机位移、强度标准差和阻力标准差为输出变量，以脆李边缘单元数作为决策单元数，具体计算过程如下：将喷嘴喷射路线上脆李边缘单元数n作为随机决策单元数，以每个观测段t时刻通过的所有喷药机的强度和阻力为输入变量，以喷药机位移、强度标准差和阻力标准差为输出变量；将喷药机强度、阻力定义为输入变量，共两种，喷药机位移、强度标准差、阻力标准差定义为输出变量，共三种。其中x
ij
表示第j个脆李区域对第i个喷药机的强度和阻力值，要保证x
ij
》0，因此对于阻力取绝对值处理，y
rj
表示第j个脆李区域对第r个喷药机输出的输出量；vi表示第i个喷药机强度和阻力的度量，ur表示第r个喷药机输出的度量(“权”)。
33.共使用两项输入指标和三项输出指标，评价公式如式1所示：
34.式中，权系数满足hj≤1即可。
35.进一步地，对病虫害检测结果实施整合，得到待喷药脆李的病虫害风险，具体包括：根据病虫害检测结果，计算影像帧集合中每个影像帧的病虫害面积和比例；依据病虫害面积和比例对待喷药脆李的病虫害实施分类处理；当影像帧中存在病虫害被分为iii类和iv类时，该影像帧的脆李风险为差；在每个病虫害分类的基础上，根据整张影像帧的所有病虫害影像比例之和对其实施脆李风险评分；风险值与该影像帧的健康程度成反比。
36.其中，在该实施例中，风险值还可基于不同区域的喷药强度实施调整。
37.预设喷药强度数据峰谷差值门限值ρ；将喷药强度数据脆李区域的起始点vt1和终止点vtn选定为初始数据区域点，计算喷药强度数据脆李区域的任意数据点风险值和当前数据区域风险值，并将vt1、vt2转换成相应的链表节点存入脆李喷药存储表中；根据处理结果，利用脆李区域表示策略，从当前区域中选择具有强度突变的数据区域，并从该区域中选择具有强度突变的数据点vtk，作为新的数据区域点，并对当前数据区域实施再次细分；决策当前脆李喷药存储表中的数据点个数num
cur
是否已经超过了ρ的限制，如果没有超过，则继续执行，否则，步骤终止，相应的脆李喷药存储表建立完毕；通过基于脆李区域建立的脆李喷药存储表和相应的dcr，实现(0，ρ)范围内的，任意数据压缩率dcr下的数据多分辨率简化表示。
38.计算喷药强度数据脆李区域的任意数据点风险值，包括：
设喷药强度数据脆李区域的拟合直线为连接起始点vt1和终止点vtn的线段，即脆李区域边界＝(vt1，vtn)，则脆李区域上任意数据点vti的风险值fe_spi为数据点vti到脆李区域边界的垂直距离，具体计算如公式所示：
39.式中，喷药点v
t1
包括具体的时刻t1及该时刻的实际喷药数据值v1，v
t1
＝(v1，t1)；喷药点v
tn
包括具体的时刻tn及该时刻的实际喷药数据值vn，v
tn
＝(vn，tn)；喷药点v
ti
包括具体的时刻ti及该时刻的实际喷药数据值vi，v
ti
＝(vi，ti)；起始点v
t1
的风险值、终止点v
tn
的风险值均为0；进一步的，通过摄像头采集包含需要进行喷药的脆李的候选影像，并根据候选影像确定作业区域中需要进行喷药的至少一个脆李。
40.一些实施例中，当摄像头采集候选影像后，可以根据候选影像确定作业区域中需要进行喷药的至少一个脆李。
41.可以通过测距器测量摄像头相对于成像脆李的距离，进而通过距离、第一外参和第一内参将候选影像中的像素点从像素坐标转换到世界坐标系，进而得到候选影像中各个像素点所对应的第一世界坐标。
42.在对至少一个脆李进行喷药作业后，通过热成像摄像头对作业区域进行图像采集以获得喷药影像。
43.根据喷药影像中至少一个脆李包括的像素点所对应的风险值，从至少一个脆李中确定被喷药到的脆李，并根据被喷药到的脆李确定喷药效果。
44.进一步地，依据病虫害风险和待喷药脆李的喷药时长，使用病虫害风险最低的待喷药脆李区域输出，形成风险喷药报告，具体包括：喷药可信度输出标准以预设周期的脆李生长风险值最低的作为当前时间段的喷药可信度；在脆李喷药结束后输出累计喷药可信度比例。
45.通过所述fe_spi来决策目前已经喷药的路程，进而决策所在位置属于顶部、主体部或底部区域。
46.根据本发明第二实施例，参照图2，本发明请求保护一种基于多级控制的脆李喷药系统，包括：标签化模块，采集多个脆李喷药历史影像，对脆李喷药历史影像实施成熟度聚类标签化，得到脆李标签化历史影像集合；预处理模块，对脆李标签化历史影像集合实施关键帧决策预处理，将关键帧实施影像归一化和数据降噪操作，得到脆李训练历史影像集合；训练模块，将脆李训练历史影像集合输入脆李聚类分片网络中实施循环训练，得到脆李病虫害聚类分片模型；聚类分片模块，依据脆李病虫害聚类分片模型对待喷药脆李的影像实施聚类分片，得到待喷药脆李分片影像的病虫害检测结果；风险分析模块，对病虫害检测结果实施整合，得到待喷药脆李的病虫害风险；输出模块，依据病虫害风险和待喷药脆李的喷药时长，使用病虫害风险最低的待
喷药脆李区域输出，形成风险喷药报告。
47.进一步地，训练模块，具体包括：采用点对点的影像分片方法requestinst，将脆李训练历史影像集合中的每个颜色通道分配到不同的脆李影像中，得到脆李训练历史分片网格图；将脆李训练历史分片网格图输入到检测矩形和喷药定位区域中，其中，喷药定位区域对产生的检测矩形实施修正，完成检测矩形分类和脆李位置喷药；采用验证操作脆李喷药器，基于有监督训练模块和卷积采集每个脆李训练历史分片网格图的特征，使用三个并行的句柄，将不同分支的句柄实施共享并相互利用高级聚类特征；采用点对点的影像分片方法requestinst，将脆李训练历史影像集合中的每个颜色通道分配到不同的脆李影像中，得到脆李训练历史分片网格图，具体包括：将640
×
640大小的脆李训练历史影像输入第一级别控制网络，采集第一脆李训练历史分片网格图，第一脆李训练历史分片网格图大小为240
×
240，包括脆李训练历史影像的基础脆李表皮中的表皮特征；将第一脆李训练历史分片网格图输入第二级别控制网络，采集第二脆李训练历史分片网格图，第二脆李训练历史分片网格图大小为160
×
160，包括脆李训练历史影像的脆李中的阳光区域的标注显示；将第二脆李训练历史分片网格图输入第三级别控制网络和第四级别控制网络，采集第三脆李训练历史分片网格图和第四脆李训练历史分片网格图，第三脆李训练历史分片网格图和第四脆李训练历史分片网格图的大小为90
×
90和45
×
45，包括脆李训练历史影像的脆李中的高级聚类特征脆李病虫害实施分片区域；将第四级别控制网络所生成的第四脆李训练历史分片网格图实施前向训练后，与第三级别控制网络的第三脆李训练历史分片网格图实施1
×
1卷积细化后实施帧差关联，得到第五脆李训练历史分片网格图f5；将f5实施前向训练，与第二级别控制网络的第二脆李训练历史分片网格图实施1
×
1卷积细化后实施帧差关联，整合颜色、光滑度特征，得到第六脆李训练历史分片网格图f6；将f6实施前向训练，与第一级别控制网络的第一脆李训练历史分片网格图实施1
×
1卷积细化后实施帧差关联，整合脆李病虫害边界信息，得到第七脆李训练历史分片网格图f7；提取第七脆李训练历史分片网格图的多个检测矩形，初始化n个锚框，得到每个锚框与检测矩形的重叠大小；设置无关拆解预设门限值，若重叠大小大于无关拆解预设门限值，则检测矩形的区域为前景，否则为无关；将检测矩形输入到喷药定位区域中，并给定一个验证操作am，将am输入到有监督训练模块得到特征降噪验证操作am
*
，将am
*
和检测矩形作为参考，在卷积下修正特征，作为下一级别控制网络的参考指导，在分片头下生成第一病虫害的分片区域；重复给定验证操作并输入有监督训练模块的步骤，得到第二病虫害的分片区域和第三病虫害的分片区域；
对第一病虫害的分片区域、第二病虫害的分片区域和第三病虫害的分片区域实施融合，得到脆李病虫害影像分片结果；依据脆李病虫害影像分片结果对脆李聚类分片网络实施循环训练，得到脆李病虫害聚类分片模型。
48.进一步地，聚类分片模块，具体包括：当检测到待喷药脆李的顶端枝条开始到喷药结束的喷药过程时，启动脆李病虫害聚类分片模型对待喷药脆李的影像实施聚类分片，并采集喷药过程的喷药强度；通过所述fe_spi来决策喷药处于哪一脆李区域， 将待喷药脆李划分为顶部区域、主体部区域、底部区域，对三个区域的风险赋予不同的风险值fa，fb，fc；顶部区域靠近顶端枝条，该区域病虫害存在最多，且包括农药、虫洞，对脆李喷药的妨碍大，令fa=3；主体部区域以农药残留为主，存在部分小虫洞，通过多次清洗降低噪声，令fb=2；底部区域包括底部和叶片，病虫害为小区域农药残留和残留农药残留，妨碍最小，令fc=1；依据喷药强度，对待喷药脆李实施顶部区域、主体部区域、底部区域的影像帧边界划分并采集三个区域的影像帧集合；依据脆李病虫害聚类分片模型对影像帧集合实施聚类分片，计算得到待喷药脆李分片影像的病虫害检测结果；风险分析模块，具体包括：根据病虫害检测结果，计算影像帧集合中每个影像帧的病虫害面积和比例；依据病虫害面积和比例对待喷药脆李的病虫害实施分类处理；在每个病虫害分类的基础上，根据整张影像帧的所有病虫害影像比例之和对其实施脆李风险评分，使用脆李评分参考值，从高到低分为4个等级，风险值分别为3分、2分、1分、0分；风险值与该影像帧的健康程度成反比。
49.本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
50.本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的实施。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
51.本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
52.除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解
释，除非这里明确地这样定义。
53.以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例实施许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例和其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
54.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
55.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例实施多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

技术特征：
1.一种基于多级控制的脆李喷药方法，其特征在于，包括：采集多个脆李喷药历史影像，对所述脆李喷药历史影像实施成熟度聚类标签化，得到脆李标签化历史影像集合；对所述脆李标签化历史影像集合实施关键帧决策预处理，将关键帧实施影像归一化和数据降噪操作，得到脆李训练历史影像集合；将所述脆李训练历史影像集合输入脆李聚类分片网络中实施循环训练，得到脆李病虫害聚类分片模型；依据所述脆李病虫害聚类分片模型对待喷药脆李的影像实施聚类分片，得到待喷药脆李分片影像的病虫害检测结果；对所述病虫害检测结果实施整合，得到所述待喷药脆李的病虫害风险；依据所述病虫害风险和待喷药脆李的喷药时长，使用所述病虫害风险最低的待喷药脆李区域输出，形成风险喷药报告。2.如权利要求1所述的一种基于多级控制的脆李喷药方法，其特征在于，所述采集多个脆李喷药历史影像，对所述脆李喷药历史影像实施成熟度聚类标签化，得到脆李标签化历史影像集合，具体包括：从脆李喷药历史影像中采集多个所述脆李喷药历史影像；将所述脆李喷药历史影像划分为无关影像和病虫害影像，所述无关影像包括地面、虚化、空气、反光、脆李外枝干的颜色通道区域，所述病虫害影像包括脆李外虫洞、农药残留、病斑和因农药造成噪声妨碍的黄色表皮范围；通过多边形标签化工具框选出属于脆李病虫害的成熟颜色区域，对影像实施成熟度标签化，得到脆李标签化历史影像集合。3.如权利要求1所述的一种基于多级控制的脆李喷药方法，其特征在于，所述对所述脆李标签化历史影像集合实施关键帧决策预处理，将关键帧实施影像归一化和数据降噪操作，得到脆李训练历史影像集合，具体包括：对所述脆李标签化历史影像集合实施预处理，将所述脆李标签化历史影像集合中的地面、空气、反光、虚化的影像作为对照帧影像，将包含脆李病虫害和脆李表皮的影像作为关键帧影像；根据所述脆李标签化历史影像集合中关键帧影像的数据量，按照对照帧影像：关键帧影像=1：5的比例使用部分对照帧影像作为健康历史，并将多余的对照帧影像剔除；对所有的关键帧影像实施影像归一化和数据降噪操作，得到脆李训练历史影像集合。4.如权利要求1所述的一种基于多级控制的脆李喷药方法，其特征在于，所述将所述脆李训练历史影像集合输入脆李聚类分片网络中实施循环训练，得到脆李病虫害聚类分片模型，具体包括：采用点对点的影像分片方法requestinst，将所述脆李训练历史影像集合中的每个颜色通道分配到不同的脆李影像中，得到脆李训练历史分片网格图；将所述脆李训练历史分片网格图输入到检测矩形和喷药定位区域中，其中，喷药定位区域对产生的所述检测矩形实施修正，完成检测矩形分类和脆李位置喷药；采用验证操作脆李喷药器，基于有监督训练模块和卷积采集每个脆李训练历史分片网格图的特征，使用三个并行的句柄，将不同分支的句柄实施共享并相互利用高级聚类特征；
采用点对点的影像分片方法requestinst，将所述脆李训练历史影像集合中的每个颜色通道分配到不同的脆李影像中，得到脆李训练历史分片网格图，具体包括：将640
×
640大小的脆李训练历史影像输入第一级别控制网络，采集第一脆李训练历史分片网格图，所述第一脆李训练历史分片网格图大小为240
×
240，包括脆李训练历史影像的基础脆李表皮中的表皮特征；将所述第一脆李训练历史分片网格图输入第二级别控制网络，采集第二脆李训练历史分片网格图，所述第二脆李训练历史分片网格图大小为160
×
160，包括脆李训练历史影像的脆李中的阳光区域的标注显示；将所述第二脆李训练历史分片网格图输入第三级别控制网络和第四级别控制网络，采集第三脆李训练历史分片网格图和第四脆李训练历史分片网格图，所述第三脆李训练历史分片网格图和第四脆李训练历史分片网格图的大小为90
×
90和45
×
45，包括脆李训练历史影像的脆李中的高级聚类特征脆李病虫害实施分片区域；将所述第四级别控制网络所生成的第四脆李训练历史分片网格图实施前向训练后，与所述第三级别控制网络的第三脆李训练历史分片网格图实施1
×
1卷积细化后实施帧差关联，得到第五脆李训练历史分片网格图f5；将f5实施前向训练，与第二级别控制网络的第二脆李训练历史分片网格图实施1
×
1卷积细化后实施帧差关联，整合颜色、光滑度特征，得到第六脆李训练历史分片网格图f6；将f6实施前向训练，与第一级别控制网络的第一脆李训练历史分片网格图实施1
×
1卷积细化后实施帧差关联，整合脆李病虫害边界信息，得到第七脆李训练历史分片网格图f7；提取所述第七脆李训练历史分片网格图的多个检测矩形，初始化n个锚框，得到每个锚框与所述检测矩形的重叠大小；设置无关拆解预设门限值，若所述重叠大小大于所述无关拆解预设门限值，则所述检测矩形的区域为前景，否则为无关；将所述检测矩形输入到喷药定位区域中，并给定一个验证操作am，将am输入到有监督训练模块得到特征降噪验证操作，和所述检测矩形作为参考，在卷积下修正特征，作为下一级别控制网络的参考指导，在分片头下生成第一病虫害的分片区域；重复给定验证操作并输入有监督训练模块的步骤，得到第二病虫害的分片区域和第三病虫害的分片区域；对所述第一病虫害的分片区域、第二病虫害的分片区域和第三病虫害的分片区域实施融合，得到脆李病虫害影像分片结果；依据所述脆李病虫害影像分片结果对所述脆李聚类分片网络实施循环训练，得到脆李病虫害聚类分片模型。5.如权利要求1所述的一种基于多级控制的脆李喷药方法，其特征在于，所述依据所述脆李病虫害聚类分片模型对待喷药脆李的影像实施聚类分片，得到待喷药脆李分片影像的病虫害检测结果，具体包括：当检测到待喷药脆李的顶端枝条开始到喷药结束的喷药过程时，启动所述脆李病虫害聚类分片模型对待喷药脆李的影像实施聚类分片，并采集所述喷药过程的喷药强度；将所述待喷药脆李划分为顶部区域、主体部区域、底部区域，对三个区域的风险赋予不同的风险值fa，fb，fc；
所述顶部区域靠近顶端枝条，该区域病虫害存在最多，且包括农药、虫洞，对脆李喷药的妨碍大，令fa=3；所述主体部区域以农药残留为主，存在部分小虫洞，通过多次清洗降低噪声，令fb=2；所述底部区域包括底部和叶片，病虫害为小区域农药残留和残留农药残留，妨碍最小，令fc=1；依据所述喷药强度，对所述待喷药脆李实施顶部区域、主体部区域、底部区域的影像帧边界划分并采集三个区域的影像帧集合；依据所述脆李病虫害聚类分片模型对所述影像帧集合实施聚类分片，计算得到待喷药脆李分片影像的病虫害检测结果。6.如权利要求1所述的一种基于多级控制的脆李喷药方法，其特征在于，所述对所述病虫害检测结果实施整合，得到所述待喷药脆李的病虫害风险，具体包括：根据所述病虫害检测结果，计算影像帧集合中每个影像帧的病虫害面积和比例；依据所述病虫害面积和比例对待喷药脆李的病虫害实施分类处理；在每个病虫害分类的基础上，根据整张影像帧的所有病虫害影像比例之和对其实施脆李风险评分。7.如权利要求1所述的一种基于多级控制的脆李喷药方法，其特征在于，所述依据所述病虫害风险和待喷药脆李的喷药时长，使用所述病虫害风险最低的待喷药脆李区域输出，形成风险喷药报告，具体包括：喷药可信度输出标准以预设周期的脆李生长风险值最低的作为当前时间段的喷药可信度；在脆李喷药结束后输出累计喷药可信度比例。8.一种基于多级控制的脆李喷药系统，其特征在于，包括：标签化模块，采集多个脆李喷药历史影像，对所述脆李喷药历史影像实施成熟度聚类标签化，得到脆李标签化历史影像集合；预处理模块，对所述脆李标签化历史影像集合实施关键帧决策预处理，将关键帧实施影像归一化和数据降噪操作，得到脆李训练历史影像集合；训练模块，将所述脆李训练历史影像集合输入脆李聚类分片网络中实施循环训练，得到脆李病虫害聚类分片模型；聚类分片模块，依据所述脆李病虫害聚类分片模型对待喷药脆李的影像实施聚类分片，得到待喷药脆李分片影像的病虫害检测结果；风险分析模块，对所述病虫害检测结果实施整合，得到所述待喷药脆李的病虫害风险；输出模块，依据所述病虫害风险和待喷药脆李的喷药时长，使用所述病虫害风险最低的待喷药脆李区域输出，形成风险喷药报告。9.如权利要求8所述的一种基于多级控制的脆李喷药系统，其特征在于，所述训练模块，具体包括：采用点对点的影像分片方法requestinst，将所述脆李训练历史影像集合中的每个颜色通道分配到不同的脆李影像中，得到脆李训练历史分片网格图；将所述脆李训练历史分片网格图输入到检测矩形和喷药定位区域中，其中，喷药定位区域对产生的所述检测矩形实施修正，完成检测矩形分类和脆李位置喷药；采用验证操作脆李喷药器，基于有监督训练模块和卷积采集每个脆李训练历史分片网
格图的特征，使用三个并行的句柄，将不同分支的句柄实施共享并相互利用高级聚类特征；采用点对点的影像分片方法requestinst，将所述脆李训练历史影像集合中的每个颜色通道分配到不同的脆李影像中，得到脆李训练历史分片网格图，具体包括：将640
×
640大小的脆李训练历史影像输入第一级别控制网络，采集第一脆李训练历史分片网格图，所述第一脆李训练历史分片网格图大小为240
×
240，包括脆李训练历史影像的基础脆李表皮中的表皮特征；将所述第一脆李训练历史分片网格图输入第二级别控制网络，采集第二脆李训练历史分片网格图，所述第二脆李训练历史分片网格图大小为160
×
160，包括脆李训练历史影像的脆李中的阳光区域的标注显示；将所述第二脆李训练历史分片网格图输入第三级别控制网络和第四级别控制网络，采集第三脆李训练历史分片网格图和第四脆李训练历史分片网格图，所述第三脆李训练历史分片网格图和第四脆李训练历史分片网格图的大小为90
×
90和45
×
45，包括脆李训练历史影像的脆李中的高级聚类特征脆李病虫害实施分片区域；neck使用fpn特征金字塔，将所述第四级别控制网络所生成的第四脆李训练历史分片网格图实施前向训练后，与所述第三级别控制网络的第三脆李训练历史分片网格图实施1
×
1卷积细化后实施帧差关联，得到第五脆李训练历史分片网格图f5；将f5实施前向训练，与第二级别控制网络的第二脆李训练历史分片网格图实施1
×
1卷积细化后实施帧差关联，整合颜色、光滑度特征，得到第六脆李训练历史分片网格图f6；将f6实施前向训练，与第一级别控制网络的第一脆李训练历史分片网格图实施1
×
1卷积细化后实施帧差关联，整合脆李病虫害边界信息，得到第七脆李训练历史分片网格图f7；提取所述第七脆李训练历史分片网格图的多个检测矩形，初始化n个锚框，得到每个锚框与所述检测矩形的重叠大小；设置无关拆解预设门限值，若所述重叠大小大于所述无关拆解预设门限值，则所述检测矩形的区域为前景，否则为无关；将所述检测矩形输入到喷药定位区域中，并给定一个验证操作am，将am输入到有监督训练模块得到特征降噪验证操作am
*
，将am
*
和所述检测矩形作为参考，在卷积下修正特征，作为下一级别控制网络的参考指导，在分片头下生成第一病虫害的分片区域；重复给定验证操作并输入有监督训练模块的步骤，得到第二病虫害的分片区域和第三病虫害的分片区域；对所述第一病虫害的分片区域、第二病虫害的分片区域和第三病虫害的分片区域实施融合，得到脆李病虫害影像分片结果；依据所述脆李病虫害影像分片结果对所述脆李聚类分片网络实施循环训练，得到脆李病虫害聚类分片模型。10.如权利要求8所述的一种基于多级控制的脆李喷药系统，其特征在于，所述聚类分片模块，具体包括：当检测到待喷药脆李的顶端枝条开始到喷药结束的喷药过程时，启动所述脆李病虫害聚类分片模型对待喷药脆李的影像实施聚类分片，并采集所述喷药过程的喷药强度；将所述待喷药脆李划分为顶部区域、主体部区域、底部区域，对三个区域的风险赋予不同的风险值fa，fb，fc；
所述顶部区域靠近顶端枝条，该区域病虫害存在最多，且包括农药、虫洞，对脆李喷药的妨碍大，令fa=3；所述主体部区域以农药残留为主，存在部分小虫洞，通过多次清洗降低噪声，令fb=2；所述底部区域包括底部和叶片，病虫害为小区域农药残留和残留农药残留，妨碍最小，令fc=1；依据所述喷药强度，对所述待喷药脆李实施顶部区域、主体部区域、底部区域的影像帧边界划分并采集三个区域的影像帧集合；依据所述脆李病虫害聚类分片模型对所述影像帧集合实施聚类分片，计算得到待喷药脆李分片影像的病虫害检测结果；所述风险分析模块，具体包括：根据所述病虫害检测结果，计算影像帧集合中每个影像帧的病虫害面积和比例；依据所述病虫害面积和比例对待喷药脆李的病虫害实施分类处理；在每个病虫害分类的基础上，根据整张影像帧的所有病虫害影像比例之和对其实施脆李风险评分。

技术总结
本发明提出了一种基于多级控制的脆李喷药方法和系统，通过采集多个脆李喷药历史影像实施成熟度聚类标签化，得到脆李标签化历史影像集合；执行关键帧决策预处理，完成影像归一化和数据降噪操作，得到脆李训练历史影像集合；输入脆李聚类分片网络中实施循环训练，得到脆李病虫害聚类分片模型；对待喷药脆李的影像实施聚类分片，得到待喷药脆李分片影像的病虫害检测结果并实施整合，得到待喷药脆李的病虫害风险；结合待喷药脆李的喷药时长，使用病虫害风险最低的待喷药脆李区域输出，形成风险喷药报告。本发明准确利用脆李喷药的喷药强度对脆李实施区域分片，适应性地针对脆李不同特征实施循环训练，对于脆李风险的喷药起到更好的鲁棒性。的鲁棒性。的鲁棒性。


技术研发人员：文亦骁 曾文明 陈爽 卢珍 阮红丽 郭曦 李玉玲 张亚琼 袁园 刘双 谢晓东
受保护的技术使用者：四川省农业机械科学研究院
技术研发日：2023.07.13
技术公布日：2023/8/16