一种基于语义分割的大宗茶采摘效果实时评价方法

1.本发明属于农业机械技术领域，具体涉及一种基于语义分割的大宗茶采摘效果实时评价方法。


背景技术：

2.中国饮茶历史悠久，消费基础深厚。时至今日，随着经济和文化的不断发展，各种茶叶因其自身较高的营养价值和背后深厚的文化底蕴，备受各界各地人民的青睐。
3.目前，主要应用的大宗茶采摘机械分为单人手持采茶机与双人肩负采茶机，以及乘坐式采茶机。人工手持类型的采摘机械依旧需要依靠大量的人力劳动来移动沉重的手持采茶机，且工作时依靠人的眼睛和经验进行人工判断，无法达到稳定的采摘效果；车载式仿形采茶机大多依靠各类传感器对茶叶蓬面的感知来调整采摘刀片的高度。一些车载式仿形采茶机如公开号cn113039936a的专利记载的一种超声波测距的自动仿形采茶装置及其采茶方法，能在一定程度上进行反馈调节，但是其反馈调节的输入信号为刀片高度或茶叶蓬面高度，未能更加直观地从采摘的结果中得到反馈信号。同时，目前针对大宗茶采摘机械的采摘效果评价仍以在采摘结束后，对收割下来的茶鲜叶采取各类方法进行评价为主。而该类评价方法只能起到对该次采摘的评价。由于评价的时间发生在采摘完成之后，因此该类方法既无法提高该次采摘的采摘效果，也无法对各类环境变化后的后续采摘进行有效调整。
4.因此，急需一种基于实时采净率的采摘效果评价方法，在大宗茶采摘的过程中实现实时的采摘效果评价。


技术实现要素：

5.本发明的目的是针对现有技术的不足，提供一种基于语义分割的大宗茶采摘效果实时评价方法，利用茶叶语义分割数据集训练mask r-cnn模型，利用两台rgb相机在茶园实时进行茶叶图片采集并回传至边缘计算平台，利用语义分割网络对前后两处实时茶叶图像进行语义分割处理，得到具体的完整嫩芽个数和残缺嫩芽个数以及它们的具体位置，最终根据上述参数计算出实时采净率，并基于实时采净率与目标采净率对比来调整采摘刀片高度，实时提升采摘效果。
6.为了达到上述目的，本发明采用的技术方案如下：
7.本发明包括如下步骤：
8.步骤1、语义分割模型数据集制作与模型训练：预先采集露天茶树图片进行具有双标签的茶叶语义分割数据集制作，双标签分别为完整嫩芽与残缺嫩芽，然后利用茶叶语义分割数据集对mask r-cnn模型进行训练，完成训练后，将mask r-cnn模型部署于边缘计算平台。
9.步骤2、测距雷达及前后rgb相机安装：在大宗茶采摘机械前、后部各安装一个rgb相机，分别用于拍摄未采摘和采摘完的茶树图像，两个rgb相机均朝前拍摄，且拍摄角度相
同；同时，在大宗茶采摘机械底部安装测距雷达，测距雷达测量采摘刀片距离地面的高度。
10.步骤3、基于语义分割的采摘前后参数提取：采摘机械匀速向前行驶，利用边缘计算平台中的mask r-cnn模型对两个rgb相机回传的茶叶蓬面rgb图像进行语义分割，得到当前位置采摘前以及采摘后分割出的各段茶叶蓬面中完整嫩芽和残缺嫩芽的编号和具体位置。将前部rgb相机中检测到的完整嫩芽个数记为a1；后部rgb相机中检测到的完整嫩芽个数记为a2；前部rgb相机中检测到的残缺嫩芽个数记为b1；后部rgb相机中检测到的残缺嫩芽记为b2。
11.步骤4、干扰数值计算：对比采摘前后各个完整嫩芽和残缺嫩芽的具体位置，将采摘后的rgb图像中新出现的完整嫩芽个数记为a；将采摘前就存在且采摘后仍然存在的残缺嫩芽个数记为b。
12.步骤5、计算实时采净率r1如下：
[0013][0014]
步骤6、基于实时采净率的实时采摘刀片调整：给定待采收茶叶目标采净率范围，若实时采净率不在目标采净率范围内，则对采摘刀片进行高低调整。
[0015]
步骤7、重复步骤3到步骤6，直到采摘结束。
[0016]
进一步，所述步骤1中通过rgb相机采集露天茶树图片，拍摄角度与实际采摘时rgb相机拍摄角度保持一致。
[0017]
进一步，所述步骤3中的语义分割具体为：将识别出的完整嫩芽与残缺嫩芽，沿着轮廓进行分割，形成单个封闭区域，并且每个完整嫩芽和残缺嫩芽都具备单独的编号和位置信息。
[0018]
进一步，步骤3和步骤4中，需要根据采摘机械的行进速度以及前部rgb相机与后部rgb相机的位置差距，基于前部rgb相机回调预设时间的图像提取采摘前的参数。
[0019]
进一步，所述步骤6具体如下：给定待采收茶叶目标采净率范围，且设定目标采净率范围的上限为r2，目标采净率范围的下限为r3，当实时采净率r1＞r2时，使采摘刀片向上运动预设距离；当实时采净率r1《r3时，使采摘刀片割刀向下运动预设距离。
[0020]
本发明的有益效果是：
[0021]
1、本发明中基于语义分割的实时评价方法，相较于采摘结束后再根据采摘下来的茶鲜叶进行评价的离线评价方法，不需要额外搭建大型鲜叶分选设备，且直接着眼于茶叶蓬面进行分析，实现了以采摘结果为基准的实时评价。
[0022]
2、本发明中基于语义分割的实时评价方法，相较于采摘结束后再根据采摘下来的茶鲜叶进行评价的离线评价方法，可在采摘时实时做出评价，直接提高该次的采摘效果。
[0023]
3、本发明中使用的语义分割相对于目标检测等深度学习方法，可以做到对检测结果进行像素级别的图像分割，有利于直观地进行茶树在被采摘前后的蓬面情况对比，更好地得到各类评价参数。
[0024]
4、本发明提供的方法可以使用于任何具备采摘刀片升降功能的大宗茶采摘机械，使用范围广，适合推广使用。
附图说明
[0025]
图1是本发明的整体流程图。
[0026]
图2是本发明中测距雷达及前后rgb相机安装位置示意图。
[0027]
图3是本发明的语义分割效果示意图。
具体实施方式
[0028]
以下结合附图和实施例进一步说明本发明。
[0029]
为描述方便，本实施例以采摘刀片行进方向为x轴，空间中垂直地面的轴为z轴，空间中垂直于x轴和z轴的轴为y轴。
[0030]
如图1所示，基于语义分割的大宗茶采摘效果实时评价方法，包括如下步骤：
[0031]
步骤1)语义分割模型数据集制作与模型训练：采集露天茶树图片进行双标签语义分割数据集制作，双标签分别为完整嫩芽与残缺嫩芽。语义分割数据集制作过程具体为：对采集到的露天茶树图片中的单个完整嫩芽和单个残缺嫩芽进行边缘裁剪，形成一个个沿着单个完整茶叶嫩芽或单个残缺嫩芽的封闭区域(称为mask标签图片)，原始露天茶树图片作为训练集，所有封闭区域构成标注集，训练集和标注集一起构成语义分割数据集。其中，拍摄角度与后续实际采摘时rgb相机保持一致。利用露天茶树的语义分割数据集进行mask r-cnn模型训练。完成训练后，将mask r-cnn模型部署于边缘计算平台，使得边缘计算可离线实时对输入的茶叶图像进行语义分割处理。
[0032]
步骤2)测距雷达及前后rgb相机安装：如图2所示，在采摘机械前、后部各安装一个rgb相机，分别用于拍摄未采摘和采摘完的茶树图像，两个rgb相机均朝前拍摄，且拍摄角度相同；同时，在大宗茶采摘机械底部安装测距雷达，测距雷达测量采摘刀片距离地面的高度。
[0033]
步骤3)基于语义分割的采摘前后参数提取：采摘机械匀速向前行驶，利用边缘计算平台中的mask r-cnn模型对两个rgb相机回传的茶叶蓬面rgb图像分别进行语义分割，语义分割的具体效果如图3所示，得到当前位置采摘前以及采摘后分割出的各段茶叶蓬面中完整嫩芽和残缺嫩芽的编号和具体位置；其中，采摘前参数提取，需要根据采摘机械的行进速度以及前部rgb相机与后部rgb相机的位置差距，基于前部rgb相机回调预设时间(其值等于位置差距除以行进速度)的图像进行提取；将前部rgb相机中检测到的完整嫩芽个数记为a1；后部rgb相机中检测到的完整嫩芽个数记为a2；前部rgb相机中检测到的残缺嫩芽个数记为b1；后部rgb相机中检测到的残缺嫩芽记为b2。其中，各个被检测出来的完整嫩芽与残缺嫩芽，都具有在rgb图中的二维坐标信息。
[0034]
步骤4)干扰数值计算：对比采摘前后各个完整嫩芽和残缺嫩芽的具体位置，将采摘后的rgb图像中新出现的完整嫩芽个数记为a；将采摘前就存在且采摘后仍然存在的残缺嫩芽个数记为b。对比的依据为，步骤3)中得到的编号与位置信息，而且要对比前部rgb相机与后部rgb相机在同一片茶叶蓬面的rgb图像，但由于同一时间点，前部rgb相机和后部rgb相机拍摄到的图像并不是同一片，因此需要根据采摘机械的行进速度以及前部rgb相机与后部rgb相机的位置差距，回调前部rgb相机预设时间(其值等于位置差距除以行进速度)的图像，再与后部rgb相机的实时图像进行对比。采摘后的rgb图像中新出现的完整嫩芽和采摘前就存在且采摘后仍然存在的残缺嫩芽均是干扰数值。采摘后新出现的完整嫩芽需要去
除的原因是，有一些芽头位于茶树较深处或者处于被遮挡的状态。这类完整嫩芽不会被采摘刀片采摘到，也不会在前部rgb相机的图像中被识别。若忽略该误差，则会导致后续步骤5)中，实时采净率r1过低。采摘前就存在且采摘后仍然存在的残缺嫩芽需要去除的原因是，有一些采摘前就存在的残缺嫩芽，采摘后仍存在。这类残缺嫩芽会被后部rgb相机中识别。若忽略该误差，则会导致后续步骤5中，实时采净率r1过高。
[0035]
步骤5)评价指标计算：
[0036][0037]
基于上述评价指标，本发明利用实时采净率对采摘机械实际收获效果进行计算，实时采净率r1计算如下：
[0038][0039]
步骤6)基于实时采净率的实时采摘刀片调整：给定待采收茶叶目标采净率范围，且设定目标采净率范围的上限为r2，目标采净率范围的下限为r3，当实时采净率r1＞r2时，说明采摘刀片当前采收过深，可能连着老叶和老梗一起割干净了，此时使采摘刀片向上运动预设距离；当实时采净率r1《r3时，说明采摘刀片当前采收过浅，此时使采摘刀片割刀向下运动预设距离。
[0040]
步骤7)重复步骤3)到步骤6)，直到采摘结束。
[0041]
最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形以及基于该方法的各类应用，均应认为是本发明的保护范围。

技术特征：
1.一种基于语义分割的大宗茶采摘效果实时评价方法，其特征在于：包括如下步骤：步骤1、语义分割模型数据集制作与模型训练：预先采集露天茶树图片进行具有双标签的茶叶语义分割数据集制作，双标签分别为完整嫩芽与残缺嫩芽，然后利用茶叶语义分割数据集对mask r-cnn模型进行训练，完成训练后，将mask r-cnn模型部署于边缘计算平台；步骤2、测距雷达及前后rgb相机安装：在大宗茶采摘机械前、后部各安装一个rgb相机，分别用于拍摄未采摘和采摘完的茶树图像，两个rgb相机均朝前拍摄，且拍摄角度相同；同时，在大宗茶采摘机械底部安装测距雷达，测距雷达测量采摘刀片距离地面的高度；步骤3、基于语义分割的采摘前后参数提取：采摘机械匀速向前行驶，利用边缘计算平台中的mask r-cnn模型对两个rgb相机回传的茶叶蓬面rgb图像进行语义分割，得到当前位置采摘前以及采摘后分割出的各段茶叶蓬面中完整嫩芽和残缺嫩芽的编号和具体位置；将前部rgb相机中检测到的完整嫩芽个数记为a1；后部rgb相机中检测到的完整嫩芽个数记为a2；前部rgb相机中检测到的残缺嫩芽个数记为b1；后部rgb相机中检测到的残缺嫩芽记为b2；步骤4、干扰数值计算：对比采摘前后各个完整嫩芽和残缺嫩芽的具体位置，将采摘后的rgb图像中新出现的完整嫩芽个数记为a；将采摘前就存在且采摘后仍然存在的残缺嫩芽个数记为b；步骤5、计算实时采净率r1如下：步骤6、基于实时采净率的实时采摘刀片调整：给定待采收茶叶目标采净率范围，若实时采净率不在目标采净率范围内，则对采摘刀片进行高低调整；步骤7、重复步骤3到步骤6，直到采摘结束。2.根据权利要求1所述一种基于语义分割的大宗茶采摘效果实时评价方法，其特征在于：所述步骤1中通过rgb相机采集露天茶树图片，拍摄角度与实际采摘时rgb相机拍摄角度保持一致。3.根据权利要求1所述一种基于语义分割的大宗茶采摘效果实时评价方法，其特征在于：所述步骤3中的语义分割具体为：将识别出的完整嫩芽与残缺嫩芽，沿着轮廓进行分割，形成单个封闭区域，并且每个完整嫩芽和残缺嫩芽都具备单独的编号和位置信息。4.根据权利要求1所述一种基于语义分割的大宗茶采摘效果实时评价方法，其特征在于：步骤3和步骤4中，需要根据采摘机械的行进速度以及前部rgb相机与后部rgb相机的位置差距，基于前部rgb相机回调预设时间的图像提取采摘前的参数。5.根据权利要求1所述一种基于语义分割的大宗茶采摘效果实时评价方法，其特征在于：所述步骤6具体如下：给定待采收茶叶目标采净率范围，且设定目标采净率范围的上限为r2，目标采净率范围的下限为r3，当实时采净率r1＞r2时，使采摘刀片向上运动预设距离；当实时采净率r1<r3时，使采摘刀片割刀向下运动预设距离。

技术总结
本发明公开了一种基于语义分割的大宗茶采摘效果实时评价方法，利用茶叶语义分割数据集训练Mask R-CNN模型，利用两台RGB相机在茶园实时进行茶叶图片采集并回传至边缘计算平台，利用语义分割网络对前后两处实时茶叶图像进行语义分割处理，得到具体的完整嫩芽个数和残缺嫩芽个数以及它们的具体位置，最终根据上述参数计算出实时采净率，并基于实时采净率与目标采净率对比来调整采摘刀片高度，相较于采摘结束后再根据采摘下来的茶鲜叶进行评价的离线评价方法，可在采摘时实时做出评价，直接提高采摘效果。提高采摘效果。提高采摘效果。


技术研发人员：俞焘杰 陈建能 赵润茂 廖聪 范国帅 郇晓龙 吴敏
受保护的技术使用者：浙江理工大学
技术研发日：2023.06.20
技术公布日：2023/9/20