一种水稻结实率测算方法

1.本发明属于农学领域，具体涉及一种水稻结实率测算方法。


背景技术：

2.水稻(学名：oryzasativa)是草本稻属的一种，也是稻属中作为粮食的最主要最悠久的一种，又称为亚洲型栽培稻，简单来说也可以说是稻。为一年生，禾本科植物，单子叶，性喜温湿，成熟时约有1米高，叶子细长，约有50到100厘米长，宽约2到2.5厘米。稻米的花非常小，开花时，主要花枝会呈现拱形，在枝头往下30到50厘米间都会开小花，大部分自花授粉并结种子，称为稻穗。一般稻穗的大小在5到12毫米长，2到3毫米厚度。每穗水稻粒数是影响粮食栽培、管理和后续产量的关键性状。稻穗粒数通常分为两类，一类是全粒，另一类是空秕粒，其中，实粒数是稻穗粒数的真实量度，实粒数与每穗粒数之比称为结实率。稻穗粒数和结实率被认为是直接反映水稻产量的两个最重要的性状。
3.通常情况下，水稻结实率由人工操作完成，该方法效率低，耗费时间长，不能高通量进行。因此，寻求一种自动识别水稻籽粒并计算水稻结实率的方法对水稻产量估计具有重要意义。


技术实现要素：

4.为了克服上述现有技术存在的不足，本发明提供了一种水稻结实率测算方法。
5.为了实现上述目的，本发明提供如下技术方案：
6.一种水稻结实率测算方法，包括如下步骤：
7.获取稻穗整穗图像；
8.对稻穗整穗图像进行分割；
9.将分割后的图片输入yolov4卷积神经网络，所述最优卷积神经网络模型对分割后的稻穗图像进行识别和归纳，识别出稻穗图像中的半粒、全粒实和全粒瘪的稻穗籽粒状态，并计算整穗稻穗图像中不同状态的稻穗籽粒的数量；
10.根据经验分布模型将半粒的比例转化成全实粒和全瘪粒的比例，并计算单株水稻的结实率。
11.优选的，稻穗图像的获取方法为：将平铺于黑色吸光布上的稻穗置于立方体暗室之中，暗室顶部设置有一个独特的光源，使用移动拍摄设备从立方体暗室前面的入口进行拍摄。
12.优选的，所述移动拍摄设备距离稻穗顶端25～35厘米，拍摄图像的分辨率为4032
×
3024。
13.优选的，单张稻穗图片分割为4
×
6＝24块识别效果最佳。
14.优选的，在使用yolov4卷积神经网络对分割后的稻穗图像进行识别和归纳前，需要对多个卷积神经网络进行训练，以获取最优的卷积神经网络，其获取步骤如下：
15.将分割后的稻穗图像按照半粒、全粒实和全粒瘪进行分类标注，获得分类标注数
据；
16.根据分类标注数据对多个卷积神经网络进行特征提取和训练，根据提取和训练结果获得识别效果最优的卷积神经网络模型。
17.优选的，多种卷积神经网络包括fasterr-cnn、sdd、efficientdet、yolo v3、yolov4，其中，识别效果最优的卷积神经网络模型为yolov4卷积神经网络。
18.优选的，稻穗图像中的所述半粒包括半实粒与半瘪粒。
19.本发明提供的水稻结实率测算方法具有以下有益效果：
20.本发明通过将获取的稻穗图像输入到卷积神经网络模型为yolov4卷积神经网络，能够准确地识别出水稻籽粒的类别及数量，并自动计算出水稻结实率，极大的节约了时间，减少了人工成本，有助于推进水稻育种的研究；本发明的测算结果与人工测算结果的相关系数超过了93％，每张图片平均处理时间不超过2秒，极大的节省了水稻的考种时间。
附图说明
21.为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1是本发明利用卷积神经网络对水稻结实率计算的路线示意图；
23.图2是本发明拍摄水稻图像所采用的长、宽、高均为80cm的立方体暗室；
24.图3是本发明需要检测的各个类别水稻籽粒的详细差异，其中“full”代表一个完整的水稻籽粒，“empty”代表空秕粒，“half”代表算法处理过程中形成的半水稻籽粒；
25.图4不同目标检测模型损失函数的变化曲线；
26.图5是本发明采用的卷积神经网络yolov4的详细网络结构；
27.图6是本发明利用卷积神经网络yolov4训练过程中的loss变化曲线；
28.图7是本发明利用卷积神经网络yolov4对训练集检测所得到的水稻实粒，水稻空秕粒和算法处理过程中形成的半水稻籽粒的检测精度；
29.图8是本发明对水稻结实率，水稻实粒，水稻空秕粒检测结果与真实结果的相关性拟合；
30.图9是本发明利用卷积神经网络yolov4对图像的检测结果；
31.图10是本发明利用卷积神经网络yolov4通过对左侧输入的5张水稻示例图像进行检测得到的图像数量，图像分辨率，每张图像的实粒与空秕粒的数量以及每张图像的水稻结实率，最终会得到一个整体的水稻结实率；
32.图11不同模型在测试集上的pr曲线。
具体实施方式
33.为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
34.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“轴
向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的技术方案和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
35.此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定或限定，术语“相连”、“连接”应作广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体式连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上，在此不再详述。
36.实施例
37.本发明提供了一种水稻结实率测算方法，包括如下步骤，如图1所示：
38.步骤1：获取稻穗整穗图像。
39.材料的获取：2018年和2019年，在东北农业大学位于阿城的实验实践和示范基地进行了水稻种植，该基地位于东经127
°
22'～127
°
50'，北纬45
°
34'～45
°
46'。试验土壤为黑土，每20m2地块周围有保护和隔离行。种子于2018年4月20日(2019年作物为4月17日)播种，并于2018年5月20日(2019年作物为5月24日)移栽，移栽尺寸为30cm
×
10cm，田间管理与生产田相同。待水稻成熟期后，通过剪刀裁剪其水稻穗部以专用包装储存并标明水稻品种。
40.稻穗图像的获取方法为：将平铺于黑色吸光布上的稻穗置于立方体暗室之中，暗室的尺寸为长、宽、高均为80cm的立方体暗室，暗室顶部设置有一个独特的光源，其他方向都覆盖着全黑色的吸光布，暗室的前面开设有入口，其为长55厘米、宽40厘米的长方形，方便进行拍摄。拍摄时，使用移动拍摄设备手机从立方体暗室前面的入口进行拍摄，如图2所示，拍摄设备手机距离稻穗顶端25～35厘米，拍摄图像的分辨率为4032
×
3024。
41.步骤2：对稻穗整穗图像进行分割，并对分割后的稻穗图像按照半粒、全粒实和全粒瘪进行分类标注，获得分类标注数据；
42.首先，对稻穗图像进行分割，经反复的大量实验发现单张稻穗图像分割成4
×
6＝24块识别效果最佳，然后，对分割后的小图像进行分类标注，其分为三类：半粒、全粒实和全粒瘪，如图3所示。
43.步骤3：根据分类标注数据对多个卷积神经网络进行特征提取和训练，根据提取和训练结果获得识别效果最优的卷积神经网络模型；
44.多种卷积神经网络包括fasterr-cnn、sdd、efficientdet、yolov3、yolo v4。
45.在利用多种卷积神经网络对分类后的稻穗图像进行优化前需要先配置好环境。首先，采用python作为程序语言，为了更快的检测出水稻籽粒，建议安装显卡厂商nvidia推出的运算平台cuda以及配套的cudnn，这样将大大提高检测效率；其次，安装anaconda，里面包含了需要的大量包，可以节省之后繁琐的安装时间；另外，为了更加便捷的对代码进行操作，需要可以编译python的编译器，这里选择pycharm作为的编译器。由于使用的是pytorch框架进行的深度学习，因此，在所有预备工作结束之后，还需要安装pytorch，如果cuda和cudnn能够正确安装并使用，这里可以安装gpu版本的pytorch，如果cuda和cudnn没有安装，提供了cpu版本的pytorch以供使用。
46.使用多种卷积神经网络对分类后的稻穗图像进行特征提取和训练，得到各个模型
的识别效果图和基本网络，如图4所示，从图中可见，最优的卷积神经网络模型为yolov4卷积神经网络，如图5所示。
47.步骤4：将稻穗整穗图像输入分割程序进行分割，将分割后的图片输入最优卷积神经网络模型，最优卷积神经网络模型对分割后的稻穗图像进行识别和归纳，识别出稻穗图像中的半粒、全粒实和全粒瘪的稻穗籽粒状态，并计算整穗稻穗图像中不同状态的稻穗籽粒的数量；
48.通过最优的yolov4卷积神经网络对稻穗图像不断进行提取、识别和训练，训练集map为90.13％，得到了最优的稳定的分割样本识别模型，然后将最优权重保存到logs文件夹下，并命名为rice_detect.pth。
49.图6、图7、图8和图9为通过最优的yolov4卷积神经网络对稻穗图像进行训练的结果。通过图6可以得到使用卷积神经网络yolov4在迭代了120次时已经趋于收敛，此时准确率已不再发生改变；图7展示了yolov4对设立的三个标签“full”、“empty”、“half”在训练集上的检测结果，其平均检测精度为90.13％；图8为得到的水稻结实率，实粒数量，空秕粒数量与真实人工计算的结果的相关系数；图9展示的是通过卷积神经网络对水稻穗部的识别情况，明显可以观察到，大部分水稻籽粒都能准确地识别。
50.图10是本发明利用卷积神经网络yolov4通过对左侧输入的5张水稻示例图像进行检测得到的图像数量，图像分辨率，每张图像的实粒与空秕粒的数量以及每张图像的水稻结实率，最终会得到一个整体的水稻结实率；
51.由于通过智能手机拍摄的图像名称不能满足规范化管理水稻图像的输入与输出，因此，需要将待检测图像同意按照指定要求命名，在所有的环境框架准备完毕之后，需要在pycharm里面打开detect_rice文件夹并把所有图像放入detect_rice下的img文件夹内，并修改change_im_name.py文件下的路径为该文件路径，可自动实现更改图像名称，并统一规范化，统一规范化后的图像命名为：“x0x.jpg，x1x.jpg
…”
。在获得统一规范化的图像之后，运行predict.py文件可自动识别并计数。
52.图11为测试集中不同卷积神经网络的pr曲线：(a)-(c)是fasterr-cnn(resnet50)的pr曲线，其中(a)是fasterr-cnn(resnet50)获得的实粒pr曲线，(b)是由fasterr-cnn(resnet50)获得的瘪粒pr曲线，(c)是由fasterr-cnn(resnet50)获得的半粒pr曲线。(d)-(f)是fasterr-cnn(vgg16)的pr曲线，其中(d)是由fasterr-cnn(vgg16)获得的实粒pr曲线，(e)是由fasterr-cnn(vgg16)获得的瘪粒pr曲线，(f)为由fasterr-cnn(vgg16)得到的半粒pr曲线。(g)-(i)是ssd的pr曲线，其中(g)是由ssd获得的实粒pr曲线，(h)是由ssd获得的瘪粒pr曲线，(i)是由ssd获得的半粒pr曲线。(j)-l)是efficientdet的pr曲线，其中(j)是由efficientdet获得的实粒pr曲线，(k)是由efficientdet获得的瘪粒pr曲线，(l)是由efficientdet获得的半粒pr曲线。(m)-(o)是yolov3的pr曲线，其中(m)是yolov3获得的实粒pr曲线，(n)是yolov3获得的瘪粒pr曲线，(o)是yolov3获得的半粒pr曲线。(p)-(r)是yolov4的pr曲线，其中(p)是yolov4获得的实粒pr曲线，(q)是yol0v4获得的瘪粒pr曲线，(r)为yolov4获得的半粒pr曲线，通过对比不同网络对目标的检测效果，可以看出yolov4具有最佳的检测能力。
53.步骤5：根据经验分布模型将半粒的比例转化成全实粒和全瘪粒的比例，并计算单株水稻的结实率。
54.经验分布模型方法为统计学中最常用的局部替代总体的方法，由于识别的过程中是把半粒作为一个类别的，而不是把半实粒和半瘪粒分别作为类别的(主要原因是半粒瘪的个数相对其他类别要少得多)，所以需要估算所识别结果中半实粒与半瘪粒个数的比例，以方便进行结实率计算。分割图像时出现的半粒占比一般不到10％，而且图像分割是随机地分割到目标稻穗的，假设被分割成的稻粒是来自整穗稻粒的一组随机样本，根据“用部分来近似总体”的统计推断基本原则，即可用图像中全实粒与全瘪粒的比例来代替半实粒与半瘪粒的比例。本技术的“经验分布模型”与统计推断的基本原则的顺序相反，是用“总体来推断(近似)局部”。
55.在显示终端会显示出每张图像中水稻实粒、水稻空秕粒与单张图像水稻结实率的数值，并显示出整体的水稻结实率。
56.通过本发明提供的方法处理水稻籽粒得到的水稻结实率信息与实际人工操作得到的水稻结实率信息进行比较发现，水稻实粒计算结果与人工计算结果相关性为98.74％，水稻空秕粒计算结果与人工计算结果相关性为94.07％，水稻结实率计算结果与人工计算结果相关性为93.21％，满足研究育种的需求。
57.本发明只需要通过身边的智能手机拍摄即可，不需要昂贵的拍摄器材，识别检测方法操作简单，易于上手。
58.以上实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。

技术特征：
1.一种水稻结实率测算方法，其特征在于，包括如下步骤：获取稻穗整穗图像；对所述稻穗整穗图像进行分割；将分割后的稻穗图像输入yolov4卷积神经网络，所述yolov4卷积神经网络对分割后的稻穗图像进行识别和归纳，识别出稻穗图像中的半粒、全粒实和全粒瘪的稻穗籽粒状态，并计算整穗稻穗图像中不同状态的稻穗籽粒的数量；根据经验分布模型将半粒的比例转化成全实粒和全瘪粒的比例，并计算单株水稻的结实率。2.根据权利要求1所述的水稻结实率测算方法，其特征在于，稻穗图像的获取方法为：将平铺于黑色吸光布上的稻穗置于立方体暗室之中，暗室顶部设置有一个独特的光源，使用移动拍摄设备从立方体暗室前面的入口进行拍摄。3.根据权利要求2所述的水稻结实率测算方法，其特征在于，所述移动拍摄设备距离稻穗顶端25～35厘米，拍摄图像的分辨率为4032
×
3024。4.根据权利要求1所述的水稻结实率测算方法，其特征在于，单张稻穗图片分割为4
×
6＝24块时识别效果最佳。5.根据权利要求1所述的水稻结实率测算方法，其特征在于，在使用yolov4卷积神经网络对分割后的稻穗图像进行识别和归纳前，需要对多个卷积神经网络进行训练，以获取最优的卷积神经网络，其获取步骤如下：将分割后的稻穗图像按照半粒、全粒实和全粒瘪进行分类标注，获得分类标注数据；根据分类标注数据对多个卷积神经网络进行特征提取和训练，根据提取和训练结果获得识别效果最优的卷积神经网络模型。6.根据权利要求5所述的水稻结实率测算方法，其特征在于，多种卷积神经网络包括fasterr-cnn、sdd、efficientdet、yolov3、yolov4，其中，识别效果最优的卷积神经网络模型为yolov4卷积神经网络。7.根据权利要求1所述的水稻结实率测算方法，其特征在于，稻穗图像中的所述半粒包括半实粒与半瘪粒。

技术总结
本发明提供了一种水稻结实率测算方法，该问题属于农学领域。具体包括如下步骤：获取稻穗整穗图像；将稻穗整穗图像进行分割，然后对分割后的稻穗图像按照半粒、全粒实和全粒瘪进行分类标注；根据分类标注数据对多个卷积神经网络进行特征提取和训练，以获得识别效果最优的卷积神经网络模型；将分割后稻穗整穗图像输入最优的卷积神经网络模型，对稻穗整穗图像进行提取和识别，获得最优的分割样本，识别稻穗图像中的半粒、全粒实和全粒瘪的稻穗籽粒状态，并计算稻穗图像中不同状态的稻穗籽粒的数量；将半粒比例转化成全实粒和全瘪粒的比例，计算单株水稻结实率。本发明能够快速准确自动地计算出水稻结实率，极大的节省了水稻的考种时间。时间。时间。


技术研发人员：朱荣胜 陈庆山 胡振帮 辛大伟 郭益鑫 赵振庆 王敬国 李杨 赵红杰 张战国
受保护的技术使用者：东北农业大学
技术研发日：2023.03.15
技术公布日：2023/9/23