基于深度学习的大豆豆荚考种方法、系统及装置

1.本发明属于人工智能机器视觉考种技术领域，尤其涉及基于深度学习的大豆豆荚考种方法、系统及装置。


背景技术：

2.大豆豆荚考种是大豆室内考种的一部分。《大豆植物品种特异性、一致性和稳定性检测指南》提供了大豆检测的44个基本性状及相关定义，其中大豆豆荚相关性状主要包括单株豆荚数、单株种粒数、单荚种粒数等。单株豆荚数、单株种粒数以及单荚种粒数作为大豆豆荚表型的一部分，是提高作物产量和生物学研究有力指标。快速准确地获取豆荚数和种粒数对辅助育种具有重要意义。
3.目前，人工检测的方法拥有主观性强、成本高、检测过程费时费力、可重复性低等缺点，无法满足大规模的豆荚快速准确检测的要求。现有的技术一般使用机器视觉的方式进行考种，然而现有技术仍存在以下不足：一是在对豆荚考种的过程中，对豆荚的分类不详细，如只分为一粒荚、二粒荚、三粒荚，忽略了秕粒的存在，导致在计算有效种粒数产生了误差；二是现有的技术对拍照设备要求高，难以普及；三是目前的目标检测模型主要并不是针对豆荚识别构建的，并不适用于豆荚检测。亟需一种快速精准、适用于多种复杂环境下的大豆豆荚识别方法。
4.在机器视觉领域，图像处理技术已广泛应用于大豆豆荚表型提取。图像处理技术一类是基于人工特征提取的方法，通过对豆荚图像进行分析处理，计算出豆荚的颜色，纹理及形态等多种特征参数，该方法克服了人工检测的缺点。但是，该方法需要不断测试择优且过程较为复杂，并且每一类豆荚之间的特征区别较小。经典的图像处理技术对物体的纹理特征和光照条件敏感，存在鲁棒性和泛化能力不足等问题，不能稳定有效地执行识别任务。
5.近年来，随着深度学习在图像识别领域的快速发展，深度学习技术在大豆豆荚考种领域也得到了广泛的关注。卷积神经网络通过对数字图像进行卷积和池化操作，可以有效提取到图像的多尺度特征。与经典的图像处理技术相比，深度学习方法在泛化能力上有特别高的提高。每类豆荚之间形态颜色等差异微弱，这对识别及计数有一定的困难，故迫切需要设计一种适用于大豆豆荚和种粒精准计数的深度学习方法来提高检测和计数的准确率。


技术实现要素：

6.本发明的目的在于提供一种基于深度学习的大豆豆荚考种方法、系统及装置，以解决上述背景技术中提出的现有技术中对豆荚的分类不详细，及每类豆荚之间形态颜色等差异微弱，对识别及计数存在困难等问题。
7.为实现上述目的，本发明采用以下技术方案实现：
8.本发明第一方面提供了基于深度学习的大豆豆荚考种方法，包括以下步骤：
9.s1、采集不同拍摄环境下的大豆豆荚原始rgb图像；
10.s2、根据大豆豆荚原始rgb图像中每个豆荚中实粒和秕粒的个数情况进行框选分类标记建立原始图像数据集；
11.s3、构建融合注意力模块的改进yolox网络模型，将原始图像数据集输入至改进yolox网络模型进行训练；
12.s4、测试改进yolox网络模型，更新改进yolox网络模型的学习参数；
13.s5、对改进yolox网络模型中大豆豆荚计数结果进行修正；
14.s6、利用已更新的改进yolox网络模型对待考种的大豆豆荚进行检测，得到各类别的大豆豆荚以及大豆豆荚实际种粒的计数结果。
15.优选地，所述步骤s1中采集图像具体包括如下步骤：
16.s1-1、选取一批随机摆放的大豆豆荚进行图像采集用于训练；
17.s1-2、选取另一批随机摆放的大豆豆荚进行测试集图像采集，建立颜色失真图像测试集、高密度豆荚图像测试集、低像素图像测试集的三种图像测试集。
18.优选地，所述步骤s2中对图像中大豆豆荚分类具体包括如下步骤：
19.s2-1、将大豆豆荚中的种粒分为实粒和秕粒；
20.s2-2、根据大豆豆荚原始rgb图像中每个豆荚中实粒和秕粒的个数情况对大豆豆荚进行分类，大豆豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、一粒实两粒空、两粒实一粒空、三粒实的七类；
21.s2-3、使用labelimg对原始图像数据集中每一类大豆豆荚进行标注。
22.优选地，所述步骤s3中训练改进yolox网络模型具体包括如下步骤：
23.s3-1、构建融合注意力模块的改进yolox网络模型；
24.s3-2、将训练图像按照9：1划分为训练集和验证集；
25.s3-3、使用步骤s3-1中预训练好的网络权重作为初始权重，采用迁移学习的方法利用训练集进行训练；
26.预先训练好的权重迭代150个epoch，在训练的前50个epoch冻结骨干网络，学习率设置为1e-4，衰减率设置为0.96；
27.50个epoch后，骨干网解冻，学习率设置为1e-5，衰减率设置为0.96；
28.s3-4、采用验证集验证训练后的改进yolox网络模型。
29.优选地，所述步骤s3-1中构建融合注意力模块的改进yolox网络模型具体如下：
30.改进yolox网络模型包括主干网络cspdarknet、加强特征提取网络fpn、pan网络以及head网络；
31.主干网络cspdarknet对输入的大豆豆荚图像进行特征提取，提取不同尺度大豆豆荚、实粒和秕粒的特征，提取所有大豆豆荚图像相应的特征集合作为特征层，在三个特征层后分别添加se注意力模块；se注意力模块，用于使改进yolox网络模型聚焦于种粒凸出部分，降低对其他豆荚其他部分的关注度；
32.加强特征提取网络fpn对主干网络cspdarknet获得的特征层加强特征提取；在主干网络cspdarknet获得的三个特征层会在加强特征提取网络fpn实行上采样进行特征融合，在上采样后的特征层后添加se注意力模块，用于结合不同尺度大豆豆荚以及不同种粒的特征信息，使已经获得的特征层被用于继续提取特征，从而提高任务处理的效率和准确性；由于豆荚中由于豆荚中的实粒和秕粒的饱满程度不同，同时实粒存在的位置与秕粒存
在位置的颜色、纹理等差别较大，所以对于大豆植株，将种粒凸出部分作为重点特征进行提取将会迅速提升模型的精度。
33.同时采用pan网络，对特征层实行下采样进行特征融合，并在下采样后的特征层后添加se注意力模块；
34.将通过主干网络cspdarknet和加强特征提取网络fpn加强过的三个特征层传入head网络，head网络对特征层中的每一个特征点进行判断，最终根据每个大豆豆荚的不同特征得到每一尺度大豆豆荚的分类结果，大豆豆荚的不同特征包括每个豆荚中实粒和秕粒的个数。
35.优选地，所述步骤s4中测试改进yolox网络模型具体如下：
36.使用颜色失真图像测试集、高密度豆荚图像测试集、低像素图像测试集的三种图像测试集对改进yolox网络模型进行测试并不断优化，确定改进yolox网络模型的学习参数；
37.优选地，所述步骤s5中对改进yolox网络模型中大豆豆荚计数结果进行修正，用于对存在多种特征的大豆豆荚计数结果进行修正，修正方法具体如下：
38.将改进yolox网络模型检测得到大豆豆荚检测结果的坐标逐一计算iou，iou表示两个框重叠程度,如果iou＞0.2，则认为一个豆荚中出现多类豆荚的特征，则将检测总数减一；
[0039][0040]
公式中分子部分表示预测框与真实框的交叉部分面积大小，分母部分表示预测框并上真实框所占的面积大小。
[0041]
优选地，所述步骤s6中对待考种的大豆豆荚进行检测具体包括如下步骤：
[0042]
s6-1、输入待检测的单张大豆豆荚图像；
[0043]
s6-2、得到图像检测结果，同时获得图像中各类大豆豆荚个数、有效荚数、有效种粒数的表型参数。
[0044]
本发明第二方面提供了基于深度学习的大豆豆荚考种系统，包括：
[0045]
采集单元，用于采集大豆豆荚图像；
[0046]
采集训练集和验证集所需的大豆豆荚图像；
[0047]
采集测试集所需的大豆豆荚图像，测试集大豆豆荚图像包括颜色失真图像、高密度豆荚图像、低像素图像；
[0048]
处理单元，用于对大豆豆荚图像进行检测；
[0049]
处理单元包括：
[0050]
标记模块，用于使用labelimg对采集单元所采集的大豆豆荚图像进行分类标注，大豆豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、一粒实两粒空、两粒实一粒空、三粒实的七类；
[0051]
检测模块，用于利用标记模块所标记的大豆豆荚图像训练融合注意力模块的改进yolox网络模型，且进行优化，确定改进yolox网络模型的学习参数；
[0052]
修正模块，用于对大豆豆荚检测结果的坐标逐一计算iou，若单个大豆豆荚具有多个不同类别的标记框，在计算大豆豆荚数量时将重复计算次数的大豆豆荚删除，降低大豆
豆荚计数的误差；
[0053]
输出单元，用于输出大豆豆荚图像中各类别的大豆豆荚以及大豆实际种粒的计数结果。
[0054]
本发明第三方面提供了基于深度学习的大豆豆荚考种装置，包括：
[0055]
输入设备，用于采集待考种的大豆豆荚图像；
[0056]
检测平台，用于通过融合注意力模块的改进yolox网络模型对待考种的大豆豆荚图像进行检测，且修正大豆豆荚数量检测结果；
[0057]
输出设备，用于得到待考种的大豆豆荚图像检测结果，获得大豆豆荚图像中各类大豆豆荚个数、有效豆荚数、有效种粒数的表型参数。
[0058]
本发明第四方面提供了一种计算机设备，包括存储器、处理器，
[0059]
所述存储器中存储有在处理器上运行的可执行程序；
[0060]
所述处理器运行可执行程序时实现基于深度学习的大豆豆荚考种方法。
[0061]
本发明第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序；
[0062]
所述计算机程序被处理器执行时，使得所述处理器执行基于深度学习的大豆豆荚考种方法。
[0063]
与现有技术相比，本发明的有益效果是：
[0064]
(1)、本发明中计数方法在对大豆豆荚检测时，能够将豆荚中的实粒和秕粒区分，减少种粒计数的误差，得到豆荚智能化分类和大豆实际种粒的精准计数，提高计数的准确率；
[0065]
(2)、本发明中计数方法在检测过程中，无需刻意将豆荚摆盘，能够在多种拍摄环境下快速准确地对豆荚进行检测实现精准识别，降低拍摄成本，提高检测和计数的准确率和效率，普适性强。
附图说明
[0066]
图1为本发明实施例1中基于深度学习的大豆豆荚考种方法的流程图；
[0067]
图2为本发明实施例1中采集原始图像的设备和训练图像；
[0068]
图3为本发明实施例1中测试集原始图像；
[0069]
图4为本发明实施例1中各类别的大豆豆荚示意图；
[0070]
图5为本发明实施例1中改进的yolox模型示意图；
[0071]
图6为本发明实施例1中se注意力机制示意图；
[0072]
图7为本发明实施例1中改进yolox网络模型对待考种的大豆豆荚检测的输入示例图像；
[0073]
图8为本发明实施例1中改进yolox网络模型对待考种的大豆豆荚检测的输出示例图像。
具体实施方式
[0074]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本
发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0075]
实施例1：
[0076]
参阅图1，基于深度学习的大豆豆荚考种方法，包括以下步骤：
[0077]
s1、采集不同拍摄环境下的大豆豆荚原始rgb图像；
[0078]
本实施例中采集大豆豆荚图像的方法是，将豆荚随机放置在白色背景板上，使用扫描仪对豆荚拍摄710张分辨率为2448
×
2448的图像，然后用安装在固定三脚架上的手机相机对大豆豆荚拍摄了362张3072
×
3072分辨率的图片，以上一共1072张图像作为训练集图像。图像采集设备参见图2中(a)(c)，训练图像参见图2中(b)(d)。
[0079]
为了保证测试数据集的独立性，另取一批不同于训练集的大豆豆荚作为拍摄样本，制作了三个不同的测试数据集。使用扫描仪拍摄90张颜色失真的图像作为测试数据集cpd(color-distortion pods dataset)；使用手机相机拍摄90张高密度豆荚图像(每张图像中有50-120个豆荚)作为测试数据集hpd(high-density pods dataset)；将测试数据集hpd的90张图像分辨率缩减为1024
×
1024作为低像素测试数据集lpd(low-pixel pods dataset)。测试集图像参见图3。
[0080]
s2、根据图像中每个豆荚中实粒和秕粒的个数情况进行框选分类标记建立原始图像数据集，豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、两粒实一粒空、一粒实两粒空、三粒实；
[0081]
本实施例对数据集标注方法是，首先按照根据每个豆荚中实粒和秕粒的个数将豆荚分为全空(empty)、一粒实(1b)、一粒实一粒空(1b-1e)、两粒实(2b)、两粒实一粒空(2b-1e)、一粒实两粒空(1b-2e)、三粒实(3b)七类，并使用labelimg标注软件分别对每张图片进行人工标注。各类别大豆豆荚参见图4。
[0082]
s3、构建融合注意力模块的改进yolox网络模型框架，将原始图像数据集输入至改进yolox网络模型进行训练；
[0083]
本实施例构建的网络模型请参阅图5，改进的yolox模型可以分为四个部分，分别是主干网络cspdarknet，加强特征提取网络fpn，pan网络以及head网络。
[0084]
首先，cspdarknet会对输入的大豆豆荚图片进行特征提取，提取不同尺度大豆豆荚、实粒和秕粒的特征，这些特征是输入的大豆豆荚图像的特征集合，即特征层。在主干网络部分，一共获取了三个特征层进行下一步网络的构建。在三个特征层后分别添加se注意力机制；se注意力机制请参见图6。
[0085]
由于豆荚中的实粒和秕粒的饱满程度不同，同时实粒存在的位置与秕粒存在位置的颜色、纹理等差别较大，所以对于大豆植株，将种粒凸出部分作为重点特征进行提取将会迅速提升模型的精度。加入se注意力模块，能够使模型聚焦于种粒凸出部分，而降低对其他都豆荚其他部分的关注度，从而提高任务处理的效率和准确性。
[0086]
接着，fpn对主干部分获得的特征层加强特征提取，在主干部分获得的三个特征层会在这一部分实行上采样进行特征融合，在上采样后的特征层后添加se注意力模块，目的是结合不同尺度大豆豆荚以及不同种粒的特征信息，已经获得的特征层被用于继续提取特征。同时在yolox还使用了pan结构，对这些特征进行下采样实现特征融合，并下采样后的特征层后添加se注意力模块。
[0087]
最后，通过cspdarknet和fpn加强过的三个特征层传入head，head对特征层中的每一个特征点进行判断，判断特征点是否有物体与其对应，最终根据每个豆荚的不同特征(每个豆荚中有效粒和秕粒的个数)得到每一尺度豆荚的分类结果。
[0088]
此外，本实施例还在卷积神经网络模型的训练中采用迁移学习的方法，使用预训练好的网络权重作为初始权重。
[0089]
训练时，将1072张图片按照9：1划分为训练集和验证集。使用预先训练好的权重迭代150个epoch，在训练的前50个epoch冻结骨干网络，学习率设置为1e-4，衰减率设置为0.96。50个epoch后，骨干网解冻，学习率设置为1e-5，衰减率设置为0.96。
[0090]
s4、测试改进yolox网络模型，更新改进yolox网络模型的学习参数；；
[0091]
本实施例使用独立拍摄的三个测试集测试模型对失真图像、高密度豆荚图像、低像素图像的识别能力，以下为测试结果：
[0092]
表1
[0093]
测试集prf1-scoremap@0.5cpd95.54％97.29％96.39％98.24％hpd85.37％89.36％86.86％91.80％lpd81.67％87.00％83.77％90.27％
[0094]
表2
[0095][0096][0097]
由表1和表2中测试结果可知，模型在测试集cpd下对每一类豆荚都能有不错的识别性能，能够有效解决图像失真问题。在密集测试集hpd中，对于不含秕粒的豆荚的识别效果，即对一粒实、二粒实、三粒实豆荚的识别效果，模型的对这三类豆荚的ap均能达到90％以上，均有不错的识别效果。对于含有秕粒的豆荚识别，改进的yolox模型对含有一粒实二粒空、一粒空二粒实这两个类别的ap能达到90％以上，对空荚、一粒实二粒空的这两类豆荚的ap接近85％，这说明即使在豆荚密集的条件下，模型能够有效区分有效种粒和秕粒。而在测试集lpd中，当图像像素降低，模型的识别能力有所下降，但是依然能够胜任豆荚和种粒的精准识别任务。
[0098]
s5、对改进yolox网络模型中大豆豆荚计数结果进行修正；
[0099]
所述步骤s5中对存在多种特征的豆荚计数结果进行修正，修正方法具体如下：
[0100]
将改进yolox网络模型检测得到大豆豆荚检测结果的坐标逐一计算iou，iou表示两个框重叠程度,如果iou＞0.2，则认为一个豆荚中出现多类豆荚的特征，则将检测总数减一；
[0101][0102]
公式中分子部分表示预测框与真实框的交叉部分面积大小，分母部分表示预测框并上真实框所占的面积大小。
[0103]
计数方法通常通过计算单个检测图像中的边界框数来实现，考虑到单个豆荚可能具有多个特征，因此在检测过程中，单个豆荚可能具有多个不同类别的标记框。如果用这种方法检测大豆豆荚，总豆荚数往往超过实际豆荚数，进而影响种子计数的误差。在这种情况下，设计了一种通过调整非最大抑制参数来消除重复计算次数的方法。实际操作是获取所有检测到的包围框的坐标信息，逐一计算iou，并将iou阈值设置为0.2。当两个包围盒的iou大于0.2时，表示一个pod中出现了多个标记框，在计算豆荚数量时将这种情况删除，从而降低豆荚计数的误差。
[0104]
s6、根据待考种的大豆豆荚实物图片或者视频，实现对待考种的大豆豆荚的检测，最终得到各类豆荚以及大豆实际种粒的计数结果。
[0105]
参见图7、图8，步骤s6包括步骤：
[0106]
步骤s6-1输入待检测的单张豆荚图像；
[0107]
步骤s6-2点击检测按钮，得到图像检测结果，同时获得图像中各类豆荚个数、有效豆荚数、有效种粒数等表型参数，参见图8。
[0108]
实施例2：
[0109]
用于实施例1中方法的基于深度学习的大豆豆荚考种系统，包括：
[0110]
采集单元，用于采集大豆豆荚图像；
[0111]
采集训练集和验证集所需的大豆豆荚图像；
[0112]
采集测试集所需的大豆豆荚图像，测试集大豆豆荚图像包括颜色失真图像、高密度豆荚图像、低像素图像；
[0113]
处理单元，用于对大豆豆荚图像进行检测；
[0114]
处理单元包括：
[0115]
标记模块，用于使用labelimg对采集单元所采集的大豆豆荚图像进行分类标注，大豆豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、一粒实两粒空、两粒实一粒空、三粒实的七类；
[0116]
检测模块，用于利用标记模块所标记的大豆豆荚图像训练融合注意力模块的改进yolox网络模型，且进行优化，确定改进yolox网络模型的学习参数；
[0117]
修正模块，用于对大豆豆荚检测结果的坐标逐一计算iou，若单个大豆豆荚具有多个不同类别的标记框，在计算大豆豆荚数量时将重复计算次数的大豆豆荚删除，降低大豆豆荚计数的误差；
[0118]
该改进yolox网络模型为实施例1中改进的yolox模型，包括主干网络cspdarknet、加强特征提取网络fpn、pan网络以及head网络；
[0119]
输出单元，用于输出大豆豆荚图像中各类别的大豆豆荚以及大豆实际种粒的计数结果。
[0120]
实施例3：
[0121]
应用实施例1中方法的基于深度学习的大豆豆荚考种装置，包括：
[0122]
输入设备，用于采集待考种的大豆豆荚图像；
[0123]
检测平台，用于通过融合注意力模块的改进yolox网络模型对待考种的大豆豆荚图像进行检测，且修正大豆豆荚检测结果；
[0124]
该检测平台采用实施例1中优化且确定改进yolox网络模型的学习参数后的改进yolox网络模型。
[0125]
输出设备，用于得到待考种的大豆豆荚图像检测结果，获得大豆豆荚图像中各类大豆豆荚个数、有效豆荚数、有效种粒数的表型参数。
[0126]
以上所述，仅用于帮助理解本发明的方法及其核心要义，但本发明的保护范围并不局限于此，对于本技术领域的一般技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.基于深度学习的大豆豆荚考种方法，其特征在于，包括以下步骤：s1、采集不同拍摄环境下的大豆豆荚图像；s2、根据大豆豆荚图像中每个豆荚中实粒和秕粒的个数情况进行框选分类标记建立原始图像数据集；s3、构建融合注意力模块的改进yolox网络模型，将原始图像数据集输入至改进yolox网络模型进行训练；s4、测试改进yolox网络模型，更新改进yolox网络模型的学习参数；s5、对改进yolox网络模型中大豆豆荚计数结果进行修正；s6、利用已更新的改进yolox网络模型对待考种的大豆豆荚进行检测，得到各类别的大豆豆荚以及大豆豆荚实际种粒的计数结果。2.根据权利要求1所述的基于深度学习的大豆豆荚考种方法，其特征在于，所述步骤s1中采集图像具体包括如下步骤：s1-1、选取一批随机摆放的大豆豆荚进行图像采集用于训练；s1-2、选取另一批随机摆放的大豆豆荚进行测试集图像采集，建立颜色失真图像测试集、高密度豆荚图像测试集、低像素图像测试集的三种图像测试集。3.根据权利要求2所述的基于深度学习的大豆豆荚考种方法，其特征在于，所述步骤s2中对图像中大豆豆荚分类具体包括如下步骤：s2-1、将大豆豆荚中的种粒分为实粒和秕粒；s2-2、根据大豆豆荚图像中每个豆荚中实粒和秕粒的个数情况对大豆豆荚进行分类，大豆豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、一粒实两粒空、两粒实一粒空、三粒实的七类；s2-3、使用labelimg对原始图像数据集中每一类大豆豆荚进行标注。4.根据权利要求3所述的基于深度学习的大豆豆荚考种方法，其特征在于，所述步骤s3中训练改进yolox网络模型具体包括如下步骤：s3-1、构建融合注意力模块的改进yolox网络模型；s3-2、将训练图像按照9：1划分为训练集和验证集；s3-3、使用步骤s3-1中预训练好的网络权重作为初始权重，采用迁移学习的方法利用训练集进行训练；预先训练好的权重迭代150个epoch，在训练的前50个epoch冻结骨干网络，学习率设置为1e-4，衰减率设置为0.96；50个epoch后，骨干网解冻，学习率设置为1e-5，衰减率设置为0.96；s3-4、采用验证集验证训练后的改进yolox网络模型。5.根据权利要求4所述的基于深度学习的大豆豆荚考种方法，其特征在于，所述步骤s3-1中构建融合注意力模块的改进yolox网络模型具体如下：改进yolox网络模型包括主干网络cspdarknet、加强特征提取网络fpn、pan网络以及head网络；主干网络cspdarknet对输入的大豆豆荚图像进行特征提取，提取不同尺度大豆豆荚、实粒和秕粒的特征，提取所有大豆豆荚图像相应的特征集合作为特征层，在三个特征层后分别添加se注意力模块；se注意力模块，用于使改进yolox网络模型聚焦于种粒凸出部分，
降低对其他豆荚其他部分的关注度；加强特征提取网络fpn对主干网络cspdarknet获得的特征层加强特征提取；在主干网络cspdarknet获得的三个特征层会在加强特征提取网络fpn实行上采样进行特征融合，在上采样后的特征层后添加se注意力模块，用于结合不同尺度大豆豆荚以及不同种粒的特征信息，使已经获得的特征层被用于继续提取特征；同时采用pan网络，对特征层实行下采样进行特征融合，并在下采样后的特征层后添加se注意力模块；将通过主干网络cspdarknet和加强特征提取网络fpn加强过的三个特征层传入head网络，head网络对特征层中的每一个特征点进行判断，最终根据每个大豆豆荚的不同特征得到每一尺度大豆豆荚的分类结果，大豆豆荚的不同特征包括每个豆荚中实粒和秕粒的个数。6.根据权利要求5所述的基于深度学习的大豆豆荚考种方法，其特征在于，所述步骤s4中测试改进yolox网络模型具体如下：使用颜色失真图像测试集、高密度豆荚图像测试集、低像素图像测试集的三种图像测试集对改进yolox网络模型进行测试并不断优化，确定改进yolox网络模型的学习参数。7.根据权利要求1或6所述的基于深度学习的大豆豆荚考种方法，其特征在于，所述步骤s5中对改进yolox网络模型中大豆豆荚计数结果进行修正，用于对存在多种特征的大豆豆荚计数结果进行修正，修正方法具体如下：将改进yolox网络模型检测得到大豆豆荚检测结果的坐标逐一计算iou，iou表示两个框重叠程度,如果iou＞0.2，则认为一个豆荚中出现多类豆荚的特征，则将检测总数减一；公式中分子部分表示预测框与真实框的交叉部分面积大小，分母部分表示预测框并上真实框所占的面积大小。8.用于权利要求7所述方法的基于深度学习的大豆豆荚考种系统，其特征在于，包括：采集单元，用于采集大豆豆荚图像；采集训练集和验证集所需的大豆豆荚图像；采集测试集所需的大豆豆荚图像，测试集大豆豆荚图像包括颜色失真图像、高密度豆荚图像、低像素图像；处理单元，用于对大豆豆荚图像进行检测；处理单元包括：标记模块，用于使用labelimg对采集单元所采集的大豆豆荚图像进行分类标注，大豆豆荚类别包括全空、一粒实、一粒实一粒空、两粒实、一粒实两粒空、两粒实一粒空、三粒实的七类；检测模块，用于利用标记模块所标记的大豆豆荚图像训练融合注意力模块的改进yolox网络模型，且进行优化，确定改进yolox网络模型的学习参数；修正模块，用于对大豆豆荚检测结果的坐标逐一计算iou，若单个大豆豆荚具有多个不同类别的标记框，在计算大豆豆荚数量时将重复计算次数的大豆豆荚删除，降低大豆豆荚计数的误差；
输出单元，用于输出大豆豆荚图像中各类别的大豆豆荚以及大豆实际种粒的计数结果。9.应用权利要求7所述方法的基于深度学习的大豆豆荚考种装置，其特征在于，包括：输入设备，用于采集待考种的大豆豆荚图像；检测平台，用于通过融合注意力模块的改进yolox网络模型对待考种的大豆豆荚图像进行检测，且修正大豆豆荚检测结果；输出设备，用于得到待考种的大豆豆荚图像检测结果，获得大豆豆荚图像中各类大豆豆荚个数、有效豆荚数、有效种粒数的表型参数。10.一种计算机设备，其特征在于，包括存储器、处理器，所述存储器中存储有在处理器上运行的可执行程序；所述处理器运行可执行程序时实现权利要求1-7任一所述基于深度学习的大豆豆荚考种方法。

技术总结
本发明公开了基于深度学习的大豆豆荚考种方法、系统及装置，涉及人工智能机器视觉考种技术领域；该方法包括以下步骤：采集不同拍摄环境下的大豆豆荚原始RGB图像；根据大豆豆荚原始RGB图像中每个豆荚中实粒和秕粒的个数情况进行框选分类标记建立原始图像数据集；构建融合注意力模块的改进YOLOX网络模型，将原始图像数据集输入至改进YOLOX网络模型进行训练；测试改进YOLOX网络模型，更新改进YOLOX网络模型的学习参数；对存在多种特征的豆荚计数结果进行修正；利用已更新的改进YOLOX网络模型对待考种的大豆豆荚进行检测。本发明能够将豆荚中的实粒和秕粒区分，且在多种拍摄环境下快速准确地对豆荚进行检测，提高检测和计数的准确率和效率。准确率和效率。准确率和效率。


技术研发人员：马慧敏 张宸曦 陆旭 胡健威 宁孝梅 张帅男 胡宇豪 刘倩 焦俊 辜丽川
受保护的技术使用者：安徽农业大学
技术研发日：2023.04.17
技术公布日：2023/7/18