一种果园水果产量统计方法及系统

score)，其中x、y为检测框的中心坐标，w、h为检测框的宽高值，score为目标框的置信度。
20.可选地，所述根据所述高分匹配结果和所述低分匹配结果为每个轨迹上的水果赋予一个独立的id，具体包括：
21.判断没有匹配到检测框的轨迹是否超过设定帧数；
22.若是，删除所述检测框的轨迹，视作该目标水果消失在视频中；
23.若否，保留所述检测框的轨迹；
24.判断是否有未匹配到轨迹的检测框；
25.若是，则创建新的轨迹，并对轨迹上的水果赋予一个独立的id；
26.若否，直接进入“统计共分配id的数量，得到水果的产量”步骤。
27.可选地，所述将所述高分检测框输入高分匹配单元，并与轨迹保存模块中的轨迹进行匹配，得到高分匹配结果，具体包括：
28.将所述高分检测框输入高分匹配单元，通过卡尔曼滤波为每一帧图片中的检测框预测下一帧对应检测框可能出现的位置；
29.将当前帧的检测框会与上一帧由卡尔曼滤波预测的检测框通过匈牙利匹配算法进行匹配，得到高分匹配结果。
30.一种果园水果产量统计系统包括：
31.视频采集模块，用于采集果园水果视频；
32.检测框信息确定模块，用于将所述果园水果视频逐帧传入到yolov7检测网络，得到每一帧图片中水果的检测框信息，所述检测框信息包括检测框的置信度；
33.第一判断模块，用于判断所述检测框的置信度是否大于第一置信度阈值；
34.第一判断结果模块，用于当所述检测框的置信度大于第一置信度阈值时，对所述检测框进行追踪；
35.当所述检测框的置信度小于或等于第一置信度阈值时，返回“采集果园水果视频”；
36.第二判断模块，用于判断所述检测框的置信度是否大于第二置信度阈值；
37.高分检测框确定模块，用于当所述检测框的置信度大于第二置信度阈值时，判定所述检测框为高分检测框；
38.低分检测框确定模块，用于当所述检测框的置信度小于或等于第二置信度阈值时，判定所述检测框为低分检测框；
39.高分匹配模块，用于将所述高分检测框输入高分匹配单元，并与轨迹保存模块中的轨迹进行匹配，得到高分匹配结果；
40.低分匹配模块，用于将所述低分检测框输入低分匹配单元，与轨迹保存模块中的轨迹进行匹配，得到低分匹配结果；
41.id赋予模块，用于根据所述高分匹配结果和所述低分匹配结果为每个轨迹上的水果赋予一个独立的id；
42.水果产量确定模块，用于统计共分配id的数量，得到水果的产量。
43.可选地，所述检测框信息包含位置信息(x,y,w,h)，置信度分数(confidence score)，其中x、y为检测框的中心坐标，w、h为检测框的宽高值，score为目标框的置信度。
44.可选地，所述id赋予模块，具体包括：
45.第一判断单元，用于判断没有匹配到检测框的轨迹是否超过设定帧数；
46.删除轨迹单元，用于当没有匹配到检测框的轨迹超过设定帧数时，删除所述检测框的轨迹，视作该目标水果消失在视频中；
47.轨迹保留单元，用于当没有匹配到检测框的轨迹未超过设定帧数时，保留所述检测框的轨迹；
48.第二判断单元，用于判断是否有未匹配到轨迹的检测框；
49.轨迹创建单元，用于当有未匹配到轨迹的检测框时，则创建新的轨迹，对轨迹上的水果赋予一个独立的id；
50.当没有未匹配到轨迹的检测框时，直接进入“水果产量确定模块”。
51.可选地，所述高分匹配模块，具体包括：
52.卡尔曼滤波单元，用于将所述高分检测框输入高分匹配单元，通过卡尔曼滤波为每一帧图片中的检测框预测下一帧对应检测框可能出现的位置；
53.匹配单元，用于将当前帧的检测框会与上一帧由卡尔曼滤波预测的检测框通过匈牙利匹配算法进行匹配，得到高分匹配结果。
54.根据本发明提供的具体实施例，本发明公开了以下技术效果：
55.本发明提供一种果园水果产量统计方法，该方法包括采集果园水果视频；将果园水果视频逐帧传入到yolov7检测网络，得到每一帧图片中水果的检测框信息，检测框信息包括检测框；判断检测框的置信度是否大于第一置信度阈值；若检测框的置信度大于第一置信度阈值，对检测框进行追踪；若检测框的置信度小于或等于第一置信度阈值，返回“采集果园水果视频”；判断检测框的置信度是否大于第二置信度阈值；若检测框的置信度大于第二置信度阈值，判定检测框为高分检测框；若检测框的置信度小于或等于第二置信度阈值，判定检测框为低分检测框；将高分检测框输入高分匹配单元，并与轨迹保存模块中的轨迹进行匹配，得到高分匹配结果；将低分检测框输入低分匹配单元，与轨迹保存模块中的轨迹进行匹配，得到低分匹配结果；根据高分匹配结果和低分匹配结果为每个轨迹上的水果赋予一个独立的id；统计共分配id的数量，得到水果的产量。本发明采用改进后的yolov7网络与追踪算法相结合的方法，能够实现高精度的果实计数，有效减少错误检测，降低重复计数。
附图说明
56.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
57.图1为本发明果园水果产量统计方法流程图；
58.图2为本发明果园水果产量统计系统结构图。
具体实施方式
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.本发明的目的是提供一种果园水果产量统计方法及系统，能够实现高精度的果实计数，有效减少错误检测，降低重复计数。
61.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
62.图1为本发明果园水果产量统计方法流程图。如图1所示，一种果园水果产量统计方法包括：
63.步骤101：采集果园水果视频。
64.步骤102：将所述果园水果视频逐帧传入到yolov7检测网络，得到每一帧图片中水果的检测框信息，所述检测框信息包括检测框的置信度。
65.具体地，所述检测框信息包含位置信息(x,y,w,h)，置信度分数(confidence score)，其中x、y为检测框的中心坐标，w、h为检测框的宽高值，score为目标框的置信度。
66.yolo算法作为one-stage目标检测算法最典型的代表，其基于深度神经网络进行对象的识别和定位，运行速度很快，可以用于实时系统。yolov7是目前yolo系列最先进的算法，在准确率和速度上超越了以往的yolo系列。
67.步骤103：判断所述检测框的置信度是否大于第一置信度阈值。
68.步骤104：若所述检测框的置信度大于第一置信度阈值，对所述检测框进行追踪。
69.若所述检测框的置信度小于或等于第一置信度阈值，返回“采集果园水果视频”。
70.步骤105：判断所述检测框的置信度是否大于第二置信度阈值。
71.步骤106：若所述检测框的置信度大于第二置信度阈值，判定所述检测框为高分检测框。
72.步骤107：若所述检测框的置信度小于或等于第二置信度阈值，判定所述检测框为低分检测框。
73.步骤108：将所述高分检测框输入高分匹配单元，并与轨迹保存模块中的轨迹进行匹配，得到高分匹配结果，具体包括：
74.将所述高分检测框输入高分匹配单元，通过卡尔曼滤波为每一帧图片中的检测框预测下一帧对应检测框可能出现的位置；
75.将当前帧的检测框会与上一帧由卡尔曼滤波预测的检测框通过匈牙利匹配算法进行匹配，得到高分匹配结果。
76.高分匹配单元与低分匹配单元的原理相同，卡尔曼滤波会为每一帧图片中的检测框预测下一帧对应检测框可能出现的位置，当前帧的检测框会与上一帧由卡尔曼滤波预测的检测框通过匈牙利匹配算法进行匹配(判断当前检测框与预测的检测框的位置关系)，这在该领域也被称为iou匹配。
77.步骤109：将所述低分检测框输入低分匹配单元，与轨迹保存模块中的轨迹进行匹配，得到低分匹配结果。
78.步骤110：根据所述高分匹配结果和所述低分匹配结果为每个轨迹上的水果赋予一个独立的id，具体包括：
79.判断没有匹配到检测框的轨迹是否超过设定帧数；
80.若是，删除所述检测框的轨迹，视作该目标水果消失在视频中；
81.若否，保留所述检测框的轨迹；
82.判断是否有未匹配到轨迹的检测框；
83.若是，则创建新的轨迹，并对轨迹上的水果赋予一个独立的id；
84.若否，直接进入“统计共分配id的数量，得到水果的产量”步骤。
85.每次匹配结束都会出现没有匹配到检测框的轨迹，和没有匹配到轨迹的检测框。当一条轨迹超过60(可以视情况而改变的值)帧时，轨迹删除模块将会删除该轨迹，即视作该目标水果消失在视频中。没有匹配到轨迹的检测框，通过轨迹创建模块创建新的轨迹(其位置被作为轨迹的初始位置)，当一条轨迹超过5帧(视情况而定)时，该轨迹被送入轨迹保存模块。每个轨迹上的水果都会被赋予一个独立的id。
86.步骤111：统计共分配id的数量，得到水果的产量。
87.本发明使用的检测算法是最先进的yolov7检测算法，相比于该领域使用过的算法，在检测精度和检测速度上都有明显的提升。
88.本发明采用的追踪算法是一种更稳健的跟踪算法，它几乎利用了每一个检测盒，而不像以前的方法只保留高分检测盒。因此本发明采用的追踪算法在计数精度上远高于先前的算法，由于低分框与高分框都被合理利用到了，因此得到的追踪轨迹更加连贯，id切换的现象(即重复计数)极大的减少。
89.图2为本发明果园水果产量统计系统结构图。如图2所示，一种果园水果产量统计系统包括：
90.视频采集模块201，用于采集果园水果视频；
91.检测框信息确定模块202，用于将所述果园水果视频逐帧传入到yolov7检测网络，得到每一帧图片中水果的检测框信息，所述检测框信息包括检测框的置信度；
92.第一判断模块203，用于判断所述检测框的置信度是否大于第一置信度阈值；
93.第一判断结果模块204，用于当所述检测框的置信度大于第一置信度阈值时，对所述检测框进行追踪；
94.当所述检测框的置信度小于或等于第一置信度阈值时，返回“采集果园水果视频”；
95.第二判断模块205，用于判断所述检测框的置信度是否大于第二置信度阈值；
96.高分检测框确定模块206，用于当所述检测框的置信度大于第二置信度阈值时，判定所述检测框为高分检测框；
97.低分检测框确定模块207，用于当所述检测框的置信度小于或等于第二置信度阈值时，判定所述检测框为低分检测框；
98.高分匹配模块208，用于将所述高分检测框输入高分匹配单元，并与轨迹保存模块中的轨迹进行匹配，得到高分匹配结果；
99.低分匹配模块209，用于将所述低分检测框输入低分匹配单元，与轨迹保存模块中的轨迹进行匹配，得到低分匹配结果；
100.id赋予模块210，用于根据所述高分匹配结果和所述低分匹配结果为每个轨迹上的水果赋予一个独立的id；
101.水果产量确定模块211，用于统计共分配id的数量，得到水果的产量。
102.所述检测框信息包含位置信息(x,y,w,h)，置信度分数(confidencescore)，其中x、y为检测框的中心坐标，w、h为检测框的宽高值，score为目标框的置信度。
103.所述id赋予模块210具体包括：
104.第一判断单元，用于判断没有匹配到检测框的轨迹是否超过设定帧数；
105.删除轨迹单元，用于当没有匹配到检测框的轨迹超过设定帧数时，删除所述检测框的轨迹，视作该目标水果消失在视频中；
106.轨迹保留单元，用于当没有匹配到检测框的轨迹未超过设定帧数时，保留所述检测框的轨迹；
107.第二判断单元，用于判断是否有未匹配到轨迹的检测框；
108.轨迹创建单元，用于当有未匹配到轨迹的检测框时，则创建新的轨迹，对轨迹上的水果赋予一个独立的id；
109.当没有未匹配到轨迹的检测框时，直接进入“水果产量确定模块”。
110.所述高分匹配模块208具体包括：
111.卡尔曼滤波单元，用于将所述高分检测框输入高分匹配单元，通过卡尔曼滤波为每一帧图片中的检测框预测下一帧对应检测框可能出现的位置；
112.匹配单元，用于将当前帧的检测框会与上一帧由卡尔曼滤波预测的检测框通过匈牙利匹配算法进行匹配，得到高分匹配结果。
113.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
114.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种果园水果产量统计方法，其特征在于，包括：采集果园水果视频；将所述果园水果视频逐帧传入到yolov7检测网络，得到每一帧图片中水果的检测框信息，所述检测框信息包括检测框的置信度；判断所述检测框的置信度是否大于第一置信度阈值；若所述检测框的置信度大于第一置信度阈值，对所述检测框进行追踪；若所述检测框的置信度小于或等于第一置信度阈值，返回“采集果园水果视频”；判断所述检测框的置信度是否大于第二置信度阈值；若所述检测框的置信度大于第二置信度阈值，判定所述检测框为高分检测框；若所述检测框的置信度小于或等于第二置信度阈值，判定所述检测框为低分检测框；将所述高分检测框输入高分匹配单元，并与轨迹保存模块中的轨迹进行匹配，得到高分匹配结果；将所述低分检测框输入低分匹配单元，与轨迹保存模块中的轨迹进行匹配，得到低分匹配结果；根据所述高分匹配结果和所述低分匹配结果为每个轨迹上的水果赋予一个独立的id；统计共分配id的数量，得到水果的产量。2.根据权利要求1所述的果园水果产量统计方法，其特征在于，所述检测框信息包含位置信息(x,y,w,h)，置信度分数(confidencescore)，其中x、y为检测框的中心坐标，w、h为检测框的宽高值，score为目标框的置信度。3.根据权利要求1所述的果园水果产量统计方法，其特征在于，所述根据所述高分匹配结果和所述低分匹配结果为每个轨迹上的水果赋予一个独立的id，具体包括：判断没有匹配到检测框的轨迹是否超过设定帧数；若是，删除所述检测框的轨迹，视作该目标水果消失在视频中；若否，保留所述检测框的轨迹；判断是否有未匹配到轨迹的检测框；若是，则创建新的轨迹，并对轨迹上的水果赋予一个独立的id；若否，直接进入“统计共分配id的数量，得到水果的产量”步骤。4.根据权利要求1所述的果园水果产量统计方法，其特征在于，所述将所述高分检测框输入高分匹配单元，并与轨迹保存模块中的轨迹进行匹配，得到高分匹配结果，具体包括：将所述高分检测框输入高分匹配单元，通过卡尔曼滤波为每一帧图片中的检测框预测下一帧对应检测框可能出现的位置；将当前帧的检测框会与上一帧由卡尔曼滤波预测的检测框通过匈牙利匹配算法进行匹配，得到高分匹配结果。5.一种果园水果产量统计系统，其特征在于，包括：视频采集模块，用于采集果园水果视频；检测框信息确定模块，用于将所述果园水果视频逐帧传入到yolov7检测网络，得到每一帧图片中水果的检测框信息，所述检测框信息包括检测框的置信度；第一判断模块，用于判断所述检测框的置信度是否大于第一置信度阈值；第一判断结果模块，用于当所述检测框的置信度大于第一置信度阈值时，对所述检测
框进行追踪；当所述检测框的置信度小于或等于第一置信度阈值时，返回“采集果园水果视频”；第二判断模块，用于判断所述检测框的置信度是否大于第二置信度阈值；高分检测框确定模块，用于当所述检测框的置信度大于第二置信度阈值时，判定所述检测框为高分检测框；低分检测框确定模块，用于当所述检测框的置信度小于或等于第二置信度阈值时，判定所述检测框为低分检测框；高分匹配模块，用于将所述高分检测框输入高分匹配单元，并与轨迹保存模块中的轨迹进行匹配，得到高分匹配结果；低分匹配模块，用于将所述低分检测框输入低分匹配单元，与轨迹保存模块中的轨迹进行匹配，得到低分匹配结果；id赋予模块，用于根据所述高分匹配结果和所述低分匹配结果为每个轨迹上的水果赋予一个独立的id；水果产量确定模块，用于统计共分配id的数量，得到水果的产量。6.根据权利要求1所述的果园水果产量统计系统，其特征在于，所述检测框信息包含位置信息(x,y,w,h)，置信度分数(confidencescore)，其中x、y为检测框的中心坐标，w、h为检测框的宽高值，score为目标框的置信度。7.根据权利要求1所述的果园水果产量统计系统，其特征在于，所述id赋予模块，具体包括：第一判断单元，用于判断没有匹配到检测框的轨迹是否超过设定帧数；删除轨迹单元，用于当没有匹配到检测框的轨迹超过设定帧数时，删除所述检测框的轨迹，视作该目标水果消失在视频中；轨迹保留单元，用于当没有匹配到检测框的轨迹未超过设定帧数时，保留所述检测框的轨迹；第二判断单元，用于判断是否有未匹配到轨迹的检测框；轨迹创建单元，用于当有未匹配到轨迹的检测框时，则创建新的轨迹，对轨迹上的水果赋予一个独立的id；当没有未匹配到轨迹的检测框时，直接进入“水果产量确定模块”。8.根据权利要求1所述的果园水果产量统计系统，其特征在于，所述高分匹配模块，具体包括：卡尔曼滤波单元，用于将所述高分检测框输入高分匹配单元，通过卡尔曼滤波为每一帧图片中的检测框预测下一帧对应检测框可能出现的位置；匹配单元，用于将当前帧的检测框会与上一帧由卡尔曼滤波预测的检测框通过匈牙利匹配算法进行匹配，得到高分匹配结果。

技术总结
本发明涉及一种果园水果产量统计方法及系统。将果园水果视频逐帧传入到YOLOV7检测网络，得到每一帧图片中水果的检测框信息；当检测框的置信度大于第一置信度阈值时，对检测框进行追踪；当检测框的置信度大于第二置信度阈值时，判定检测框为高分检测框；当检测框的置信度小于或等于第二置信度阈值时，判定检测框为低分检测框；将高分检测框和低分检测框分别输入高分匹配单元和低分匹配单元，与轨迹保存模块中的轨迹进行匹配，得到匹配结果；根据匹配结果为每个轨迹上的水果赋予一个独立的ID；统计共分配ID的数量，得到水果的产量。本发明能够实现高精度的果实计数，有效减少错误检测，降低重复计数。降低重复计数。降低重复计数。


技术研发人员：郑玲 陈群 武飞鸿 黄林生 朱金辰 翁士状 赵晋陵
受保护的技术使用者：安徽大学
技术研发日：2023.04.11
技术公布日：2023/7/20