一种水果种类识别方法及自动售卖装置

1.本发明涉及图像识别技术领域，具体为一种水果种类识别方法及自动售卖装置。


背景技术：

2.随着移动支付和零售业的快速发展，商品无接触的自助售卖方式也逐渐普及，目前水果的无接触自助售卖一般都是应用传统图像，利用颜色识别去实现水果种类的识别去识别水果，该方法容易受到环境的影响，如果出现光照变化会导致识别错误，计价不准，影响消费者使用体验。


技术实现要素：

3.(一)解决的技术问题
4.针对现有技术的不足，本发明提供了一种水果种类识别方法及自动售卖装置，解决了上述背景技术中提出的目前水果的无接触自助售卖称，一般都是应用传统图像，利用颜色识别去实现水果种类的识别去识别水果，该方法容易受到环境的影响，如果出现光照变化会导致识别错误，计价不准，影响消费者使用体验的问题。
5.(二)技术方案
6.为实现以上目的，本发明通过以下技术方案予以实现：一种水果种类识别方法，包括：
7.获取待识别水果图像；
8.确定待识别水果图像待识别水果图像判定区域图像；
9.将判定区域图像进行hsv变换；
10.将hsv变换后获得的掩膜图像进行图像预处理；
11.对经过图像预处理后的待识别水果图像，应用rdp算法与轮廓识别方法识别出水果的种类，并与knn分类算法判断出的水果种类进行比较；
12.得到最终的水果种类识别结果。
13.优选地，所述确定待识别水果图像判定区域图像，包括：
14.将所述待识别水果图像输入至训练好的水果图像识别模型，提取得到判定区域图像；
15.水果图像识别模型采用卷积神经网络模型或主动形状识别模型构建，对图像中水果区域进行提取。
16.优选地，所述将判定区域图像进行hsv变换，包括：
17.进行双边滤波处理，进行hsv变化，预设出hsv数值；
18.进行颜色分类，判断是否能够分辨出红色、绿色、黄色，若不能分辨出，则返回上一步，重复进行颜色分类。
19.优选地，所述将hsv变换后获得的掩膜图像进行图像预处理，包括：
20.对掩膜图像进行灰度处理；
21.通过soble算子对图像轮廓进行边沿增强；
22.利用canny轮廓检测进行轮廓点提取。
23.优选地，所述利用canny轮廓检测进行轮廓提取，后续通过rdp算法对轮廓点依次进行拟合，另外采用形态学操作的闭操作，对分割轮廓进行拟合。
24.闭操作如下：构造一个结构体后，先利用结构体对图像进行膨胀，对一些分离区域进行闭合，另外通过膨胀会放大一些干扰噪声，为了去除干扰噪声，我们需要对图像进行腐蚀，通过以上操作就能使轮廓区域更加完整。
25.优选地，所述对经过图像预处理后的待识别水果图像，应用rdp算法与轮廓识别方法识别出水果的种类，包括：
26.采用rdp算法与轮廓识别，算法递归进行；
27.首先根据多次实验，设置出一个较为合适的距离阈值，在轮廓点集合的第一个点和最后一个点间拉一条线段，找出剩下的点集中离线段最远的一个点；
28.如果该点到线段的距离小于阈值则舍弃中间的所有点；
29.如果大于阈值，将该点作为中间点和最初的两个点生成两条线段，并依次对线段进行连接；
30.重复上述过程，当迭代完所有的轮廓点后，迭代完成，停止迭代，得到贴近于待识别水果种类轮廓的多边形，并以此画出矩形框图；根据矩形框图面积去辅助判断待识别水果面积大小；
31.将轮廓的长与宽做比较运算得到待识别水果的长宽比例。
32.优选地，所述与knn分类算法判断出的水果种类进行比较，包括：
33.传入一个训练数据集，以及与训练数据对应的分类来训练knn分类器构建搜索树；
34.使用opencv中的knn分类器，传入一个测试数据，knn分类器进行分类。
35.本发明还提供一种水果自动售卖装置，包括：称重传感器、摄像头、显示屏、语音播报模块、主控模块；
36.所述称重传感器用于测量待识别水果重量；
37.所述摄像头用于拍摄待识别水果图像，并将待识别水果图像传入所述主控模块；
38.所述显示屏用于展示产品选购页、订单数据信息；
39.所述语音播报模块用于进行语音播放；
40.所述主控模块用于进行水果种类识别及自动售卖。
41.优选地，所述主控模块用于进行水果种类识别及自动售卖，包括：
42.获取待识别水果图像；
43.确定待识别水果图像判定区域图像；
44.将判定区域图像进行hsv变换；
45.将hsv变换后获得的掩膜图像进行图像预处理；
46.对经过图像预处理后的待识别水果图像，应用rdp算法与轮廓识别方法识别出水果的种类，与knn分类算法判断出的水果种类进行比较；
47.得到最终的水果种类识别结果。
48.(三)有益效果
49.本发明提供了一种水果种类识别方法及自动售卖装置。具备以下有益效果：
50.可以实现水果种类的精准识别及自动售卖，解决了目前水果的无接触自助售卖称，一般都是应用传统图像处理方法，利用颜色识别去实现水果种类的识别去识别水果，该方法容易受到环境的影响，如果出现光照变化会导致识别错误，计价不准，影响消费者使用体验的问题。
附图说明
51.图1为本发明实施例提供的一种水果种类识别方法流程图；
52.图2为本发明实施例提供的一种水果自动售卖装置硬件结构图；
53.图3为采用rdp算法与轮廓识别处理后水果种类识别示意图；
54.图4为依据本发明实施例识别出的水果种类效果图。
具体实施方式
55.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
56.一种水果种类识别方法，包括：
57.s1获取待识别水果图像；
58.在一个实施例中，采用多线程的方式读取待测图像数据，一般而言图像读取速度会比图像处理慢得多，一个120fps的摄像头平均一帧所花费的时间是8ms，而图像处理所花的时间则在1～3ms左右，这时候平均每帧的处理时间就是8ms。如果换330fps的摄像头则平均每帧的处理时间就是3ms。通过多线程可以极大地减少算法的用时，提高效率。
59.s2确定待识别水果图像待识别水果图像判定区域图像；
60.s3将判定区域图像进行hsv变换；
61.在一个实施例中，hsv颜色空间，它比rgb更接近人们对彩色的感知经验。非常直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。在hsv颜色空间下，比bgr更容易跟踪某种颜色的物体，常用于分割指定颜色的物体。以下数据分别为各颜色对应hsv的数值，可以初步分割为如下。黄色的hsv数值：11,43,46,25,255,255,青色为：28,69,117,180,255,255,红色为：0,43,46,10,255,255。
62.s4将hsv变换后获得的掩膜图像进行图像预处理；
63.s5对经过图像预处理后的待识别水果图像，应用rdp算法与轮廓识别方法识别出水果的种类，并与knn分类算法判断出的水果种类进行比较；
64.s6得到最终的水果种类识别结果。
65.优选地，所述确定待识别水果图像判定区域图像，包括：
66.将所述待识别水果图像输入至训练好的水果图像识别模型，提取得到判定区域图像；
67.水果图像识别模型采用卷积神经网络模型或主动形状识别模型构建，对图像中水果区域进行提取。
68.优选地，所述将判定区域图像进行hsv变换，包括：
69.进行双边滤波处理，进行hsv变化，预设hsv数值；
70.进行颜色分类，判断是否能够分辨出红色、绿色、黄色，若不能分辨出，则返回上一
步，重复进行颜色分类。
71.优选地，所述将hsv变换后获得的掩膜图像进行图像预处理，包括：
72.对掩膜图像进行灰度处理；
73.通过soble算子对图像轮廓进行边沿增强；
74.利用canny轮廓检测进行轮廓点拟合。
75.优选地，所述利用canny轮廓检测进行轮廓点拟合，采用形态学操作的闭操作。
76.闭操作如下：构造一个结构体后，先利用结构体对图像进行膨胀，对一些分离区域进行闭合，另外通过膨胀会放大一些干扰噪声，为了去除干扰噪声，我们需要对图像进行腐蚀，通过以上操作就能使轮廓区域更加完整。
77.在一个实施例中，对掩膜图像进行灰度处理，再通过soble算子对图像轮廓进行边沿增强。可以使我们的图像轮廓更加清晰。而后利用canny轮廓检测，该方法能较好地拟合出轮廓点。虽然该检测算法计算量大、拟合复杂，但是由于计算机性能地大幅提升，能较好的解决该问题。同时为了较好的使轮廓进行闭合，在本文中我们采用了形态学操作的闭操作，该方法能较好地使一些细微空隙地轮廓进行融合。
78.优选地，所述对经过图像预处理后的待识别水果图像，应用rdp算法与轮廓识别方法识别出水果的种类，包括：
79.采用rdp算法与轮廓识别，算法递归进行；
80.首先根据多次实验，设置出一个较为合适的距离阈值，在轮廓点集合的第一个点和最后一个点间拉一条线段，找出剩下的点集中离线段最远的一个点；
81.如果该点到线段的距离小于阈值则舍弃中间的所有点；
82.如果大于阈值，将该点作为中间点和最初的两个点生成两条线段，并依次对线段进行连接；
83.重复上述过程，当迭代完所有的轮廓点后，迭代完成，停止迭代，得到贴近于待识别水果种类轮廓的多边形，并以此画出矩形框图；根据矩形框图面积去辅助判断待识别水果面积大小；
84.将轮廓的长与宽做比较运算得到待识别水果的长宽比例。
85.在一个实施例中，拍摄了2000张水果照片，将每一张水果照片的大小都压缩成20*20。为了识别水果，我们首先将水果的数据进行提取，创建了2000*200的图片，矩阵中每一行保存一幅水果图像。同时创建一个2000*1的矩阵，用于保存每幅水果照片的具体数值标签，接着用statmodel类中train函数训练模型，最后保存为yml文件，得到训练后的模型。
86.优选地，所述与knn分类算法判断出的水果种类进行比较，包括：
87.传入一个训练数据集，以及与训练数据对应的分类来训练knn分类器构建搜索树；
88.使用opencv中的knn分类器，传入一个测试数据，knn分类器进行分类。
89.在一个实施例中，识别所述判定区域图像中的水果特征，确定所述判定区域图像所对应的水果种类，包括将所述判定区域图像输入训练好的水果识别模型，得到所述判定区域图像属于不同水果种类的概率；
90.判断是否存在一水果种类，所判定区域图像属于该水果种类的概率大于预设概率阈值；
91.如果是，则所述判定区域图像对应于该种水果。
92.本发明还提供一种水果自动售卖装置，包括：称重传感器、摄像头、显示屏、语音播报模块、主控模块；
93.所述称重传感器用于测量待识别水果重量；
94.所述摄像头用于拍摄待识别水果图像，并将待识别水果图像传入所述主控模块；
95.本发明通过设置的摄像头采集图像，并对图像进行分析和判断，检测到其中的水果特征，可以准确识别水果的种类。
96.所述显示屏用于展示产品选购页、订单数据信息；
97.所述语音播报模块用于进行语音播放；
98.所述主控模块用于进行水果种类识别及自动售卖。
99.优选地，所述主控模块用于进行水果种类识别及自动售卖，包括：
100.获取待识别水果图像；
101.确定待识别水果图像判定区域图像；
102.将判定区域图像进行hsv变换；
103.将hsv变换后获得的掩膜图像进行图像预处理；
104.对经过图像预处理后的待识别水果图像，应用rdp算法与轮廓识别方法识别出水果的种类，与knn分类算法判断出的水果种类进行比较；
105.得到最终的水果种类识别结果。
106.本发明提供了一种水果种类识别方法及自动售卖装置。具备以下有益效果：
107.可以实现水果种类的精准识别及自动售卖，解决了目前水果的无接触自助售卖称，一般都是应用传统图像算法，利用颜色识别去实现水果种类的识别去识别水果，该方法容易受到环境的影响，如果出现光照变化会导致识别错误，计价不准，影响消费者使用体验的问题。
108.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种水果种类识别方法，其特征在于，包括：获取待识别水果图像；确定待识别水果图像待识别水果图像判定区域图像；将判定区域图像进行hsv变换；对经过hsv变换后获得的掩膜图像进行图像预处理；对经过图像预处理后的待识别水果图像，应用rdp算法与轮廓识别方法识别出水果的种类，并与knn分类算法判断出的水果种类进行比较；得到最终的水果种类识别结果。2.根据权利要求1所述的一种水果种类识别方法，其特征在于，所述确定待识别水果图像判定区域图像，包括：将所述待识别水果图像输入至训练好的水果图像识别模型，提取得到判定区域图像；水果图像识别模型采用卷积神经网络模型或主动形状识别模型构建，对图像中水果区域进行提取。3.根据权利要求2所述的一种水果种类识别方法，其特征在于，所述将判定区域图像进行hsv变换，包括：进行双边滤波处理，进行hsv变化，预设出hsv数值；进行颜色分类，判断是否能够分辨出红色、绿色、黄色，若不能分辨出，则返回上一步，重复进行颜色分类。4.根据权利要求3所述的一种水果种类识别方法，其特征在于，所述将hsv变换后获得的掩膜图像进行图像预处理，包括：对掩膜图像进行灰度处理；通过soble算子对图像轮廓进行边沿增强；利用canny轮廓检测进行轮廓点拟合。5.根据权利要求4所述的一种水果种类识别及自动售卖方法，其特征在于，所述利用canny算法进行轮廓检测，将检测到的轮廓点利用rdp算法对轮廓点进行拟合，采用形态学操作的闭操作。闭操作如下：构造一个结构体后，先利用结构体对图像进行膨胀，对一些分离区域进行闭合，另外通过膨胀会放大一些干扰噪声，为了去除干扰噪声，我们需要对图像进行腐蚀，通过以上操作就能使轮廓区域更加完整。6.根据权利要求5所述的一种水果种类识别方法，其特征在于，所述对经过图像预处理后的待识别水果图像，应用rdp算法与轮廓识别方法识别出水果的种类，包括：采用rdp算法与轮廓识别，算法递归进行；首先设定根据多次实验，设置出一个较为合适的距离阈值，在轮廓点集合的第一个点和最后一个点间拉一条线段，找出剩下的点集中离线段最远的一个点；如果该点到线段的距离小于阈值则舍弃中间的所有点；如果大于阈值，将该点作为中间点和最初的两个点生成两条线段，并依次对线段进行连接；重复上述过程，当迭代完所有的轮廓点后，迭代完成，停止迭代，到贴近于待识别水果种类轮廓的多边形，并以此画出矩形框图；
根据矩形框图面积去辅助判断待识别水果面积大小；将轮廓的长与宽做比较运算得到待识别水果的长宽比例。7.根据权利要求6所述的一种水果种类识别方法，其特征在于，所述与knn分类算法判断出的水果种类进行比较，包括：传入一个训练数据集，以及与训练数据对应的分类来训练knn分类器构建搜索树；使用opencv中的knn分类器，传入一个测试数据，knn分类器进行分类。8.一种水果自动售卖装置，其特征在于，包括：称重传感器、摄像头、显示屏、语音播报模块、主控模块；所述称重传感器用于测量待识别水果重量；所述摄像头用于拍摄待识别水果图像，并将待识别水果图像传入所述主控模块；所述显示屏用于展示产品选购页、订单数据信息；所述语音播报模块用于进行语音播放；所述主控模块用于进行水果种类识别及自动售卖。9.如权利要求8所述的一种水果自动售卖装置，其特征在于，所述主控模块用于进行水果种类识别及自动售卖，包括：获取待识别水果图像；确定待识别水果图像判定区域图像；将判定区域图像进行hsv变换；将hsv变换后获得的掩膜图像进行图像预处理；对经过图像预处理后的待识别水果图像，应用rdp算法与轮廓识别方法识别出水果的种类，与knn分类算法判断出的水果种类进行比较；得到最终的水果种类识别结果。

技术总结
本发明提供一种水果种类识别方法及自动售卖装置，包括：获取待识别水果图像；确定待识别水果图像中水果类型与待识别水果图像中水果的大小；具体处理流程如下：将判定区域图像进行HSV变换，并将变换后获得的掩膜图像进行图像预处理，应用RDP算法与轮廓识别方法识别出水果的种类以及水果大小，并与KNN分类算法判断出的水果种类进行比较；得到最终的水果种类识别结果。类识别结果。类识别结果。


技术研发人员：李洲 史伟民 陆伟健 徐寅哲
受保护的技术使用者：浙江理工大学
技术研发日：2022.12.26
技术公布日：2023/7/12