一种煤炭机器人用视觉分析系统的制作方法

1.本发明涉及煤炭技术领域，具体地说，涉及一种煤炭机器人用视觉分析系统。


背景技术：

2.煤炭是一种可燃的黑色或棕黑色沉积岩，通常发生在煤床或煤层的岩石地层中或矿脉中，煤主要由碳、氢、氧、氮、硫和磷等元素组成，前三者总和约占有机质的95％以上，是非常重要的能源，主要通过燃烧生产电力或热能；也是冶金、化学工业的重要原料，用于精炼金属，或生产化肥和许多化工产品，煤炭在采样过程中，无论是人工采样还是自动采样都无法避免煤炭内杂物的残留，里面可能会出现泡沫或者其他生活杂物，杂物残留在煤炭内就会后续加工时的化学指标，尽管目前有借助煤炭机器人对煤炭中的杂质进行挑拣，但是在煤炭机器人对煤炭中的异物进行挑拣时，需要人工去辅助设备的启闭，自动化程度低，并且当杂质在成堆的煤炭中占比较多时，也就是煤炭数量很少时，煤炭机器人继续对杂质进行挑拣，劳动强度大，增大了使用成本，同时，在皮带传送煤炭时，部分杂物容易被煤炭遮挡，从而导致分拣系统无法识别到了，影响挑拣效果，鉴于此，我们提出一种煤炭机器人用视觉分析系统。


技术实现要素：

3.本发明的目的在于提供一种煤炭机器人用视觉分析系统，以解决上述背景技术中提出的问题。
4.为实现上述目的，本发明提供一种煤炭机器人用视觉分析系统，包括传送控制单元、视觉分析单元、数据库、特征分析单元和机器人控制挑拣单元；
5.所述传送控制单元用于将其中一堆目标物摊平放在传送带上，控制传送带对目标物进行传动；所述视觉分析单元用于通过传送控制单元将目标物传送至检测区域，采集目标物的实时视觉特征；所述数据库用于再次借助视觉分析单元对煤炭的特征进行采集，存储煤炭的实际视觉特征；所述特征分析单元用于将视觉分析单元采集的实时视觉特征与数据库内的实际视觉特征进行比对，输出煤炭在目标物中的占比，锁定挑拣物，所述机器人控制挑拣单元用于控制煤炭机器人对准特征分析单元锁定的挑拣物抓取挑拣，同时控制煤炭机器人对目标物进行扰动，使视觉分析单元再次进行采集。
6.作为本技术方案的进一步改进，所述传送控制单元包括控制信号传输模块和感应模块；
7.所述控制信号传输模块用于传输控制信号至传送带的驱动电机转动，使传送带带着摊平的目标物移动；所述感应模块与所述特征分析单元输出端连接，用于在传送带带动目标物移动至检测区域时，传输停止信号至控制信号传输模块，使传送带停止工作，直至所述特征分析单元输出煤炭占比为98％-100％传输控制信号传输模块进行对传送带的传动进行控制。
8.作为本技术方案的进一步改进，所述视觉分析单元包括特征采集模块、图像处理
模块和特征提取模块；
9.所述特征采集模块用于采用摄像机对传送带上的目标物进行图像采集；所述图像处理模块用于对目标物图像进行预处理，进行形态学运算，得到煤炭对象的区域；所述特征提取模块用于提取目标物的特征数据，以及位置特征。
10.作为本技术方案的进一步改进，所述特征提取模块中的特征数据包括颜色特征、纹理特征和形状特征。
11.作为本技术方案的进一步改进，所述特征分析单元包括颜色特征分析模块、纹理特征分析模块、形状特征分析模块和综合占比确定模块；
12.所述颜色特征分析模块用于将当前颜色特征与实际颜色特征进行分析比对；所述纹理特征分析模块用于将当前纹理特征与实际纹理特征进行分析比对；所述形状特征分析模块用于将当前形状特征与实际形状特征进行分析比对；所述综合占比确定模块用于综合颜色特征分析模块、纹理特征分析模块、形状特征分析模块中的数据，输出煤炭在目标物中的占比。
13.作为本技术方案的进一步改进，所述颜色特征分析模块采用颜色提取算法，包括以下步骤：将煤炭图像转化为hsv色彩空间，根据异物的颜色范围对图像进行过滤，留下与异物颜色相似的部分，判断目标物中的煤炭和异物；
14.所述纹理特征分析模块采用纹理提取算法，包括以下步骤：使用纹理分析技术，对煤炭图像的纹理特征进行提取，与数据库内的实际纹理特征进行匹配，判断目标物中的煤炭和异物；
15.所述形状特征分析模块采用形状提取算法，包括以下步骤：通过边缘检测算法，获取煤炭图像的轮廓信息，与数据库内的实际形状特征的轮廓进行匹配和识别，判断目标物中的煤炭和异物。
16.作为本技术方案的进一步改进，所述综合占比确定模块采用卷积神经网络算法，包括以下步骤：
17.利用已经训练好的cnn模型对煤炭及其杂物进行图像分割和物体分析，提取出杂质和煤的像素数量和面积；
18.通过颜色、纹理和形状特征，对煤和杂质的像素进行分类；
19.根据像素数量和面积，计算煤和杂质的百分比，进而计算出煤炭占全部目的的比例。
20.作为本技术方案的进一步改进，所述机器人控制挑拣单元包括信号接收模块、方位控制模块和抓取模块；
21.所述信号接收模块用于接收挑拣物的位置特征，对挑拣物进行锁定；所述方位控制模块根据信号接收模块锁定的挑拣物调节抓取机构的位置，使抓取机构对准挑拣物；所述抓取模块接收到方位控制模块将抓取机构对准挑拣物时，控制抓取机构聚拢对挑拣物进行抓取，然后再次有方位控制模块控制抓取机构转移到放置区域，控制抓取机构松开挑拣物。
22.作为本技术方案的进一步改进，所述综合占比确定模块还包括目标切换模块，所述目标切换模块输出轴与所述信号接收模块输出轴连接，用于接收综合占比确定模块输出的煤炭占目标物的比例与更换阈值比较，包括以下姿态：
23.姿态一、煤炭占比小于等于更换阈值，传输更换信号至信号接收模块将挑拣物切换为煤炭；
24.姿态二、煤炭占比大于更换阈值，传输信号至信号接收模块，输出挑拣物为异物。
25.与现有技术相比，本发明的有益效果：
26.1、该煤炭机器人用视觉分析系统中，通过将其中一堆目标物摊平放在传送带上，由传送控制单元控制传动，在到达检测区域时，使视觉分析单元对目标的实时视觉特征进行采集，输入到数据库内，采用特征分析单元将实时视觉特征和煤炭的实际视觉特征进行分析比对，输出煤炭在目标物中的占比，锁定挑拣物，通过煤炭机器人由机器人控制挑拣单元对挑拣物进行抓取挑拣出，提高自动化程度，不需要人为的操作，同时，控制煤炭机器人对目标物进行扰动，提高煤炭视觉采集的暴露范围，提高挑拣精度。
27.2、该煤炭机器人用视觉分析系统中，通过目标切换模块实现在一堆目标物中，煤炭数量远小于异物数量，将所述机器人控制挑拣单元选择的挑拣物切换为煤炭，从而可以将煤炭挑出，使异物留在传送带上进行传送，也可以实现将煤炭中异物分出更便捷，使目标物一堆一堆的进行分效率更高，避免不必要的资源浪费。
附图说明
28.图1为本发明实施例1的整体结构原理图；
29.图2为本发明实施例1的传送控制单元原理图；
30.图3为本发明实施例1的视觉分析单元原理框图；
31.图4为本发明实施例1的特征分析单元原理框图；
32.图5为本发明实施例1的机器人控制挑拣单元原理框图。
33.图中各个标号意义为：
34.100、传送控制单元；
35.200、视觉分析单元；210、特征采集模块；220、图像处理模块；230、特征提取模块；
36.300、数据库；
37.400、特征分析单元；410、颜色特征分析模块；420、纹理特征分析模块；430、形状特征分析模块；440、综合占比确定模块；目标切换模块
38.500、机器人控制挑拣单元；510、信号接收模块；520、方位控制模块；530、抓取模块。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.煤炭是一种可燃的黑色或棕黑色沉积岩，通常发生在煤床或煤层的岩石地层中或矿脉中，煤主要由碳、氢、氧、氮、硫和磷等元素组成，前三者总和约占有机质的95％以上，是非常重要的能源，主要通过燃烧生产电力或热能；也是冶金、化学工业的重要原料，用于精炼金属，或生产化肥和许多化工产品；
41.煤炭在采样过程中，无论是人工采样还是自动采样都无法避免煤炭内杂物的残留，里面可能会出现泡沫或者其他生活杂物，杂物残留在煤炭内就会后续加工时的化学指标；
42.尽管目前有借助煤炭机器人对煤炭中的杂质进行挑拣，但是在煤炭机器人对煤炭中的异物进行挑拣时，需要人工去辅助设备的启闭，自动化程度低，并且当杂质在成堆的煤炭中占比较多时，也就是煤炭数量很少时，煤炭机器人继续对杂质进行挑拣，劳动强度大，增大了使用成本，同时，在皮带传送煤炭时，部分杂物容易被煤炭遮挡，从而导致分拣系统无法识别到了，影响挑拣效果；
43.请参阅图1-图5示出本发明的第一实施例，本实施例提供一种煤炭机器人用视觉分析系统，包括传送控制单元100、视觉分析单元200、数据库300、特征分析单元400和机器人控制挑拣单元500；
44.传送控制单元100用于将其中一堆目标物摊平放在传送带上，控制传送带对目标物进行传动；
45.传送控制单元100包括控制信号传输模块和感应模块；
46.控制信号传输模块用于传输控制信号至传送带的驱动电机转动，使传送带带着摊平的目标物移动；感应模块与特征分析单元400输出端连接，用于在传送带带动目标物移动至检测区域时，传输停止信号至控制信号传输模块，使传送带停止工作，直至特征分析单元400输出煤炭占比为98％-100％传输控制信号传输模块进行对传送带的传动进行控制。
47.视觉分析单元200用于通过传送控制单元100将目标物传送至检测区域，采集目标物的实时视觉特征；
48.视觉分析单元200包括特征采集模块210、图像处理模块220和特征提取模块230；
49.特征采集模块210用于采用摄像机对传送带上的目标物进行图像采集；图像处理模块220用于对目标物图像进行预处理，包括颜色空间转化、滤波、二值化操作，进行形态学运算，例如腐蚀、膨胀等操作，去除噪声，得到煤炭对象的区域；特征提取模块230用于提取目标物的特征数据，以及位置特征，方便后续根据特征进行挑拣物非煤炭物进行识别，根据位置特征传输至机器人控制挑拣单元500，控制煤炭机器人锁定挑拣物，将煤炭中的异物提取出来，保证煤炭采样的连续性和高效性。
50.特征提取模块230中的特征数据包括颜色特征、纹理特征和形状特征。
51.数据库300用于再次借助视觉分析单元200对煤炭的特征进行采集，存储煤炭的实际视觉特征；
52.特征分析单元400用于将视觉分析单元200采集的实时视觉特征与数据库300内的实际视觉特征进行比对，输出煤炭在目标物中的占比，锁定挑拣物；
53.特征分析单元400包括颜色特征分析模块410、纹理特征分析模块420、形状特征分析模块430和综合占比确定模块440；
54.颜色特征分析模块410用于将当前颜色特征与实际颜色特征进行分析比对；纹理特征分析模块420用于将当前纹理特征与实际纹理特征进行分析比对；形状特征分析模块430用于将当前形状特征与实际形状特征进行分析比对；综合占比确定模块440用于综合颜色特征分析模块410、纹理特征分析模块420、形状特征分析模块430中的数据，输出煤炭在目标物中的占比。
55.颜色特征分析模块410采用颜色提取算法，包括以下步骤：将煤炭图像转化为hsv色彩空间，根据异物的颜色范围对图像进行过滤，留下与异物颜色相似的部分，判断目标物中的煤炭和异物；
56.纹理特征分析模块420采用纹理提取算法，包括以下步骤：使用纹理分析技术，对煤炭图像的纹理特征进行提取，与数据库300内的实际纹理特征事先定义好的煤炭实际纹理特征进行匹配，判断目标物中的煤炭和异物；具体的纹理分析技术，布、颜色、亮度、对比度等特征，并利用纹理描述符，如glcm(灰度共生矩阵)、lbp(局部二值模式)等，来提取图像的纹理特征；
57.形状特征分析模块430采用形状提取算法，包括以下步骤：通过边缘检测算法，获取煤炭图像的轮廓信息，与数据库300内的实际形状特征的轮廓进行匹配和识别，判断目标物中的煤炭和异物；在具体运用边缘检测算法时，边缘通常是指一些局部明显的图像特征，它可以被形状或灰度等方面特征的变化所描述，可选用canny算法：是一种著名的边缘检测算法，具有良好的性能，canny算法的基本思想是使用高斯滤波对图像进行平滑处理，然后计算每个像素的梯度，并通过非极大值抑制和双阈值处理得到边缘；
58.结合上述特征，用于识别煤炭中除了煤炭以外的异物。
59.综合占比确定模块440采用卷积神经网络算法，包括以下步骤：
60.利用已经训练好的cnn模型对煤炭及其杂物进行图像分割和物体分析，提取出杂质和煤的像素数量和面积；
61.通过颜色、纹理和形状特征，对煤和杂质的像素进行分类；
62.根据像素数量和面积，计算煤和杂质的百分比，进而计算出煤炭占全部目的的比例；
63.综上，实现煤炭及其杂物的自动化分类与计数，其中，输入的特征是煤炭及其杂物的颜色、纹理、形状，输出是物体类别和含量。
64.机器人控制挑拣单元500用于控制煤炭机器人对准特征分析单元400锁定的挑拣物抓取挑拣，同时控制煤炭机器人对目标物进行扰动，使视觉分析单元200再次进行采集；
65.机器人控制挑拣单元500包括信号接收模块510、方位控制模块520和抓取模块530；
66.信号接收模块510用于接收挑拣物的位置特征，对挑拣物进行锁定；方位控制模块520根据信号接收模块510锁定的挑拣物调节抓取机构的位置，使抓取机构对准挑拣物，在调节抓取机构的位置，可以在横向、纵向上设置滑轨，由气缸带动抓取机构横向、纵向移动，从而对抓取机构锁定挑拣物进行调节控制；抓取模块530接收到方位控制模块520将抓取机构对准挑拣物时，控制抓取机构聚拢对挑拣物进行抓取，然后再次有方位控制模块520控制抓取机构转移到放置区域，控制抓取机构松开挑拣物，实现自动化的将煤炭中的杂物挑拣出来，节省人力，其中，抓取机构采用夹持器，不限于气动或者电机执行机构，控制夹持器的开合运动，实现对挑拣物的抓取效果，还要有负压管道吸附，或者气吹排除轻质杂物可同时带多种形式抓取机构，兼顾不同杂物挑拣需求。
67.在上述的基础上，考虑到在煤炭机器人对煤炭中的异物进行挑拣时，需要人工去辅助设备的启闭，自动化程度低，因此，通过将其中一堆目标物摊平放在传送带上，由传送控制单元100控制传动，在到达检测区域时，使视觉分析单元200对目标的实时视觉特征进
行采集，输入到数据库300内，采用特征分析单元400将实时视觉特征和煤炭的实际视觉特征进行分析比对，输出煤炭在目标物中的占比，锁定挑拣物，通过煤炭机器人由机器人控制挑拣单元500对挑拣物进行抓取挑拣出，提高自动化程度，不需要人为的操作，同时，控制煤炭机器人对目标物进行扰动，提高煤炭视觉采集的暴露范围，提高挑拣精度。
68.考虑到当杂质在成堆的煤炭中占比较多时，也就是煤炭数量很少时，煤炭机器人继续对杂质进行挑拣，劳动强度大，增大了使用成本，因此，示出本发明的第二实施例，本实施例与第一实施例不同的是：综合占比确定模块440还包括目标切换模块，目标切换模块输出轴与信号接收模块510输出轴连接，用于接收综合占比确定模块440输出的煤炭占目标物的比例与更换阈值比较，包括以下姿态：
69.姿态一、煤炭占比小于等于更换阈值，传输更换信号至信号接收模块510将挑拣物切换为煤炭，实现在一堆目标物中，煤炭数量远小于异物数量，将机器人控制挑拣单元500选择的挑拣物切换为煤炭，从而可以将煤炭挑出，使异物留在传送带上进行传送，也可以实现将煤炭中异物分出更便捷，使目标物一堆一堆的进行分效率更高，避免不必要的资源浪费；
70.姿态二、煤炭占比大于更换阈值，传输信号至信号接收模块510，输出挑拣物为异物，实现在一堆目标物中，煤炭数量远多于异物数量，通过机器人控制挑拣单元500选择的挑拣物切换为异物，从而可以将异物挑出，使煤炭留在传送带上进行传送，确保煤炭和异物分开效果。
71.此外，示出本发明的第三实施例：传送控制单元100在将其中一堆目标物摊平放在传送带上时，目标物处于密闭空间，密闭空间内部设置湿度传感器，密闭空间在挑拣完一批煤后，需要快速对流与室外温湿度平衡，不受上批煤自然蒸发水汽影响煤炭外湿度，在理论上更接近理想状态。
72.以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.一种煤炭机器人用视觉分析系统，其特征在于：包括传送控制单元(100)、视觉分析单元(200)、数据库(300)、特征分析单元(400)和机器人控制挑拣单元(500)；所述传送控制单元(100)用于将其中一堆目标物摊平放在传送带上，控制传送带对目标物进行传动；所述视觉分析单元(200)用于通过传送控制单元(100)将目标物传送至检测区域，采集目标物的实时视觉特征；所述数据库(300)用于再次借助视觉分析单元(200)对煤炭的特征进行采集，存储煤炭的实际视觉特征；所述特征分析单元(400)用于将视觉分析单元(200)采集的实时视觉特征与数据库(300)内的实际视觉特征进行比对，输出煤炭在目标物中的占比，锁定挑拣物，所述机器人控制挑拣单元(500)用于控制煤炭机器人对准特征分析单元(400)锁定的挑拣物抓取挑拣，同时控制煤炭机器人对目标物进行扰动，使视觉分析单元(200)再次进行采集。2.根据权利要求1所述的煤炭机器人用视觉分析系统，其特征在于：所述传送控制单元(100)包括控制信号传输模块和感应模块；所述控制信号传输模块用于传输控制信号至传送带的驱动电机转动，使传送带带着摊平的目标物移动；所述感应模块与所述特征分析单元(400)输出端连接，用于在传送带带动目标物移动至检测区域时，传输停止信号至控制信号传输模块，使传送带停止工作，直至所述特征分析单元(400)输出煤炭占比为98％-100％传输控制信号传输模块进行对传送带的传动进行控制。3.根据权利要求2所述的煤炭机器人用视觉分析系统，其特征在于：所述视觉分析单元(200)包括特征采集模块(210)、图像处理模块(220)和特征提取模块(230)；所述特征采集模块(210)用于采用摄像机对传送带上的目标物进行图像采集；所述图像处理模块(220)用于对目标物图像进行预处理，进行形态学运算，得到煤炭对象的区域；所述特征提取模块(230)用于提取目标物的特征数据，以及位置特征。4.根据权利要求3所述的煤炭机器人用视觉分析系统，其特征在于：所述特征提取模块(230)中的特征数据包括颜色特征、纹理特征和形状特征。5.根据权利要求4所述的煤炭机器人用视觉分析系统，其特征在于：所述特征分析单元(400)包括颜色特征分析模块(410)、纹理特征分析模块(420)、形状特征分析模块(430)和综合占比确定模块(440)；所述颜色特征分析模块(410)用于将当前颜色特征与实际颜色特征进行分析比对；所述纹理特征分析模块(420)用于将当前纹理特征与实际纹理特征进行分析比对；所述形状特征分析模块(430)用于将当前形状特征与实际形状特征进行分析比对；所述综合占比确定模块(440)用于综合颜色特征分析模块(410)、纹理特征分析模块(420)、形状特征分析模块(430)中的数据，输出煤炭在目标物中的占比。6.根据权利要求5所述的煤炭机器人用视觉分析系统，其特征在于：所述颜色特征分析模块(410)采用颜色提取算法，包括以下步骤：将煤炭图像转化为hsv色彩空间，根据异物的颜色范围对图像进行过滤，留下与异物颜色相似的部分，判断目标物中的煤炭和异物；所述纹理特征分析模块(420)采用纹理提取算法，包括以下步骤：使用纹理分析技术，对煤炭图像的纹理特征进行提取，与数据库(300)内的实际纹理特征(事先定义好的煤炭实际纹理特征)进行匹配，判断目标物中的煤炭和异物；所述形状特征分析模块(430)采用形状提取算法，包括以下步骤：通过边缘检测算法，
获取煤炭图像的轮廓信息，与数据库(300)内的实际形状特征的轮廓进行匹配和识别，判断目标物中的煤炭和异物。7.根据权利要求6所述的煤炭机器人用视觉分析系统，其特征在于：所述综合占比确定模块(440)采用卷积神经网络算法，包括以下步骤：利用已经训练好的cnn模型对煤炭及其杂物进行图像分割和物体分析，提取出杂质和煤的像素数量和面积；通过颜色、纹理和形状特征，对煤和杂质的像素进行分类；根据像素数量和面积，计算煤和杂质的百分比，进而计算出煤炭占全部目的的比例。8.根据权利要求7所述的煤炭机器人用视觉分析系统，其特征在于：所述机器人控制挑拣单元(500)包括信号接收模块(510)、方位控制模块(520)和抓取模块(530)；所述信号接收模块(510)用于接收挑拣物的位置特征，对挑拣物进行锁定；所述方位控制模块(520)根据信号接收模块(510)锁定的挑拣物调节抓取机构的位置，使抓取机构对准挑拣物；所述抓取模块(530)接收到方位控制模块(520)将抓取机构对准挑拣物时，控制抓取机构聚拢对挑拣物进行抓取，然后再次有方位控制模块(520)控制抓取机构转移到放置区域，控制抓取机构松开挑拣物。9.根据权利要求8所述的煤炭机器人用视觉分析系统，其特征在于：所述综合占比确定模块(440)还包括目标切换模块，所述目标切换模块输出轴与所述信号接收模块(510)输出轴连接，用于接收综合占比确定模块(440)输出的煤炭占目标物的比例与更换阈值比较，包括以下姿态：姿态一、煤炭占比小于等于更换阈值，传输更换信号至信号接收模块(510)将挑拣物切换为煤炭；姿态二、煤炭占比大于更换阈值，传输信号至信号接收模块(510)，输出挑拣物为异物。

技术总结
本发明涉及煤炭技术领域，具体地说，涉及一种煤炭机器人用视觉分析系统。其包括传送控制单元、视觉分析单元、数据库、特征分析单元和机器人控制挑拣单元。本发明通过将其中一堆目标物摊平放在传送带上，由传送控制单元控制传动，在到达检测区域时，使视觉分析单元对目标的实时视觉特征进行采集，输入到数据库内，采用特征分析单元将实时视觉特征和煤炭的实际视觉特征进行分析比对，输出煤炭在目标物中的占比，锁定挑拣物，通过煤炭机器人由机器人控制挑拣单元对挑拣物进行抓取挑拣出，提高自动化程度，不需要人为的操作，同时，控制煤炭机器人对目标物进行扰动，提高煤炭视觉采集的暴露范围，提高挑拣精度。提高挑拣精度。提高挑拣精度。


技术研发人员：王振雨 王莹
受保护的技术使用者：北京沄汇智能科技有限公司
技术研发日：2023.05.17
技术公布日：2023/8/2