一种基于机器视觉的化工物料进料口检测系统及方法

1.本发明涉及化工物料进料口检测设备技术领域，具体涉及一种基于机器视觉的化工物料进料口检测系统及方法。


背景技术：

2.在纯碱生产工序中，输送重碱是其中重要的一环。整个输送重碱的系统由网格过滤网、金属制圆型直长管、气风阀组成。由于上一道固液分离工序，重碱具有一定湿度，在掉落的过程中会附着在管壁和网格进料口处，长时间堆积，会阻碍物料持续输送，物料就会自堆积处逐渐向上堆积，覆盖进料口处的过滤网格。
3.另外是由于管壁的底部气风阀由于物料粘连导致输送效率降低，也会造成堵塞；一旦堵塞，下道工序中的煅烧炉物料长时间断流，中压蒸汽无法消耗超压，十分危险，就必须立即停止整体生产系统，会给生产商造成重大的经济损失。因此需要对过滤网格的位置进行实时地监测，避免因为堵塞造成生产工序中止。
4.对于这个问题，最初车间采用的是人在现场进行观测进料口的堵塞情况，但车间存在粉尘，噪音，刺鼻的气味等问题，恶劣的工作环境对工作人员生理和心理上都产生较大影响，另工作人员还有其他工作要做，无法随时盯着进料口。随着监控技术的发展，后面车间慢慢引进人工监视监视器的方式，通过安装在进料口上方的摄像头，实时传输画面到监视器上，发生堵塞通过对讲机通知车间的工作人员去清理。
5.但摄像头普及以后，监控室内的监控画面增多，监控人员无法时刻盯着某一处画面，另人眼容易疲劳，注意力也不能时刻集中，存在因监控人员疏忽导致进料口发生堵塞没有及时发现的情况。


技术实现要素：

6.针对上述的技术问题，本技术方案提供了一种基于机器视觉的化工物料进料口检测系统及方法，将图像处理技术与实时视频监控系统相结合，利用深度学习的图像检测代替人眼检测，进行纯碱煅烧工艺中进料口堵塞的识别，并提出了检测、预警、以及自处理的闭环的智能操作方法，同时后台监控终端和控制器进行连接，实时记录每次进料口的工作状况，以便后续工作人员查验；能有效的解决上述问题。
7.本发明通过以下技术方案实现：一种基于机器视觉的化工物料进料口检测系统，包括控制器，以及与控制器信号连接的摄像头、图像处理模块、报警设备及自处理装置；控制器内搭载嵌入式操作系统，通过任务机制控制摄像头和图像处理模块并行工作；所述的摄像头将采集到的进料口图像通过控制器传输至图像处理模块；所述的自处理装置安装在进料口的管壁上；后台监控终端与所述的控制器进行连接，实时记录每次进料口的工作状况。
8.进一步的，所述的图像处理模块使用支持gpu并行运算能力的处理芯片，能够运行基于深度学习的进料口图像分割算法。
9.进一步的，所述的摄像头采用ccd相机驱动系统，通过脉冲发生、分频电路以及控制与分频电路得到ccd图像传感器所需要的特定脉冲，以驱动ccd相机正常工作。
10.进一步的，所述的报警设备采用蜂鸣器，通过报警设备驱动电路与控制器连接，控制器得到图像处理模块的反馈后，判断是否驱动蜂鸣器进行报警。
11.进一步的，所述的自处理装置采用三相异步电动机，安装在外管壁上作为激振器使得传送重碱的管道发生振动。
12.进一步的，所述的三相异步电动机由电动机及其两轴伸安装的偏心块组成，借电动机运转带着偏心块作回转运动的惯性产生周期性变化的激振力，将动力源与激振源作为一体的激振动力源，其激振力可以从零到极大值间实现无级调整。
13.进一步的，所述的后台监控终端由python web框架django与mysql数据库组成，主要包含对车间工作人员的信息管理与进料口的任务管理，以及实时显示进料口情况的监控页面。
14.一种基于机器视觉的化工物料进料口检测方法，需配合上述的检测系统进行操作，所述检测方法的运行步骤是：摄像头将采集到的进料口视频流通过控制器传输至图像处理模块，首先图像处理模块将视频流进行帧频图像转换，图像处理模块采用具有并行运算能力和承载linux系统的处理芯片，使其运行基于深度学习的进料口图像分割算法，将分割后的图像进行前景与背景的占比计算，与预先设置的堵塞阈值进行对比判断，控制器根据判断结果判断是否需要驱动报警设备进行报警，如果达到预先设置的堵塞阈值，会向安装在管壁上的自处理装置发送指令，自处理装置采用三相异步电动机产生周期性变化的激振力，能带动管道进行自震处理，通过带动管道振动使得附着在进料口和管壁上的颗粒重碱抖落。
15.进一步的，所述三相异步电动机产生的激振力可达20kn。
16.进一步的，所述的图像处理模块能够运行基于深度学习的进料口图像分割算法，该模型算法运行步骤包括：步骤一：利用高速ccd相机采集进料口运行状态下不同角度的图片共1873张，按照8：2的比例对原数据集进行划分，随机选取1565张作为训练集，300张作为测试集，剩余8张作为预测图片；步骤二：使用开源的labelme工具对原进料口未被重碱覆盖的区域进行类别和位置标记，生成与图像对应的json格式标签文件；实验时，可将像素，角度各异的图片进行共同训练，可以有效提高网络模型的准确性和泛化性；步骤三：训练时通过控制器中预置的unet图像分割模型，对输入图像首先进行特征提取，然后四次下采样，使得图片缩半，卷积核数目增加一倍；再进行四次上采样，先将上述图像反卷积，把下采样时的图片剪裁成相同大小直接拼接到下采样层增加特征层，随后进行卷积提取特征；每一层都会进行两次卷积来提取特征，每上采样一层，都会把图片扩大一倍，卷积核数目减少一半；最后，通过2个1
×
1的卷积核把特征通道变成2个，把图片分成背景和前景两个类别；步骤四：得到背景与前景两块分割区域，前景则是目标区域，为进料口图片未被重碱覆盖的区域，计算该区域与进料口网格区域的面积占比，得出进料口堵塞情况。
17.有益效果
本发明提出的一种基于机器视觉的化工物料进料口检测系统及方法,与现有技术相比较，其具有以下有益效果：（1）本发明通过控制器，以及与控制器信号连接的摄像头、图像处理模块和报警设备以及自处理装置的相互配合，且控制器内搭载嵌入式操作系统，将摄像头上传的图片集采用具有并行运算能力和承载linux系统的处理芯片进行处理，判断当前进料口图片是否即将发生堵塞，控制器根据图像处理模块回传的结果判断是否需要驱动报警设备进行报警以及是否驱动自处理装置进行震动，并通过后台终端监控页面预警和记录进料口的实时情况。通过嵌入式设备搭载深度神经网络的方式解决制碱车间进料口检测，一定程度上节省了人工监视监视器的成本和降低了人工监视不及时造成进料口堵塞而导致生产中止的风险，同时后台终端对进料口的实时记录也为进料口的检测提供双保险。
18.（2）本发明通过机器视觉检测系统解决制碱车间进料口堵塞需要人工监测容易疲劳，人工干预，错看漏看等缺点，节省人工监测进料口的成本，同时实现了化工物料进料检测的自动化。
19.（3）本发明通过嵌入式设备搭载深度学习分割网络模型的方式，由摄像头进行过滤网格进料口的检测，通过图像处理模块中使用的基于unet的网络分割模型算法，将像素，角度各异的图片进行共同训练，可以有效提高网络模型的准确性和泛化性，通过计算目标区域与进料口区域的面积占比，将摄像头中的图片分割出的前景与网格面积占比计算堵塞阈值，得出进料口堵塞情况，分割准确率达98.38%，可以有效的进行进料口的检测；最后通过无线的方式进行蜂鸣器的报警和自处理装置指令的发送。
附图说明
20.图1是本发明中进料口位置的示意图。
21.图2是本发明中自处理装置与进料口的位置关系图。
22.图3是本发明中进料口检测方法的流程图。
23.图4是本发明中待检测的进料口示例图。
24.图5是本发明中目标图像分割效果图。
25.图6是本发明中模型测试效果参数图。
26.图7是本发明中后台终端监控页面。
27.附图中的标号：1-重碱掉落方向、2-摄像头、3-背景（被重碱覆盖的区域）、4-控制器、5-前景（未被重碱覆盖的目标区域）、6-重碱掉落方向、7-三相异步电动机、8-金属制圆型直长管、9-气风阀。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围。
29.实施例1：如图1-2所示，一种基于机器视觉的化工物料进料口检测系统，包括控制器，以及
与控制器信号连接的摄像头、图像处理模块、报警设备及自处理装置。
30.控制器内搭载嵌入式操作系统，通过任务机制控制摄像头和图像处理模块并行工作；所述的摄像头将采集到的进料口图像通过控制器传输至图像处理模块；图像处理模块使用支持gpu并行运算能力的处理芯片，能够运行基于深度学习的进料口图像分割算法。
31.摄像头采用ccd相机驱动系统，通过脉冲发生、分频电路以及控制与分频电路得到ccd图像传感器所需要的特定脉冲，以驱动ccd相机正常工作。
32.报警设备采用蜂鸣器，通过报警设备驱动电路与控制器连接，控制器得到图像处理模块的反馈后，判断是否驱动蜂鸣器进行报警。
33.所述的自处理装置安装在进料口的管壁上；自处理装置采用型号为yzu-10-4的振动源三相异步电动机,由电动机及其两轴伸安装的偏心块组成，借电动机运转带着偏心块作回转运动的惯性产生周期性变化的激振力，将动力源与激振源作为一体的激振动力源，其激振力可以从零到极大值间实现无级调整，安装在外管壁上作为激振器的动源使得传送重碱的管道发生振动。
34.后台监控终端与所述的控制器进行连接，实时记录每次进料口的工作状况。
35.重碱会具有一定湿度，在掉落的过程中会附着在管壁8和网格进料口处，长时间堆积，会阻碍物料持续输送，物料就会自管的底部向上堆积，覆盖进料口处的过滤网格；另外是由于管壁8的底部气风阀9由于物料粘连导致输送效率降低，也会造成堵塞。如图1，2所示，重碱从1的方向落入网格进料口，在进料口的上方角落安装摄像头2以及和摄像头有线连接的控制器4,重碱从网格落入金属圆管中，从6的方向落入底部气风阀9的位置处, 振动源三相异步电动机7安装在长直铁质管道的外壁上，由电动机及其两侧安装的偏心块的运行，借电动机运转带着偏心块作回转运动的惯性产生周期性变化的激振力，激振力带动管道进行自震处理，从而通过震动清理黏附在进料口处以及管壁8上的重碱颗粒。摄像头2会实时监测进料口的堵塞情况，振动源三相异步电动机7会震动解决附着在网格处和管壁8内部堆积的重碱。
36.实施例2：如图3所示，一种基于机器视觉的化工物料进料口检测方法，需配合实施例1的检测系统进行操作，所述检测方法的运行步骤是：摄像头将采集到的进料口视频流通过控制器传输至图像处理模块，首先图像处理模块将视频流进行帧频图像转换，图像处理模块采用具有并行运算能力和承载linux系统的处理芯片，其运行基于unet网络分割模型的进料口检测算法模型，将分割后的图像进行前景与背景的占比计算，与预先设置的堵塞阈值进行对比判断，判断当前进料口图片是否存在堵塞风险。控制器根据图像处理模块回传的结果，判断是否需要驱动报警设备进行报警，同时判断是否需要驱动自处理装置进行自震操作。如果达到预先设置的堵塞阈值，会向安装在管壁上的自处理装置发送指令，自处理装置采用型号为yzu-10-4的振动源三相异步电动机，三相异步电动机产生周期性变化的激振力，此型号的振动源三相异步电动机产生的激振力可达20kn，能带动管道进行自震处理，通过带动管道振动使得附着在进料口和管壁上的颗粒重碱抖落。
37.控制器搭载嵌入式操作系统，通过任务机制控制装置的各个部分并发工作，不同任务对象的优先级切换可以实现cpu资源的合理分配从而提高系统的实时响应能力。所述的摄像头使用mipi接口与控制器进行连接，图像处理模块通过串口与控制器信号连接。
38.图4则为所拍摄的进料口视频流其中的一帧图像，图像处理模块使用支持gpu并行运算能力的处理芯片，能够运行基于深度学习的进料口图像分割算法，将视频流处理成图像帧传输至控制器内支持gpu 并行运算能力的处理芯片，能够运行基于unet网络分割模型的进料口检测算法模型，使用预训练好的进料口检测模型参数。该模型算法运行步骤包括：步骤一：利用高速ccd相机采集进料口运行状态下不同角度的图片共1873张，按照8：2的比例对原数据集进行划分，随机选取1565张作为训练集，300张作为测试集，剩余8张作为预测图片；步骤二：使用开源的labelme工具对原进料口未被重碱覆盖的区域进行类别和位置标记，生成与图像对应的json格式标签文件；实验时，可将像素，角度各异的图片进行共同训练，可以有效提高网络模型的准确性和泛化性；步骤三：训练时通过控制器中预置的unet图像分割模型，对输入图像首先进行特征提取，然后四次下采样，使得图片缩半，卷积核数目增加一倍；再进行四次上采样，先将上述图像反卷积，把下采样时的图片剪裁成相同大小直接拼接到下采样层增加特征层，随后进行卷积提取特征；每一层都会进行两次卷积来提取特征，每上采样一层，都会把图片扩大一倍，卷积核数目减少一半；最后，通过2个1
×
1的卷积核把特征通道变成2个，把图片分成背景和前景两个类别；步骤四：得到背景与前景两块分割区域，如图5所示；前景则是目标区域，为进料口图片未被重碱覆盖的区域，计算该区域与进料口网格区域的面积占比，得出进料口堵塞情况。
39.可将像素，角度各异的图片进行共同训练，可以有效提高网络模型的准确性和泛化性，实验中的1565张训练集，分别从两个角度，像素不同的摄像头拍摄，分别由925张1920
×
1080横拍，640张544
×
960竖拍图像组成，解决低质量图像对模型测试所造成的准确度降低的问题，实验中经测试，300张数据图像集的准确率在98.38%。如图6所示。
40.后台监控终端与控制器相连，由python web框架django与mysql数据库组成，主要包含对车间工作人员的信息管理与进料口的任务管理，以及实时显示进料口情况的监控页面；如图7所示。

技术特征：
1.一种基于机器视觉的化工物料进料口检测系统，其特征在于：包括控制器，以及与控制器信号连接的摄像头、图像处理模块、报警设备及自处理装置；控制器内搭载嵌入式操作系统，通过任务机制控制摄像头和图像处理模块并行工作；所述的摄像头将采集到的进料口图像通过控制器传输至图像处理模块；所述的自处理装置安装在进料口的管壁上；后台监控终端与所述的控制器(4)进行连接，实时记录每次进料口的工作状况。2.根据权利要求1所述的一种基于机器视觉的化工物料进料口检测系统，其特征在于：所述的图像处理模块使用支持gpu并行运算能力的处理芯片，能够运行基于深度学习的进料口图像分割算法。3.根据权利要求1所述的一种基于机器视觉的化工物料进料口检测系统，其特征在于：所述的摄像头(2)采用ccd相机驱动系统，通过脉冲发生、分频电路以及控制与分频电路得到ccd图像传感器所需要的特定脉冲，以驱动ccd相机正常工作。4.根据权利要求1所述的一种基于机器视觉的化工物料进料口检测系统，其特征在于：所述的报警设备采用蜂鸣器，通过报警设备驱动电路与控制器连接，控制器得到图像处理模块的反馈后，判断是否驱动蜂鸣器进行报警。5.根据权利要求1所述的一种基于机器视觉的化工物料进料口检测系统，其特征在于：所述的自处理装置(7)采用三相异步电动机，安装在外管壁(8)上作为激振器使得传送重碱的管道发生振动。6.根据权利要求5所述的一种基于机器视觉的化工物料进料口检测系统，其特征在于：所述的三相异步电动机由电动机及其两轴伸安装的偏心块组成，借电动机运转带着偏心块作回转运动的惯性产生周期性变化的激振力，将动力源与激振源作为一体的激振动力源，其激振力可以从零到极大值间实现无级调整。7.根据权利要求1所述的一种基于机器视觉的化工物料进料口检测系统，其特征在于：所述的后台监控终端由python web框架django与mysql数据库组成，主要包含对车间工作人员的信息管理与进料口的任务管理，以及实时显示进料口情况的监控页面。8.一种基于机器视觉的化工物料进料口检测方法，需配合权利要求1-7所述的一种基于机器视觉的化工物料进料口检测系统进行操作，所述检测方法的运行步骤是：摄像头将采集到的进料口视频流通过控制器传输至图像处理模块，首先图像处理模块将视频流进行帧频图像转换，图像处理模块采用具有并行运算能力和承载linux系统的处理芯片，使其运行基于深度学习的进料口图像分割算法，将分割后的图像进行前景(5)与背景(3)的占比计算，与预先设置的堵塞阈值进行对比判断，控制器(4)根据判断结果判断是否需要驱动报警设备进行报警，如果达到预先设置的堵塞阈值，会向安装在管壁(8)上的自处理装置(7)发送指令，自处理装置(7)采用三相异步电动机产生周期性变化的激振力，能带动管道进行自震处理，通过带动管道振动使得附着在进料口和管壁(8)上的颗粒重碱抖落。9.根据权利要求8所述的一种基于机器视觉的化工物料进料口检测方法，其特征在于：所述三相异步电动机产生的激振力可达20kn。10.根据权利要求8所述的一种基于机器视觉的化工物料进料口检测方法，其特征在于：所述的图像处理模块能够运行基于深度学习的进料口图像分割算法，该模型算法运行步骤包括：步骤一：利用高速ccd相机(2)采集进料口运行状态下不同角度的图片共1873张，按照
8：2的比例对原数据集进行划分，随机选取1565张作为训练集，300张作为测试集，剩余8张作为预测图片；步骤二：使用开源的labelme工具对原进料口未被重碱覆盖的区域进行类别和位置标记，生成与图像对应的json格式标签文件；实验时，可将像素，角度各异的图片进行共同训练，可以有效提高网络模型的准确性和泛化性；步骤三：训练时通过控制器中预置的unet图像分割模型，对输入图像首先进行特征提取，然后四次下采样，使得图片缩半，卷积核数目增加一倍；再进行四次上采样，先将上述图像反卷积，把下采样时的图片剪裁成相同大小直接拼接到下采样层增加特征层，随后进行卷积提取特征；每一层都会进行两次卷积来提取特征，每上采样一层，都会把图片扩大一倍，卷积核数目减少一半；最后，通过2个1
×
1的卷积核把特征通道变成2个，把图片分成背景和前景两个类别；步骤四：得到背景(3)与前景(5)两块分割区域，前景(5)则是目标区域，为进料口图片未被重碱覆盖的区域，计算该区域与进料口网格区域的面积占比，得出进料口堵塞情况。

技术总结
一种基于机器视觉的化工物料进料口检测系统及方法，检测系统包括控制器，与控制器信号连接的摄像头、图像处理模块、报警设备和自处理装置；控制器内搭载嵌入式操作系统，通过任务机制控制摄像头和图像处理模块并行工作；摄像头将采集到的进口料图像通过控制器传输至图像处理模块，图像处理模块采用具有并行运算能力和承载linux系统的处理芯片，使其运行基于深度学习的进料口检测算法模型，对进料口的图像进行前景与背景的分割操作。根据设置的堵塞阈值，判断当前检测的进料口是否要发生堵塞，控制器根据图像处理模块回传的结果判断是否需要驱动报警设备进行报警；若进料口物料覆盖情况达到预先设置的阈值，则向自处理装置发送指令，进行自震处理。进行自震处理。进行自震处理。


技术研发人员：王大恒 曹苏群 罗力 丁耀祥 孟磊 程何康 赵建雪 沈昕泽 张弟 吴剑辉 周海涛
受保护的技术使用者：淮阴工学院
技术研发日：2023.03.17
技术公布日：2023/7/18