基于视觉的皮带跑偏检测方法、系统、设备及存储介质与流程

1.本发明属于图像识别处理的技术领域，具体地涉及一种基于视觉的皮带跑偏检测方法、系统、电子设备及存储介质。


背景技术：

2.货物运输传送带输送机广泛应用在装运港口、加工厂等短距离运输场景，其具有的结构简单、输送量大、使用场景广泛等优点，使得可以运用在各行各业中。但是，在运送过程中，货物运输传送带会由于安装位置偏差，物料超重、偏移等问题导致其位置发生偏移，长时间的跑偏更可能会使传送带发生断裂，严重影响传送带的使用寿命，而且一旦出现问题也波及整个生产过程。如何准确地对带式输送机皮带跑偏进行识别显得至关重要。
3.目前，皮带跑偏识别方法主要包括基于人工经验的识别方法和基于计算机视觉、传感器技术和深度学习等方法。基于人工经验的皮带跑偏识别方法需要对皮带跑偏情况进行人工判断，容易受到人工因素的影响。基于计算机视觉的皮带跑偏识别方法，容易受到图像噪声（检测皮带的摄像头上积累的大量灰尘）的影响，且现场环境复杂给皮带跑偏的边缘识别带来困难。基于深度学习的端到端皮带跑偏识别方法需要大量的数据支持，包括正常图片与跑偏图片支持来进行训练和优化，而这往往需要大量的时间和资源，导致检测的实时性较差且检测成本高昂。
4.因此，如何实现皮带跑偏检测技术的高精度、简易性及实时性，对于本领域技术人员来说显得尤为重要。


技术实现要素：

5.为了解决上述技术问题，本发明提供了一种基于视觉的皮带跑偏检测方法、系统、电子设备及存储介质，可以实现皮带跑偏检测技术的高精度、简易性及实时性。
6.第一方面，本技术提供了一种基于视觉的皮带跑偏检测方法，其包括：设置预设点位信息，其中，所述预设点位信息包括经摄像头采集的模板图片以及在所述模板图片上预划分的皮带矩形框及安全区域；通过所述摄像头实时采集皮带运行中的当前图片；根据所述模板图片修正所述当前图片以使两者拍摄角度一致，得到待检测图片；基于索贝尔算子针对所述待检测图片进行单方向求导提取边缘特征得到多条边缘轮廓；根据预设筛选条件从所述多条边缘轮廓中筛选出皮带轮廓；通过对所述皮带轮廓上的同一方向上的点集求平均方式进行线性拟合得到皮带边缘直线方程；将所述皮带边缘直线方程与所述安全区域进行比对得到实时偏差程度；根据所述实时偏差程度判定是否输出报警信息，其中，所述报警信息包括皮带发生跑偏报警指令及其对应的实时皮带偏移量。
7.优选地，所述设置预设点位信息的步骤具体包括：通过摄像头获取皮带预设点位的模板图片；在所述模板图片内划定含有部分皮带的皮带矩形框；基于所述皮带矩形框内的部分皮带方向在所述皮带矩形框内选定安全区域。
8.优选地，所述根据所述模板图片修正所述当前图片以使两者拍摄角度一致，得到待检测图片的步骤具体包括：将所述当前图片与所述模板图片进行特征匹配得到视角偏移及旋转角度；根据所述视角偏移及旋转角度计算变换矩阵；基于所述变换矩阵修正所述当前图片以使所述当前图片与所述模板图片的拍摄角度一致，得到待检测图片。
9.优选地，所述基于所述索贝尔算子针对所述待检测图片进行单方向求导提取边缘得到多条边缘轮廓的步骤具体包括：将所述待检测图片灰度化处理；采用包含横向矩阵及纵向矩阵的索贝尔算子与灰度化处理的所述待检测图片的图像像素进行平面卷积，以及根据所述图像像素的上下、左右邻点灰度加权差，得到所述图像像素的横向及纵向灰度值；将所述横向及纵向灰度值采用平方根算法得到所述图像像素的梯度值；将所述梯度值大于预设阈值所对应的图像像素定义为边缘点；根据所述边缘点采用线性逻辑得到多条边缘轮廓。
10.优选地，所述根据预设筛选条件从所述多条边缘轮廓中筛选出皮带轮廓的步骤具体包括：基于所述皮带矩形框的大小设定筛选皮带轮廓的预设筛选条件；求解所述多条边缘轮廓中的每一边缘轮廓的最小外接矩形；将所述最小外接矩形与所述预设筛选条件进行对比，以使从所述多条边缘轮廓中筛选出皮带轮廓。
11.优选地，所述通过对所述皮带轮廓上的同一方向上的点集求平均方式进行线性拟合得到皮带边缘直线方程的步骤具体包括：选取皮带轮廓线条的中点坐标；将所述中点坐标按照y轴方向进行排序；基于同一x坐标值下，解算不同y坐标值下所述皮带轮廓线条的平均值；基于所述平均值拟合得到皮带边缘直线方程。
12.优选地，所述将所述皮带边缘直线方程与所述安全区域进行比对得到实时偏差程度的步骤具体包括：将所述安全区域的区域边缘与所述皮带边缘直线方程进行差值运算得到若干差值；将所述若干差值进行均值算法处理得到所述待检测图片的实时偏差程度。
13.第二方面，本技术提供了一种基于视觉的皮带跑偏检测系统，包括：设置模块，用于设置预设点位信息，其中，所述预设点位信息包括经摄像头采集的模板图片以及在所述模板图片上预划分的皮带矩形框及安全区域；
采集模块，用于通过所述摄像头实时采集皮带运行中的当前图片；修正模块，用于根据所述模板图片修正所述当前图片以使两者拍摄角度一致，得到待检测图片；提取模块，用于基于索贝尔算子针对所述待检测图片进行单方向求导提取边缘得到多条边缘轮廓；筛选模块，用于根据预设筛选条件从所述多条边缘轮廓中筛选出皮带轮廓；拟合模块，用于通过对所述皮带轮廓上的同一方向上的点集求平均方式进行线性拟合得到皮带边缘直线方程；比对模块，用于将所述皮带边缘直线方程与所述安全区域进行比对得到实时偏差程度；报警模块，用于根据所述实时偏差程度判定是否输出报警信息，其中，所述报警信息包括皮带发生跑偏报警指令及其对应的实时皮带偏移量。
14.优选地，所述设置模块具体包括：获取单元，用于通过摄像头获取皮带预设点位的模板图片；划定单元，用于在所述模板图片内划定含有部分皮带的皮带矩形框；选定单元，用于基于所述皮带矩形框内的部分皮带方向在所述皮带矩形框内选定安全区域。
15.优选地，所述修正模块具体包括：匹配单元，用于将所述当前图片与所述模板图片进行特征匹配得到视角偏移及旋转角度；计算单元，用于根据所述视角偏移及旋转角度计算变换矩阵；修正单元，用于基于所述变换矩阵修正所述当前图片以使所述当前图片与所述模板图片的拍摄角度一致，得到待检测图片。
16.优选地，所述提取模块具体包括：灰度单元，用于将所述待检测图片灰度化处理；卷积单元，用于采用包含横向矩阵及纵向矩阵的索贝尔算子与灰度化处理的所述待检测图片的图像像素进行平面卷积，以及根据所述图像像素的上下、左右邻点灰度加权差，得到所述图像像素的横向及纵向灰度值；方根单元，用于将所述横向及纵向灰度值采用平方根算法得到所述图像像素的梯度值；定义单元，用于将所述梯度值大于预设阈值所对应的图像像素定义为边缘点；逻辑单元，用于根据所述边缘点采用线性逻辑得到多条边缘轮廓。
17.优选地，所述筛选模块具体包括：设定单元，用于基于所述皮带矩形框的大小设定筛选皮带轮廓的预设筛选条件；求解单元，用于求解所述多条边缘轮廓中的每一边缘轮廓的最小外接矩形；筛选单元，用于将所述最小外接矩形与所述预设筛选条件进行对比，以使从所述多条边缘轮廓中筛选出皮带轮廓。
18.优选地，所述拟合模块具体包括：选取单元，用于选取皮带轮廓线条的中点坐标；
排序单元，用于将所述中点坐标按照y轴方向进行排序；解算单元，用于基于同一x坐标值下，解算不同y坐标值下所述皮带轮廓线条的平均值；拟合单元，用于基于所述平均值拟合得到皮带边缘直线方程。
19.优选地，所述比对模块具体包括：差值单元，用于将所述安全区域的区域边缘与所述皮带边缘直线方程进行差值运算得到若干差值；均值单元，用于将所述若干差值进行均值算法处理得到所述待检测图片的实时偏差程度。
20.第三方面，本技术提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于视觉的皮带跑偏检测方法。
21.第四方面，本技术提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于视觉的皮带跑偏检测方法。
22.相比于现有技术，本技术提供的一种基于视觉的皮带跑偏检测方法、系统、电子设备及存储介质，具有以下有益效果：本发明结合预设点位信息，运用包含横向矩阵及纵向矩阵的索贝尔算子进行边缘检测，并且对轮廓进行直线拟合，对皮带运动的跑偏通过视频进行检测。该方法不仅对皮带跑偏的检测具有较高的准确率，而且算法简便，运算过程被简化，参数量较少，计算速度加快，运算效率高，能够实时的对皮带跑偏进行检测。该算法摆脱了深度学习需要大数据支持的缺点，同时也解决基于计算机视觉易受到图像噪声的影响，及现场环境复杂给皮带跑偏的边缘识别带来困难。
附图说明
23.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.图1为本发明实施例1提供的基于视觉的皮带跑偏检测方法的流程图；图2是本发明实施例2提供的与实施例1方法对应的基于视觉的皮带跑偏检测系统结构框图；图3是本发明实施例3提供的电子设备的硬件结构示意图。
25.附图标记说明：10-设置模块、11-获取单元、12-划定单元、13-选定单元；20-采集模块；30-修正模块、31-匹配单元、32-计算单元、33-修正单元；40-提取模块、41-灰度单元、42-卷积单元、43-方根单元、44-定义单元、45-逻辑单元；50-筛选模块、51-设定单元、52-求解单元、53-筛选单元；
60-拟合模块、61-选取单元、62-排序单元、63-解算单元、64-拟合单元；70-比对模块、71-差值单元、72-均值单元；80-报警模块；90-总线、91-处理器、92-存储器、93-通信接口。
具体实施方式
26.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
27.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
28.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
29.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
30.实施例1具体而言，图1所示为本实施例所提供的一种基于视觉的皮带跑偏检测方法的流程示意图。
31.如图1所示，本实施例的基于视觉的皮带跑偏检测方法包括以下步骤：s101，设置预设点位信息。
32.其中，所述预设点位信息包括经摄像头采集的模板图片以及在所述模板图片上预划分的皮带矩形框及安全区域。
33.具体地，本实施例中的模板图片是指在货物运输传送带设定的固定位置进行图片数据的采集所形成的图片，在采集的过程中对工业摄像头拍摄的焦距及高度给予固定的预设值。本实施例可以摆脱对传感器等硬件的依赖，仅仅依据所采集的图像即可进行货物运输传送带的位置检测，极大的节约成本及简化部署步骤。可以对任意角度的传送带偏移进行检测，解决因仪器部署角度问题无法做检测的难题。
34.进一步地，步骤s101的具体步骤包括：s1011，通过摄像头获取皮带预设点位的模板图片。
35.具体地，本实施例所涉及的预设点位是指所采集用的工业摄像头的安装角度、位置以及焦距等综合因素的条件下能拍摄到运输中皮带的边缘图像的具体点位信息。也就是说，该预设点位是利于工业摄像头可拍摄到具有皮带特征的图像。此外，本实施例所涉及的模板图片的作用在于后续工业摄像头采集运行中的待检测皮带图像用的比对基准图片。
36.s1012，在所述模板图片内划定含有部分皮带的皮带矩形框。
37.具体地，工业摄像头所采集的待检测皮带图像通常是一个较大视觉范围的图像，该待测皮带图像在采集图像中占据较长的篇幅，为了进一步减少后续的运算，通过在模板图片内的待检测皮带区域划定一个适合大小的皮带矩形框，该皮带矩形框内包含待检测皮带的部分图像，且该部分图像需要反映出较为清晰的待检测皮带。
38.s1013，基于所述皮带矩形框内的部分皮带方向在所述皮带矩形框内选定安全区域。
39.具体地，为了后续针对运行中皮带位置是否跑偏，需要实现在模板图片中的皮带矩形框中设定安全区域，将皮带边缘与预先设置的安全区域进行对比，利于后续判断待检测皮带是否跑偏以及跑偏的程度，实现对皮带跑偏情况的实时智能检测，可以提高检测效率和准确性。
40.s102，通过所述摄像头实时采集皮带运行中的当前图片。
41.具体地，可以利用工业摄像头从工作现场实时采集视频数据，利用跨平台计算机视觉库opencv提取实时的对应图像。可选地，可以将提取实时的对应图像的像素大小设定为1920*1080像素。
42.s103，根据所述模板图片修正所述当前图片以使两者拍摄角度一致，得到待检测图片。
43.具体地，在车间工作现场，工业摄像头由于很多不确定因素，诸如车间设备的振动、工业摄像头的更换检修以及外力作用在工业摄像头上，都容易造成工业摄像头的摆设角度、焦距、位置的变化，从而导致工业摄像头所采集的照片与初始选定的模板图片的拍摄条件不一样，因此需要针对运行中实时采集的待检测皮带的当前图片进行修正，使得当前图片与模板图片所采集的摄像条件相同，从而确保后续的检测结果的准确性。
44.进一步地，步骤s103的具体步骤包括：s1031，将所述当前图片与所述模板图片进行特征匹配得到视角偏移及旋转角度。
45.具体地，特征匹配是指对两张有关联的图像，把它们中的共同区域找出来。因为是用相机对相同物体的不同的角度进行拍摄，所以相机必然是经过平移或者旋转才能拍摄不同角度的照片。因此就能通过特征匹配的结果计算相机到底平移了多少米，或者旋转了多少角度。比如说，用相机拍摄某个物体，但是拍摄的角度不一样，这就是有关联的图像，然后把其中的相似部分找出来，也就是提取或者匹配其中相同的特征。
46.s1032，根据所述视角偏移及旋转角度计算变换矩阵。
47.具体地，将模板图片和当前图片进行特征匹配计算变换矩阵，通用的变换矩阵使用透视仿射变换矩阵。同时可根据不同的场景可使用不同变换矩阵参数，例如在固定倍率视角使用欧式距离变换计算视角偏移和旋转角度（在较少特征点数量保持一定的准确度）。
48.s1033，基于所述变换矩阵修正所述当前图片以使所述当前图片与所述模板图片的拍摄角度一致，得到待检测图片。
49.具体地，通过针对运行中实时采集的待检测皮带的当前图片进行修正，使得当前图片与模板图片所采集的摄像条件相同，可以基于同条件下的皮带后续比对，确保后续的检测结果的准确性。通过该方式可以免去手动设计提取特征与繁杂的人工参数选择，可以推广至不同的光照、摄像头角度、硬件设备条件下的皮带跑偏检测场景,不需要根据实际情况重新进行方法选择与调试。
50.s104，基于索贝尔算子针对所述待检测图片进行单方向求导提取边缘特征得到多条边缘轮廓。
51.具体地，索贝尔算子是计算机视觉领域的一种重要处理方法。主要用于获得数字图像的一阶梯度，常见的应用和物理意义是边缘检测。索贝尔算子是把图像中每个像素的上下左右四领域的灰度值加权差，在边缘处达到极值从而检测边缘。本实施例对待检测图片中的皮带边缘进行检测，将待检测图片转为灰度图，使用索贝尔算子进行边缘检测计算，索贝尔算子对灰度渐变和噪声较多的图像处理效果比较好，对边缘定位比较准确。
52.进一步地，步骤s104的具体步骤包括：s1041，将所述待检测图片灰度化处理。
53.具体地，考虑到r、g、b比重不同带来的视觉效果差异，根据实际需求，划分三个分量在总分量中占的比率，通过加权相加的方式实现灰度化处理，从而把rgb三通道的数据变为单通道的数据图像，rgb彩色图像中含有三个分量，需要对这三个分量分别存储，若简化为一个分量，数据存储量会明显的减小。本实施例中将待检测图片从rgb真彩图像转换为二维灰度图像，其转换公式如下：；式中，gray为转化后的灰色像素值，r为红色通道像素值，g为绿色通道像素值，b为蓝色像素值。
54.s1042，采用包含横向矩阵及纵向矩阵的索贝尔算子与灰度化处理的所述待检测图片的图像像素进行平面卷积，以及根据所述图像像素的上下、左右邻点灰度加权差，得到所述图像像素的横向及纵向灰度值。
55.具体地，索贝尔算子应用时进行给定图像的卷积操作，卷积为计算图像大矩阵周围像素和滤波器矩阵对应位置元素的乘积，然后把结果相加到一起，最终得到的值就作为该像素的新值,这样就完成了一次卷积，之后继续移动卷积核，直到把大矩阵每个位置都运算完毕，因为相邻像素卷积结果一般具有相似输出，会产生大量冗余信息，一般为减少输出值会进行求取最大小值或者平均值的池化操作。本实施例的索贝尔算子包含两组3
×
3的矩阵，分别为横向及纵向，将之与灰度处理的待检测图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。如果以a代表原始图像，通过以下公式计算图像灰度值；*a，*a式中，gx及gy分别代表经横向及纵向边缘检测的图像灰度值。
56.具体计算如下：gx = (-1)*f(x-1, y-1) + 0*f(x,y-1) + 1*f(x+1,y-1)+(-2)*f(x-1,y) + 0*f(x,y)+2*f(x+1,y)+(-1)*f(x-1,y+1) + 0*f(x,y+1) + 1*f(x+1,y+1)= [f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]gy =1* f(x-1, y-1) + 2*f(x,y-1)+ 1*f(x+1,y-1)+0*f(x-1,y)+ 0*f(x,y) + 0*f(x+1,y)
+(-1)*f(x-1,y+1) + (-2)*f(x,y+1) + (-1)*f(x+1, y+1)= [f(x-1,y-1) + 2f(x,y-1) + f(x+1,y-1)]-[f(x-1, y+1) + 2*f(x,y+1)+f(x+1,y+1)]式中，f( , )表示图像( , )点的灰度值。
[0057]
s1043，将所述横向及纵向灰度值采用平方根算法得到所述图像像素的梯度值。
[0058]
具体地，图像的每一个像素的横向及纵向灰度值通过以下公式结合，来计算该点灰度的梯度值大小：式中，gx及gy分别代表经横向及纵向边缘检测的图像灰度值。
[0059]
s1044，将所述梯度值大于预设阈值所对应的图像像素定义为边缘点。
[0060]
具体地，如果梯度值g大于某一阀值，则认为该点(x,y)为边缘点。索贝尔算子根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘，对噪声具有平滑作用，提供较为精确的边缘方向信息。由于大多数皮带的边缘在图像上都是横向的，因此仅对横向的边缘进行提取，对y方向求导，得到的是x方向的边缘。这样忽略了纵向的边缘，反而具有更好的效果。
[0061]
s1045，根据所述边缘点采用线性逻辑得到多条边缘轮廓。
[0062]
具体地，本实施例提及的线性逻辑是指根据车间工业摄像头所拍摄的通常的物体特性而归纳出的逻辑。譬如皮带在图片中是线性状态，基于此类逻辑可以根据边缘点的排布得出该皮带的边缘轮廓。
[0063]
s105，根据预设筛选条件从所述多条边缘轮廓中筛选出皮带轮廓。
[0064]
具体地，由于边缘检测后会得出多条边缘轮廓，诸如皮带边缘轮廓、车间横梁边缘轮廓、车间加强梁边缘轮廓等，因此需要对这些边缘轮廓进行筛选以找到关键的皮带边缘。
[0065]
进一步地，步骤s105的具体步骤包括：s1051，基于所述皮带矩形框的大小设定筛选皮带轮廓的预设筛选条件。
[0066]
具体地，本实施例的预设筛选条件设定为矩形框的长宽比超过5，且矩形框的长度超过70mm，以及对直线的角度进行计算。当然，参数可根据实际情况进行设置。
[0067]
s1052，求解所述多条边缘轮廓中的每一边缘轮廓的最小外接矩形。
[0068]
具体地，以边缘轮廓的两个端点为基准，沿着图片的长宽方向以相反方向进行直线绘制得到该边缘轮廓对应的最小外接矩形。
[0069]
s1053，将所述最小外接矩形与所述预设筛选条件进行对比，以使从所述多条边缘轮廓中筛选出皮带轮廓。
[0070]
具体地，针对计算出的最小外接矩形，基于长宽比以及长度参数比对，实现从多条边缘轮廓中筛选出皮带轮廓。
[0071]
s106，通过对所述皮带轮廓上的同一方向上的点集求平均方式进行线性拟合得到皮带边缘直线方程。
[0072]
具体地，线性拟合是曲线拟合的一种形式。诸如，设x和y都是被观测的量，且y是x的函数：y=f(x，b)，曲线拟合就是通过x，y的观测值来寻求参数b的最佳估计值，及寻求最佳的理论曲线y=f(x，b)。当函数y=f(x，b)为关于b的线性函数时，称这种曲线拟合为线性拟合。
[0073]
进一步地，步骤s106的具体步骤包括：s1061，选取皮带轮廓线条的中点坐标。
[0074]
具体地，由于从多条边缘轮廓中筛选出皮带轮廓可能存在多条皮带轮廓线条，因此需要通过基于每一皮带轮廓线条的中点坐标进行线性拟合处理。
[0075]
s1062，将所述中点坐标按照y轴方向进行排序。
[0076]
s1063，基于同一x坐标值下，解算不同y坐标值下所述皮带轮廓线条的平均值。
[0077]
s1064，基于所述平均值拟合得到皮带边缘直线方程。
[0078]
具体地，将轮廓中点的坐标按y方向进行排序，求轮廓中同一x坐标下，不同y坐标的点的平均值，最终得到皮带边缘的直线方程。
[0079]
s107，将所述皮带边缘直线方程与所述安全区域进行比对得到实时偏差程度。
[0080]
具体地，划定区域为矩形的安全区域，计算皮带直线与安全区域线段的差值，之后对整体差值取一个平均结果定为皮带跑偏的结果。
[0081]
进一步地，步骤s107的具体步骤包括：s1071，将所述安全区域的区域边缘与所述皮带边缘直线方程进行差值运算得到若干差值。
[0082]
s1072，将所述若干差值进行均值算法处理得到所述待检测图片的实时偏差程度。
[0083]
具体地，通过皮带边缘直线方程的边缘线段和设置的安全区域线段进行一个差值的计算，对得到的多个差值进行求平均得到最终的偏差程度值。如果是与安全区域的边缘线段进行差值计算，那么得出的结果越小则说明跑偏越严重。当然，其他实施例中，也可以通过与提前设置的皮带位置线段相减，那得出的结果越大说明跑偏越严重。
[0084]
s108，根据所述实时偏差程度判定是否输出报警信息。
[0085]
其中，所述报警信息包括皮带发生跑偏报警指令及其对应的实时皮带偏移量。
[0086]
具体地，当判断出皮带跑偏时，向工作人员进行报警，报警方式包括声光报警、监控屏展示报警和移动终端信息推送报警。本实施例中，报警模块可以为蜂鸣器，当目标检测网络模型检测到实时采集皮 带运行视频中的当前帧图像为跑偏时，输出皮带偏移量，并通过蜂鸣器实时报警，通知相关负责人进行跑偏程度确认，并及时处理。
[0087]
综上所述，结合预设点位信息，运用包含横向矩阵及纵向矩阵的索贝尔算子进行边缘检测，并且对轮廓进行直线拟合，对皮带运动的跑偏通过视频进行检测。该方法不仅对皮带跑偏的检测具有较高的准确率，而且算法简便，运算过程被简化，参数量较少，计算速度加快，运算效率高，能够实时的对皮带跑偏进行检测。该算法摆脱了深度学习需要大数据支持的缺点，同时也解决基于计算机视觉易受到图像噪声的影响，及现场环境复杂给皮带跑偏的边缘识别带来困难。
[0088]
实施例2本实施例提供了与实施例1所述方法相对应的系统的结构框图。图2是根据本实施例的基于视觉的皮带跑偏检测系统的结构框图，如图2所示，该系统包括：设置模块10，用于设置预设点位信息，其中，所述预设点位信息包括经摄像头采集的模板图片以及在所述模板图片上预划分的皮带矩形框及安全区域；采集模块20，用于通过所述摄像头实时采集皮带运行中的当前图片；修正模块30，用于根据所述模板图片修正所述当前图片以使两者拍摄角度一致，
得到待检测图片；提取模块40，用于基于所述索贝尔算子针对所述待检测图片进行单方向求导提取边缘得到多条边缘轮廓；筛选模块50，用于根据预设筛选条件从所述多条边缘轮廓中筛选出皮带轮廓；拟合模块60，用于通过对所述皮带轮廓上的同一方向上的点集求平均方式进行线性拟合得到皮带边缘直线方程；比对模块70，用于将所述皮带边缘直线方程与所述安全区域进行比对得到实时偏差程度；报警模块80，用于根据所述实时偏差程度判定是否输出报警信息，其中，所述报警信息包括皮带发生跑偏报警指令及其对应的实时皮带偏移量。
[0089]
进一步地，所述设置模块10具体包括：获取单元11，用于通过摄像头获取皮带预设点位的模板图片；划定单元12，用于在所述模板图片内划定含有部分皮带的皮带矩形框；选定单元13，用于基于所述皮带矩形框内的部分皮带方向在所述皮带矩形框内选定安全区域。
[0090]
进一步地，所述修正模块30具体包括：匹配单元31，用于将所述当前图片与所述模板图片进行特征匹配得到视角偏移及旋转角度；计算单元32，用于根据所述视角偏移及旋转角度计算变换矩阵；修正单元33，用于基于所述变换矩阵修正所述当前图片以使所述当前图片与所述模板图片的拍摄角度一致，得到待检测图片。
[0091]
进一步地，所述提取模块40具体包括：灰度单元41，用于将所述待检测图片灰度化处理；卷积单元42，用于采用包含横向矩阵及纵向矩阵的索贝尔算子与灰度化处理的所述待检测图片的图像像素进行平面卷积，以及根据所述图像像素的上下、左右邻点灰度加权差，得到所述图像像素的横向及纵向灰度值；方根单元43，用于将所述横向及纵向灰度值采用平方根算法得到所述图像像素的梯度值；定义单元44，用于将所述梯度值大于预设阈值所对应的图像像素定义为边缘点；逻辑单元45，用于根据所述边缘点采用线性逻辑得到多条边缘轮廓。
[0092]
进一步地，所述筛选模块50具体包括：设定单元51，用于基于所述皮带矩形框的大小设定筛选皮带轮廓的预设筛选条件；求解单元52，用于求解所述多条边缘轮廓中的每一边缘轮廓的最小外接矩形；筛选单元53，用于将所述最小外接矩形与所述预设筛选条件进行对比，以使从所述多条边缘轮廓中筛选出皮带轮廓。
[0093]
进一步地，所述拟合模块60具体包括：选取单元61，用于选取皮带轮廓线条的中点坐标；排序单元62，用于将所述中点坐标按照y轴方向进行排序；
解算单元63，用于基于同一x坐标值下，解算不同y坐标值下所述皮带轮廓线条的平均值；拟合单元64，用于基于所述平均值拟合得到皮带边缘直线方程。
[0094]
进一步地，所述比对模块70具体包括：差值单元71，用于将所述安全区域的区域边缘与所述皮带边缘直线方程进行差值运算得到若干差值；均值单元72，用于将所述若干差值进行均值算法处理得到所述待检测图片的实时偏差程度。
[0095]
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
[0096]
实施例3结合图1所描述的基于视觉的皮带跑偏检测方法可以由电子设备来实现。图3为根据本实施例的电子设备的硬件结构示意图。
[0097]
电子设备可以包括处理器91以及存储有计算机程序指令的存储器92。
[0098]
具体地，上述处理器91可以包括中央处理器（cpu），或者特定集成电路（application specific integrated circuit，简称为asic），或者可以被配置成实施本技术的一个或多个集成电路。
[0099]
其中，存储器92可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器92可包括硬盘驱动器（hard disk drive，简称为hdd）、软盘驱动器、固态驱动器（solid state drive，简称为ssd）、闪存、光盘、磁光盘、磁带或通用串行总线（universal serial bus，简称为usb）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器92可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器92可在数据处理装置的内部或外部。在特定实施例中，存储器92是非易失性（non-volatile）存储器。在特定实施例中，存储器92包括只读存储器（read-only memory，简称为rom）和随机存取存储器（random access memory，简称为ram）。在合适的情况下，该rom可以是掩模编程的rom、可编程rom（programmable read-only memory，简称为prom）、可擦除prom（erasable programmable read-only memory，简称为eprom）、电可擦除prom（electrically erasable programmable read-only memory，简称为eeprom）、电可改写rom（electrically alterable read-only memory，简称为earom）或闪存（flash）或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器（static random-access memory，简称为sram）或动态随机存取存储器（dynamic random access memory，简称为dram），其中，dram可以是快速页模式动态随机存取存储器（fast page mode dynamic random access memory，简称为fpmdram）、扩展数据输出动态随机存取存储器（extended date out dynamic random access memory，简称为edodram）、同步动态随机存取内存（synchronous dynamic random-access memory，简称sdram）等。
[0100]
存储器92可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器91所执行的可能的计算机程序指令。
[0101]
处理器91通过读取并执行存储器92中存储的计算机程序指令，以实现上述实施例1的基于视觉的皮带跑偏检测方法。
[0102]
在其中一些实施例中，电子设备还可包括通信接口93和总线90。其中，如图3所示，处理器91、存储器92、通信接口93通过总线90连接并完成相互间的通信。
[0103]
通信接口93用于实现本技术中各模块、装置、单元和/或电子设备之间的通信。通信接口93还可以实现与其他部件例如：外接电子设备、图像/数据采集电子设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
[0104]
总线90包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线90包括但不限于以下至少之一：数据总线（data bus）、地址总线（address bus）、控制总线（control bus）、扩展总线（expansion bus）、局部总线（local bus）。举例来说而非限制，总线90可包括图形加速接口（accelerated graphics port，简称为agp）或其他图形总线、增强工业标准架构（extended industry standard architecture，简称为eisa）总线、前端总线（front side bus，简称为fsb）、超传输（hyper transport，简称为ht）互连、工业标准架构（industry standard architecture，简称为isa）总线、无线带宽（infiniband）互连、低引脚数（low pin count，简称为lpc）总线、存储器总线、微信道架构（micro channel architecture，简称为mca）总线、外围组件互连（peripheral component interconnect，简称为pci）总线、pci-express（pci-x）总线、串行高级技术附件（serial advanced technology attachment，简称为sata）总线、视频电子标准协会局部（video electronics standards association local bus，简称为vlb）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线90可包括一个或多个总线。尽管本技术描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
[0105]
该电子设备可以获取到基于视觉的皮带跑偏检测系统，执行本实施例1的基于视觉的皮带跑偏检测方法。
[0106]
另外，结合上述实施例1中的基于视觉的皮带跑偏检测方法，本技术可提供一种存储介质来实现。该存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例1的基于视觉的皮带跑偏检测方法。
[0107]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0108]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于视觉的皮带跑偏检测方法，其特征在于，包括：设置预设点位信息，其中，所述预设点位信息包括经摄像头采集的模板图片以及在所述模板图片上预划分的皮带矩形框及安全区域；通过所述摄像头实时采集皮带运行中的当前图片；根据所述模板图片修正所述当前图片以使两者拍摄角度一致，得到待检测图片；基于索贝尔算子针对所述待检测图片进行单方向求导提取边缘特征得到多条边缘轮廓；根据预设筛选条件从所述多条边缘轮廓中筛选出皮带轮廓；通过对所述皮带轮廓上的同一方向上的点集求平均方式进行线性拟合得到皮带边缘直线方程；将所述皮带边缘直线方程与所述安全区域进行比对得到实时偏差程度；根据所述实时偏差程度判定是否输出报警信息，其中，所述报警信息包括皮带发生跑偏报警指令及其对应的实时皮带偏移量。2.根据权利要求1所述的基于视觉的皮带跑偏检测方法，其特征在于，所述设置预设点位信息的步骤具体包括：通过摄像头获取皮带预设点位的模板图片；在所述模板图片内划定含有部分皮带的皮带矩形框；基于所述皮带矩形框内的部分皮带方向在所述皮带矩形框内选定安全区域。3.根据权利要求1所述的基于视觉的皮带跑偏检测方法，其特征在于，所述根据所述模板图片修正所述当前图片以使两者拍摄角度一致，得到待检测图片的步骤具体包括：将所述当前图片与所述模板图片进行特征匹配得到视角偏移及旋转角度；根据所述视角偏移及旋转角度计算变换矩阵；基于所述变换矩阵修正所述当前图片以使所述当前图片与所述模板图片的拍摄角度一致，得到待检测图片。4.根据权利要求1所述的基于视觉的皮带跑偏检测方法，其特征在于，所述基于索贝尔算子针对所述待检测图片进行单方向求导提取边缘特征得到多条边缘轮廓的步骤具体包括：将所述待检测图片灰度化处理；采用包含横向矩阵及纵向矩阵的索贝尔算子与灰度化处理的所述待检测图片的图像像素进行平面卷积，以及根据所述图像像素的上下、左右邻点灰度加权差，得到所述图像像素的横向及纵向灰度值；将所述横向及纵向灰度值采用平方根算法得到所述图像像素的梯度值；将所述梯度值大于预设阈值所对应的图像像素定义为边缘点；根据所述边缘点采用线性逻辑得到多条边缘轮廓。5.根据权利要求1所述的基于视觉的皮带跑偏检测方法，其特征在于，所述根据预设筛选条件从所述多条边缘轮廓中筛选出皮带轮廓的步骤具体包括：基于所述皮带矩形框的大小设定筛选皮带轮廓的预设筛选条件；求解所述多条边缘轮廓中的每一边缘轮廓的最小外接矩形；将所述最小外接矩形与所述预设筛选条件进行对比，以使从所述多条边缘轮廓中筛选
出皮带轮廓。6.根据权利要求1所述的基于视觉的皮带跑偏检测方法，其特征在于，所述通过对所述皮带轮廓上的同一方向上的点集求平均方式进行线性拟合得到皮带边缘直线方程的步骤具体包括：选取皮带轮廓线条的中点坐标；将所述中点坐标按照y轴方向进行排序；基于同一x坐标值下，解算不同y坐标值下所述皮带轮廓线条的平均值；基于所述平均值拟合得到皮带边缘直线方程。7.根据权利要求1所述的基于视觉的皮带跑偏检测方法，其特征在于，所述将所述皮带边缘直线方程与所述安全区域进行比对得到实时偏差程度的步骤具体包括：将所述安全区域的区域边缘与所述皮带边缘直线方程进行差值运算得到若干差值；将所述若干差值进行均值算法处理得到所述待检测图片的实时偏差程度。8.一种基于视觉的皮带跑偏检测系统，其特征在于，包括：设置模块，用于设置预设点位信息，其中，所述预设点位信息包括经摄像头采集的模板图片以及在所述模板图片上预划分的皮带矩形框及安全区域；采集模块，用于通过所述摄像头实时采集皮带运行中的当前图片；修正模块，用于根据所述模板图片修正所述当前图片以使两者拍摄角度一致，得到待检测图片；提取模块，用于基于索贝尔算子针对所述待检测图片进行单方向求导提取边缘特征得到多条边缘轮廓；筛选模块，用于根据预设筛选条件从所述多条边缘轮廓中筛选出皮带轮廓；拟合模块，用于通过对所述皮带轮廓上的同一方向上的点集求平均方式进行线性拟合得到皮带边缘直线方程；比对模块，用于将所述皮带边缘直线方程与所述安全区域进行比对得到实时偏差程度；报警模块，用于根据所述实时偏差程度判定是否输出报警信息，其中，所述报警信息包括皮带发生跑偏报警指令及其对应的实时皮带偏移量。9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于视觉的皮带跑偏检测方法。10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的基于视觉的皮带跑偏检测方法。

技术总结
本发明提供了一种基于视觉的皮带跑偏检测方法、系统、电子设备及存储介质，属于图像识别处理技术领域。该方法包括设置预设点位信息；通过摄像头实时采集皮带运行中的当前图片；根据模板图片修正当前图片以使两者拍摄角度一致；基于索贝尔算子针对待检测图片进行单方向求导提取边缘得到多条边缘轮廓；根据预设筛选条件从多条边缘轮廓中筛选出皮带轮廓；针对皮带轮廓进行线性拟合得到皮带边缘直线方程；将皮带边缘直线方程与安全区域进行比对得到实时偏差程度；根据实时偏差程度判定是否输出报警信息。通过本申请，可以实现皮带跑偏检测技术的高精度、简易性及实时性。简易性及实时性。简易性及实时性。


技术研发人员：冷坤 陈源
受保护的技术使用者：江西小马机器人有限公司
技术研发日：2023.07.07
技术公布日：2023/8/14