基于图像识别的倍捻断纱检测方法、系统、设备及介质与流程

1.本发明涉及断纱检测技术领域，更具体地说，它涉及一种基于图像识别的倍捻断纱检测方法、系统、设备及介质。


背景技术：

2.在纱线的倍捻环节，利用倍捻机对纱线进行倍捻的过程中，会有纱线断掉，在实际的工厂环境中，关于断纱的检验，通常需要不断的巡检发现倍捻环节是否有断纱的出现，然后把出现的断纱解上。
3.在现有技术中公开了公布号为cn106093052a，名称为一种断纱检测方法的文件，包括：控制云台沿导轨移动，所述云台上安装ccd摄像机，所述ccd摄像机在沿导轨移动过程中实时拍摄视频信号；按照预设的间隔周期从所述视频信号提取帧，并根据所提取的帧检测是否有断纱；若根据所提取的帧检测到断纱，则从包含断纱的帧中提取指定区域的图像内容，所述指定区域中设置标识牌；通过预设的图像模板匹配并识别所述指定区域内的标识牌所表示的标识字符，并将所识别得到的标识字符向监控设备发送，但是，该断纱检测方法存在以下问题，在实际生产中，纱线的粗细不一、用途不一样，加工的工艺也不一样，利用工业相机直接拍摄出来纱线是否断掉困难较大。


技术实现要素：

4.针对现有技术存在的不足，本发明的目的在于提供一种基于图像识别的倍捻断纱检测方法、系统、设备及介质，具有识别难度低、检测准确率更高的功能优点。
5.本发明的上述技术目的是通过以下技术方案得以实现的：
6.一种基于图像识别的倍捻断纱检测方法，包括：
7.s100、获取目标图像；
8.s200、识别所述目标图像中是否含有滑轮，其中，所述滑轮为倍捻机上输送纱线的滑轮，若是，则执行步骤s300；
9.s300、将含有滑轮的前景区域切割出来得到对应的切割图像，对所述切割图像进行hog特征提取得到对应的特征图，识别出所述目标图像中滑轮的箭头指向并进行分类得到对应的箭头指向类别；
10.s400、对所述特征图进行kcf算法判断所述滑轮与参照滑轮是否为同一滑轮，若是，则执行步骤s500，若否，则执行步骤s600；
11.s500、将所述箭头指向类别记录在所述参照滑轮对应的参照指向类别集内，并返回执行步骤s100；
12.s600、根据所述参照指向类别集确定参照滑轮的状态，根据所述参照滑轮的状态确定是否断纱。
13.可选的，在所述步骤s300之后，还包括：
14.判断所述切割图像是否为第一个含有滑轮的切割图像，若否，则执行步骤s400；
15.若是，则将所述滑轮作为参照滑轮，将所述箭头指向类别作为参照滑轮对应的参照指向类别集，并返回执行步骤s100。
16.可选的，所述对所述切割图像进行hog特征提取得到对应的特征图，包括：
17.对所述切割图像进行灰度化处理，采用伽马校正法对灰度化后的切割图像进行颜色空间的归一化，得到归一化图像；
18.计算所述归一化图像的各个像素点的梯度；
19.对所述归一化图像进行划分得到多个block，对各个所述block进行划分得到多个细胞单元；
20.统计各个所述细胞单元的梯度直方图，串联各个block内的所有细胞单元的梯度直方图得到各个block对应的hog特征图；
21.串联所有的所述block的hog特征图得到对应的特征图。
22.可选的，所述步骤s400，包括：
23.将所述特征图输入训练好的kcf滤波器得到响应图及响应峰值；
24.在所述响应峰值大于历史响应峰值平均值的预设倍数的情况下，判定滑轮与参照滑轮为同一滑轮，则执行步骤s500，在所述响应峰值不大于历史响应峰值平均值的预设倍数的情况下，判定滑轮与参照滑轮不为同一滑轮，则执行步骤s600。
25.可选的，所述kcf滤波器的训练方法包括：
26.获取基样本，其中，所述基样本包括：参照滑轮的特征图；
27.将所述基样本映射到高维空间；
28.对映射到高维空间后的基样本进行循环位移得到第一样本集；
29.采用所述第一样本集对滤波器进行训练，更新滤波器，采用线性插值的方式对滤波器系数和第一样本集进行更新。
30.可选的，所述s200步骤，包括：
31.对所述目标图像进行标准化处理后输入训练好的yolo模型，得到检测结果；
32.在所述检测结果为目标图像含有滑轮的情况下，该目标图像包括：含有滑轮的前景区域和不含有滑轮的背景区域，执行步骤s300；
33.在所述检测结果为目标图像不含有滑轮的情况下，则返回执行步骤s100。
34.可选的，所述yolo模型的训练方法包括：
35.获取第二样本集，其中，所述第二样本集包括：多个含有滑轮的目标图像和多个不含有滑轮的目标图像；
36.对所述第二样本集的样本中的滑轮进行标记得到真实标记图像；
37.利用所述第二样本集训练yolo模型，将所述yolo模型的输出结果与真实标记图像进行对比，得到训练误差；
38.将所述训练误差在yolo模型进行反向传播，更新yolo模型的参数，经过多次迭代训练后得到训练好的yolo模型。
39.可选的，在步骤s600之后，还包括：
40.将所述滑轮作为下一参照滑轮，将所述参照指向类别集变为历史指向类别集，将所述箭头指向类别作为下一参照滑轮对应的参照指向类别集。
41.一种基于图像识别的倍捻断纱检测系统，包括：
42.图像获取模块，用于获取目标图像；
43.图像识别模块，用于识别所述目标图像中是否含有滑轮，其中，所述滑轮为倍捻机上输送纱线的滑轮，若是，则启动图像切割模块；
44.切割提取模块，用于将含有滑轮的前景区域切割出来得到对应的切割图像，对所述切割图像进行hog特征提取得到对应的特征图，识别出所述目标图像中滑轮的箭头指向并进行分类得到对应的箭头指向类别；
45.滑轮判断模块，用于对所述特征图进行kcf算法判断所述滑轮与参照滑轮是否为同一滑轮，若是，则启动指向记录模块，若否，则启动判断更新模块；
46.指向记录模块，用于将所述箭头指向类别记录在所述参照滑轮对应的参照指向类别集内，返回启动图像获取模块；
47.断纱确定模块，用于根据所述参照指向类别集确定参照滑轮的状态，根据所述参照滑轮的状态确定是否断纱。
48.一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
49.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
50.综上所述，本发明具有以下有益效果：识别出切割区域上滑轮的箭头指向，并对其进行分类得到箭头指向类别，对特征图进行kcf算法判断目标图像上的滑轮与参照滑轮是否为同一滑轮，若为同一滑轮，则将参照滑轮的箭头指向类别记录在参照滑轮对应的参照指向类别集内，直至获取到的目标图像中的滑轮与参照滑轮不为同一滑轮，则根据参照指向类别集判断参照滑轮的状态，若参照指向类别集中有多个不同的箭头指向类别，则判断所述参照滑轮处于转动状态，参照滑轮输送的纱线未断裂，若参照指向类别集中的箭头指向类别相同，则判断所述参照滑轮处于静止状态，参照滑轮输送的纱线断裂，实现对断纱的检测，由于纱线较细，相比于直接检测纱线是否断裂，本技术的检测准确率更高。
附图说明
51.图1是本发明提供的方法的一实施例的流程示意图；
52.图2是本发明提供的方法的另一实施例的流程示意图；
53.图3是本发明提供的基于图像识别的倍捻断纱检测系统的结构框图；
54.图4是本发明实施例中计算机设备的内部结构图。
具体实施方式
55.为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。
56.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发
明中的具体含义。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
57.下面结合附图和实施例，对本发明进行详细描述。
58.本发明提供了一种基于图像识别的倍捻断纱检测方法,如图1所示，包括：
59.s100、获取目标图像；其中，所述目标图像是由移动摄像头获取的当前帧图像；
60.s200、识别所述目标图像是否含有滑轮，其中，所述滑轮为倍捻机上输送纱线的滑轮，若是，则执行步骤s300，若否，则返回执行步骤s100；
61.s300、将含有滑轮的前景区域切割出来得到切割图像，对所述切割图像进行hog特征提取得到对应的特征图，识别出所述目标图像上滑轮的箭头指向并进行分类得到箭头指向类别；
62.s400、对所述特征图进行kcf算法判断所述滑轮与参照滑轮是否为同一滑轮，若是，则执行步骤s500，若否，则执行步骤s600；
63.s500、将所述箭头指向类别记录在所述参照滑轮对应的参照指向类别集内，并返回执行s100步骤；
64.s600、根据所述参照指向类别集识别参照滑轮的状态，根据所述参照滑轮的状态确定是否断纱。
65.在实际应用中，倍捻机上转动设置有滑轮，用于输送纱线，在纱线未断裂的情况下，滑轮处于转动状态，在纱线断裂的情况下，滑轮处于静止状态，滑轮上设置有箭头标签或者带箭头的橡胶皮套，在滑轮转动的过程中，带动箭头的指向产生变化，在本技术中将箭头的指向分为8个类别，分别为“上”、“右上”、“右”、“右下”、“下”、“左下”、“左”、“左上”这8个类别，通过在agv(automated guided vehicle，自动引导车)机器人上搭载摄像头，形成移动摄像头，移动摄像头沿设定的路线移动，在移动的过程中，进行拍摄，获取移动摄像头的当前帧图像作为目标图像，对目标图像进行识别，在识别到目标图像中含有滑轮的情况下，切割出含有滑轮的区域，也就是得到切割区域，识别出切割区域中滑轮的箭头指向，并对其进行分类得到箭头指向类别，对切割图像进行特征提取得到对应的特征图，然后对特征图进行kcf算法判断目标图像中的滑轮与参照滑轮是否为同一滑轮，所述参照滑轮为移动摄像头之前拍摄到的滑轮，也就是判断移动摄像头是否移动到另一滑轮处对另一滑轮进行拍摄，若为同一滑轮，则将滑轮的箭头指向类别记录在所述参照滑轮对应的参照指向类别集内，直至获取到的目标图像中的滑轮与之前拍摄到的滑轮(也就是参照滑轮)不为同一滑轮，则根据参照指向类别集判断参照滑轮的状态，若参照指向类别集中有多个不同的箭头指向类别，则确定所述参照滑轮处于转动状态，参照滑轮输送的纱线未断裂，若参照指向类别集中的箭头指向类别相同，则判断所述参照滑轮处于静止状态，参照滑轮输送的纱线断裂，实现对断纱的检测，由于纱线较细，相比于直接检测纱线是否断裂，本技术的识别难度低、检测准确率更高。
66.进一步地，在所述步骤s300之后，还包括：
67.判断所述切割图像是否为第一个含有滑轮的切割图像，若否，则执行步骤s400；
68.若是，则将所述滑轮作为参照滑轮，记录所述箭头指向类别形成参照指向类别集，并返回执行步骤s100。
69.在实际应用中，移动摄像头在拍摄的过程中，可能会出现拍摄到的前几帧画面中不含有滑轮，则先判断切割图像是否为第一个含有滑轮的切割图像，也就是判断目标图像是否为第一个含有滑轮的目标图像，也就是判断当前拍摄到的滑轮是否为移动摄像头拍摄到的第一个滑轮，若是，则将该滑轮作为参照滑轮，将所述箭头指向类别作为参照滑轮对应的参照指向类别集，然后返回执行步骤s100，若否，则执行步骤s400。
70.进一步地，所述对所述切割图像进行hog特征提取得到特征图，包括：
71.对所述切割图像进行灰度化处理，采用伽马校正法对灰度化后的切割图像进行颜色空间的归一化，得到归一化图像；
72.计算所述归一化图像的各个像素点的梯度；
73.对所述归一化图像进行划分得到多个block，对各个所述block进行划分得到多个细胞单元；
74.统计各个所述细胞单元的梯度直方图，串联各个block内的所有细胞单元的梯度直方图得到各个block对应的hog特征图；
75.串联所有的所述block的hog特征图得到对应的特征图。
76.具体地，对切割图像进行灰度化处理，减少了颜色信息的干扰，采用伽马校正法对灰度化后的切割图像进行颜色空间的归一化，从而调节了图像的对比度，降低了图像局部的阴影和光照变化所造成的影响，减少光照干扰，计算所述归一化图像的各个像素点的梯度，在本技术中归一化图像的像素点i(x，y)的梯度为dx(x,y)＝[i(x+1,y)-i(x-1,y)]/2；dy(x,y)＝[i(i,x+1)-i(x,y-1)]/2；其中，dx(x,y)表示为像素点i(x，y)的水平方向梯度，dy(x,y)表示为像素点i(x，y)的竖直方向梯度，像素点i(x,y)的梯度幅值和梯度方向分别为从而更好地捕获轮廓信息，进一步弱化光照的干扰，统计各个所述细胞单元的梯度直方图，如采用9个bin的直方图来统计各个细胞单元的梯度信息，也就是对细胞单元内的每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围)，就得到各个细胞单元对应的梯度直方图，串联各个block内的所有细胞单元的梯度直方图得到各个block对应的hog特征图，串联所有的block的hog特征图得到对应的特征图。
[0077]
进一步地，所述步骤s400，包括：
[0078]
将所述特征图输入训练好的kcf滤波器得到响应图及响应峰值；
[0079]
在所述响应峰值大于历史响应峰值平均值的预设倍数的情况下，判定滑轮与参照滑轮为同一滑轮，则执行步骤s600，在所述响应峰值不大于历史响应峰值平均值的预设倍数的情况下，判定滑轮与参照滑轮不为同一滑轮，则执行步骤s700。
[0080]
在实际应用中，将所述特征图输入训练好的kcf滤波器后，kcf滤波器对特征图进行滤波计算，得到输出的响应图和响应峰值，在所述滑轮对应的切割图像不为第一个含有滑轮的切割图像的情况下，在得到所述滑轮对应的目标图像之前，通常会得到当前的参照滑轮的至少一目标图像，历史响应峰值为kcf滤波器对当前的参照滑轮对应的特征图进行滤波计算得到，将响应峰值与历史响应峰值平均值的预设倍数进行比较，在响应峰值大于历史响应峰值平均值的预设倍数的情况下，则说明没有跟丢参照滑轮，所述滑轮与参照滑轮为同一滑轮，将所述滑轮对应的响应峰值作为当前的参照滑轮对应的历史响应峰值，在
响应峰值不大于历史响应峰值平均值的预设倍数的情况下，则说明跟丢参照滑轮，移动摄像头移动至下一滑轮处，所述滑轮与参照滑轮不为同一滑轮，将所述滑轮对应的响应峰值作为下一参照滑轮对应的历史响应峰值。
[0081]
进一步地，所述kcf滤波器的训练方法包括：
[0082]
获取基样本，其中，所述基样本包括：参照滑轮的特征图；
[0083]
将所述基样本映射到高维空间；
[0084]
对映射到高维空间后的基样本进行循环位移得到第一样本集；
[0085]
采用所述第一样本集对滤波器进行训练，更新滤波器，采用线性插值的方式对滤波器系数和第一样本集进行更新。
[0086]
在实际应用中，将所述基样本映射到高维空间，对映射到高维空间后的基样本进行循环位移得到正负样本，也就是得到第一样本集，所述正负样本中包括基样本，所述正负样本形成循环矩阵，采用所述正负样本对滤波器进行训练，也就是通过循环矩阵对滤波器进行训练，采用线性插值的方式对滤波器系数进行更新，也就是采用线性插值的方法设定好更新步长β后对滤波器进行更新，更新公式如下式所示：
[0087]
α＝(1-β)α
′
+βnew_α
[0088]
x＝(1-β)x
′
+βnew_x
[0089]
其中，α表示滤波器系数，x表示正负样本所组成的第一样本集；将基样本输入滤波器后，也就是将参照滑轮对应的特征图输入滤波器后能够得到参照滑轮对应的响应峰值，从而得到对应的历史响应峰值。
[0090]
进一步地，所述s200步骤包括：
[0091]
对所述目标图像进行标准化处理后输入训练好的yolo模型，得到检测结果；
[0092]
在所述检测结果为目标图像含有滑轮的情况下，该目标图像包括：含有滑轮的前景区域和不含有滑轮的背景区域，执行步骤s300；
[0093]
在所述检测结果为目标图像不含有滑轮的情况下，则返回执行步骤s100。
[0094]
具体地，对所述目标图像进行标准化处理，也就是将目标图像缩放到448*448的大小，使得目标图像符合yolo模型的输入标准，将标准化处理后的目标图像输入到训练好的yolo模型后，得到检测结果，检测结果为目标图像中含有滑轮及目标图像中不含有滑轮这两种结果，在所述检测结果为目标图像含有滑轮的情况下，得到含有滑轮的前景区域和不含有滑轮的背景区域，然后执行s300步骤，也就是将含有滑轮的前景区域切割出来得到切割图像；在所述检测结果为目标图像中不含有滑轮的情况下，则返回执行步骤s100，继续获取目标图像。
[0095]
进一步地，所述yolo模型的训练方法包括：
[0096]
获取第二样本集，其中，所述第二样本集包括：多个含有滑轮的目标图像和多个不含有滑轮的目标图像；
[0097]
对所述第二样本集的样本中的滑轮进行标记得到真实标记图像；
[0098]
利用所述第二样本集训练yolo模型，将所述yolo模型的输出结果与真实标记图像进行对比，得到训练误差；
[0099]
将所述训练误差在yolo模型进行反向传播，更新yolo模型的参数，经过多次迭代训练后得到训练好的yolo模型。
[0100]
在实际应用中，yolo模型主要包括：多个卷积层、两个全连接层和输出层，所述输出层采用线性函数做激活函数，将第二样本集中的样本输入到yolo模型后得到输出结果，将输出结果与真实标记图像进行比对，得到训练误差，在本技术中，除了对第二样本集的样本中的滑轮进行标记，还能够对滑轮中的箭头指向类别进行标记，使得训练好的yolo模型还能够对滑轮上的箭头指向类别进行识别，所述yolo模型将识别和定位合二为一的网络设计，使其具有处理速度快的特点，而且这种统一的网络设计也使得训练和预测可以端到端的进行，非常简便，由于整张图片放到网络里面进行预测，使得背景预测错误率低。
[0101]
进一步地，在步骤s600之后，还包括：
[0102]
将所述滑轮作为下一参照滑轮，将所述参照指向类别集变为历史指向类别集，将所述箭头指向类别作为下一参照滑轮对应的参照指向类别集。
[0103]
在实际应用中，在获取到的目标图像中的滑轮与之前拍摄到的滑轮(也就是参照滑轮)不为同一滑轮的情况下，还包括：将所述滑轮作为下一参照滑轮，将所述参照指向类别集变为历史指向类别集，将所述箭头指向类别作为下一参照指向类别集，以便于对下一参照滑轮所输送的纱线是否断裂进行识别。
[0104]
本发明的基于图像识别的倍捻断纱检测方法，识别出切割区域上滑轮的箭头指向，并对其进行分类得到箭头指向类别，对特征图进行kcf算法判断目标图像上的滑轮与参照滑轮是否为同一滑轮，若为同一滑轮，则将参照滑轮的箭头指向类别记录在所述参照滑轮对应的参照指向类别集，直至获取到的目标图像中的滑轮与参照滑轮不为同一滑轮，则根据参照指向类别集判断参照滑轮的状态，若参照指向类别集中有多个不同的箭头指向类别，则判断所述参照滑轮处于转动状态，参照滑轮输送的纱线未断裂，若参照指向类别集中的箭头指向类别相同，则判断所述参照滑轮处于静止状态，参照滑轮输送的纱线断裂，实现对断纱的检测，由于纱线较细，相比于直接检测纱线是否断裂，本技术的检测准确率更高。
[0105]
如图2所示，本发明还提供了一种基于图像识别的倍捻断纱检测系统，包括：
[0106]
图像获取模块10，用于获取目标图像；
[0107]
图像识别模块20，用于识别所述目标图像中是否含有滑轮，其中，所述滑轮为倍捻机上输送纱线的滑轮，若是，则启动图像切割模块；
[0108]
切割提取模块30，用于将含有滑轮的前景区域切割出来得到对应的切割图像，对所述切割图像进行hog特征提取得到对应的特征图，识别出所述目标图像中滑轮的箭头指向并进行分类得到对应的箭头指向类别；
[0109]
滑轮判断模块40，用于对所述特征图进行kcf算法判断所述滑轮与参照滑轮是否为同一滑轮，若是，则启动指向记录模块，若否，则启动判断更新模块；
[0110]
指向记录模块50，用于将所述箭头指向类别记录在所述参照滑轮对应的参照指向类别集内，返回启动图像获取模块；
[0111]
断纱确定模块60，用于根据所述参照指向类别集确定参照滑轮的状态，根据所述参照滑轮的状态确定是否断纱。
[0112]
关于基于图像识别的倍捻断纱检测系统的具体限定可以参见上文中对于基于图像识别的倍捻断纱检测方法的限定，在此不再赘述。上述基于图像识别的倍捻断纱检测系统的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器
中，以便于处理器调用执行以上各个模块对应的操作。
[0113]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于图像识别的倍捻断纱检测方法。
[0114]
本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0115]
在一个实施例中，提供了一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现以下步骤：
[0116]
s100、获取目标图像；
[0117]
s200、识别所述目标图像中是否含有滑轮，其中，所述滑轮为倍捻机上输送纱线的滑轮，若是，则执行步骤s300；
[0118]
s300、将含有滑轮的前景区域切割出来得到对应的切割图像，对所述切割图像进行hog特征提取得到对应的特征图，识别出所述目标图像中滑轮的箭头指向并进行分类得到对应的箭头指向类别；
[0119]
s400、对所述特征图进行kcf算法判断所述滑轮与参照滑轮是否为同一滑轮，若是，则执行步骤s500，若否，则执行步骤s600；
[0120]
s500、将所述箭头指向类别记录在所述参照滑轮对应的参照指向类别集内，并返回执行步骤s100；
[0121]
s600、根据所述参照指向类别集确定参照滑轮的状态，根据所述参照滑轮的状态确定是否断纱。
[0122]
在一实施例中，在所述步骤s300之后，还包括：
[0123]
判断所述切割图像是否为第一个含有滑轮的切割图像，若否，则执行步骤s400；
[0124]
若是，则将所述滑轮作为参照滑轮，将所述箭头指向类别作为参照滑轮对应的参照指向类别集，并返回执行步骤s100。
[0125]
在一实施例中，所述对所述切割图像进行hog特征提取得到对应的特征图，包括：
[0126]
对所述切割图像进行灰度化处理，采用伽马校正法对灰度化后的切割图像进行颜色空间的归一化，得到归一化图像；
[0127]
计算所述归一化图像的各个像素点的梯度；
[0128]
对所述归一化图像进行划分得到多个block，对各个所述block进行划分得到多个细胞单元；
[0129]
统计各个所述细胞单元的梯度直方图，串联各个block内的所有细胞单元的梯度直方图得到各个block对应的hog特征图；
[0130]
串联所有的所述block的hog特征图得到对应的特征图。
[0131]
在一实施例中，所述步骤s400，包括：
[0132]
将所述特征图输入训练好的kcf滤波器得到响应图及响应峰值；
[0133]
在所述响应峰值大于历史响应峰值平均值的预设倍数的情况下，判定滑轮与参照滑轮为同一滑轮，则执行步骤s600，在所述响应峰值不大于历史响应峰值平均值的预设倍数的情况下，判定滑轮与参照滑轮不为同一滑轮，则执行步骤s700。
[0134]
在一实施例中，所述kcf滤波器的训练方法包括：
[0135]
获取基样本，其中，所述基样本包括：参照滑轮的特征图；
[0136]
将所述基样本映射到高维空间；
[0137]
对映射到高维空间后的基样本进行循环位移得到第一样本集；
[0138]
采用所述第一样本集对滤波器进行训练，更新滤波器，采用线性插值的方式对滤波器系数和第一样本集进行更新。
[0139]
在一实施例中，所述s200步骤，包括：
[0140]
对所述目标图像进行标准化处理后输入训练好的yolo模型，得到检测结果；
[0141]
在所述检测结果为目标图像含有滑轮的情况下，该目标图像包括：含有滑轮的前景区域和不含有滑轮的背景区域，执行步骤s300；
[0142]
在所述检测结果为目标图像不含有滑轮的情况下，则返回执行步骤s100。
[0143]
在一实施例中，所述yolo模型的训练方法包括：
[0144]
获取第二样本集，其中，所述第二样本集包括：多个含有滑轮的目标图像和多个不含有滑轮的目标图像；
[0145]
对所述第二样本集的样本中的滑轮进行标记得到真实标记图像；
[0146]
利用所述第二样本集训练yolo模型，将所述yolo模型的输出结果与真实标记图像进行对比，得到训练误差；
[0147]
将所述训练误差在yolo模型进行反向传播，更新yolo模型的参数，经过多次迭代训练后得到训练好的yolo模型。
[0148]
在一实施例中，在步骤s600之后，还包括：
[0149]
将所述滑轮作为下一参照滑轮，将所述参照指向类别集变为历史指向类别集，将所述箭头指向类别作为下一参照滑轮对应的参照指向类别集。
[0150]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0151]
s100、获取目标图像；
[0152]
s200、识别所述目标图像中是否含有滑轮，其中，所述滑轮为倍捻机上输送纱线的滑轮，若是，则执行步骤s300；
[0153]
s300、将含有滑轮的前景区域切割出来得到对应的切割图像，对所述切割图像进行hog特征提取得到对应的特征图，识别出所述目标图像中滑轮的箭头指向并进行分类得到对应的箭头指向类别；
[0154]
s400、对所述特征图进行kcf算法判断所述滑轮与参照滑轮是否为同一滑轮，若是，则执行步骤s500，若否，则执行步骤s600；
[0155]
s500、将所述箭头指向类别记录在所述参照滑轮对应的参照指向类别集内，并返回执行步骤s100；
[0156]
s600、根据所述参照指向类别集确定参照滑轮的状态，根据所述参照滑轮的状态
确定是否断纱。
[0157]
在一实施例中，在所述步骤s300之后，还包括：
[0158]
判断所述切割图像是否为第一个含有滑轮的切割图像，若否，则执行步骤s400；
[0159]
若是，则将所述滑轮作为参照滑轮，将所述箭头指向类别作为参照滑轮对应的参照指向类别集，并返回执行步骤s100。
[0160]
在一实施例中，所述对所述切割图像进行hog特征提取得到对应的特征图，包括：
[0161]
对所述切割图像进行灰度化处理，采用伽马校正法对灰度化后的切割图像进行颜色空间的归一化，得到归一化图像；
[0162]
计算所述归一化图像的各个像素点的梯度；
[0163]
对所述归一化图像进行划分得到多个block，对各个所述block进行划分得到多个细胞单元；
[0164]
统计各个所述细胞单元的梯度直方图，串联各个block内的所有细胞单元的梯度直方图得到各个block对应的hog特征图；
[0165]
串联所有的所述block的hog特征图得到对应的特征图。
[0166]
在一实施例中，所述步骤s400，包括：
[0167]
将所述特征图输入训练好的kcf滤波器得到响应图及响应峰值；
[0168]
在所述响应峰值大于历史响应峰值平均值的预设倍数的情况下，判定滑轮与参照滑轮为同一滑轮，则执行步骤s600，在所述响应峰值不大于历史响应峰值平均值的预设倍数的情况下，判定滑轮与参照滑轮不为同一滑轮，则执行步骤s700。
[0169]
在一实施例中，所述kcf滤波器的训练方法包括：
[0170]
获取基样本，其中，所述基样本包括：参照滑轮的特征图；
[0171]
将所述基样本映射到高维空间；
[0172]
对映射到高维空间后的基样本进行循环位移得到第一样本集；
[0173]
采用所述第一样本集对滤波器进行训练，更新滤波器，采用线性插值的方式对滤波器系数和第一样本集进行更新。
[0174]
在一实施例中，所述s200步骤，包括：
[0175]
对所述目标图像进行标准化处理后输入训练好的yolo模型，得到检测结果；
[0176]
在所述检测结果为目标图像含有滑轮的情况下，该目标图像包括：含有滑轮的前景区域和不含有滑轮的背景区域，执行步骤s300；
[0177]
在所述检测结果为目标图像不含有滑轮的情况下，则返回执行步骤s100。
[0178]
在一实施例中，所述yolo模型的训练方法包括：
[0179]
获取第二样本集，其中，所述第二样本集包括：多个含有滑轮的目标图像和多个不含有滑轮的目标图像；
[0180]
对所述第二样本集的样本中的滑轮进行标记得到真实标记图像；
[0181]
利用所述第二样本集训练yolo模型，将所述yolo模型的输出结果与真实标记图像进行对比，得到训练误差；
[0182]
将所述训练误差在yolo模型进行反向传播，更新yolo模型的参数，经过多次迭代训练后得到训练好的yolo模型。
[0183]
在一实施例中，在步骤s600之后，还包括：
[0184]
将所述滑轮作为下一参照滑轮，将所述参照指向类别集变为历史指向类别集，将所述箭头指向类别作为下一参照滑轮对应的参照指向类别集。
[0185]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0186]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

技术特征：
1.一种基于图像识别的倍捻断纱检测方法，其特征在于，包括：s100、获取目标图像；s200、识别所述目标图像中是否含有滑轮，其中，所述滑轮为倍捻机上输送纱线的滑轮，若是，则执行步骤s300；s300、将含有滑轮的前景区域切割出来得到对应的切割图像，对所述切割图像进行hog特征提取得到对应的特征图，识别出所述目标图像中滑轮的箭头指向并进行分类得到对应的箭头指向类别；s400、对所述特征图进行kcf算法判断所述滑轮与参照滑轮是否为同一滑轮，若是，则执行步骤s500，若否，则执行步骤s600；s500、将所述箭头指向类别记录在所述参照滑轮对应的参照指向类别集内，并返回执行步骤s100；s600、根据所述参照指向类别集确定参照滑轮的状态，根据所述参照滑轮的状态确定是否断纱。2.根据权利要求1所述的基于图像识别的倍捻断纱检测方法，其特征在于，在所述步骤s300之后，还包括：判断所述切割图像是否为第一个含有滑轮的切割图像，若否，则执行步骤s400；若是，则将所述滑轮作为参照滑轮，将所述箭头指向类别作为参照滑轮对应的参照指向类别集，并返回执行步骤s100。3.根据权利要求1所述的基于图像识别的倍捻断纱检测方法，其特征在于，所述对所述切割图像进行hog特征提取得到对应的特征图，包括：对所述切割图像进行灰度化处理，采用伽马校正法对灰度化后的切割图像进行颜色空间的归一化，得到归一化图像；计算所述归一化图像的各个像素点的梯度；对所述归一化图像进行划分得到多个block，对各个所述block进行划分得到多个细胞单元；统计各个所述细胞单元的梯度直方图，串联各个block内的所有细胞单元的梯度直方图得到各个block对应的hog特征图；串联所有的所述block的hog特征图得到对应的特征图。4.根据权利要求1所述的基于图像识别的倍捻断纱检测方法，其特征在于，所述步骤s400，包括：将所述特征图输入训练好的kcf滤波器得到响应图及响应峰值；在所述响应峰值大于历史响应峰值平均值的预设倍数的情况下，判定滑轮与参照滑轮为同一滑轮，则执行步骤s500，在所述响应峰值不大于历史响应峰值平均值的预设倍数的情况下，判定滑轮与参照滑轮不为同一滑轮，则执行步骤s600。5.根据权利要求4所述的基于图像识别的倍捻断纱检测方法，其特征在于，所述kcf滤波器的训练方法包括：获取基样本，其中，所述基样本包括：参照滑轮的特征图；将所述基样本映射到高维空间；对映射到高维空间后的基样本进行循环位移得到第一样本集；
采用所述第一样本集对滤波器进行训练，更新滤波器，采用线性插值的方式对滤波器系数和第一样本集进行更新。6.根据权利要求1所述的基于图像识别的倍捻断纱检测方法，其特征在于，所述s200步骤，包括：对所述目标图像进行标准化处理后输入训练好的yolo模型，得到检测结果；在所述检测结果为目标图像含有滑轮的情况下，该目标图像包括：含有滑轮的前景区域和不含有滑轮的背景区域，执行步骤s300；在所述检测结果为目标图像不含有滑轮的情况下，则返回执行步骤s100。7.根据权利要求6所述的基于图像识别的倍捻断纱检测方法，其特征在于，所述yolo模型的训练方法包括：获取第二样本集，其中，所述第二样本集包括：多个含有滑轮的目标图像和多个不含有滑轮的目标图像；对所述第二样本集的样本中的滑轮进行标记得到真实标记图像；利用所述第二样本集训练yolo模型，将所述yolo模型的输出结果与真实标记图像进行对比，得到训练误差；将所述训练误差在yolo模型进行反向传播，更新yolo模型的参数，经过多次迭代训练后得到训练好的yolo模型。8.根据权利要求1所述的基于图像识别的倍捻断纱检测方法，其特征在于，在步骤s600之后，还包括：将所述滑轮作为下一参照滑轮，将所述参照指向类别集变为历史指向类别集，将所述箭头指向类别作为下一参照滑轮对应的参照指向类别集。9.一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

技术总结
本发明涉及一种基于图像识别的倍捻断纱检测方法、系统、设备及介质，其技术方案要点是：获取目标图像；识别目标图像中是否含有滑轮，滑轮为倍捻机上输送纱线的滑轮，在识别到目标图像中含有滑轮的情况下，将含有滑轮的前景区域切割出来得到切割图像，识别出目标图像上滑轮的箭头指向并进行分类得到箭头指向类别，对切割图像进行HOG特征提取得到对应的特征图，对特征图进行KCF算法判断滑轮与参照滑轮是否为同一滑轮，若是，则将箭头指向类别记录在参照滑轮对应的参照指向类别集内，若否，则根据参照指向类别集判断参照滑轮的状态，根据参照滑轮的状态判断是否断纱，本申请具有识别难度低、检测准确率更高的效果。检测准确率更高的效果。检测准确率更高的效果。


技术研发人员：邹建法
受保护的技术使用者：上海致景信息科技有限公司
技术研发日：2023.05.19
技术公布日：2023/8/14