一种列车闸片小部件检测方法及系统与流程

1.本发明涉及计算机视觉检测技术领域，尤其涉及一种列车闸片小部件检测方法及系统。


背景技术：

2.随着人们的生活水平逐步提高，可选择的出行方式也是多种多样，根据出行目的地的距离远近和时间需求，通常可以选用动车、机务、汽车、地铁等方式满足需求。
3.无论何种出行方式，最重要的都是要保证安全第一。在列车的制动系统中，闸片作为列车制动系统的核心部件，承担着列车制动的平稳性、安全性的重要地位，而列车刹车闸片中又包含三种更小的部件，分别是六棱锁、开口梢、u型锁，其中六棱锁、开口梢部件的状态对行车安全是止观重要的，若六棱锁、开口梢丢失，对列车制动功能将造成极大影响，因此需要对此类部件进行精准检测。
4.目前，针对该种小部件，通常有以下几种检测方式，分别是：
5.1、人工检测是通过肉眼直接观看各部件；
6.2、利用二维图像进行检测时，通过模板匹配或相似度计算定位的方式；
7.3、采用深度学习神经网络，通过定位或分割网络对其中的小部件进行区域定位或像素级分类以达到检测目的。
8.采用上述第一种检测方式时，不仅效率低而且容易误判，尤其是一些狭小区域，无法肉眼直接观察到；采用上述第二种检测方式时，由于闸片使用环境多变，闸片表面常有雪、雨水、油污等污渍干扰，导致无法精准定位或出现漏框等情况；采用上述第三种检测方式时，主要通过目标检测定位小部件或目标分割思路对像素分类检测小部件，由于插销部件较小往往定位或分割效果欠佳，无法得到精准、正确的检测结果。


技术实现要素：

9.有鉴于此，本发明提供一种列车闸片小部件检测方法及系统，旨在解决对闸片小部件检测不精准、不正确的技术问题。
10.为解决以上技术问题，本发明的技术方案为提供一种列车闸片小部件检测方法，包括：
11.构建目标检测模型，所述目标检测模型的第一层输出头的输出位于csp1_3模块之前；
12.对所述目标检测模型进行训练，得到训练好的目标检测模型；
13.获取待检测图像，并对所述待检测图像进行预处理；
14.将预处理后的待检测图像输入到训练好的目标检测模型中，输出检测结果。
15.可选的，所述构建目标检测模型，还包括：
16.在目标检测网络中的特征通道上增加注意力机制。
17.可选的，所述构建目标检测模型，还包括：
18.将第一区域提取的特征信息在反馈到第二区域之前，对所述第一区域提取的特征信息进行聚合。
19.可选的，所述目标检测模型采用yolov5s目标检测模型，所述目标检测网络采用yolov5s目标检测网络。
20.可选的，所述获取待检测图像，并对所述待检测图像进行预处理，包括：
21.获取待检测图像，利用预设大小的选框裁剪所述待检测图像。
22.可选的，所述获取待检测图像，利用预设大小的选框裁剪所述待检测图像，包括：
23.获取待检测图像，利用预设大小的滑框从图片左上角开始滑动并裁剪所述待检测图像。
24.可选的，所述将预处理后的待检测图像输入到训练好的目标检测模型中，输出检测结果之后，还包括：
25.将所述输出检测结果进行非极大值抑制，得到最终检测结果。
26.此外，本发明还提供一种列车闸片小部件检测系统，包括：
27.模型构建模块，用于构建目标检测模型，所述目标检测模型的第一层输出头的输出位于csp1_3模块之前；
28.模型训练模块，用于对所述目标检测模型进行训练，得到训练好的目标检测模型；
29.图像处理模块，用于获取待检测图像，并对所述待检测图像进行预处理；
30.结果输出模块，用于将预处理后的待检测图像输入到训练好的目标检测模型中，输出检测结果。
31.本发明提供一种列车闸片小部件检测方法及系统，通过构建目标检测模型，所述目标检测模型的第一层输出头的输出位于csp1_3模块之前；对所述目标检测模型进行训练，得到训练好的目标检测模型；获取待检测图像，并对所述待检测图像进行预处理；将预处理后的待检测图像输入到训练好的目标检测模型中，输出检测结果。通过对目标检测模型进行多种方式的优化，提升整体目标检测模型的检测性能，使得在目标物较小的情况下也能够精准定位和检测，进而达到增强网络对小目标的检测效果能力的提升，提高对闸片小部件检测的精准性和正确性。
附图说明
32.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
33.图1是本发明一实施例提供的一种列车闸片小部件检测方法的步骤示意图；
34.图2是本发明一实施例提供的一种目标检测模型的结构示意图；
35.图3是本发明一实施例提供的一种目标检测模型的优化结构示意图；
36.图4是本发明另一实施例提供的一种目标检测模型的优化结构示意图；
37.图5是本发明一实施例提供的一种列车闸片小部件检测系统的结构示意图。
具体实施方式
38.为了使本领域技术人员更好的理解本发明实施例，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.闸片作为列车指定系统的核心部件，承担列车制动的平稳性、安全性。列车刹车闸片中包含三种小部件，分别是六棱锁、u型锁和开口梢部件，这三种小部件的状态对行车安全至关重要，因此对于此类小部件的检测则需要高精准、高正确的检测结果，以保证列车运行的安全。
40.在现有技术中，除了人为肉眼进行观察检测之外，通常采用的是利用深度学习技术通过定位或分割网络对目标进行区域定位或像素级分割，以达到检测的目的，然而，针对类似开口梢、六棱锁等小目标部件，往往因为其目标较小导致定位或分割效果欠佳，无法得到精准的检测结果，还有可能出现漏检、误检的情况，导致列车运行的安全性存在隐患，严重时甚至会出现人员伤亡和大量财产损失，造成无法挽回的结局。
41.有鉴于此，如图1所示，是本发明第一实施例针对小目标部件检测提出一种列车闸片小部件检测方法，用于解决上述问题，具体包括：
42.s11、构建目标检测模型，所述目标检测模型的第一层输出头的输出位于csp1_3模块之前。
43.目标检测是计算机视觉领域的一大任务，大致分为one-stage(一次检测)和two-stage(二次检测)，前者是指单次就能进行检测，后者所对应的就是基于候选区域的目标检测，需要根据滑动窗口所获取的部分图像进行提取特征，并使用分类器去识别图像。
44.本实施例是使用基于one-stage的目标检测模型yolov5，单次检测的算法是直接在原图中提取一定的特征来预测目标的位置和分类，因此相较于二次检测的算法，一次检测算法的结构比较简单，识别速度会更快。相较于上一代yolov4参数量减小了约90％，提高了推理的速度。相比于其前身yolov1、yolov2、yolov3、yolov4来说，在各个数据集上体现出收敛速度快、模型可定制型强的特点，在本实施例中，目标检测模型选用yolov5来进行检测方法的实现。
45.如图2所示，是本实施例提供的原始yolov5s的模型结构示意图，即优化之前的模型结构示意图。
46.其中，yolov5检测网络通过三个不同大小的输出头进行特征融合，由于下采样的缘故，网络获取到的语义特征越丰富，同时位置特征就越小，导致过深的网络通常对于小目标的检测效果欠佳，因此利用yolov5模型可定制型强的特点，可以对yolov5模型进行优化。
47.具体体现为，对原始的yolov5网络进行更改，将第一层输出头的输出调整至csp1_3模块之前，使得网络的深度得到有效改善，提高对于小目标的检测效果，提高检测精度。
48.s12、对所述目标检测模型进行训练，得到训练好的目标检测模型。
49.本实施例中对目标检测模型进行训练时，采用传统神经网络模型训练的方式，划分将数据集进行划分，分别为训练集、测试集和验证集，利用训练集进行模型训练，进而利用测试集对训练的模型进行测试，最后通过验证集进行模型的验证，得到训练好的目标检测模型。
50.s13、获取待检测图像，并对待检测图像进行预处理。
51.获取待检测图像，由于原图较大，且本实施例针对的检测目标较小，因此，在这种情况下，采用预设大小(本实施例选用416*416大小)的滑框从图片左上角开始滑动并裁剪图像，将全图的滑动框送入到检测网络中去，以利用训练好的目标检测模型对待检测图像进行检测。
52.s14、将预处理后的待检测图像输入到训练好的目标检测模型中，输出检测结果。
53.将预处理后的待检测图像，也就是全图的滑动框裁剪的图像输入到训练好的目标检测模型中，输出检测结果。
54.输出检测结果之后，将得到的检测结果做nms(非极大值抑制)。
55.目标检测中的nms算法用于去除重叠的边界框，只保留置信度最高的那个边界框，具体实现是，首先按照边界框的置信度从高到低排序，然后从置信度最高的边界框开始，计算其与其他边界框的重叠面积，如果重叠面积大于一定阈值(一般为0.5)，则将该边界框删除，否则保留该边界框，然后继续处理下一个置信度次高的边界框，直到所有边界框都被处理完毕。
56.本实施例提出一种列车闸片小部件检测方法，通过构建目标检测模型，目标检测模型的第一层输出头的输出位于csp1_3模块之前；对目标检测模型进行训练，得到训练好的目标检测模型；获取待检测图像，并对待检测图像进行预处理；将预处理后的待检测图像输入到训练好的目标检测模型中，输出检测结果。通过对传统目标检测模型的输出端进行结构优化，提高对小目标部件检测的精准度以及正确性，进而提升整体目标检测模型的检测性能，达到增强网络对小目标的检测效果能力的提升。
57.作为一种优选的实施例，本实施例为第二实施例，通过对目标检测模型进一步优化，提升模型整体的检测性能，如图3所示，是本实施例在特征通道上加入的注意力机制的结构示意图。
58.列车闸片在使用时由于环境多变，闸片表面常有雪、雨水、油污等污渍干扰，导致无法精准定位或出现漏框等情况，为了提升对污渍闸片上小部件的检测能力，考虑了特征通道之间的关系，在特征通道上加入了注意力机制。
59.注意力机制，其本质是一种通过网络自主学习出的一组权重系数，并以“动态加权”的方式来强调我们所感兴趣的区域同时抑制不相关背景区域的机制。在计算机视觉领域中，注意力机制可以大致分为两大类：强注意力和软注意力。由于强注意力是一种随机的预测，其强调的是动态变化，虽然效果不错，但由于不可微的性质导致其应用很受限制。与之相反的是，软注意力是处处可微的，即能够通过基于梯度下降法的神经网络训练所获得，因此其应用相对来说也比较广泛。软注意力按照不同维度(如通道、空间、时间、类别等)出发，目前主流的注意力机制可以分为以下三种：通道注意力、空间注意力以及自注意力(self-attention)。
60.其中，通道注意力旨在显示的建模出不同通道(特征图)之间的相关性，通过网络学习的方式来自动获取到每个特征通道的重要程度，最后再为每个通道赋予不同的权重系数，从而来强化重要的特征抑制非重要的特征。这方面的代表作有se-net，通过特征重标定的方式来自适应地调整通道之间的特征响应。此外，还有比较出名的sk-net，则是受inception-block和se-block共同启发，从多尺度特征表征的角度考虑，通过引入多个卷积
核分支来学习出不同尺度下的特征图注意力，让网络能够更加侧重于重要的尺度特征。另外还有eca-net，利用1维的稀疏卷积操作来优化se模块中涉及到的全连接层操作来大幅降低参数量并保持相当的性能。为了压缩参数量和提高计算效率，se-net采用的是“先降维-再升维”的策略，利用两个多层感知机来学习不同通道之间的相关性，即当前的每一个特征图都与其它特征图进行交互，是一种密集型的连接。
61.本实施例在特征通道中增加注意力机制，通过学习的方式自动获取每个特征通道的重要程度，并且利用得到的重要程度来提升特征并抑制对当前任务不重要的特征，优化了目标检测模型整体的检测能力，更是增强了对闸片上小目标部件的检测能力，具体的，提升了对沾染污渍的小目标部件的检测能力。
62.作为一种优选的实施例，本实施例为第三实施例，进一步对目标检测模型进行优化，提升模型整体的检测性能，如图4所示，是本实施例特征处理聚合的结构示意图。
63.对特征进行处理(neck)是位于特征提取(backbone)和预测模块(head)之间的结构，其目标是将backbone提取的信息反馈到head之前尽可能多地聚合这些信息，通过设置该结构，将来自backbone的不同层的特征进行聚合，提升整体的检测性能。
64.neck是目标检测框架中承上启下的关键环节。它对backbone提取到的重要特征，进行再加工及合理利用，有利于下一步head的具体任务学习，如分类、回归、keypoint(关键点)、instance mask(实例掩码)等常见的任务，包括有六种分类顺序，本实施例采用路径聚合的结构进行优化。
65.该方法基于一个最基本的观察：深层特征图尺寸小，经过层层卷积下采样使得小物体的信息严重丢失，所以深层不利于小物体检测，就将小物体检测交给浅层来做。这也是为什么ssd需要多级head的原因。
66.然而光是这样还不够，由于深层特征图具有非常丰富的语义信息，那么最好把深层特征再往浅层传，以增加浅层语义信息。于是乎就诞生了最为人所熟知的fpn。在如何上采样方面，fpn使用最邻近上采样，当然还有使用反卷积的dssd。这类方法的共性就是反复利用各种上下采样、拼接、点和或点积，来设计聚合策略。
67.比较特殊的还有一种名为netnet(cvpr 2020)的方法，其认为上述路径聚合方案无论怎么设计，对于预测小物体而言，大物体的特征一直存在，因为高层语义信息被传了下来，再加上其本身浅层自带的大物体特征，这对小物体来说会是一种干扰，小物体在相应的特征图中并不突出，因此需要人为地进行干预，为浅层消除大物体特征。
68.随着下采样的进行，小物体特征会丢失，那么深层必然已经都是大物体的特征。此时对深层上采样，得到的还是大物体特征，再把原来的浅层减去经过上采样的深层，于是浅层就不再有了大物体的特征。那么小物体的特征将被突出化。
69.本实施例通过采用路径聚合的结构对目标检测模型进行优化，通过防止小目标信息丢失，在传递小目标信息方面发挥了重要作用，并通过再次提高特征图的分辨率来提升整体的检测性能，提高对小目标部件的检测能力。
70.此外，本发明一实施例还提供了一种列车闸片小部件检测系统的结构示意图，如图5所示。
71.一种列车闸片小部件检测系统，包括模型优化模块、模型训练模块、图像处理模块、结果输出模块，具体的：
72.模型构建模块，用于构建目标检测模型，目标检测模型的第一层输出头的输出位于csp1_3模块之前；
73.模型训练模块，用于对目标检测模型进行训练，得到训练好的目标检测模型；
74.图像处理模块，用于获取待检测图像，并对待检测图像进行预处理；
75.结果输出模块，用于将预处理后的待检测图像输入到训练好的目标检测模型中，输出检测结果。
76.本实施例提供的一种列车闸片小部件检测系统，应用于上述各实施例提供的一种列车闸片小部件检测方法，通过优化目标检测模型，达到增强网络对小目标部件的检测效果，解决现有技术中存在的问题。
77.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
78.以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种列车闸片小部件检测方法，其特征在于，包括：构建目标检测模型，所述目标检测模型的第一层输出头的输出位于csp1_3模块之前；对所述目标检测模型进行训练，得到训练好的目标检测模型；获取待检测图像，并对所述待检测图像进行预处理；将预处理后的待检测图像输入到训练好的目标检测模型中，输出检测结果。2.根据权利要求1所述的一种列车闸片小部件检测方法，其特征在于，所述构建目标检测模型，还包括：在目标检测网络中的特征通道上增加注意力机制。3.根据权利要求1所述的一种列车闸片小部件检测方法，其特征在于，所述构建目标检测模型，还包括：将第一区域提取的特征信息在反馈到第二区域之前，对所述第一区域提取的特征信息进行聚合。4.根据权利要求2或3所述的一种列车闸片小部件检测方法，其特征在于，所述目标检测模型采用yolov5s目标检测模型，所述目标检测网络采用yolov5s目标检测网络。5.根据权利要求1所述的一种列车闸片小部件检测方法，其特征在于，所述获取待检测图像，并对所述待检测图像进行预处理，包括：获取待检测图像，利用预设大小的选框裁剪所述待检测图像。6.根据权利要求5所述的一种列车闸片小部件检测方法，其特征在于，所述获取待检测图像，利用预设大小的选框裁剪所述待检测图像，包括：获取待检测图像，利用预设大小的滑框从图片左上角开始滑动并裁剪所述待检测图像。7.根据权利要求1所述的一种列车闸片小部件检测方法，其特征在于，所述将预处理后的待检测图像输入到训练好的目标检测模型中，输出检测结果之后，还包括：将所述输出检测结果进行非极大值抑制，得到最终检测结果。8.一种列车闸片小部件检测系统，其特征在于，包括：模型构建模块，用于构建目标检测模型，所述目标检测模型的第一层输出头的输出位于csp1_3模块之前；模型训练模块，用于对所述目标检测模型进行训练，得到训练好的目标检测模型；图像处理模块，用于获取待检测图像，并对所述待检测图像进行预处理；结果输出模块，用于将预处理后的待检测图像输入到训练好的目标检测模型中，输出检测结果。

技术总结
本发明公开一种列车闸片小部件检测方法及系统，通过构建目标检测模型，目标检测模型的第一层输出头的输出位于csp1_3模块之前；对目标检测模型进行训练，得到训练好的目标检测模型；获取待检测图像，并对待检测图像进行预处理；将预处理后的待检测图像输入到训练好的目标检测模型中，输出检测结果。通过对目标检测模型进行多种方式的优化，提升整体目标检测模型的检测性能，使得在目标物较小的情况下也能够精准定位和检测，进而达到增强网络对小目标的检测效果能力的提升，提高对闸片小部件检测的精准性和正确性。测的精准性和正确性。测的精准性和正确性。


技术研发人员：张渝 赵波 彭建平 黄炜 章祥 马莉 肖龙飞 郑锐
受保护的技术使用者：上海智导软件技术有限公司
技术研发日：2023.06.15
技术公布日：2023/9/6