一种铁路货车承载鞍错位故障识别方法与流程

1.本发明涉及一种铁路货车承载鞍错位故障识别方法，属于铁路货车故障检测技术领域。


背景技术：

2.承载鞍是车辆轮对轴承组件的支承件，用以传递来自车体的载荷，在车辆转向架中具有十分重要的作用。若承载鞍发生错位，将造成承载鞍与外滚动轴承前盖磨耗严重，进而造成重大车辆故障隐患危及行车安全。在承载鞍错位故障检测中，采用人工检查图像的方式进行故障检测。鉴于承载鞍水平倾斜大于等于角度阈值即判定为错位，较小的角度阈值(比如3度)增加了此故障检测难度；不同探测站存在的图像模糊、对比度差、相机角度差异等图像质量不佳导致识别效果不理想问题；另外检车人员在工作过程中极易出现疲劳、遗漏等情况，造成漏检、错检的出现，影响行车安全。近几年，深度学习与人工智能不断发展，在技术上不断成熟。因而，采用深度学习进行承载鞍错位故障识别，可以有效提高检测效率与准确率。但是现有深度学习方法存在对承载鞍的关键点检测准确性不高的问题。


技术实现要素：

3.针对现有深度学习方法对承载鞍的关键点检测准确性不高的问题，本发明提供一种铁路货车承载鞍错位故障识别方法
4.本发明的一种铁路货车承载鞍错位故障识别方法，包括：
5.s1、获取待测过车图像，并截取过车图像中承载鞍的粗定位图像，并对粗定位图像进行对比度、角点与边界特征增强；
6.s2、在增强后的承载鞍图像上用关键点检测模型获得承载鞍左上、右上、左下、右下、与轴承相交左下、与轴承相交右下、挡边左上、挡边右上的8个关键点的关键点组，判断当前关键点组中关键点的个数是否为8，若是，使用8个关键点计算承载鞍的倾斜角度，转入s3；若否，进行故障报警；
7.关键点检测模型包括轮廓检测模型、关键点估计网络和冗余剔除模型；
8.轮廓检测模型对增强后的承载鞍图像进行图像轮廓提取，关键点估计网络对提取的图像轮廓加承载鞍部件框，得到承载鞍部件关键点，若得到1个承载鞍部件框,对承载鞍部件框进行关键点估计，得到8个关键点的关键点组，该8个关键点的关键点组为最终的关键点组，用于计算承载鞍的倾斜角度；若得到多个承载鞍部件框，对每个承载鞍部件框进行关键点估计，得到每个承载鞍部件框对应的8个关键点的关键点组，冗余剔除模型对得到的关键点组进行置信度相似消除、边缘相对距离相近消除和/或位置相近消除，得到最终的关键点组，用于计算承载鞍的倾斜角度；
9.s3、根据倾斜角度是否大于等于阈值判定是否发生错位故障；若发生错位则进行故障报警，否则，待测图像的承载鞍未发生错位。
10.作为优选，关键点估计网络采用基于sppe的cnn网络实现。
11.作为优选，置信度消除的方法包括：
12.对关键点组的置信度进行排序，选择置信度最高的关键点组作为参考关键点组pi，其他关键点组作为目标关键点组pj；
13.消除过程：判断目标关键点组pj是否需要被删除，若关键点组pi和目标关键点组pj的置信度相似度超过设定阈值，则将相应的目标关键点组pj删除；
14.在剩余的目标关键点组中选择置信度最高的关键点组作为参考关键点组pi，其他目标关键点组为pj，重复上述消除过程，直至目标关键点组为空；
15.其中，关键点组pi和目标关键点组pj的置信度相似度的计算方式为：
16.若关键点组pj中第n个关键点的坐标在范围内，目标关键点组pj中第n个关键点与关键点组pi中对应的第n个关键点的置信度相似度为否则为0，统计目标关键点组pj中8个关键点与关键点组pi中对应的8个关键点的置信度相似度之和，作为关键点组pi和目标关键点组pj的置信度相似度；
17.σ1表示置信度冗余消除参数，和分别表示关键点组pi和目标关键点组pj中第n个关键点的置信度，表示关键点组pi中第n个关键点的坐标，表示关键点组pi检测框的1/10。
18.作为优选，边缘相对距离消除的方法：
19.对关键点组的置信度进行排序，选择置信度最高的关键点组作为参考关键点组pi，其他关键点组作为目标关键点组pj；
20.消除过程：判断目标关键点组pj是否需要被删除，若关键点组pi和目标关键点组pj的相对距离超过设定阈值，则将相应的目标关键点组pj删除；
21.在剩余的目标关键点组中选择置信度最高的关键点组作为参考关键点组pi，其他目标关键点组为pj，重复上述消除过程，直至目标关键点组为空；
22.其中，关键点组pi和目标关键点组pj的相对距离的计算方式为：
23.若关键点组pj中第n个关键点的坐标在范围内且与最近轮廓的距离大于目标关键点组pj中第n个关键点与关键点组pi中对应的第n个关键点的相对距离为1，n＝1,2,
…
,8，否则为0，统计目标关键点组pj中8个关键点与关键点组pi中对应的8个关键点的相对距离之和，作为关键点组pi和目标关键点组pj的相对距离；
24.表示关键点组pi中第n个关键点的坐标，表示关键点组pi检测框的1/10。
25.作为优选，位置相近的关键点消除的方法包括：
26.对关键点组的置信度进行排序，选择置信度最高的关键点组作为参考关键点组pi，其他关键点组作为目标关键点组pj；
27.消除过程：判断目标关键点组pj是否需要被删除，若关键点组pi和目标关键点组pj的空间距离为未超过设定阈值，则将相应的目标关键点组pj删除；
28.在剩余的目标关键点组中选择置信度最高的关键点组作为参考关键点组pi，其他目标关键点组为pj，重复上述消除过程，直至目标关键点组为空；
29.其中，关键点组pi和目标关键点组pj的空间距离的计算方式为：
30.目标关键点组pj中第n个关键点与关键点组pi中对应的第n个关键点的空间距离为统计目标关键点组pj中8个关键点与关键点组pi中对应的8个关键点的空间距离之和，作为关键点组pi和目标关键点组pj的空间距离；
31.σ2为空间距离冗余消除参数，表示关键点组pi中第n个关键点的坐标。
32.作为优选，所述轮廓检测模型包括分块单元、梯度提升树分类器和综合单元，轮廓检测模型用于获得图像中承载鞍的轮廓，方法包括:
33.分块单元采用滑动窗口对增强后的承载鞍图像进行分块，得到多个图像块，将多个图像块输入到梯度提升树分类器中，梯度提升树分类器输出各个图像块的标签，将各个图像块的标签输入到综合单元，综合单元根据标签得到图像中承载鞍轮廓。
34.作为优选，训练轮廓检测模型包括：
35.采用滑动窗口对增强后的承载鞍图像进行分块，并得到每个图像块的特征，采用pca算法计算每个图像块的标签，将图像块的特征作为输入，标签作为输出，组成训练集对梯度提升树分类器进行训练。
36.作为优选，获得每个图像块的特征的方法包括：
37.对图像块进行处理，使每个像素都具有k维特征，包括颜色通道特征、梯度幅值通道特征、高通滤波通道特征、最大模糊滤波通道特征和多个方向不同尺度gabor滤波通道特征；
38.对图像块特征进行降维，得到降维后的图像块特征。
39.作为优选，所述方法还包括建立关键点检测样本数据集，利用关键点检测样本数据集训练关键点检测模型，其中建立关键点检测样本数据集时，去掉倾斜故障的承载鞍图像中的红框的方法包括：
40.设置阈值th，提取红框所在区域并经大核形态学膨胀后得到白色的mask图；
41.利用图像修复模型lama对白色的mask图中的白色区域修复进而去掉倾斜故障的承载鞍图像中的红框。
42.作为优选，关键点检测样本数据集为样本扩增后的数据集，扩增方法包括：图像的锐化、对比度增强、旋转、平移、缩放和镜像。
43.本发明的有益效果，本发明采用基于深度学习关键点检测的故障检测方式代替人工检测承载鞍错位，提高检测效率、准确率。本发明基于加承载鞍部件框的关键点检测模型应用到承载鞍关键点检测中可提高承载鞍关键点检测的准确性与精度，降低不同探测站相机角度的差异，可有效提升系统准确率。本发明针对不同探测站存在的图像模糊、对比度差等图像质量不佳导致识别效果不理想问题，系统采用先增强再进行关键点检测，系统鲁棒性高。本发明用深度学习方式去除带红框的真实故障图像后加入训练集来解决正负样本严重不平衡问题，增强了训练集中对承载鞍数据分布的逼近度，可有效提高故障识别率。
附图说明
44.图1为本发明故障识别流程图；
45.图2为承载鞍原图与关键点标记示例。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
48.本实施方式的铁路货车承载鞍错位故障识别方法，建立关键点检测模型，利用关键点检测模型检测承载鞍图像上承载鞍左上、右上、左下、右下、与轴承相交左下、与轴承相交右下、挡边左上、挡边右上的8个关键点的关键点组，当关键点组中关键点的个数是8，且根据8个关键点计算承载鞍的倾斜角度确定是否是错位故障，否则进行故障报警；
49.本实施方式的方法具体包括：
50.步骤1、建立关键点检测模型数据集
51.分别在火车轨道周围搭建高清设备，货车通过设备后，获取高清图像。图像为清晰的货车转向架侧部灰度图像。在不同类型的转向架中，承载鞍部件的形态不同。因此，将全部类型如k2、k6、k4、k5、z8ab等不同类型转向架的承载鞍部件结构进行归纳总结使得训练数据分布尽可能逼近所有承载鞍数据分布，建立完善的关键点检测样本数据集是构建高精度关键点检测模型的必要前提。正常无故障的承载鞍图像可以简单获取，倾斜故障的承载鞍数据集很少，训练正负样本严重不平衡。
52.倾斜故障的承载鞍的真实故障图像中带红框等干扰信息，无法直接作为图像训练集使用。为解决这一问题，需去掉真实故障图像中的红框。长期以来，大量的研究人员一直在研究如何更好地移除画面中的元素，并将其正确地替换背景，这个任务也称为图像修复，本实施方式图像修复采用深度学习方式去掉红框。本实施方式基于待修复图像在红框在红色通道中灰度值明显特征，设置阈值th即可大致提取红框所在区域为白色的mask图；白色的mask图经大核形态学膨胀后得到用于最终lama待修复的训练掩码mask，利用图像修复模型lama对白色的mask图中的白色区域修复进而去掉倾斜故障的承载鞍图像中的红框。lama的主要创新点为：提出一种新的修复网络结构，使用快速傅立叶卷积，具有图像宽接收域，高感受野感知损失，较大的训练掩码(mask)，可以有效提升前两个组件的性能潜力。其可以很好地泛化到比训练时更高的分辨率图像，以较低的参数量和计算成本实现与基准相媲美的性能。
53.由于货车部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响；不同站点拍摄的图像可能存在差异。因此，承载鞍图像之间千差万别。所以，在收集承载鞍图像数据的过程中，要保证多样性，尽量将各种条件下的承载鞍图像全部收集。关键点检测模型样本数据集包括：灰度图像集与标记图像集。灰度图像集为设备拍摄的高清灰度图像。标记图像集原图为承载鞍粗定位图像，标记数据集为json文件，通过人工标记的方式获取。灰度图像数据集与标记数据集之间是一一对应的，即每个灰度图像对应一个标记文件，json文件中详细标记了承载鞍8个关键点的精确位置信息。
54.关键点检测模型样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，需要对样本数据集进行数据扩增。扩增形式包括图像的锐化、对比度增强、旋转、平
移、缩放、镜像等操作，每种操作都是在随机条件下进行的，这样可以最大程度的保证样本的多样性和适用性。
55.步骤2：建立关键点检测模型
56.本实施方式利用关键点检测模型去定位图像中的承载鞍左上、右上、左下、右下、与轴承相交左下、与轴承相交右下、挡边左上、挡边右上的8个关键点检测。这种方法是一种自顶向下的方案，其先检测出图像中的承载鞍目标，然后独立地去检测每一承载鞍区域的边界关键点。本实施方式的关键点检测模型包括轮廓检测模型、关键点估计网络和冗余剔除模型；首先利用轮廓检测模型对增强后的承载鞍图像进行图像轮廓提取，再利用关键点估计网络对提取的图像轮廓加承载鞍部件框，得到承载鞍部件关键点，若得到1个承载鞍部件框,对承载鞍部件框进行关键点估计，得到8个关键点的关键点组，该8个关键点的关键点组为最终的关键点组，用于计算承载鞍的倾斜角度；若得到多个承载鞍部件框，对每个承载鞍部件框进行关键点估计，得到每个承载鞍部件框对应的8个关键点的关键点组，冗余剔除模型对得到的关键点组进行置信度相似消除、边缘相对距离相近消除和/或位置相近消除，得到最终的关键点组，用于计算承载鞍的倾斜角度；
57.用于计算角度的承载鞍关键点均位于承载鞍边界上，承载鞍的边界的两侧图像亮度差异较相同部件内差异明显，本实施方式通过轮廓特征在目标区域的候选框生成与冗余关键点消除两方面改进提高了关键点的检测效率与准确性。
58.优选实施例中，本实施方式中轮廓检测模型包括分块单元、梯度提升树分类器和综合单元，轮廓检测模型用于获得图像中承载鞍的轮廓，具体方法包括:
59.承载鞍部件的轮廓边缘是直线或t形组合的局部结构形式，从边缘提取图像中经边缘重组策略即可获得较好的目标区域候选框。本实施方式中边界提取的方法采用基于pca与结构化随机森林的边缘提取算法。传统轮廓边界提取存在高低阈值连接中部分弱边缘的漏检问题，基于pca与结构化随机森林的边缘提取算法能够保留连接性较好的承载鞍弱边缘点，从而使得提取到的图像轮廓更精确完整。分块单元采用滑动窗口对增强后的承载鞍图像进行分块，得到多个图像块的特征，本实施方式训练时手动标记图像轮廓，得到每个图像块的特征，采用pca算法计算每个图像块的标签，将图像块的特征作为输入，标签作为输出，组成训练集对梯度提升树分类器进行训练，轮廓提取时采用滑动窗口将图像分块送入训练好的梯度提升树分类器中得到各个图像块的标签，将各个图像块的标签输入到综合单元，综合单元根据标签得到图像中承载鞍轮廓。
60.计算每个原图图像块(32
×
32)的特征。首先，对某块原图图像块进行处理，使每个像素都具有k维信息，k取29个，对应1个颜色通道(灰度图像)，2个梯度幅值通道，1个高通滤波通道，1个最大模糊滤波通道，24个gabor滤波通道(对应，12个方向，每个方向对应2个不同尺度)，接下来，对整块原图图像图像块特征进行降维：32
×
32
×
29/4＝7424维。再加上每个通道包含5
×
5分辨率的成对像素信息，因此每个图像块共含有7424+29
×
＝16124维特征。至此，每个特征对应一个边缘块以及一个标签(0或1)。gabor滤波器可以很好的提取图像的边缘信息，且对光照变化不敏感，采用多个尺度和方向的gabor对图像进行卷积处理模拟了人脑处理图像的多尺度机制。
61.优选实施例中，本实施方式的关键点估计网络采用基于sppe的cnn网络实现。
62.冗余的边界框会产生冗余的边界点，本实施方式的冗余消除法则由置信度消除、
边缘相对距离消除、距离消除三部分构成。冗余关键点组只要满足其中一个消除标准就会被消除。即使在承载鞍边界框定位出错的情况下也能进行正确估计，有效提高了本实施方式承载鞍目标检测的效率与准确性。
63.优选实施例中，本实施方式的置信度消除的方法包括：
64.对关键点组的置信度进行排序，选择置信度最高的关键点组作为参考关键点组pi，其他关键点组作为目标关键点组pj；
65.消除过程：判断目标关键点组pj是否需要被删除，若关键点组pi和目标关键点组pj的置信度相似度超过设定阈值，则将相应的目标关键点组pj删除；
66.在剩余的目标关键点组中选择置信度最高的关键点组作为参考关键点组pi，其他目标关键点组为pj，重复上述消除过程，直至目标关键点组为空；
67.其中，关键点组pi和目标关键点组pj的置信度相似度的计算方式为：
[0068][0069]
若关键点组pj中第n个关键点的坐标在范围内，目标关键点组pj中第n个关键点与关键点组pi中对应的第n个关键点的置信度相似度为否则为0，统计目标关键点组pj中8个关键点与关键点组pi中对应的8个关键点的置信度相似度之和，作为关键点组pi和目标关键点组pj的置信度相似度；
[0070]
σ1表示置信度冗余消除参数，和分别表示关键点组pi和目标关键点组pj中第n个关键点的置信度，表示关键点组pi中第n个关键点的坐标，表示关键点组pi检测框的1/10。
[0071]
置信度消除原理是统计两个关键点组中关键点置信度相似的总个数，消除掉置信度相似的关键点组。
[0072]
边缘相对距离消除即消除距离最近边缘轮廓远的关键点。图像轮廓通过基于pca与结构化随机森林的边缘提取算法获得。优选实施例中，本实施方式的边缘相对距离消除的方法：
[0073]
对关键点组的置信度进行排序，选择置信度最高的关键点组作为参考关键点组pi，其他关键点组作为目标关键点组pj；
[0074]
消除过程：判断目标关键点组pj是否需要被删除，若关键点组pi和目标关键点组pj的相对距离超过设定阈值，则将相应的目标关键点组pj删除；
[0075]
在剩余的目标关键点组中选择置信度最高的关键点组作为参考关键点组pi，其他目标关键点组为pj，重复上述消除过程，直至目标关键点组为空；
[0076]
其中，关键点组pi和目标关键点组pj的相对距离的计算方式为：
[0077]
[0078]
a表示承载鞍轮廓上与最近的点；若关键点组pj中第n个关键点的坐标在范围内且与最近轮廓的距离大于目标关键点组pj中第n个关键点与关键点组pi中对应的第n个关键点的相对距离为1，n＝1,2,
…
,8，否则为0，统计目标关键点组pj中8个关键点与关键点组pi中对应的8个关键点的相对距离之和，作为关键点组pi和目标关键点组pj的相对距离；
[0079]
表示关键点组pi中第n个关键点的坐标，表示关键点组pi检测框的1/10。
[0080]
边缘相对距离消除实现方法与消除置信度相似的关键点组类似，只是计算相比距离边缘轮廓的距离，当距离最近边缘更远时函数为1，否则为0；距离最近边缘远的点如果超过3，目标关键点组pj就会被消除。
[0081]
优选实施例中，本实施方式的位置相近的关键点消除的方法为计算两个关键点组的空间距离总和，选取置信度较高的参考关键点组pi，如果目标关键点组pj与参考关键点组pi距离比较近，这说明两者重叠度较高，那么目标关键点组pj就会被消除。具体包括：
[0082]
对关键点组的置信度进行排序，选择置信度最高的关键点组作为参考关键点组pi，其他关键点组作为目标关键点组pj；
[0083]
消除过程：判断目标关键点组pj是否需要被删除，若关键点组pi和目标关键点组pj的空间距离为未超过设定阈值，则将相应的目标关键点组pj删除；
[0084]
在剩余的目标关键点组中选择置信度最高的关键点组作为参考关键点组pi，其他目标关键点组为pj，重复上述消除过程，直至目标关键点组为空；
[0085]
其中，关键点组pi和目标关键点组pj的空间距离的计算方式为：
[0086][0087]
目标关键点组pj中第n个关键点与关键点组pi中对应的第n个关键点的空间距离为统计目标关键点组pj中8个关键点与关键点组pi中对应的8个关键点的空间距离之和，作为关键点组pi和目标关键点组pj的空间距离；
[0088]
σ2为空间距离冗余消除参数，表示关键点组pi中第n个关键点的坐标。
[0089]
步骤3、根据倾斜角度是否大于等于阈值判定是否发生错位故障。若发生错位则进行故障报警，否则，待测图像的承载鞍未发生错位。
[0090]
首先将真实过车图像根据先验截取粗定位图像，然后粗定位图像经图像增强获得对比度明显且角点与边界特征明显的增强图像。在增强图像上用关键点检测模型可获得承载鞍左上、右上、左下、右下、与轴承相交左下、与轴承相交右下、挡边左上、挡边右上的8个关键点。当关键点个数不正确时直接报警；关键点个数正确情况下，使用8个关键点计算当前承载鞍的倾斜角度，根据倾斜角度是否大于等于阈值判定是否发生错位故障。若发生错位则进行故障报警；若无故障，则处理下一张承载鞍图像。
[0091]
鉴于承载鞍故障检测要识别的精细度高，例如用户要求大于等于3度即报警，此部件识别难度大。不同探测站存在的图像模糊、对比度差等图像质量不佳导致识别效果不理
想问题，系统采用先增强再进行部件关键点检测以提升准确率。承载鞍关键点检测的精度直接影响部件倾斜角度计算，进而关系到最终承载鞍错误故障识别准确率。本系统首先对粗定位图像进行平均亮度分析，将图像亮度直方图校正到标准亮度以增强图像对比度。然后对对比度增强后的图像进行导向滤波得最终增强图像。最终增强图像中角点与边缘特征明显易于关键点检测。导向滤波可以使粗定位图像中各边缘区域的细节被很好的保留，边缘内外区域被平滑了很多。
[0092]
承载鞍的倾斜角度计算方式如下。首先计算4条直线的倾斜角度angle1至angle4，4条线分别为左上与右上、左下与右下、与轴承相交的两点(与轴承相交左下、与轴承相交右下)、挡边左上与挡边右上。然后计算4个角度均值即得整个承载鞍的倾斜角度angle。
[0093]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

技术特征：
1.一种铁路货车承载鞍错位故障识别方法，其特征在于，所述方法包括：s1、获取待测过车图像，并截取过车图像中承载鞍的粗定位图像，并对粗定位图像进行对比度、角点与边界特征增强；s2、在增强后的承载鞍图像上用关键点检测模型获得承载鞍左上、右上、左下、右下、与轴承相交左下、与轴承相交右下、挡边左上、挡边右上的8个关键点的关键点组，判断当前关键点组中关键点的个数是否为8，若是，使用8个关键点计算承载鞍的倾斜角度，转入s3；若否，进行故障报警；关键点检测模型包括轮廓检测模型、关键点估计网络和冗余剔除模型；轮廓检测模型对增强后的承载鞍图像进行图像轮廓提取，关键点估计网络对提取的图像轮廓加承载鞍部件框，得到承载鞍部件关键点，若得到1个承载鞍部件框,对承载鞍部件框进行关键点估计，得到8个关键点的关键点组，该8个关键点的关键点组为最终的关键点组，用于计算承载鞍的倾斜角度；若得到多个承载鞍部件框，对每个承载鞍部件框进行关键点估计，得到每个承载鞍部件框对应的8个关键点的关键点组，冗余剔除模型对得到的关键点组进行置信度相似消除、边缘相对距离相近消除和/或位置相近消除，得到最终的关键点组，用于计算承载鞍的倾斜角度；s3、根据倾斜角度是否大于等于阈值判定是否发生错位故障；若发生错位则进行故障报警，否则，待测过车图像的承载鞍未发生错位。2.根据权利要求1所述的一种铁路货车承载鞍错位故障识别方法，其特征在于，关键点估计网络采用基于sppe的cnn网络实现。3.根据权利要求1所述的一种铁路货车承载鞍错位故障识别方法，其特征在于，置信度消除的方法包括：对关键点组的置信度进行排序，选择置信度最高的关键点组作为参考关键点组p
i
，其他关键点组作为目标关键点组p
j
；消除过程：判断目标关键点组p
j
是否需要被删除，若关键点组p
i
和目标关键点组p
j
的置信度相似度超过设定阈值，则将相应的目标关键点组p
j
删除；在剩余的目标关键点组中选择置信度最高的关键点组作为参考关键点组p
i
，其他目标关键点组为p
j
，重复上述消除过程，直至目标关键点组为空；其中，关键点组p
i
和目标关键点组p
j
的置信度相似度的计算方式为：若关键点组p
j
中第n个关键点的坐标在范围内，目标关键点组p
j
中第n个关键点与关键点组p
i
中对应的第n个关键点的置信度相似度为否则为0，统计目标关键点组p
j
中8个关键点与关键点组p
i
中对应的8个关键点的置信度相似度之和，作为关键点组p
i
和目标关键点组p
j
的置信度相似度；σ1表示置信度冗余消除参数，和分别表示关键点组p
i
和目标关键点组p
j
中第n个关键点的置信度，表示关键点组p
i
中第n个关键点的坐标，表示关键点组p
i
检测框的1/10。4.根据权利要求1所述的一种铁路货车承载鞍错位故障识别方法，其特征在于，边缘相对距离消除的方法：
对关键点组的置信度进行排序，选择置信度最高的关键点组作为参考关键点组p
i
，其他关键点组作为目标关键点组p
j
；消除过程：判断目标关键点组p
j
是否需要被删除，若关键点组p
i
和目标关键点组p
j
的相对距离超过设定阈值，则将相应的目标关键点组p
j
删除；在剩余的目标关键点组中选择置信度最高的关键点组作为参考关键点组p
i
，其他目标关键点组为p
j
，重复上述消除过程，直至目标关键点组为空；其中，关键点组p
i
和目标关键点组p
j
的相对距离的计算方式为：若关键点组p
j
中第n个关键点的坐标在范围内且与最近轮廓的距离大于目标关键点组p
j
中第n个关键点与关键点组p
i
中对应的第n个关键点的相对距离为1，n＝1,2,
…
,8，否则为0，统计目标关键点组p
j
中8个关键点与关键点组p
i
中对应的8个关键点的相对距离之和，作为关键点组p
i
和目标关键点组p
j
的相对距离；表示关键点组p
i
中第n个关键点的坐标，表示关键点组p
i
检测框的1/10。5.根据权利要求1所述的一种铁路货车承载鞍错位故障识别方法，其特征在于，位置相近的关键点消除的方法包括：对关键点组的置信度进行排序，选择置信度最高的关键点组作为参考关键点组p
i
，其他关键点组作为目标关键点组p
j
；消除过程：判断目标关键点组p
j
是否需要被删除，若关键点组p
i
和目标关键点组p
j
的空间距离为未超过设定阈值，则将相应的目标关键点组p
j
删除；在剩余的目标关键点组中选择置信度最高的关键点组作为参考关键点组p
i
，其他目标关键点组为p
j
，重复上述消除过程，直至目标关键点组为空；其中，关键点组p
i
和目标关键点组p
j
的空间距离的计算方式为：目标关键点组p
j
中第n个关键点与关键点组p
i
中对应的第n个关键点的空间距离为统计目标关键点组p
j
中8个关键点与关键点组p
i
中对应的8个关键点的空间距离之和，作为关键点组p
i
和目标关键点组p
j
的空间距离；σ2为空间距离冗余消除参数，表示关键点组p
i
中第n个关键点的坐标。6.根据权利要求1所述的一种铁路货车承载鞍错位故障识别方法，其特征在于，所述轮廓检测模型包括分块单元、梯度提升树分类器和综合单元，轮廓检测模型用于获得图像中承载鞍的轮廓，方法包括:分块单元采用滑动窗口对增强后的承载鞍图像进行分块，得到多个图像块，将多个图像块输入到梯度提升树分类器中，梯度提升树分类器输出各个图像块的标签，将各个图像块的标签输入到综合单元，综合单元根据标签得到图像中承载鞍轮廓。7.根据权利要求1所述的一种铁路货车承载鞍错位故障识别方法，其特征在于，训练轮廓检测模型包括：采用滑动窗口对增强后的承载鞍图像进行分块，并得到每个图像块的特征，采用pca算法计算每个图像块的标签，将图像块的特征作为输入，标签作为输出，组成训练集对梯度提升树分类器进行训练。8.根据权利要求1所述的一种铁路货车承载鞍错位故障识别方法，其特征在于，获得每
个图像块的特征的方法包括：对图像块进行处理，使每个像素都具有k维特征，包括颜色通道特征、梯度幅值通道特征、高通滤波通道特征、最大模糊滤波通道特征和多个方向不同尺度gabor滤波通道特征；对图像块特征进行降维，得到降维后的图像块特征。9.根据权利要求1所述的一种铁路货车承载鞍错位故障识别方法，其特征在于，所述方法还包括建立关键点检测样本数据集，利用关键点检测样本数据集训练关键点检测模型，其中建立关键点检测样本数据集时，去掉倾斜故障的承载鞍图像中的红框的方法包括：设置阈值th，提取红框所在区域并经大核形态学膨胀后得到白色的mask图；利用图像修复模型lama对白色的mask图中的白色区域修复进而去掉倾斜故障的承载鞍图像中的红框。10.根据权利要求2所述的一种铁路货车承载鞍错位故障识别方法，其特征在于，关键点检测样本数据集为样本扩增后的数据集，扩增方法包括：图像的锐化、对比度增强、旋转、平移、缩放和镜像。

技术总结
本发明提供一种铁路货车承载鞍错位故障识别方法，解决了现有深度学习方法对承载鞍的关键点检测准确性不高的问题，属于铁路货车故障检测领域。本发明包括：获取待测过车图像，并截取过车图像中承载鞍的粗定位图像，并对粗定位图像进行对比度、角点与边界特征增强；在增强后的图像上用关键点检测模型获得承载鞍左上、右上、左下、右下、与轴承相交左下、与轴承相交右下、挡边左上、挡边右上的8个关键点的关键点组，使用8个关键点计算承载鞍的倾斜角度，根据倾斜角度是否大于等于阈值判定是否发生错位故障。若发生错位则进行故障报警，否则，待测过车图像的承载鞍未发生错位。过车图像的承载鞍未发生错位。过车图像的承载鞍未发生错位。


技术研发人员：刘丹丹
受保护的技术使用者：哈尔滨市科佳通用机电股份有限公司
技术研发日：2023.05.29
技术公布日：2023/8/14