一种制动连接管折断故障检测方法与流程

1.本发明涉及一种制动连接管折断故障检测方法，属于铁路货车故障检测领域。


背景技术：

2.传统人工查图的故障检测方法费时费力，人工成本高，且由于检车人员的疲劳、粗心等，会出现漏检、误检现象。采用深度学习的铁路货车故障检测方法可以有效的降低检测成本，提高检测的效率。由于制动连接软管上的泥水、生胶带等与折断形态相似，采用单纯的实例分割算法会产生大量误报警。


技术实现要素：

3.针对如何减少制动连接管折断故障误报警的问题，本发明提供一种制动连接管折断故障检测方法。
4.本发明的一种制动连接管折断故障检测方法,包括：
5.s1、对铁路货车的图像进行采集，获取当前车图像，当前车图像包括制动连接软管部分；
6.s2、将当前车图像和对应的历史车图像输入至mask-rcnn故障分割网络中，mask-rcnn故障分割网络输出制动连接管的故障类别和分割结果，根据分割结果确定故障位置；
7.mask-rcnn故障分割网络包括1号mask-rcnn分割网络、2号mask-rcnn分割网络和对比特征分割网络；对比特征分割网络包括对比特征提取分支、rpn网络和roialign网络和2号分割头；
8.将当前车图像输入到1号mask-rcnn分割网络中，将历史车图像输入到2号mask-rcnn分割网络中；
9.1号mask-rcnn分割网络提取的当前车特征和2号mask-rcnn分割网络提取的历史车特征同时输入至对比特征提取分支中，对比特征提取分支找到当前车与历史车都存在的但产生特征改变的部位、当前车存在历史车不存在的部位、当前车不存在历史车存在的部位特征并进行融合，融合后的特征送入rpn网络提取建议框，再将提取的建议框送入roialign网络池化，池化后的建议框送入2号分割头；
10.2号mask-rcnn分割网络中分割头为对比分割头，1号mask-rcnn分割网络与2号mask-rcnn分割网络将池化后的当前车建议框和历史车建议框同时输入至对比分割头，对比分割头对当前车建议框和历史车建议框进行融合，得到分割结果；
11.1号mask-rcnn分割网络的分割头、2号分割头、对比分割头得到的分割结果取并集得到制动连接管的分割结果；根据1号mask-rcnn分割网络、2号mask-rcnn分割网络的分类头输出确定制动连接管的故障类别。
12.作为优选，对比特征提取分支融合的过程包括：；
13.1号mask-rcnn分割网络、2号mask-rcnn分割网络中的resnet50特征提取网络均包括5个卷积块conv1-conv5，每个卷积块将特征图通过卷积池化操作下采样2倍；
14.将两个resnet50特征提取网络的卷积块conv3输出的当前车特征和历史车特征经第1个融合网络c进行融合，融合后的特征图利用经卷积块conv6进行卷积池化操作下采样2倍后作为上一步特征融合特征图输入至第2个融合网络c，两个resnet50特征提取网络的卷积块conv4输出的当前车特征和历史车特征同时输入至第2个融合网络c，第2个融合网络c融合后的特征图利用经卷积块conv7进行卷积池化操作下采样2倍后作为上一步特征融合特征图输入至第3个融合网络c，两个resnet50特征提取网络的卷积块conv5输出的当前车特征和历史车特征同时输入至第3个融合网络c，第3个融合网络c融合后的特征图送入rpn网络；
15.卷积块conv6与卷积块conv4相同，卷积块conv7与卷积块conv5相同。
16.作为优选，融合网络c融合的方法，包括：
17.输入的当前车特征和历史车特征分别为e1和e2，对e1和e2分别进行逐像素max(e1,e2)-min(e1,e2)、相减e1-e2、调换相减e2-e1，然后输入至1号concat融合网络，与e1和e2按照特征图通道方向上的concat融合，同时，若存在上一步特征融合特征图e3，将上一步特征融合特征图e3同时输入至1号concat融合网络，1号concat融合网络得到的融合后特征图经1号1*1大小卷积块卷积操作后输出。
18.作为优选，对比分割头对当前车建议框和历史车建议框进行融合的方法，包括：
19.对当前车建议框和历史车建议框依次进行4次融合操作；
20.第1次融合操作：当前车建议框和历史车建议框各自依次经过第1次3*3大小的卷积、批归一化batchnorm和relu激活操作获得14*14*256大小的建议框特征图f1和建议框特征图f2；
21.将建议框特征图f1和f2同时输入至第1个融合网络d和第1个霍普菲尔德网络h，第1个霍普菲尔德网络h对建议框特征图f1和f2融合转换，转换后的权重特征图f3同时输入至第1个融合网络d，第1个融合网络d融合后得到第1次融合特征图f4；第2次融合操作：将第1次融合特征图f4、建议框特征图f1和建议框特征图f2各自依次经过第2次3*3大小的卷积、批归一化batchnorm和relu激活操作获得14*14*256大小的融合特征图f5、建议框特征图f6和建议框特征图f7；
22.将融合特征图f5、建议框特征图f6和建议框特征图f7同时输入至第2个融合网络d，将建议框特征图f6和建议框特征图f7同时输入至第2个霍普菲尔德网络h，第2个霍普菲尔德网络h对建议框特征图f6和建议框特征图f7融合转换，转换后的权重特征图f8同时输入至第2个融合网络d，第2个融合网络d融合后得到第2次融合特征图f9；
23.依次进行第3次融合操作和第4次融合操作，第3次融合操作和第4次融合操作与第2次融合操作相同；
24.第4次融合特征图进行dct变换，获得dct向量，将dct向量依次进行3次全连接操作，3次全连接操作后的dct向量进行idct变换，得到2维的mask图像，即：对比分割头得到的分割结果。
25.作为优选，第2个融合网络d融合的方法，包括：
26.利用输入的当前车的建议框特征图f6和历史车建议框特征图f7分别进行逐像素max(f6,f7)-min(f6,f7)、相减f6-f7、调换相减f7-f6，然后输入至2号concat融合网络，与f6和f7按照特征图通道方向上的concat融合，同时，上一次融合操作后获得的融合特征图
f4输入至2号concat融合网络，经2号concat融合网络融合后特征图经2号1*1大小卷积块进行卷积操作，卷积操作后的特征图与相应霍普菲尔德网络h输出的权重特征图f8进行加权操作，完成融合；
27.第1个融合网络d与第2个融合网络d融合时不同在于，第1个融合网络d不需要输入上一次融合操作后获得的融合特征图。
28.作为优选，霍普菲尔德网络h融合转换的方法，包括：
29.利用输入的当前车的建议框特征图f6和历史车建议框特征图f7分别进行逐像素max(f6,f7)-min(f6,f7)、相减f6-f7、调换相减f7-f6，然后输入至3号concat融合网络，与f6和f7按照特征图通道方向上的concat融合，同时，经3号concat融合网络融合后特征图经3号1*1大小卷积块进行卷积操作，卷积操作后的特征图与相应霍普菲尔德网络h输出的特征图f8进行加权操作后得到融合后特征图fc，将融合后特征图fc分别与当前车的建议框特征图f6和历史车建议框特征图f7进行加权操作，得到当前车的权重特征图和历史车的权重特征图将当前车的权重特征图和历史车的权重特征图逐像素相加并通过sigmod激活得到最终的权重特征图。
30.作为优选，方法还包括建立训练数据集，利用训练数据集对mask-rcnn故障分割网络进行训练；
31.建立训练数据集过程包括：收集制动连接软管正常的图像与制动连接软管折断的图像，同时每张图像需要同时收集无故障的相同车号的历史车图像，获得存在故障、无故障的当前车图像和与当前车相同车号的无故障历史车图像。
32.作为优选，建立训练数据集时还包括：对收集的图像进行数据扩增操作，包括旋转、裁剪、对比度变换、仿射变换、雨雪模拟操作。
33.本发明的有益效果，本发明在实例分割网络中引入历史车图像先验信息，加入特征对比分支，减少误报警，提升识别准确率。同时在网络中引入现代霍普菲尔德网络思想与dct轮廓增强，提高网络故障检测准确率。
附图说明
34.图1为mask-rcnn故障分割网络的原理示意图；
35.图2为对比特征融合分支的原理示意图；
36.图3为对比特征融合分支中的融合网络c的原理示意图；
37.图4为对比分割头的原理示意图；
38.图5为对比分割头融合网络的原理示意图；
39.图6为霍普菲尔德网络的原理示意图；
40.图7为本实施方式故障检测流程图。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其
他实施例，都属于本发明保护的范围。
42.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
43.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
44.如图7所示，本实施方式的制动连接管折断故障检测方法，包括：
45.步骤1、建立mask-rcnn故障分割网络,建立训练数据集，利用训练数据集对mask-rcnn故障分割网络进行训练；
46.制动连接管通常在管与缸体的连接处发生折断，由于连接处通常会有生胶带等干扰，与折断相似，会产生大量误报，同时雨水、泥印等也与折断相似，造成网络区分困难，因此本实施方式在故障分割网络中引入历史车图像先验信息，在网络中引入对比分支，降低网络识别难度，提升识别准确率。
47.如图1所示，本实施方式的mask-rcnn故障分割网络包括1号mask-rcnn分割网络、2号mask-rcnn分割网络和对比特征分割网络；对比特征分割网络包括对比特征提取分支、rpn网络和roialign网络和2号分割头；
48.将当前车图像输入到1号mask-rcnn分割网络中，将历史车图像输入到2号mask-rcnn分割网络中；
49.1号mask-rcnn分割网络提取的当前车特征和2号mask-rcnn分割网络提取的历史车特征同时输入至对比特征提取分支中，对比特征提取分支找到当前车与历史车都存在的但产生特征改变的部位、当前车存在历史车不存在的部位、当前车不存在历史车存在的部位特征并进行融合，融合后的特征送入rpn网络提取建议框，再将提取的建议框送入roialign网络池化，池化后的建议框送入2号分割头；
50.2号mask-rcnn分割网络中分割头为对比分割头，1号mask-rcnn分割网络与2号mask-rcnn分割网络将池化后的当前车建议框和历史车建议框同时输入至对比分割头，对比分割头对当前车建议框和历史车建议框进行融合，得到分割结果；
51.1号mask-rcnn分割网络的分割头、2号分割头、对比分割头得到的分割结果取并集得到制动连接管的分割结果；根据1号mask-rcnn分割网络、2号mask-rcnn分割网络的分类头输出确定制动连接管的故障类别。
52.本实施方式在mask-rcnn网络的基础上增加对比特征提取分支与对比分割头，降低网络学习难度，提高网络故障识别准确率，网络其余部分与mask-rcnn一致。网络最终将1号分割头、2号分割头和对比分割头得到的分割结果取并集得到分割mask，分类头1得到当前车分割目标类别与检测框，分类头2得到当前车与历史车对比目标(即故障)类别与检测框，最后综合两个分类头的类别得到分类结果。
53.本实施方式中，建立训练数据集过程包括：
54.(1)在铁路四周架设高清成像设备，获取铁路货车通过后的过车图像。收集制动连接软管正常的图像与制动连接软管折断的图像，由于发生制动连接软管折断的图像数量较少，需在正常的图像上ps出制动连接软管折断故障，作为数据集故障图像的补充。由于网络需要加入历史图像先验信息进行对比，因此在收集图像时，每张图像需要同时收集无故障的相同车号的历史车图像。最终数据集图像包含存在故障、无故障的当前车图像与与当前车相同车号的无故障历史车图像两部分，这两部分图像一一对应。
55.(2)标记图像，建立数据集
56.对上一步收集到的当前车图像进行标记，标记当前车中故障的外轮廓为折断类，连接管外轮廓标记为连接管类，对上一步收集到的历史车图像进行标记，标记连接管外轮廓标记为连接管类，标记过程采用labelme标记软件实现生成标记文件，最后将标记文件转换为mask图像。
57.然后对数据集图像进行数据扩增操作，包括旋转、裁剪、对比度变换、仿射变换、雨雪模拟等数据扩增操作。数据扩增操作可以有效降低故障检测网络过拟合的概率，提升故障检测网络的泛化性能。
58.步骤2、对铁路货车的图像进行采集，获取当前车图像，当前车图像包括制动连接软管部分；
59.步骤2中，可在铁路四周架设高清成像设备，铁路货车通过后，获取到过车图像。将过车图像送入定位网络中定位并截取图像中制动连接软管部分。
60.步骤3、如图将当前车图像和对应的历史车图像输入至训练好的mask-rcnn故障分割网络中，mask-rcnn故障分割网络输出制动连接管的故障类别和分割结果，根据分割结果确定故障位置，可计算得到折断类的最小外接矩形当作故障报文中报警位置；如果检测到制动连接软管这段故障则生成故障报警报文，否则认为没有发生故障。上传故障的图像报警报文，铁路货车检车人员根据报警报文对故障部位进行相应处理。
61.优选实施例中，本实施方式中对比特征提取分支融合的过程，如图2所示，包括：
62.1号mask-rcnn分割网络、2号mask-rcnn分割网络中的resnet50特征提取网络均包括5个卷积块conv1-conv5，每个卷积块将特征图通过卷积池化操作下采样2倍；
63.将两个resnet50特征提取网络的卷积块conv3输出的当前车特征和历史车特征经第1个融合网络c进行融合，融合后的特征图利用经卷积块conv6进行卷积池化操作下采样2倍后作为上一步特征融合特征图输入至第2个融合网络c，两个resnet50特征提取网络的卷积块conv4输出的当前车特征和历史车特征同时输入至第2个融合网络c，第2个融合网络c融合后的特征图利用经卷积块conv7进行卷积池化操作下采样2倍后作为上一步特征融合特征图输入至第3个融合网络c，两个resnet50特征提取网络的卷积块conv5输出的当前车特征和历史车特征同时输入至第3个融合网络c，第3个融合网络c融合后的特征图送入rpn网络；在2号分割头中进行分割结果mask回归操作，此分支标签为当前车标签与历史车标签的差，即变化(故障)mask。
64.卷积块conv6与卷积块conv4相同，卷积块conv7与卷积块conv5相同。
65.具体的在conv3层中对比特征融合操作为：将当前车分支conv3特征图和历史车分支conv3特征图f2进行逐像素max(f1,f2)-min(f1,f2)、相减、调换相减，然后与原始的特征图f1、特征图f2进行按照特征图通道方向上的concat融合，然后进行1*1大小的卷积操作降低通道数到特征图f1和特征图f2的通道数量，并消除混叠效应。
66.优选实施例中，融合网络c融合的方法，包括：
67.输入的当前车特征和历史车特征分别为e1和e2，对e1和e2分别进行逐像素max(e1,e2)-min(e1,e2)、相减e1-e2、调换相减e2-e1，然后输入至1号concat融合网络，与e1和e2按照特征图通道方向上的concat融合，同时，若存在上一步特征融合特征图e3，将上一步特征融合特征图e3同时输入至1号concat融合网络，1号concat融合网络得到的融合后特征
图经1号1*1大小卷积块卷积操作后输出。
68.在conv4和conv5上的对比特征融合操作和conv3相似，仅在进行concat融合时同时concat上一次融合操作的特征图e3，如图3所示。将当前车分支特征图e1和历史车分支特征图e2进行max(e1,e2)-mine1,e2)、相减、调换相减可以使网络更容易的找到当前车与历史车都存在的但产生特征改变的部位、当前车存在历史车不存在的部位、当前车不存在历史车存在的部位特征，最终使网络学习到当前车与历史车之间的变化即故障的分割结果。
69.优选实施例中，对比分割头对当前车建议框和历史车建议框进行融合的方法，如图4所示，包括：
70.对当前车建议框和历史车建议框依次进行4次融合操作；
71.第1次融合操作：当前车建议框和历史车建议框各自依次经过第1次3*3大小的卷积、批归一化batchnorm和relu激活操作获得14*14*256大小的建议框特征图f1和建议框特征图f2；
72.将建议框特征图f1和f2同时输入至第1个融合网络d和第1个霍普菲尔德网络h，第1个霍普菲尔德网络h对建议框特征图f1和f2融合转换，转换后的权重特征图f3同时输入至第1个融合网络d，第1个融合网络d融合后得到第1次融合特征图f4；第2次融合操作：将第1次融合特征图f4、建议框特征图f1和建议框特征图f2各自依次经过第2次3*3大小的卷积、批归一化batchnorm和relu激活操作获得14*14*256大小的融合特征图f5、建议框特征图f6和建议框特征图f7；
73.将融合特征图f5、建议框特征图f6和建议框特征图f7同时输入至第2个融合网络d，将建议框特征图f6和建议框特征图f7同时输入至第2个霍普菲尔德网络h，第2个霍普菲尔德网络h对建议框特征图f6和建议框特征图f7融合转换，转换后的权重特征图f8同时输入至第2个融合网络d，第2个融合网络d融合后得到第2次融合特征图f9；
74.依次进行第3次融合操作和第4次融合操作，第3次融合操作和第4次融合操作与第2次融合操作相同；
75.第4次融合特征图进行dct变换，获得dct向量，将dct向量依次进行3次全连接操作，3次全连接操作后的dct向量进行idct变换，得到2维的mask图像，即：对比分割头得到的分割结果。
76.制动连接管折断故障识别网络中同时也对当前车与历史车经过roialign池化后的建议框特征图在对比分割头中进行对比特征提取，得到最终的对比差异(故障)分割结果，此分支的标签为当前车标签与历史车标签的差，即变化(故障)mask。原始的mask-rcnn分割头中将经过roialign池化后的14*14*256大小的建议框特征图进行4次3*3大小的卷积、批归一化batchnorm和relu激活操作。对比分割头中将当前车与历史车经过roialign池化后的14*14*256大小的建议框特征图进行同样的操作，不同的是依次进行了4次融合操作，提取对比变化特征，并对融合的特征进行现代霍普菲尔德特征加权。最后采用dct-mask-rcnn的思想，将融合加权后的特征图进行dct，fc是指全连接操作，图4中存在3个全连接操作。dct操作没有在图中体现，dct操作为对ground truth标签mask进行dct变换生成dct向量，3个全连接层用于回归ground truth标签mask dct向量，最后进行idct得到2维的mask图像，为最终的对比差异(故障)分割结果。
77.优选实施例中，第2个融合网络d融合的方法，包括：
78.利用输入的当前车的建议框特征图f6和历史车建议框特征图f7分别进行逐像素max(f6,f7)-min(f6,f7)、相减f6-f7、调换相减f7-f6，然后输入至2号concat融合网络，与f6和f7按照特征图通道方向上的concat融合，同时，上一次融合操作后获得的融合特征图f4输入至2号concat融合网络，经2号concat融合网络融合后特征图经2号1*1大小卷积块进行卷积操作，卷积操作后的特征图与相应霍普菲尔德网络h输出的权重特征图f8进行加权操作，完成融合；
79.第1个融合网络d与第2个融合网络d融合时不同在于，第1个融合网络d不需要输入上一次融合操作后获得的融合特征图。
80.本实施方式融合网络d融合操作如图5所示，同对比特征融合相似，同样将当前车分支特征图f6和历史车分支特征图f7进行max(f6,f7)-min(f6,f7)、相减、调换相减操作，然后进行concat融合和1*1卷积降低通道维度，抑制特征图混叠效应，但对1*1卷积后的特征图进行了霍普菲尔德特征网络h加权操作，加权操作为对应元素相乘。
81.优选实施例中，霍普菲尔德网络h融合转换的方法，包括：
82.利用输入的当前车的建议框特征图f6和历史车建议框特征图f7分别进行逐像素max(f6,f7)-min(f6,f7)、相减f6-f7、调换相减f7-f6，然后输入至3号concat融合网络，与f6和f7按照特征图通道方向上的concat融合，同时，经3号concat融合网络融合后特征图经3号1*1大小卷积块进行卷积操作，卷积操作后的特征图与相应霍普菲尔德网络h输出的特征图f8进行加权操作后得到融合后特征图fc，将融合后特征图fc分别与当前车的建议框特征图f6和历史车建议框特征图f7进行加权操作，得到当前车的权重特征图和历史车的权重特征图将当前车的权重特征图和历史车的权重特征图逐像素相加并通过sigmod激活得到最终的权重特征图。
83.霍普菲尔德特征网络h可以嵌入到深度学习网络中，提高深度学习特征图的特征保留能力，本实施方式中在对比分割头中加入霍普菲尔德特征网络h以达到充分保留对比变化特征的效果，具体霍普菲尔德特征网络h如图6所示，过程可表示为公式(1)。其中fi,i＝1,2为当前车与历史车特征图，fc为融合后特征图wc、ws为对应权重，为当前车与历史车经过霍普菲尔德特征网络h换后得到的权重特征图，最后将2个权重特征图逐像素相加并通过sigmod激活得到最终的权重特征图。
[0084][0085]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他实施例中。

技术特征：
1.一种制动连接管折断故障检测方法，其特征在于，所述方法包括：s1、对铁路货车的图像进行采集，获取当前车图像，所述当前车图像包括制动连接软管部分；s2、将当前车图像和对应的历史车图像输入至mask-rcnn故障分割网络中，mask-rcnn故障分割网络输出制动连接管的故障类别和分割结果，根据分割结果确定故障位置；mask-rcnn故障分割网络包括1号mask-rcnn分割网络、2号mask-rcnn分割网络和对比特征分割网络；对比特征分割网络包括对比特征提取分支、rpn网络和roialign网络和2号分割头；将当前车图像输入到1号mask-rcnn分割网络中，将历史车图像输入到2号mask-rcnn分割网络中；1号mask-rcnn分割网络提取的当前车特征和2号mask-rcnn分割网络提取的历史车特征同时输入至对比特征提取分支中，对比特征提取分支找到当前车与历史车都存在的但产生特征改变的部位、当前车存在历史车不存在的部位、当前车不存在历史车存在的部位特征并进行融合，融合后的特征送入rpn网络提取建议框，再将提取的建议框送入roialign网络池化，池化后的建议框送入2号分割头；2号mask-rcnn分割网络中分割头为对比分割头，1号mask-rcnn分割网络与2号mask-rcnn分割网络将池化后的当前车建议框和历史车建议框同时输入至对比分割头，对比分割头对当前车建议框和历史车建议框进行融合，得到分割结果；1号mask-rcnn分割网络的分割头、2号分割头、对比分割头得到的分割结果取并集得到制动连接管的分割结果；根据1号mask-rcnn分割网络、2号mask-rcnn分割网络的分类头输出确定制动连接管的故障类别。2.根据权利要求1所述的制动连接管折断故障检测方法，其特征在于，对比特征提取分支融合的过程包括：；1号mask-rcnn分割网络、2号mask-rcnn分割网络中的resnet50特征提取网络均包括5个卷积块conv1-conv5，每个卷积块将特征图通过卷积池化操作下采样2倍；将两个resnet50特征提取网络的卷积块conv3输出的当前车特征和历史车特征经第1个融合网络c进行融合，融合后的特征图利用经卷积块conv6进行卷积池化操作下采样2倍后作为上一步特征融合特征图输入至第2个融合网络c，两个resnet50特征提取网络的卷积块conv4输出的当前车特征和历史车特征同时输入至第2个融合网络c，第2个融合网络c融合后的特征图利用经卷积块conv7进行卷积池化操作下采样2倍后作为上一步特征融合特征图输入至第3个融合网络c，两个resnet50特征提取网络的卷积块conv5输出的当前车特征和历史车特征同时输入至第3个融合网络c，第3个融合网络c融合后的特征图送入rpn网络；卷积块conv6与卷积块conv4相同，卷积块conv7与卷积块conv5相同。3.根据权利要求2所述的制动连接管折断故障检测方法，其特征在于，融合网络c融合的方法，包括：输入的当前车特征和历史车特征分别为e1和e2，对e1和e2分别进行逐像素max(e1,e2)-min(e1,e2)、相减e1-e2、调换相减e2-e1，然后输入至1号concat融合网络，与e1和e2按照特征图通道方向上的concat融合，同时，若存在上一步特征融合特征图e3，将上一步特征
融合特征图e3同时输入至1号concat融合网络，1号concat融合网络得到的融合后特征图经1号1*1大小卷积块卷积操作后输出。4.根据权利要求1所述的制动连接管折断故障检测方法，其特征在于，对比分割头对当前车建议框和历史车建议框进行融合的方法，包括：对当前车建议框和历史车建议框依次进行4次融合操作；第1次融合操作：当前车建议框和历史车建议框各自依次经过第1次3*3大小的卷积、批归一化batchnorm和relu激活操作获得14*14*256大小的建议框特征图f1和建议框特征图f2；将建议框特征图f1和f2同时输入至第1个融合网络d和第1个霍普菲尔德网络h，第1个霍普菲尔德网络h对建议框特征图f1和f2融合转换，转换后的权重特征图f3同时输入至第1个融合网络d，第1个融合网络d融合后得到第1次融合特征图f4；第2次融合操作：将第1次融合特征图f4、建议框特征图f1和建议框特征图f2各自依次经过第2次3*3大小的卷积、批归一化batchnorm和relu激活操作获得14*14*256大小的融合特征图f5、建议框特征图f6和建议框特征图f7；将融合特征图f5、建议框特征图f6和建议框特征图f7同时输入至第2个融合网络d，将建议框特征图f6和建议框特征图f7同时输入至第2个霍普菲尔德网络h，第2个霍普菲尔德网络h对建议框特征图f6和建议框特征图f7融合转换，转换后的权重特征图f8同时输入至第2个融合网络d，第2个融合网络d融合后得到第2次融合特征图f9；依次进行第3次融合操作和第4次融合操作，第3次融合操作和第4次融合操作与第2次融合操作相同；第4次融合特征图进行dct变换，获得dct向量，将dct向量依次进行3次全连接操作，3次全连接操作后的dct向量进行idct变换，得到2维的mask图像，即：对比分割头得到的分割结果。5.根据权利要求4所述的制动连接管折断故障检测方法，其特征在于，第2个融合网络d融合的方法，包括：利用输入的当前车的建议框特征图f6和历史车建议框特征图f7分别进行逐像素max(f6,f7)-min(f6,f7)、相减f6-f7、调换相减f7-f6，然后输入至2号concat融合网络，与f6和f7按照特征图通道方向上的concat融合，同时，上一次融合操作后获得的融合特征图f4输入至2号concat融合网络，经2号concat融合网络融合后特征图经2号1*1大小卷积块进行卷积操作，卷积操作后的特征图与相应霍普菲尔德网络h输出的权重特征图f8进行加权操作，完成融合；第1个融合网络d与第2个融合网络d融合时不同在于，第1个融合网络d不需要输入上一次融合操作后获得的融合特征图。6.根据权利要求4所述的制动连接管折断故障检测方法，其特征在于，霍普菲尔德网络h融合转换的方法，包括：利用输入的当前车的建议框特征图f6和历史车建议框特征图f7分别进行逐像素max(f6,f7)-min(f6,f7)、相减f6-f7、调换相减f7-f6，然后输入至3号concat融合网络，与f6和f7按照特征图通道方向上的concat融合，同时，经3号concat融合网络融合后特征图经3号1*1大小卷积块进行卷积操作，卷积操作后的特征图与相应霍普菲尔德网络h输出的特征图
f8进行加权操作后得到融合后特征图f
c
，将融合后特征图f
c
分别与当前车的建议框特征图f6和历史车建议框特征图f7进行加权操作，得到当前车的权重特征图和历史车的权重特征图将当前车的权重特征图和历史车的权重特征图逐像素相加并通过sigmod激活得到最终的权重特征图。7.根据权利要求1所述的制动连接管折断故障检测方法，其特征在于，所述方法还包括建立训练数据集，利用训练数据集对mask-rcnn故障分割网络进行训练；建立训练数据集过程包括：收集制动连接软管正常的图像与制动连接软管折断的图像，同时每张图像需要同时收集无故障的相同车号的历史车图像，获得存在故障、无故障的当前车图像和与当前车相同车号的无故障历史车图像。8.根据权利要求7所述的制动连接管折断故障检测方法，其特征在于，建立训练数据集时还包括：对收集的图像进行数据扩增操作，包括旋转、裁剪、对比度变换、仿射变换、雨雪模拟操作。9.一种计算机可读的存储设备，所述存储设备存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至8任一所述制动连接管折断故障检测方法。10.一种制动连接管折断故障检测装置，包括存储设备、处理器以及存储在所述存储设备中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1至8任一所述制动连接管折断故障检测方法。

技术总结
一种制动连接管折断故障检测方法，解决了如何减少制动连接管折断故障误报警的问题，属于铁路货车故障检测领域。本发明包括：S1、对铁路货车的图像进行采集，获取当前车图像，当前车图像包括制动连接软管部分；S2、将当前车图像和对应的历史车图像输入至Mask-RCNN故障分割网络中，Mask-RCNN故障分割网络输出制动连接管的故障类别和分割结果，根据分割结果确定故障位置；本发明中的Mask-RCNN故障分割网络在故障分割网络中引入历史车图像先验信息，在网络中引入对比特征分割网络及对比分割头，降低网络识别难度，提升识别准确率。提升识别准确率。提升识别准确率。


技术研发人员：韩旭
受保护的技术使用者：哈尔滨市科佳通用机电股份有限公司
技术研发日：2023.05.15
技术公布日：2023/8/4