一种轨道机车表面缺陷检测方法及系统

1.本发明涉及图像处理技术领域，尤其涉及一种轨道机车表面缺陷检测方法及系统。


背景技术：

2.由于轨道机车是一个庞大复杂的大型交通运输设备，需要检测的缺陷种类多，且检测难度高，所以目前检测轨道车辆缺陷主要还是使用人工目检这种传统的方法，但是这种方法存在着很多问题：1、工人劳动强度大、检测稳定性及一致性差；2.轨道两旁危险系数高，工人存在安全隐患；3、自动化程度低、检测效率低；4、漏检率大、检测精细化程度低；5、招工难、用工难、成本高。
3.有一些研究机构尝试使用基于机器视觉和传统图像处理的方法去检测轨道机车外表面缺陷，这种方法是通过适当的光源和图像传感器(线阵相机)获取轨道机车的外表面图像，利用相应的图像处理算法提取图像的特征信息，然后根据特征信息进行表面缺陷的定位、识别。目前基于机器视觉和传统图像处理的轨道机车表面缺陷检测方法存在以下问题：1、受环境、光照、车体表面光线反射等多重因素影响，要求检测系统的信噪比一般比较低，对微弱的缺陷信号难以检出或不能与噪声有效区分；2、基于机器视觉和传统图像处理的缺陷检测方法的准确性不高，当检测对象多样、表面缺陷种类繁多、形状大小多样、背景复杂时，提取缺陷的特征较为困难，传统图像算法的兼容性不足，难以形成一个有效统一的缺陷检测方法；3、在面对数据量较大的时候，算法的计算复杂度过高，导致算法的运行速度慢，实时性不高。


技术实现要素：

4.为解决上述技术问题，本发明提供一种轨道机车表面缺陷检测方法，包括：
5.s1：采集轨道机车外表面图像，获取外表面图像的标准图像和缺陷图像；
6.s2：对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；
7.s3：构建孪生cnn网络，通过损失函数对孪生cnn网络进行训练，获得训练好的孪生cnn网络；
8.s4：将无缺陷样本集输入训练好的孪生cnn网络，获得第一特征张量f1；将缺陷样本集输入训练好的孪生cnn网络，获得第二特征张量f2；
9.s5：计算第一特征张量f1与第二特征张量f2之间的欧式距离，获得距离图；
10.s6：对距离图进行优化获得最终变化图，通过最终变化图获得轨道机车外表面的缺陷区域。
11.优选的，步骤s2具体为：
12.s21：标准图像的宽为w1高为h1，获取缺陷图像中的畸变图像，畸变图像的宽为w2高为h1，在标准图像和畸变图像上分别创建宽为w0高为h1的第一滑动窗口和第二滑动窗口；
13.s22：通过sift特征匹配算法，将畸变图像在第二滑动窗口内的区域与标准图像在第一滑动窗口内的区域进行特征点匹配，获得关键点；
14.s23：通过匹配的关键点对第二滑动窗口内的畸变图像进行透视变换矩阵的计算，得到校正后的图像，将该校正后的图像作为第二滑动窗口位置裁剪获得的缺陷样本；
15.s24：将第二滑动窗口的位置传递给第一滑动窗口，使两个滑动窗口在像素坐标系下的位置一致，将第一滑动窗口中的标准图像作为第一滑动窗口位置裁剪获得的无缺陷样本；
16.s25：移动第二滑动窗口的位置后重复步骤s21-s24，直至剩余未遍历的像素列数小于w0并舍弃未遍历区域，获得的所有无缺陷样本作为无缺陷样本集，获得的所有缺陷样本作为缺陷样本集。
17.优选的，所述孪生cnn网络包括：第一分支网络和第二分支网络；
18.第一分支网络和第二分支网络均包括五个卷积块；
19.每个卷积块均包括：一个卷积层、一个relu激活层和归一化层；
20.最后一个卷积块中卷积层的卷积核大小设置为1*1；
21.第一个卷积块中卷积层到第四个卷积块中卷积层的卷积核大小依次设置为：3*3、3*3、5*5和5*5。
22.优选的，所述孪生cnn网络的训练过程具体为：
23.通过损失函数更新孪生cnn网络的网络权重参数，直至网络损失收敛，计算公式为：
[0024][0025]
其中，loss为网络损失；d
i,j
为欧氏距离；i，j为图像像素坐标系下的横、纵坐标；k为训练样本对的次数；wu和wc分别表示变化和不变像素对的权重；y
i，j
为像素变化系数，当两图对应像素对不变时y
i，j
＝0，若发生变化y
i，j
＝1。
[0026]
优选的，所述距离图中f1与f2之间的欧式距离越大，则表示无缺陷样本与缺陷样本中对应像素存在差异的可能性越大。
[0027]
优选的，步骤s6具体为：
[0028]
s61：对距离图进行阈值分割得到初始的变化图；
[0029]
s62：通过knn最近邻算法对初始的变化图进行改进，获得最终的变化图；
[0030]
s63：最终的变化图上灰度值为255的区域即为轨道机车外表面的缺陷区域。
[0031]
一种轨道机车表面缺陷检测系统，包括：
[0032]
图像获取模块，用于采集轨道机车外表面图像，获取外表面图像的标准图像和缺陷图像；
[0033]
样本获取模块，用于对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；
[0034]
网络训练模块，用于构建孪生cnn网络，通过损失函数对孪生cnn网络进行训练，获得训练好的孪生cnn网络；
[0035]
特征张量获取模块，用于将无缺陷样本集输入训练好的孪生cnn网络，获得第一特征张量f1；将缺陷样本集输入训练好的孪生cnn网络，获得第二特征张量f2；
[0036]
距离图获取模块，用于计算第一特征张量f1与第二特征张量f2之间的欧式距离，获得距离图；
[0037]
缺陷区域获取模块，用于对距离图进行优化获得最终变化图，通过最终变化图获得轨道机车外表面的缺陷区域。
[0038]
一种存储设备，所述存储设备存储指令及数据用于实现所述的轨道机车表面缺陷检测方法。
[0039]
一种轨道机车表面缺陷检测设备，包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现所述的轨道机车表面缺陷检测方法。
[0040]
本发明具有以下有益效果：
[0041]
1、本发明利用sift特征匹配进行轨道机车图像校正，能够通过匹配标准图像和畸变图像间的特征点进行图像校正，解决了因轨道机车运行速度不均造成的图像畸变问题，简化了图像校正的过程，缩短了检测周期；
[0042]
2、本发明构建并训练孪生cnn网络，能够使用该网络进行标准图像和缺陷图像的特征提取，解决了因图像背景复杂无法有效提取图像缺陷区域特征的问题，减少了漏检率和误检率，显著提高了算法的鲁棒性。
附图说明
[0043]
图1为本发明实施例方法流程图；
[0044]
图2为孪生cnn网络的结构图；
[0045]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0046]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0047]
参照图1，本发明提供一种轨道机车表面缺陷检测方法，包括：
[0048]
s1：采集轨道机车外表面图像，获取外表面图像的标准图像和缺陷图像；
[0049]
s2：对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；
[0050]
s3：构建孪生cnn网络，通过损失函数对孪生cnn网络进行训练，获得训练好的孪生cnn网络；
[0051]
s4：将无缺陷样本集输入训练好的孪生cnn网络，获得第一特征张量f1；将缺陷样本集输入训练好的孪生cnn网络，获得第二特征张量f2；
[0052]
s5：计算第一特征张量f1与第二特征张量f2之间的欧式距离，获得距离图；
[0053]
s6：对距离图进行优化获得最终变化图，通过最终变化图获得轨道机车外表面的缺陷区域。
[0054]
进一步的，步骤s1具体为：
[0055]
使用固定在轨道两侧的高分辨率线阵相机和光源组成的硬件图像采集平台，通过相机和光源的上位机软件调节合适的曝光时间、采集频率、光照强度等参数获取便于后续图像处理的轨道机车外表面图像并存储到计算机中。
[0056]
进一步的，通过步骤s2将轨道机车外表面图像进行畸变校正并同时裁剪成多幅图
像，图像校正和裁剪同时进行节省了算法运行时间，提高了工作效率，并使得全卷积孪生神经网络可以更精确地提取到图像特征；
[0057]
步骤s2具体为：
[0058]
s21：标准图像的宽为w1高为h1，获取缺陷图像中的畸变图像，畸变图像的宽为w2高为h1，在标准图像和畸变图像上分别创建宽为w0高为h1的第一滑动窗口和第二滑动窗口；
[0059]
s22：通过sift特征匹配算法，将畸变图像在第二滑动窗口内的区域与标准图像在第一滑动窗口内的区域进行特征点匹配，获得关键点；
[0060]
具体的，传统的线阵相机图像一般采用拍摄多张不同角度标定板图像进行标定的方式来校正图像畸变，此种方法虽然校正精度高但是操作繁琐并且需要在特定地点摆放标定板，在铁路两侧并不宜采用；基于sift特征匹配的图像校正方法可以仅通过图像本身的特征点进行图像校正，避免了无法安放标定板的问题，简化了图像校正的过程，缩短了检测周期；
[0061]
通过sift特征匹配算法对滑动窗口内的图像进行降采样得到不同分辨率下的图像金字塔，其次对每层图像进行高斯卷积得到log图像生成图像的多尺度空间，再其次将log图像与其相邻图像相减得到所有图像重新构造的高斯差分金字塔，高斯差分金字塔中特征图的极值点即为图像的关键点；式(1)为二维高斯空间卷积函数的表达式，其中δx和δ分别表示卷积核的横纵坐标偏移量，σ为高斯核参数；式(2)为多尺度空间表达式，其中i(x，y)代表被卷积图像；
[0062][0063]
l(x,y,σ)＝g(x,y,σ)*i(x,y)
ꢀꢀꢀ
(2)
[0064]
s23：通过匹配的关键点对第二滑动窗口内的畸变图像进行透视变换矩阵的计算，得到校正后的图像(此时校正后的图像尺寸与滑动窗口尺寸不再一致)，将该校正后的图像作为第二滑动窗口位置裁剪获得的缺陷样本；
[0065]
s24：将第二滑动窗口的位置传递给第一滑动窗口，使两个滑动窗口在像素坐标系下的位置一致，将第一滑动窗口中的标准图像作为第一滑动窗口位置裁剪获得的无缺陷样本；
[0066]
s25：移动第二滑动窗口的位置后重复步骤s21-s24，直至剩余未遍历的像素列数小于w0并舍弃未遍历区域(由于采集图像的尾端是不属于轨道机车部分的像素点，故舍弃未遍历的像素并不影响后续神经网络的特征提取)，获得的所有无缺陷样本作为无缺陷样本集，获得的所有缺陷样本作为缺陷样本集。
[0067]
进一步的，构造孪生cnn网络(孪生全卷积神经网络fscnn)用于图像特征提取；传统的图像特征提取技术一般是采用手动设计的方法，此种方法依赖于数据库，需要根据数据的特点来设计；而基于孪生cnn网络的图像特征提取的方法能够解决传统方法存在的不足，通过卷积层和权值共享可以有效的提取出图像上的缺陷信息，显著提高了算法的鲁棒性；
[0068]
孪生cnn网络的输入为无缺陷标准图像和缺陷图像，输出为两个特征张量，输入和输出尺寸是一致的，网络的两个分支共享相同的权值使得提取两张图像特征的方法相同，
孪生cnn网络的结构如图2所示；
[0069]
所述孪生cnn网络包括：第一分支网络和第二分支网络；
[0070]
第一分支网络和第二分支网络均包括五个卷积块；
[0071]
每个卷积块均包括：一个卷积层、一个relu激活层和归一化层；
[0072]
最后一个卷积块中卷积层的卷积核大小设置为1*1(用于特征选择)；
[0073]
第一个卷积块中卷积层到第四个卷积块中卷积层的卷积核大小依次设置为：3*3、3*3、5*5和5*5(保证感受野的扩大)。
[0074]
进一步的，所述孪生cnn网络的训练过程具体为：
[0075]
通过损失函数更新孪生cnn网络的网络权重参数，直至网络损失收敛，计算公式为：
[0076][0077]
其中，loss为网络损失；d
i,j
为欧氏距离；i，j为图像像素坐标系下的横、纵坐标；k为训练样本对的次数；wu和wc分别表示变化和不变像素对的权重；y
i，j
为像素变化系数，当两图对应像素对不变时y
i，j
＝0，若发生变化y
i，j
＝1。
[0078]
进一步的，所述距离图中f1与f2之间的欧式距离越大，则表示无缺陷样本与缺陷样本中对应像素存在差异的可能性越大。
[0079]
具体的，为了比较无缺陷标准图像和缺陷图像间的差异程度，采用计算孪生cnn网络的两个输出张量的欧式距离方法，结果值越大，则两张输入图像对应像素越可能存在差异；式(4)为欧氏距离d的计算公式，g(x1)
i，j
和g(x2)
i，j
分别表示孪生cnn网络输出的两个特征张量。
[0080]
d(x1,x2)＝||g(x1)
i,j-g(x2)
i,j
||2ꢀꢀꢀ
(4)
[0081]
进一步的，步骤s6具体为：
[0082]
s61：对距离图进行阈值分割得到初始的变化图；
[0083]
具体的，变化图是显示缺陷图像与无缺陷标准图像差异区域的图像；
[0084]
s62：通过knn最近邻算法对初始的变化图进行改进，获得最终的变化图；
[0085]
具体的，使用knn最近邻算法的目的是消除初始的变化图上离散的噪声区域，使缺陷区域判定更为精确；
[0086]
s63：最终的变化图上灰度值为255的区域即为轨道机车外表面的缺陷区域。
[0087]
本发明提供一种轨道机车表面缺陷检测系统，包括：
[0088]
图像获取模块，用于采集轨道机车外表面图像，获取外表面图像的标准图像和缺陷图像；
[0089]
样本获取模块，用于对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；
[0090]
网络训练模块，用于构建孪生cnn网络，通过损失函数对孪生cnn网络进行训练，获得训练好的孪生cnn网络；
[0091]
特征张量获取模块，用于将无缺陷样本集输入训练好的孪生cnn网络，获得第一特征张量f1；将缺陷样本集输入训练好的孪生cnn网络，获得第二特征张量f2；
[0092]
距离图获取模块，用于计算第一特征张量f1与第二特征张量f2之间的欧式距离，
获得距离图；
[0093]
缺陷区域获取模块，用于对距离图进行优化获得最终变化图，通过最终变化图获得轨道机车外表面的缺陷区域。
[0094]
本发明提供一种存储设备，所述存储设备存储指令及数据用于实现上述的轨道机车表面缺陷检测方法。
[0095]
本发明提供一种轨道机车表面缺陷检测设备，包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现上述的轨道机车表面缺陷检测方法。
[0096]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0097]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
[0098]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种轨道机车表面缺陷检测方法，其特征在于，包括：s1：采集轨道机车外表面图像，获取外表面图像的标准图像和缺陷图像；s2：对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；s3：构建孪生cnn网络，通过损失函数对孪生cnn网络进行训练，获得训练好的孪生cnn网络；s4：将无缺陷样本集输入训练好的孪生cnn网络，获得第一特征张量f1；将缺陷样本集输入训练好的孪生cnn网络，获得第二特征张量f2；s5：计算第一特征张量f1与第二特征张量f2之间的欧式距离，获得距离图；s6：对距离图进行优化获得最终变化图，通过最终变化图获得轨道机车外表面的缺陷区域。2.根据权利要求1所述的轨道机车表面缺陷检测方法，其特征在于，步骤s2具体为：s21：标准图像的宽为w1高为h1，获取缺陷图像中的畸变图像，畸变图像的宽为w2高为h1，在标准图像和畸变图像上分别创建宽为w0高为h1的第一滑动窗口和第二滑动窗口；s22：通过sift特征匹配算法，将畸变图像在第二滑动窗口内的区域与标准图像在第一滑动窗口内的区域进行特征点匹配，获得关键点；s23：通过匹配的关键点对第二滑动窗口内的畸变图像进行透视变换矩阵的计算，得到校正后的图像，将该校正后的图像作为第二滑动窗口位置裁剪获得的缺陷样本；s24：将第二滑动窗口的位置传递给第一滑动窗口，使两个滑动窗口在像素坐标系下的位置一致，将第一滑动窗口中的标准图像作为第一滑动窗口位置裁剪获得的无缺陷样本；s25：移动第二滑动窗口的位置后重复步骤s21-s24，直至剩余未遍历的像素列数小于w0并舍弃未遍历区域，获得的所有无缺陷样本作为无缺陷样本集，获得的所有缺陷样本作为缺陷样本集。3.根据权利要求1所述的轨道机车表面缺陷检测方法，其特征在于，所述孪生cnn网络包括：第一分支网络和第二分支网络；第一分支网络和第二分支网络均包括五个卷积块；每个卷积块均包括：一个卷积层、一个relu激活层和归一化层；最后一个卷积块中卷积层的卷积核大小设置为1*1；第一个卷积块中卷积层到第四个卷积块中卷积层的卷积核大小依次设置为：3*3、3*3、5*5和5*5。4.根据权利要求1所述的轨道机车表面缺陷检测方法，其特征在于，所述孪生cnn网络的训练过程具体为：通过损失函数更新孪生cnn网络的网络权重参数，直至网络损失收敛，计算公式为：其中，loss为网络损失；d
i,j
为欧氏距离；i，j为图像像素坐标系下的横、纵坐标；k为训练样本对的次数；w
u
和w
c
分别表示变化和不变像素对的权重；y
i，j
为像素变化系数，当两图对应像素对不变时y
i，j
＝0，若发生变化y
i，j
＝1。
5.根据权利要求1所述的轨道机车表面缺陷检测方法，其特征在于，所述距离图中f1与f2之间的欧式距离越大，则表示无缺陷样本与缺陷样本中对应像素存在差异的可能性越大。6.根据权利要求1所述的轨道机车表面缺陷检测方法，其特征在于，步骤s6具体为：s61：对距离图进行阈值分割得到初始的变化图；s62：通过knn最近邻算法对初始的变化图进行改进，获得最终的变化图；s63：最终的变化图上灰度值为255的区域即为轨道机车外表面的缺陷区域。7.一种轨道机车表面缺陷检测系统，其特征在于，包括：图像获取模块，用于采集轨道机车外表面图像，获取外表面图像的标准图像和缺陷图像；样本获取模块，用于对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；网络训练模块，用于构建孪生cnn网络，通过损失函数对孪生cnn网络进行训练，获得训练好的孪生cnn网络；特征张量获取模块，用于将无缺陷样本集输入训练好的孪生cnn网络，获得第一特征张量f1；将缺陷样本集输入训练好的孪生cnn网络，获得第二特征张量f2；距离图获取模块，用于计算第一特征张量f1与第二特征张量f2之间的欧式距离，获得距离图；缺陷区域获取模块，用于对距离图进行优化获得最终变化图，通过最终变化图获得轨道机车外表面的缺陷区域。8.一种存储设备，其特征在于：所述存储设备存储指令及数据用于实现权利要求1～6任一项所述的轨道机车表面缺陷检测方法。9.一种轨道机车表面缺陷检测设备，其特征在于：包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现权利要求1～6任一项所述的轨道机车表面缺陷检测方法。

技术总结
本发明提供一种轨道机车表面缺陷检测方法及系统，包括：获取外表面图像的标准图像和缺陷图像；对标准图像进行裁剪，获得无缺陷样本集；对缺陷图像进行图像校正和裁剪，获得缺陷样本集；通过损失函数对孪生CNN网络进行训练，获得训练好的孪生CNN网络；将无缺陷样本集输入训练好的孪生CNN网络，获得第一特征张量F1；将缺陷样本集输入训练好的孪生CNN网络，获得第二特征张量F2；计算第一特征张量F1与第二特征张量F2之间的欧式距离，获得距离图；对距离图进行优化获得最终变化图。本发明构建并训练孪生CNN网络，能够使用该网络进行标准图像和缺陷图像的特征提取，解决了因图像背景复杂无法有效提取图像缺陷区域特征的问题。无法有效提取图像缺陷区域特征的问题。无法有效提取图像缺陷区域特征的问题。


技术研发人员：梅爽 王贺堡 张家庆 陈欣怡 贺鑫 文国军
受保护的技术使用者：中国地质大学（武汉）
技术研发日：2023.04.06
技术公布日：2023/7/12