一种基于多尺度融合和可变形卷积的跨域故障检测方法

1.本发明涉及计算机视觉技术领域，具体涉及一种基于多尺度融合和可变形卷积的跨域故障检测方法。


背景技术：

2.目标检测是计算机视觉最具挑战性的任务之一。目标检测任务包含两个子任务，一是在图像或者视频中定位到目标物体的位置，二是将目标物体进行识别和标记。进入深度学习时代以来，基于cnn的深度网络模型依靠其强大的特征提取能力和泛化能力，让目标检测算法的效果相比原先的传统方法获得极大提升。
3.目前主流的目标检测模型，如faster-rcnn和yolo模型都是有监督学习模型，依赖大量有便签样本。然而在实际的火车故障图片检测过程中，由于相机拍摄、天气等原因，导致火车故障图片出现模糊、过于暗黑的情况，也会存在图片中含有雾气、冰雪等现象。这些客观原因会导致出现训练集和测试集之间出现域偏移问题，使得原有的目标检测模型无法有效识别出测试集这些图片中的故障。解决此类问题最直接的方法就是重新对测试集中出现域偏移的图片进行收集和标注。然而目前图片标注的方式仍然以人工标注为主，且收集和标注图片过程耗时费力。针对数据集重复标注耗费成本巨大的问题，可以使用迁移学习中的领域自适应方法来减少模型性能的下降。
4.目前领域自适应方法在目标检测领域的应用主要分为三类：基于对抗的领域自适应目标检测算法、基于重构的领域自适应目标检测算法和基于混合的领域自适应算法。基于对抗的领域自适应目标检测是在网络中加入领域判别器，通过让领域判别器混淆源域和目标域的域不变特征，达到减少域偏移的目的；基于重建的领域自适应目标检测是通过重建源域或者目标域数据，利用例如cyclegan生成数据，可以获得中间域数据，利用这些中间域数据进行训练能够提升训练结果；基于混合的方法则采用了上述两种方法的结合。而计算机视觉中的注意力机制的基本思想就是使模型可以忽略无关信息而关注重点信息。


技术实现要素：

5.为解决雾天场景下火车故障检测准确率低的问题，本发明提供一种基于多尺度融合和可变形卷积的跨域故障检测方法。该方法针对火车故障训练集和测试集数据分布不同的问题，利用域自适应特征金字塔的方法来改善原有目标检测模型的跨域鲁棒性，并针对故障形态差异较大，使用可变形卷积来提高网络的适应能力。同时利用asff来解决原有retinanet中fpn网络不同尺度学习目标不一致的问题，利用ciou来帮助检测网络更好地优化损失。
6.为实现上述目的，本发明采用如下技术方案：
7.一种基于多尺度融合和可变形卷积的跨域故障检测方法，包括以下步骤：
8.构建源域数据集和目标域数据集；
9.构建基于retinanet的跨域故障检测网络，所述跨域故障检测网络包括域自适应
特征金字塔、嵌入了可变形卷积的backbone、fpn网络和回归子网络；所述域自适应特征金字塔包括局部域自适应模块和全局域自适应模块，用于对backbone中提取出的多尺度信息进行融合操作；
10.利用所述源域数据集和目标域数据集训练所述跨域故障检测网络；
11.将待测数据输入训练好的跨域故障检测网络，输出故障类型。
12.优选的，所述backbone使用的是resnet-50，包括若干个卷积模组，其输出的部分特征向量输入到局部域自适应模块进行强对齐，其余部分特征先通过特征金字塔结构进行多尺度信息的特征融合，然后输入全局域自适应模块进行弱对齐。
13.优选的，所述局部域自适应模块的损失函数为：
[0014][0015][0016][0017]
表示源域的局部域自适应损失，表示的是目标域的局部域自适应损失，表示的是整个局部域自适应模块的损失，取源域和目标域损失的平均值，分别表示输入的源域特征，f1表示的域自适应部分网络的特征提取器，d
l
表示域判别器，h、w表示输入特征图的高和宽，ns和n
t
分别表示输入的源域样本数量和目标域样本数量。
[0018]
优选的，所述全局部域自适应模块的损失函数为：
[0019][0020][0021][0022]
表示源域的全局域自适应损失，表示的是目标域的全局域自适应损失，表示的是第i个全局域自适应模块的损失，γ表示的是难易样本平衡因子，dg表示的是全局域自适应模块的域判别器，f表示的是全局域自适应部分网络的特征提取器。
[0023]
优选的，嵌入可变形卷积的方式是backbone的卷积核中添加偏移量。
[0024]
优选的，所述fpn网络中嵌入补充模块asff。
[0025]
优选的，所述回归子网络使用ciou loss作为损失函数。
[0026]
本发明还提供一种基于多尺度融合和可变形卷积的跨域故障检测系统，所述系统包括：
[0027]
域自适应特征金字塔模块，用于网络进行多尺度域对抗训练完成源域和目标域间的特征对齐；
[0028]
可变形卷积模块，用于加强网络对于复杂形变的故障检测能力；
[0029]
asff模块，用于解决原先fpn网络跨尺度特征学习目标不一致的问题；
[0030]
损失函数模块，用于解决原回归子网络中损失函数smooth l1 loss和iou不等价的问题。
[0031]
本发明还提供一种基于权利要求上述跨域故障检测方法的雾天火车故障检测方法，包括如下步骤：
[0032]
构建正常场景下的火车故障数据集作为源域数据集和雾天场景下的火车故障数据集作为目标域数据集；
[0033]
构建基于retinanet的跨域故障检测网络；
[0034]
利用所述源域数据集和目标域数据集训练所述基于retinanet的跨域故障检测网络；
[0035]
将待测数据输入训练好的基于retinanet的跨域故障检测网络，输出雾天火车故障类型。
[0036]
有益效果：本发明提出的一种基于多尺度融合和可变形卷积的跨域故障检测方法。通过将构建的域自适应特征金字塔加入到retinanet网络帮助网络进行多尺度域自适应对抗训练，以此来完成源域和目标之间的特征对齐。通过可变形卷积嵌入到retinanet的backbone，提升网络对于复杂形变的故障样本的适应能力。通过将asff加入到retinanet的fpn网络中，解决fpn网络不同尺度学习目标不一致的问题。使用ciou替换retinanet回归子网络中的smooth l1 loss，解决smooth l1 loss与模型实际评价指标iou不一致的问题。以上设计加强了跨域检测的鲁棒性，提高了雾天场景下火车故障识别率和准确率。
附图说明
[0037]
图1为本发明提出的一种基于多尺度融合和可变形卷积的跨域故障检测方法流程图；
[0038]
图2为基于多尺度融合和可变形卷积的跨域故障检测方法结构图；
[0039]
图3为域自适应特征金字塔结构图；
[0040]
图4为可变形卷积嵌入示意图；
[0041]
图5为fpn和asff结合图。
[0042]
图6为本方法的实验结果图。
具体实施方式
[0043]
下面结合附图与具体实施方式对本发明作进一步详细描述：
[0044]
本发明提供一种基于多尺度融合和可变形卷积的跨域故障检测方法，设计一个域自适应特征金字塔，来实现源域和目标域的特征对齐；利用在目标检测网络中的backbone加入可变形卷积模块来实现对形态差异大的故障的适应能力；利用在原有检测网络中的fpn加入asff模块，解决fpn网络中不同尺度学习目标不一致的问题；利用retinanet网络的回归子网络损失函数改为ciou loss优化模型的损失。
[0045]
图1为本发明提出的一种基于多尺度融合和可变形卷积的跨域故障检测方法流程图。图2为本方法的整体结构图。如图1所示，该方法包括：
[0046]
s1，准备正常场景下的火车故障数据集作为源域数据集和雾天场景下的火车故障数据集作为目标域数据集；
[0047]
s2，构建域自适应特征金字塔，加入到retinanet目标检测网络。域自适应特征金字塔结构如图3所示。
[0048]
s3，将可变形卷积嵌入backbone，形成图2中deform block。具体的嵌入方式如图4所示。
[0049]
s4，将asff加入到fpn网络中。具体的结合方式如图5所示。
[0050]
s5，使用ciou代替smooth l1 loss。
[0051]
s6，输入带标签的源域数据集和不带标签的目标域数据集完成域自适应的火车故障检测。
[0052]
步骤s1，具体如下：准备正常场景下的火车故障数据和正常数据，这些数据包含良好环境下的图像数据及其对应的标签。即在图像上，每一个需检测部位都有对应的标签和边界框。
[0053]
准备雾天条件下的火车故障数据和正常数据。这类数据只包含图像数据，不需要加入目标信息相关的标注。
[0054]
步骤s2，具体如下：
[0055]
使用pytorch框架构建retinanet域自适应网络，该模型是一个单阶段目标检测模型。整体的网络结构如图2所示。利用特征金字塔结构，对retinanet的backbone中提取出的多尺度信息进行融合操作。retinanet的backbone使用的是resnet-50，共有五个卷积模组，后四个卷积模组分别取名为res2、res3、res4、res5，从中取出的特征分别命名为c2、c3、c4、c5。对应提取出的特征通道维度分别为256、512、1024、2048维。
[0056]
将res2中第一个特征向量，输入到局部域自适应模块进行强对齐，其损失函数为：
[0057][0058][0059][0060]
表示源域的局部域自适应损失，表示的是目标域的局部域自适应损失。表示的是整个局部域自适应模块的损失，取源域和目标域损失的平均值。
[0061]
res3、res4、res5在输入到域自适应模块之前，先通过特征金字塔结构进行多尺度信息的特征融合。融合后的特征仍然保持原先的通道数不变，同时增加了新的特征信息，将融合后的特征信息输入到三个全局域自适应模块中，进行域自适应特征对齐。全局域自适应采用弱对齐的模式。损失函数使用focal loss，更多的强调整体相似的样本对齐，即令域分类器难以分类的样本对齐，不强调整体不相似的样本对齐。其损失函数为：
[0062][0063][0064][0065]
表示源域的全局域自适应损失，表示的是目标域的全局域自适应损失。表示的是第i个全局域自适应模块的损失，取源域和目标域损失的平均值。本方法一共使用了三个全局域自适应模块，因此，全局域自适应的总损失可以表示为：
[0066][0067]
λ1、λ2、λ3为权重参数，对于不同的全局域自适应模块，本发明将使用不同的权重。
[0068]
对于整个域自适应对抗网络，损失函数可以表示为：
[0069][0070]
步骤s3，包含以下具体步骤：
[0071]
在resnet-50的最后三个卷积模组中嵌入可变形卷积模块。具体嵌入方式是在3
×
3卷积核中添加偏移量来完成。用r＝{(-1，-1)，(-1，0)，...，(0，1)，(1，1)}表示卷积核和感受野的大小，而原本输出的经过该卷积核的输出特征为
[0072][0073]
其中p0表示x中的每一个空间位置点，w表示的是卷积核权重矩阵。pn表示的感受野网格中的位置。在该卷积核中添加可变形卷积，给标准卷积中的每个采样点增加一个偏移量δpn，则输出特征y(p0)变为如下形式：
[0074][0075]
经过变换后采用是在不规则且有偏移的位置pn+δpn上，而实际采用位置变为p0+pn+δpn，其中δpn一般来说是小数，所以偏移后的采样位置上的像素值可以通过线性插值的方法来得到。
[0076]
步骤s4，包含以下具体步骤：
[0077]
将asff作为fpn的补充模块嵌入到原先的fpn网络中，假设fpn网络经过上采样后输出的特征level 1、level 2、level 3。通过加权相加的方式形成新的三个特征asff1、asff2、asff3。以形成asff1为例，需要对level 2、level 3输出的特征进行下采样，与level 1特征的size相同，然后使用三个可学习的参数进行加权融合。加权融合的公式如下：
[0078][0079]
表示的是从level n的特征经过resize到level 1后(i，j)处的特征。以上公
式的意思是level 1，2，3resize后的feature map在每个(i，j)与各自的空间权重参数相乘在相加得到融合后的asff1。asff2和asff3和得到asff1的方式相同。新特征asff1、asff2和asff3代替了原先的level 1、level 2、level 3。
[0080]
步骤s5，具体包含以下步骤：
[0081]
使用ciou loss作为回归子网络的损失函数，ciou loss的计算公式如下：
[0082][0083][0084][0085]
α为权重系数，v用来度量长宽比的相似性，ρ是指计算欧几里得距离，c是覆盖预测框和真实框的最小封闭框的对角线长度，自，b
gt
分别是指预测框和真实框的中心点，w、h和w
gt
、h
gt
分别代表的是预测框和真实框的高宽。ciou loss使用1-ciou计算，因此最后的ciou loss为：
[0086][0087]
该方法最终的训练函数可以表示为：
[0088][0089]
训练模型已搭建完毕，利用服务器中的nvidia tesla v100显卡对源域的13658张图片和目标域13658张图片进行70000次迭代训练。最后在1235张的验证集进行验证。
[0090]
本发明可以显式的展示分类结果，满足工业上实际的运行场景和应用需求，并且提高了检测的准确率。
[0091]
如图6所示，上半部分为使用原生retinanet网络对雾天故障的检测结果，下半部分为使用本方法对雾天故障的检测结果。可以明显看出，原生retinanet网络检测结果包含误检和漏检，而本方法的检测结果全部正确。证明了本方法的有效性。
[0092]
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明所保护的范围内。

技术特征：
1.一种基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，包括以下步骤：构建源域数据集和目标域数据集；构建基于retinanet的跨域故障检测网络，所述跨域故障检测网络包括域自适应特征金字塔、嵌入了可变形卷积的backbone、fpn网络和回归子网络；所述域自适应特征金字塔包括局部域自适应模块和全局域自适应模块，用于对backbone中提取出的多尺度信息进行融合操作；利用所述源域数据集和目标域数据集训练所述跨域故障检测网络；将待测数据输入训练好的跨域故障检测网络，输出故障类型。2.根据权利要求1所述的基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，所述backbone使用的是resnet-50，包括若干个卷积模组，其输出的部分特征向量输入到局部域自适应模块进行强对齐，其余部分特征先通过特征金字塔结构进行多尺度信息的特征融合，然后输入全局域自适应模块进行弱对齐。3.根据权利要求2所述的基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，所述局部域自适应模块的损失函数为：在于，所述局部域自适应模块的损失函数为：在于，所述局部域自适应模块的损失函数为：在于，所述局部域自适应模块的损失函数为：表示源域的局部域自适应损失，表示的是目标域的局部域自适应损失，表示的是整个局部域自适应模块的损失，取源域和目标域损失的平均值，分别表示输入的源域特征，f1表示的域自适应部分网络的特征提取器，d
l
表示局部域自适应模块的域判别器，h、w表示输入特征图的高和宽，n
s
和n
t
分别表示输入的源域样本数量和目标域样本数量。4.根据权利要求3所述的基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，所述全局部域自适应模块的损失函数为：在于，所述全局部域自适应模块的损失函数为：在于，所述全局部域自适应模块的损失函数为：在于，所述全局部域自适应模块的损失函数为：表示源域的全局域自适应损失，表示的是目标域的全局域自适应损失，
表示的是第i个全局域自适应模块的损失，γ表示的是难易样本平衡因子，d
g
表示的是全局域自适应模块的域判别器，f表示的是全局域自适应部分网络的特征提取器。5.根据权利要求1所述的基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，嵌入可变形卷积的方式是backbone的卷积核中添加偏移量。6.根据权利要求1所述的基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，所述fpn网络中嵌入补充模块asff。7.根据权利要求1所述的基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，所述回归子网络使用ciouloss作为损失函数。8.基于权利要求1-7任一所述跨域故障检测方法的雾天火车故障检测方法，其特征在于，包括如下步骤：构建正常场景下的火车故障数据集作为源域数据集和雾天场景下的火车故障数据集作为目标域数据集；构建基于retinanet的跨域故障检测网络；利用所述源域数据集和目标域数据集训练所述基于retinanet的跨域故障检测网络；将待测数据输入训练好的基于retinanet的跨域故障检测网络，输出雾天火车故障检测结果。

技术总结
本发明提供一种基于多尺度融合和可变形卷积的跨域故障检测方法，解决火车故障图像跨域目标检测中相应的问题。包括如下步骤：准备正常场景下的火车故障数据集作为源域数据集和雾天场景下的火车故障数据集作为目标域数据集；设计一个域自适应特征金字塔，加入到RetinaNet目标检测网络中，来实现源域和目标域的特征对齐；在目标检测网络中的backbone加入可变形卷积模块来实现对形态差异大的故障的适应能力；在原有检测网络中的FPN加入ASFF模块，解决FPN网络中不同尺度学习目标不一致的问题；将RetinaNet网络的回归子网络损失函数改为CIOU loss，优化模型的损失。该基于多尺度融合和可变形卷积的跨域故障检测方法是解决目标检测模型在有雾场景下对火车故障检测结果较差的问题。结果较差的问题。结果较差的问题。


技术研发人员：俞菲 俞科栋 王潇祎 许诺 郑志刚 谢国烜 杨绿溪
受保护的技术使用者：东南大学
技术研发日：2023.04.07
技术公布日：2023/7/22