轨道交通安全标志缺陷检测方法和装置、电子设备及介质

1.本发明涉及轨道交通安全管理技术领域，尤其涉及一种轨道交通安全标志缺陷检测方法和装置、电子设备及介质。


背景技术：

2.轨道交通安全标志在轨道交通方面起到了很重要的作用，轨道交通安全标志是指在轨道交通运营过程中设置的用于引导、警示和提示乘客和行驶人员的标志。根据不同的作用和功能，轨道交通安全标志可以分为以下几种：
3.引导标志：用于指示乘客和行驶人员所需的方向、位置或目的地，如站名标志、换乘标志等。
4.警示标志：用于提醒乘客和行驶人员注意安全，如平交道标志、限速标志、隧道标志等。
5.禁止标志：用于禁止乘客和行驶人员进行某些行为，如禁止吸烟标志、禁止通行标志等。
6.提示标志：用于提示乘客和行驶人员注意事项，如请勿随地吐痰标志、请勿乱扔垃圾标志等。
7.服务标志：用于提供服务信息，如车站信息标志、到站信息标志等。
8.轨道交通安全标志的作用是保障乘客和行驶人员的安全，提高运营效率，维护轨道交通的正常秩序。正确的轨道交通安全标志可以很好的起到指挥交通的作用，同时也可以为列车驾驶员提供相关的轨道运营信息，但是如果轨道交通安全标志存缺陷，就会对列车驾驶员产生错误的引导，从而造成严重的轨道交通事故，对列车上的乘客的生命财产安全造成严重的影响。
9.目前对轨道交通安全标志的缺陷检测主要依靠人工进行检测，人工检测存在主观因素的影响，不能够很好的判断轨道交通安全标志是否存在一定的缺陷，同时人工检测还会出现误检和漏检的现象，人工检测的效率较低，精确度也较低。


技术实现要素：

10.本发明实施例的主要目的在于提出一种轨道交通安全标志缺陷检测方法和装置、电子设备及介质，能够对轨道交通安全标志的缺陷进行自动化检测，且检测效率高、检测精度高。
11.为实现上述目的，本发明实施例的第一方面提出了一种轨道交通安全标志缺陷检测方法，所述方法包括：
12.通过相机拍摄待检测的轨道场景；
13.获取所述轨道场景中目标交通安全标志的图像信息；
14.构建缺陷检测模型，对所述交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，所述缺陷检测模型为retinanet网络模型；
15.将所述图像信息输入预先训练好的所述retinanet网络模型，以判断所述目标交通安全标志是否存在缺陷，其中，将所述retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到所述pan模块中，并且将所述retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。
16.在一些实施例，所述retinanet网络模型的训练方法如下：
17.获取用于模型训练的输入图像；
18.通过mask-rcnn算法对所述输入图像进行图像增强；
19.对所述输入图像的图像数据集进行划分；
20.将所述输入图像通过改进的resnet网络进行特征提取，得到特征图像；
21.将所述特征图像传给retinanet目标检测部分，所述特征图像通过添加cbam模块到pan模块，得到分类和回归所需要的特征信息；
22.通过focal loss损失函数对目标交通安全标志进行分类以及确定目标交通安全标志在所述输入图像中的位置信息；
23.重复执行上述步骤，直到达到训练预设定的轮数或者是损失函数达到收敛的情况，在训练的过程中不断调整超参数的大小，直至找到最优的超参数的数据，得到训练好的所述retinanet网络模型。
24.在一些实施例，所述对所述输入图像的图像数据集进行划分，包括：
25.将所述图像数据集中80％的数据划分为训练集，用于对模型的训练；
26.将所述图像数据集中10％的数据划分为验证集，用于对超参数的调整；
27.将所述图像数据集中10％的数据划分为验证集，用于对训练的结果进行验证，判断模型训练的情况。
28.在一些实施例，所述交通安全标志的缺陷定义包括：
29.轨道交通安全标志外观发生形变；
30.轨道交通安全标志倾倒；
31.轨道交通安全标志掉落；
32.轨道交通安全标志内容发生变化。
33.在一些实施例，所述方法还包括：
34.采用目标检测算法对所述相机进行标定，获取所述相机拍摄图像中所述目标交通安全标志的现实坐标。
35.在一些实施例，所述采用目标检测算法对所述相机进行标定，获取所述相机拍摄图像中所述目标交通安全标志的现实坐标，包括：
36.获取所述相机的内部参数；
37.计算出相机模型垂直于所述目标交通安全标志的平移向量；
38.计算世界坐标系绕图像坐标系的参数矩阵；
39.结合所述相机的实际位置得到图像坐标和世界坐标之间的坐标转换关系；
40.基于所述坐标转换关系得到所述目标交通安全标志的世界坐标。
41.在一些实施例，在所述将所述图像信息输入预先训练好的所述retinanet网络模型，以判断所述目标交通安全标志是否存在缺陷，其中，将所述retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到所述pan模块中，并且将所述retinanet网络模型
中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层之后，还包括：
42.对所述轨道交通安全标志存在的缺陷进行预警和上报。
43.为实现上述目的，本发明实施例的第二方面提出了一种轨道交通安全标志缺陷检测装置，所述装置包括：
44.拍摄模块，用于通过相机拍摄待检测的轨道场景；
45.获取模块，用于获取所述轨道场景中目标交通安全标志的图像信息；
46.构建模块，用于构建缺陷检测模型，对所述交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，所述缺陷检测模型为retinanet网络模型；
47.判断模块，用于将所述图像信息输入预先训练好的所述retinanet网络模型，以判断所述目标交通安全标志是否存在缺陷，其中，将所述retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到所述pan模块中，并且将所述retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。
48.为实现上述目的，本发明实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
49.为实现上述目的，本发明实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
50.本发明提出的轨道交通安全标志缺陷检测方法和装置、电子设备及介质,通过相机拍摄待检测的轨道场景；获取轨道场景中目标交通安全标志的图像信息；构建缺陷检测模型，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，缺陷检测模型为retinanet网络模型；将图像信息输入预先训练好的retinanet网络模型，以判断目标交通安全标志是否存在缺陷，其中，将retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到pan模块中，并且将retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。基于此，相比于现有的人力检测方法，本发明实施例采用机器视觉技术以及改进的retinanet网络模型，实现了交通安全标志的缺陷检测，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，将图像信息输入预先训练好的retinanet网络模型，本发明实施例在原网络的骨干网络resnet中使用卷积层来实现对特征图像的下采样过程，将空洞卷积层代替起到下采样作用的卷积层。空洞卷积层通过在卷积核中插入空洞的方法来扩大卷积过程中的感受野，从而增加了卷积操作感受野的大小，提高网络的特征提取能力，在空洞卷积操作的过程中，实现了下采样的效果，将特征图的尺寸减少了一半，同时还避免了下采样所造成的特征信息丢失的情况，很大程度上保护了特征信息的完整性，提高了网络检测的准确度。因此，本发明实施例能够对轨道交通安全标志的缺陷进行自动化检测，且检测效率高、检测精度高。
附图说明
51.图1是本发明实施例提供的轨道交通安全标志缺陷检测方法的流程图；
52.图2是本发明实施例提供的轨道交通安全标志缺陷检测装置的结构示意图；
53.图3是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
54.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
55.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
56.针对现有技术中轨道交通安全标志缺陷检测主要依靠人工检测，其效率低下的技术问题，本发明实施例提供了一种轨道交通安全标志缺陷检测方法和装置、电子设备及介质，通过相机拍摄待检测的轨道场景；获取轨道场景中目标交通安全标志的图像信息；构建缺陷检测模型，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，缺陷检测模型为retinanet网络模型；将图像信息输入预先训练好的retinanet网络模型，以判断目标交通安全标志是否存在缺陷，其中，将retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到pan模块中，并且将retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。基于此，相比于现有的人力检测方法，本发明实施例采用机器视觉技术以及改进的retinanet网络模型，实现了交通安全标志的缺陷检测，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，将图像信息输入预先训练好的retinanet网络模型，本发明实施例在原网络的骨干网络resnet中使用卷积层来实现对特征图像的下采样过程，将空洞卷积层代替起到下采样作用的卷积层。空洞卷积层通过在卷积核中插入空洞的方法来扩大卷积过程中的感受野，从而增加了卷积操作感受野的大小，提高网络的特征提取能力，在空洞卷积操作的过程中，实现了下采样的效果，将特征图的尺寸减少了一半，同时还避免了下采样所造成的特征信息丢失的情况，很大程度上保护了特征信息的完整性，提高了网络检测的准确度。因此，本发明实施例能够对轨道交通安全标志的缺陷进行自动化检测，且检测效率高、检测精度高。
57.本发明实施例提供的轨道交通安全标志缺陷检测方法和装置、电子设备及介质，具体通过如下实施例进行说明，首先描述本发明实施例中的轨道交通安全标志缺陷检测方法。
58.图1是本发明实施例提供的轨道交通安全标志缺陷检测方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤s101至步骤s104。
59.步骤s101，通过相机拍摄待检测的轨道场景；
60.步骤s102，获取轨道场景中目标交通安全标志的图像信息；
61.步骤s103，构建缺陷检测模型，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，缺陷检测模型为retinanet网络模型；
62.步骤s104，将图像信息输入预先训练好的retinanet网络模型，以判断目标交通安全标志是否存在缺陷，其中，将retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到pan模块中，并且将retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。
63.在一些实施例中，轨道交通安全标志的缺陷包括但不限于：轨道交通安全标志的
外部发生不规则形变、折叠；轨道交通安全标志倾倒；轨道交通安全标志内容缺失；轨道交通安全标志颜色发生变化等。
64.在一些实施例中，拍摄所需要检测的道路场景，对轨道交通安全标志进行缺陷定义，将存在缺陷的目标定义为负样本，缺陷定义包括如下：
65.轨道交通安全标志外观发生形变：轨道交通安全标志因为外界因素导致外观发生变化，例如折叠、扭曲、破裂等都可以认为是轨道交通安全标志存在缺陷。
66.轨道交通安全标志倾倒、掉落：轨道交通安全标志因为固定零件老化或是人为因素、外界自然因素等导致树立的轨道交通安全标志发生倾倒或是从原有位置掉落等，都有可以认为是轨道交通安全标志存缺陷。
67.轨道交通安全标志内容发生变化：轨道交通安全标志长期暴露在自然条件下，其内容或是内容的颜色等因自然原因发生变化，脱色、文字不清晰等，都可以认为是轨道交通安全标志存在缺陷。
68.在一些实施例中，采用目标检测算法对相机进行标定，获取相机拍摄图像中目标交通安全标志的现实坐标。通过获取相机的内部参数，计算出相机模型垂直于目标交通安全标志的平移向量，计算世界坐标系绕图像坐标系的参数矩阵，结合相机的实际位置得到图像坐标和世界坐标之间的坐标转换关系，基于坐标转换关系得到目标交通安全标志的世界坐标，其中，世界坐标就是目标交通安全标志在现实空间中的位置。
69.在一些实施例中，拍摄轨道道路图片，收集已定义的存在缺陷的轨道交通安全标志的图片，确定缺陷检测模型，通过深度学习的算法对缺陷检测模型进行训练。
70.在一些实施例中，本发明采用的缺陷检测模型为retinanet，为了提高网络对目标检测的准确性，本发明在retinanet缺陷检测模型中加入了cbam模块和pan模块，提高网络模型对目标的重视程度，pan将底层特征与顶层特征之间的融合，增加了底层定位信息的准确性。同时，本发明并将retinanet网络的骨干网络resnet中起到下采样作用的卷积层替换为空洞卷积层，减少在下采样过程中图像特征信息的丢失。
71.在一些实施例中，本发明采用的异常检测模型主要是改进的retinanet模型，轨道交通安全标志在图像中占据很小的位置，可以认定为一种小目标，原网络对小目标的检测存在一定的不足之处，本发明对原网络进行一定的改进，从而满足对小目标的检测，提高网络对轨道交通安全标志缺陷检测的准确性。将原网络中的fpn模块改为pan(像素聚合网络)模块，fpn模块很好的实现了多尺寸检测的功能，同时还实验了顶层特征与底层特征之间的融合，pan模块在fpn模块的基础上增加了一个从下到上的路径，通过从下到上的路径增强了在较低层中准确的定位信息，建立了底层与高层之前的信息路径，从而增强了整体特征框架，同时pan模块还创建了自适应特征池化，用于恢复候选区与特征层之间破坏的信息路径。pan模块有利于不同尺寸图片的检测，同时增强了感受野的大小,将全局特征与局部特征相融合。在pan模块中还加入了cbam(卷积块注意力)模块，传统的神经网络，在训练的过程中输入的图像特征起到相同的作用，但是在实际情况下，一个图像的每个部分在训练的过程中起到的作用是不相同的。注意力机制在输入图像特征进行训练的过程中，为图像的每一个部分分配不同的权重，使得图像特征的每一个部分在训练的过程中起到不同程度的作用，cbam注意力机制能够很好的让网络模型的注意力集中在图像中前景的部分而不会花费大量的注意力在图像中的背景部分，通过注意力机制可以使网络更加注意对当前任务较
为重要的信息，而忽略对任务不重要的信息，从而减少整个网络的信息量的传递同时还提高了任务处理的准确性以及高效性。本发明对原网络中的骨干网络部分进行改进，下采样过程可以很好的减少特征图像的尺寸，对特征信息进行筛选，但是在特征图像尺寸在减小的同时必然会丢失一定的特征信息，多次进行下采样的操作会造成特征信息的严重丢失，对网络检测的准确性有很大的影响。在原网络的骨干网络resnet中使用卷积层来实现对特征图像的下采样过程，本发明将空洞卷积层代替起到下采样作用的卷积层。空洞卷积层通过在卷积核中插入空洞的方法来扩大卷积过程中的感受野，从而增加了卷积操作感受野的大小，提高网络的特征提取能力，在空洞卷积操作的过程中，实现了下采样的效果，将特征图的尺寸减少了一半，同时还避免了下采样所造成的特征信息丢失的情况，很大程度上保护了特征信息的完整性，提高了网络检测的准确度。
72.在一些实施例中，通过相机拍摄待检测的轨道场景；获取轨道场景中目标交通安全标志的图像信息；构建缺陷检测模型，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，缺陷检测模型为retinanet网络模型；将图像信息输入预先训练好的retinanet网络模型，以判断目标交通安全标志是否存在缺陷，其中，将retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到pan模块中，并且将retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。基于此，相比于现有的人力检测方法，本发明实施例采用机器视觉技术以及改进的retinanet网络模型，实现了交通安全标志的缺陷检测，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，将图像信息输入预先训练好的retinanet网络模型，本发明实施例在原网络的骨干网络resnet中使用卷积层来实现对特征图像的下采样过程，将空洞卷积层代替起到下采样作用的卷积层。空洞卷积层通过在卷积核中插入空洞的方法来扩大卷积过程中的感受野，从而增加了卷积操作感受野的大小，提高网络的特征提取能力，在空洞卷积操作的过程中，实现了下采样的效果，将特征图的尺寸减少了一半，同时还避免了下采样所造成的特征信息丢失的情况，很大程度上保护了特征信息的完整性，提高了网络检测的准确度。因此，本发明实施例能够对轨道交通安全标志的缺陷进行自动化检测，且检测效率高、检测精度高。
73.在一些实施例中，retinanet网络模型的训练方法可以包括但不限于包括步骤s201至步骤s207：
74.步骤s201，获取用于模型训练的输入图像；
75.步骤s202，通过mask-rcnn算法对输入图像进行图像增强；
76.步骤s203，对输入图像的图像数据集进行划分；
77.步骤s204，将输入图像通过改进的resnet网络进行特征提取，得到特征图像；
78.步骤s205，将特征图像传给retinanet目标检测部分，特征图像通过添加cbam模块到pan模块，得到分类和回归所需要的特征信息；
79.步骤s206，通过focal loss损失函数对目标交通安全标志进行分类以及确定目标交通安全标志在输入图像中的位置信息；
80.步骤s207，重复执行上述步骤s201至s206，直到达到训练预设定的轮数或者是损失函数达到收敛的情况，在训练的过程中不断调整超参数的大小，直至找到最优的超参数的数据，得到训练好的retinanet网络模型。
81.在一些实施例中，输入图像，通过mask-rcnn算法对输入的图像进行图像增强。主要对输入的图像进行一定程度上的旋转、翻转、裁剪、多个图像合并等操作对原有的数据集进行增强和扩充。对输入的图像数据集进行划分，将80％的数据划分为训练集，用于对模型的训练，将10％的数据划分为验证集，用于对超参数的调整，将10％的数据划分为验证集，对训练的结果进行验证，判断模型训练的情况。将输入的图像通过改进的resnet网络进行特征提取，得到特征图像。将特征图像传给retinanet目标检测部分，特征图像通过添加cbam模块到pan模块，得到分类和回归所需要的特征信息。通过focal loss损失函数对目标进行分类以及确定目标在图像中的位置信息。重复执行上述过程，直到达到训练预设定的轮数或者是损失函数达到收敛的情况，在训练的过程中不断调整超参数的大小，从而找到最优的超参数的数据，提高模型对交通安全标志缺陷检测的准确性。
82.需要指出的是，本发明在原有的retinanet网络的基础上做出了改进，增加了网络对异常检测的准确性，本发明将原网络中的fpn模块改为了pan模块，同时将cbam模块嵌入pan中，提高网络对目标的注意力，将原网络中骨干网络resnet中起到下采样作用的卷积层替换为空洞卷积层，在起到下采样的作用的同时，较少下采样所带来的信息丢失的情况。
83.在一些实施例中，在步骤s104之后可以包括但不限于包括步骤s105：
84.步骤s105，对轨道交通安全标志存在的缺陷进行预警和上报。
85.在一些实施例中，本发明实施例对轨道交通安全标志可能存在的缺陷进行定义，使用改进的retinanet网络对轨道交通安全标志进行缺陷检测，判断其是否存在缺陷的情况。同时将检测结果快速反馈给相关部门，对存在缺陷的轨道交通安全标志进行更换，快速检测、快速更换的效果。
86.请参阅图2，本发明实施例还提供一种轨道交通安全标志缺陷检测装置，可以实现上述轨道交通安全标志缺陷检测方法，该装置包括：
87.拍摄模块210，用于通过相机拍摄待检测的轨道场景；
88.获取模块220，用于获取轨道场景中目标交通安全标志的图像信息；
89.构建模块230，用于构建缺陷检测模型，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，缺陷检测模型为retinanet网络模型；
90.判断模块240，用于将图像信息输入预先训练好的retinanet网络模型，以判断目标交通安全标志是否存在缺陷，其中，将retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到pan模块中，并且将retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。
91.基于此，本发明实施例的轨道交通安全标志缺陷检测装置，拍摄模块210通过相机拍摄待检测的轨道场景；获取模块220获取轨道场景中目标交通安全标志的图像信息；构建模块230构建缺陷检测模型，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，缺陷检测模型为retinanet网络模型；判断模块240将图像信息输入预先训练好的retinanet网络模型，以判断目标交通安全标志是否存在缺陷，其中，将retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到pan模块中，并且将retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。本发明实施例通过相机拍摄待检测的轨道场景；获取轨道场景中目标交通安全标志的图像信息；构建缺陷检测模型，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义
为负样本，其中，缺陷检测模型为retinanet网络模型；将图像信息输入预先训练好的retinanet网络模型，以判断目标交通安全标志是否存在缺陷，其中，将retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到pan模块中，并且将retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。基于此，相比于现有的人力检测方法，本发明实施例采用机器视觉技术以及改进的retinanet网络模型，实现了交通安全标志的缺陷检测，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，将图像信息输入预先训练好的retinanet网络模型，本发明实施例在原网络的骨干网络resnet中使用卷积层来实现对特征图像的下采样过程，将空洞卷积层代替起到下采样作用的卷积层。空洞卷积层通过在卷积核中插入空洞的方法来扩大卷积过程中的感受野，从而增加了卷积操作感受野的大小，提高网络的特征提取能力，在空洞卷积操作的过程中，实现了下采样的效果，将特征图的尺寸减少了一半，同时还避免了下采样所造成的特征信息丢失的情况，很大程度上保护了特征信息的完整性，提高了网络检测的准确度。因此，本发明实施例能够对轨道交通安全标志的缺陷进行自动化检测，且检测效率高、检测精度高。
92.该轨道交通安全标志缺陷检测装置的具体实施方式与上述轨道交通安全标志缺陷检测方法的具体实施例基本相同，在此不再赘述。
93.本发明实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述轨道交通安全标志缺陷检测方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
94.请参阅图3，图3示意了另一实施例的电子设备的硬件结构，电子设备包括：
95.处理器301，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本发明实施例所提供的技术方案。
96.存储器302，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器302可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器302中，并由处理器301来调用执行本发明实施例的轨道交通安全标志缺陷检测方法，即通过相机拍摄待检测的轨道场景；获取轨道场景中目标交通安全标志的图像信息；构建缺陷检测模型，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，缺陷检测模型为retinanet网络模型；将图像信息输入预先训练好的retinanet网络模型，以判断目标交通安全标志是否存在缺陷，其中，将retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到pan模块中，并且将retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。基于此，相比于现有的人力检测方法，本发明实施例采用机器视觉技术以及改进的retinanet网络模型，实现了交通安全标志的缺陷检测，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，将图像信息输入预先训练好的retinanet网络模型，本发明实施例在原网络的骨干网络resnet中使用卷积层来实现对特征图像的下采样过程，将空洞卷积层代替起到下采样作用的卷积层。空洞卷积层通过在卷积核中插入空洞的方法来扩大卷积过程中的感受野，从而增加了卷积操作感受野的大小，提高网络的特征提取能力，在空洞
卷积操作的过程中，实现了下采样的效果，将特征图的尺寸减少了一半，同时还避免了下采样所造成的特征信息丢失的情况，很大程度上保护了特征信息的完整性，提高了网络检测的准确度。因此，本发明实施例能够对轨道交通安全标志的缺陷进行自动化检测，且检测效率高、检测精度高。
97.输入/输出接口303，用于实现信息输入及输出。
98.通信接口304，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
99.总线，在设备的各个组件(例如处理器301、存储器302、输入/输出接口303和通信接口304)之间传输信息。
100.其中处理器301、存储器302、输入/输出接口303和通信接口304通过总线实现彼此之间在设备内部的通信连接。
101.本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述轨道交通安全标志缺陷检测方法。
102.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
103.本发明实施例提供的轨道交通安全标志缺陷检测方法、轨道交通安全标志缺陷检测装置、电子设备及存储介质，通过相机拍摄待检测的轨道场景；获取轨道场景中目标交通安全标志的图像信息；构建缺陷检测模型，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，缺陷检测模型为retinanet网络模型；将图像信息输入预先训练好的retinanet网络模型，以判断目标交通安全标志是否存在缺陷，其中，将retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到pan模块中，并且将retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。基于此，相比于现有的人力检测方法，本发明实施例采用机器视觉技术以及改进的retinanet网络模型，实现了交通安全标志的缺陷检测，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，将图像信息输入预先训练好的retinanet网络模型，本发明实施例在原网络的骨干网络resnet中使用卷积层来实现对特征图像的下采样过程，将空洞卷积层代替起到下采样作用的卷积层。空洞卷积层通过在卷积核中插入空洞的方法来扩大卷积过程中的感受野，从而增加了卷积操作感受野的大小，提高网络的特征提取能力，在空洞卷积操作的过程中，实现了下采样的效果，将特征图的尺寸减少了一半，同时还避免了下采样所造成的特征信息丢失的情况，很大程度上保护了特征信息的完整性，提高了网络检测的准确度。因此，本发明实施例能够对轨道交通安全标志的缺陷进行自动化检测，且检测效率高、检测精度高。
104.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或
者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读程序、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读程序、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
105.本发明实施例描述的实施例是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
106.本领域技术人员可以理解的是，图中示出的技术方案并不构成对本发明实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
107.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
108.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
109.本发明的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
110.应当理解，在本发明中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
111.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
112.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
113.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
114.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
115.以上参照附图说明了本发明实施例的优选实施例，并非因此局限本发明实施例的权利范围。本领域技术人员不脱离本发明实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本发明实施例的权利范围之内。

技术特征：
1.一种轨道交通安全标志缺陷检测方法，其特征在于，所述方法包括：通过相机拍摄待检测的轨道场景；获取所述轨道场景中目标交通安全标志的图像信息；构建缺陷检测模型，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，所述缺陷检测模型为retinanet网络模型；将所述图像信息输入预先训练好的所述retinanet网络模型，以判断所述目标交通安全标志是否存在缺陷，其中，将所述retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到所述pan模块中，并且将所述retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。2.根据权利要求1所述的方法，其特征在于，所述retinanet网络模型的训练方法如下：获取用于模型训练的输入图像；通过mask-rcnn算法对所述输入图像进行图像增强；对所述输入图像的图像数据集进行划分；将所述输入图像通过改进的resnet网络进行特征提取，得到特征图像；将所述特征图像传给retinanet目标检测部分，所述特征图像通过添加cbam模块到pan模块，得到分类和回归所需要的特征信息；通过focal loss损失函数对目标交通安全标志进行分类以及确定目标交通安全标志在所述输入图像中的位置信息；重复执行上述步骤，直到达到训练预设定的轮数或者是损失函数达到收敛的情况，在训练的过程中不断调整超参数的大小，直至找到最优的超参数的数据，得到训练好的所述retinanet网络模型。3.根据权利要求2所述的方法，其特征在于，所述对所述输入图像的图像数据集进行划分，包括：将所述图像数据集中80％的数据划分为训练集，用于对模型的训练；将所述图像数据集中10％的数据划分为验证集，用于对超参数的调整；将所述图像数据集中10％的数据划分为验证集，用于对训练的结果进行验证，判断模型训练的情况。4.根据权利要求1所述的方法，其特征在于，所述交通安全标志的缺陷定义包括：轨道交通安全标志外观发生形变；轨道交通安全标志倾倒；轨道交通安全标志掉落；轨道交通安全标志内容发生变化。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：采用目标检测算法对所述相机进行标定，获取所述相机拍摄图像中所述目标交通安全标志的现实坐标。6.根据权利要求5所述的方法，其特征在于，所述采用目标检测算法对所述相机进行标定，获取所述相机拍摄图像中所述目标交通安全标志的现实坐标，包括：获取所述相机的内部参数；计算出相机模型垂直于所述目标交通安全标志的平移向量；
计算世界坐标系绕图像坐标系的参数矩阵；结合所述相机的实际位置得到图像坐标和世界坐标之间的坐标转换关系；基于所述坐标转换关系得到所述目标交通安全标志的世界坐标。7.根据权利要求1至6任意一项所述的方法，其特征在于，在所述将所述图像信息输入预先训练好的所述retinanet网络模型，以判断所述目标交通安全标志是否存在缺陷，其中，将所述retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到所述pan模块中，并且将所述retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层之后，还包括：对所述轨道交通安全标志存在的缺陷进行预警和上报。8.一种轨道交通安全标志缺陷检测装置，其特征在于，所述装置包括：拍摄模块，用于通过相机拍摄待检测的轨道场景；获取模块，用于获取所述轨道场景中目标交通安全标志的图像信息；构建模块，用于构建缺陷检测模型，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，所述缺陷检测模型为retinanet网络模型；判断模块，用于将所述图像信息输入预先训练好的所述retinanet网络模型，以判断所述目标交通安全标志是否存在缺陷，其中，将所述retinanet网络模型中的fpn模块改为pan模块，同时将cbam模块嵌入到所述pan模块中，并且将所述retinanet网络模型中骨干网络resnet起到下采样作用的卷积层替换为空洞卷积层。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的轨道交通安全标志缺陷检测方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的轨道交通安全标志缺陷检测方法。

技术总结
本发明实施例提供了一种轨道交通安全标志缺陷检测方法和装置、电子设备及介质。该方法包括：通过相机拍摄待检测的轨道场景；获取轨道场景中目标交通安全标志的图像信息；构建缺陷检测模型，对交通安全标志的缺陷进行定义，将存在缺陷的交通安全标志定义为负样本，其中，缺陷检测模型为RetinaNet网络模型；将图像信息输入预先训练好的RetinaNet网络模型，以判断目标交通安全标志是否存在缺陷，其中，将RetinaNet网络模型中的FPN模块改为PAN模块，同时将CBAM模块嵌入到PAN模块中，并且将RetinaNet网络模型中骨干网络ResNet起到下采样作用的卷积层替换为空洞卷积层，检测效率和检测精度高。检测精度高。检测精度高。


技术研发人员：刘成沛 郑昊辰 孙全俊 谢丰源 李堉明
受保护的技术使用者：五邑大学
技术研发日：2023.04.23
技术公布日：2023/10/8