一种破损交通标志检测方法及装置

1.本技术涉及智能交通技术领域，尤其是涉及一种破损交通标志检测方法及装置。


背景技术：

2.道路交通标志是保证道路交通安全和顺畅的重要设施，但是由于自然因素、人为因素和管理因素等多种原因，交通标志存在破损或缺失的情况。这不仅损害了道路管理部门在公众心中的形象，也给驾驶员和行人带来了极大的安全隐患。为了及时发现并修复破损的交通标志，保证其正常工作，并为道路管理部门提供科学依据和决策支持，如何检测与识别破损交通标志成为亟需解决的问题。
3.目前，针对破损交通标志的检测和识别技术还较为缺乏。再者，由于破损的交通标志与正常完好的交通标志在外观上较为接近，且破损的状态复杂多样，因此使用传统的目标检测方法难以捕捉破损交通标志中较为细节的局部破损特征，无法将破损交通标志与正常交通标志区分开，导致目标检测准确率较低。
4.针对上述中的相关技术，发明人发现现有的目标检测方法存在有难以提取破损交通标志中细微的局部特征导致检测精度较低的问题。


技术实现要素：

5.为了提高破损交通标志的检测精度，本技术提供了一种破损交通标志检测方法及装置。
6.第一方面，本技术提供一种破损交通标志检测方法。
7.本技术是通过以下技术方案得以实现的：
8.一种破损交通标志检测方法，包括以下步骤，
9.采集若干破损交通标志与正常交通标志的数据，构建数据集；
10.标注所述数据集，得到训练集；
11.预设yolov5模型，并设计所述yolov5模型的细粒度损失函数模块，其中，所述细粒度损失函数模块包括判别性组件和多样性组件，判别性组件用于使不同层次的特征图包含充分的判别性信息，多样性组件用于保持不同层次特征图的多样性和交互性；
12.将所述训练集输入所述yolov5模型中，结合所述细粒度损失函数模块进行模型训练，直至达到预设条件，输出训练好的模型作为目标检测模型；
13.基于所述目标检测模型进行破损交通标志检测。
14.本技术在一较佳示例中可以进一步配置为：所述判别性组件包括第一se通道注意力机制层、正负样本对选择层、跨通道最大池化层、全局平均池化层和第一softmax层；
15.所述第一se通道注意力机制层用于对扩充后的特征图的权重进行重构，增大关键特征通道的权重并减少冗余特征通道的权重；所述正负样本对选择层用于确定破损标志的目标级负样本特征图和正常标志的目标级正样本特征图；所述跨通道最大池化层用于将所述负样本特征图和所述正样本特征图进行一个跨通道最大池化，得到降维特征图；
16.所述全局平均池化层用于将所述降维特征图在空间域进行全局平均池化，得到包含正、负样本判别性信息的压缩特征图；
17.所述第一softmax层用于基于所述压缩特征图，结合真实标签进行交叉熵计算，并预测任一组正负样本特征图的判别性损失值。
18.本技术在一较佳示例中可以进一步配置为：所述任一组正负样本特征图的判别性损失值的计算公式包括，
[0019][0020]
式中，为任一组正负样本特征图的判别性损失函数值，为负样本特征图，为正样本特征图，j＝1,2,3分别代表低、中、高层次的特征图，l
ce
为交叉熵损失函数，y为真实标签，为负样本特征图的降维和压缩操作，为正样本特征图的降维和压缩操作，e为指数函数。
[0021]
本技术在一较佳示例中可以进一步配置为：所述判别性组件还包括交叉熵计算层和平均层，所述交叉熵计算层的输入端连接所述第一softmax层的输出端，所述交叉熵计算层的输出端连接所述平均层的输入端；
[0022]
所述交叉熵计算层用于预测任一层次的正负样本特征图的判别性损失值；
[0023]
所述平均层用于基于任一层次的正负样本特征图的判别性损失值，设计判别性损失函数。
[0024]
本技术在一较佳示例中可以进一步配置为：所述判别性损失函数的表达式包括，
[0025][0026][0027]
式中，l
dis
为判别性损失函数值，为任一层次的正负样本特征图的判别性损失值，n0为破损交通标志的数目，i用于计数其中的每一个破损交通标志数目，即从第1个数到第n0个的每一个破损交通标志都参与运算。
[0028]
本技术在一较佳示例中可以进一步配置为：所述多样性组件包括第二se通道注意力机制层、最大池化层、展平层、余弦相似度计算层和第二softmax层，
[0029]
所述第二se通道注意力机制层用于对扩充后的特征图的权重进行重构，增大关键特征通道的权重并减少冗余特征通道的权重；
[0030]
所述最大池化层用于对扩充后的重构权重的特征图的尺寸进行对齐，突出特征图中最大响应值的部分，得到不同层次特征图的统一尺寸的张量；
[0031]
所述展平层用于对所述张量在空间维度进行展平压缩；
[0032]
所述余弦相似度计算层用于获得所述张量两两之间的余弦相似度；
[0033]
所述第二softmax层用于根据所述余弦相似度的标量，计算不同层次特征图两两之间的相似度，并基于所述相似度设计多样性损失函数。
[0034]
本技术在一较佳示例中可以进一步配置为：所述多样性损失函数的表达式包括，
[0035]
l
div
＝αsim
1,3
―βsim
2,3
―γsim
1,2
[0036]
式中，l
div
为多样性损失函数值，sim
1,3
为低层特征图与高层特征图之间的相似度，sim
2,3
为中层特征图与高层特征图之间的相似度，sim
1,2
为低层特征图与中层特征图之间的相似度，α、β、γ均为大于零的超参数。
[0037]
第二方面，本技术提供一种破损交通标志检测装置。
[0038]
本技术是通过以下技术方案得以实现的：
[0039]
一种破损交通标志检测装置，包括，
[0040]
原始数据模块，用于采集若干破损交通标志与正常交通标志的数据，构建数据集；
[0041]
训练数据模块，用于标注所述数据集，得到训练集；
[0042]
细粒度模块，用于预设yolov5模型，并设计所述yolov5模型的细粒度损失函数模块，其中，所述细粒度损失函数模块包括判别性组件和多样性组件，判别性组件用于使不同层次的特征图包含充分的判别性信息，多样性组件用于保持不同层次特征图的多样性和交互性；
[0043]
训练模块，用于将所述训练集输入所述yolov5模型中，结合所述细粒度损失函数模块进行模型训练，直至达到预设条件，输出训练好的模型作为目标检测模型；
[0044]
检测模块，用于基于所述目标检测模型进行破损交通标志检测。
[0045]
第三方面，本技术提供一种计算机设备。
[0046]
本技术是通过以下技术方案得以实现的：
[0047]
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意一种破损交通标志检测方法的步骤。
[0048]
第四方面，本技术提供一种计算机可读存储介质。
[0049]
本技术是通过以下技术方案得以实现的：
[0050]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种破损交通标志检测方法的步骤。
[0051]
综上所述，与现有技术相比，本技术提供的技术方案带来的有益效果至少包括：
[0052]
采集若干破损交通标志与正常交通标志的数据，构建数据集，作为模型训练的原始数据；标注数据集，得到训练集，用于后续模型训练；预设yolov5模型，并设计yolov5模型的细粒度损失函数模块，其中，细粒度损失函数模块包括判别性组件和多样性组件，将训练集输入yolov5模型中，结合细粒度损失函数模块进行模型训练，直至达到预设条件，输出训练好的模型作为目标检测模型，基于目标检测模型进行破损交通标志检测；其中，多样性组件能够保持不同层次特征图的多样性和交互性，判别性组件能够使不同层次的特征图包含充分的判别性信息，确保从每层提取转化的特征图包含充分的判别性信息，并对多样性组件起到引导性作用，以减少不同层次特征图的关键信息丢失，进而改进后的模型能够去关注不同层次的具有判别性信息的局部区域，以捕捉到更多局部细微的判别性特征，进而更好地捕捉破损交通标志的局部细微的破损特征，从而更好地将破损交通标志与正常交通标志区分开来，极大提高了破损交通标志的检测精度，能够达到较好的细粒度目标检测的效果；同时，本技术的目标检测模型无需经过复杂的网络设计，能在提高检测精度的同时，不
会增加推理过程的参数量和计算量，即不会影响模型的检测推理过程的速度，并且可以扩展至其他含有多层次的目标检测算法中，适用性更强。
附图说明
[0053]
图1为本技术一个示例性实施例提供的一种破损交通标志检测方法的主要流程示意图。
[0054]
图2为本技术又一个示例性实施例提供的一种破损交通标志检测方法的工作原理示意图。
[0055]
图3为本技术一个示例性实施例提供的一种破损交通标志检测方法的改进yolov5模型的细粒度损失函数模块的网格结构示意图。
[0056]
图4为本技术另一个示例性实施例提供的一种破损交通标志检测方法的改进yolov5模型的整体网格结构示意图。
[0057]
图5为本技术一个示例性实施例提供的一种破损交通标志检测方法的改进yolov5模型的gsconv模块的网格结构示意图。
[0058]
图6为本技术一个示例性实施例提供的一种破损交通标志检测方法的改进yolov5模型的gsconv模块中的gs bottleneck子模块和vovgscsp子模块的网格结构示意图。
[0059]
图7为本技术一个示例性实施例提供的一种破损交通标志检测方法在检测过程中各个层次的gradcam热力图可视化的结果图。
[0060]
图8为本技术一个示例性实施例提供的一种破损交通标志检测方法的破损交通标志检测示例图。
具体实施方式
[0061]
本具体实施例仅仅是对本技术的解释，其并不是对本技术的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本技术的权利要求范围内都受到专利法的保护。
[0062]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0063]
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
[0064]
破损交通标志的检测与识别作为智能交通系统中的一个重要问题，它涉及到从复杂场景中分隔出可能是交通标志的区域，并对其进行分类。现有技术主要基于深度学习方法对所有的交通标志进行统一的目标检测，并且通过分类器识别提取出其代表的具体信息，如限速、限高等。而由于破损的交通标志与正常完好的交通标志在外观上较为接近，且破损的状态复杂多样，因此使用传统的目标检测方法难以捕捉破损交通标志中较为细节的局部破损特征，无法将其与正常交通标志较好地区分开，导致准确率较低。此外，破损的交通标志数据还存在难以获取的问题。
[0065]
为此，本技术提出了一种破损交通标志检测方法，其基于改进的yolov5的细粒度破损交通标志检测，通过在传统的目标检测模型的训练过程中增加创新性设计的细粒度损失函数mutual feature layers loss模块，以借助细粒度损失函数使模型捕捉到更多局部细微的判别性特征，从而达到较好的细粒度目标检测的效果。该方法具有简单、高性能、高精度、易迁移的优点，同时，该方法不需要经过复杂的网络设计，能在提高模型检测精度的同时，不影响模型检测推理过程的速度，并且可以扩展至其他含有多层次的目标检测算法中。
[0066]
下面结合说明书附图对本技术实施例作进一步详细描述。
[0067]
参照图1，本技术实施例提供一种破损交通标志检测方法，所述方法的主要步骤描述如下。
[0068]
s1:采集若干破损交通标志与正常交通标志的数据，构建数据集；
[0069]
s2:标注所述数据集，得到训练集；
[0070]
s3:预设yolov5模型，并设计所述yolov5模型的细粒度损失函数模块，其中，所述细粒度损失函数模块包括判别性组件和多样性组件，判别性组件用于使不同层次的特征图包含充分的判别性信息，多样性组件用于保持不同层次特征图的多样性和交互性；
[0071]
s4:将所述训练集输入所述yolov5模型中，结合所述细粒度损失函数模块进行模型训练，直至达到预设条件，输出训练好的模型作为目标检测模型；
[0072]
s5:基于所述目标检测模型进行破损交通标志检测。
[0073]
参照图2和图3，在一实施例中，所述判别性组件包括第一se通道注意力机制层、正负样本对选择层、跨通道最大池化层、全局平均池化层和第一softmax层；
[0074]
所述第一se通道注意力机制层用于对扩充后的特征图的权重进行重构，增大关键特征通道的权重并减少冗余特征通道的权重；
[0075]
所述正负样本对选择层(p/n pair selection)用于确定破损标志的目标级负样本特征图和正常标志的目标级正样本特征图
[0076]
所述跨通道最大池化层(ccmp)用于将所述负样本特征图和所述正样本特征图进行一个跨通道最大池化，得到降维特征图；
[0077]
所述全局平均池化层(gap)用于将所述降维特征图在空间域进行全局平均池化，得到包含正、负样本判别性信息的压缩特征图；
[0078]
所述第一softmax层用于基于所述压缩特征图，结合真实标签进行交叉熵计算，并预测任一组正负样本特征图的判别性损失值。
[0079]
在一实施例中，所述任一组正负样本特征图的判别性损失值的计算公式包括，
[0080][0081]
式中，为任一组正负样本特征图的判别性损失函数值，为负样本特征图，为正样本特征图，j＝1,2,3分别代表低、中、高层次的特征图，l
ce
为交叉熵损失函数，y为真实标签，为负样本特征图的降维和压缩操作，为正样本特征图的降维和压缩操作，e为指数函数。
[0082]
在一实施例中，所述判别性组件还包括交叉熵计算层和平均层，所述交叉熵计算层的输入端连接所述第一softmax层的输出端，所述交叉熵计算层的输出端连接所述平均层的输入端；
[0083]
所述交叉熵计算层(cross-entropy calculation)用于预测任一层次的正负样本特征图的判别性损失值；
[0084]
所述平均层(average)用于基于任一层次的正负样本特征图的判别性损失值，设计判别性损失函数。
[0085]
在一实施例中，所述判别性损失函数的表达式包括，
[0086][0087][0088]
式中，l
dis
为判别性损失函数值，为任一层次的正负样本特征图的判别性损失值，n0为破损交通标志的数目，i用于计数其中的每一个破损交通标志数目，即从第1个数到第n0个的每一个破损交通标志都参与运算。
[0089]
在一实施例中，所述多样性组件包括第二se通道注意力机制层、最大池化层、展平层、余弦相似度计算层和第二softmax层，
[0090]
所述第二se通道注意力机制层用于对扩充后的特征图的权重进行重构，增大关键特征通道的权重并减少冗余特征通道的权重；
[0091]
所述最大池化层(maxpool)用于对扩充后的重构权重的特征图的尺寸进行对齐，突出特征图中最大响应值的部分，得到不同层次特征图的统一尺寸的张量；
[0092]
所述展平层(flatten)用于对所述张量在空间维度进行展平压缩；
[0093]
所述余弦相似度计算层(compute cosine similarity)用于获得所述张量两两之间的余弦相似度；
[0094]
所述第二softmax层用于根据所述余弦相似度的标量，计算不同层次特征图两两之间的相似度，并基于所述相似度设计多样性损失函数。
[0095]
在一实施例中，所述多样性损失函数的表达式包括，
[0096]
l
div
＝αsim
1,3
―βsim
2,3
―γsim
1,2
[0097]
式中，l
div
为多样性损失函数值，sim
1,3
为低层特征图与高层特征图之间的相似度，sim
2,3
为中层特征图与高层特征图之间的相似度，sim
1,2
为低层特征图与中层特征图之间的相似度，α、β、γ均为大于零的超参数。
[0098]
上述各个实施例的具体描述如下。
[0099]
参照图2，采集若干破损交通标志与正常交通标志的数据，构成数据集。本实施例中，实验数据来源于广州各道路收集的正常交通标志与破损交通标志图片。其中通过人工拍摄，共收集到了1134张交通标志图片，其中包含破损交通标志的图片有503张，包含正常交通标志的图片631张。其中破损交通标志包括表面磨损、边缘破损、倾斜倒塌等状态。
[0100]
大量优质的训练数据对于机器学习的性能提升有重要作用。因此对破损交通标志和正常交通标志的数据集进行数据增强预处理，可以通过使用mosaic数据增强方法提高数
据鲁棒性，以及，采用水平和垂直翻转、随机旋转、随机裁剪、变形和缩放等数据增强方式增加数据量较少的类型的样本量，以获得破损的交通标志数据，在扩充数据集的同时提高模型的泛化性能力。
[0101]
对进行数据增强预处理后的数据集进行人工标注，构成训练集。本实施例中，通过数据标注工具labelme对处理后的数据集进行标注，标注类别包括：broken：破损的交通标志；normal：正常的交通标志；标注的格式为yolo的txt格式，标注文件包含了标注框的位置、大小信息以及类别信息。
[0102]
接着，对增强预处理后数据集进行划分，通过随机取样的方法，例如，将数据集以8：2的比例划分为训练集和验证集。其中训练集内的样本将用于模型的训练，验证集内的样本则不参与模型的训练过程，仅用于最终模型的性能评估。
[0103]
参照图3，在原有的损失函数基础上，为yolov5模型引入细粒度损失函数mutual feature layer loss模块，其中，细粒度损失函数模块包括用于实现不同层次的特征图包含充分的判别性信息的判别性组件和用于保持不同层次特征图的多样性和交互性的多样性组件。将提取的不同层次的特征图分别输入判别性组件后，再分别输入同一个多样性组件中，使得不同层次的特征图分别关注目标的不同局部区域，以达到捕捉交通标志中可能存在的细微局部破损特征这一目的；并且该过程仅增加了训练过程中的小部分计算量，不会增加推理过程中的计算复杂度从而导致推理速度降低。
[0104]
其中，细粒度损失函数mutual feature layer loss模块的多样性组件的具体实现方式为：将yolov5里用于最终检测的低中高层特征图分别先经过一个卷积变化，在保持宽、高尺寸不变的同时将通道扩充至512维度，使得转换后的特征图足够容纳丰富多样的破损特征。由于转换后的特征图的通道增加有可能会增加冗余信息，因此使用se通道注意力机制对扩充后的特征图权重进行重构，使得模型对重要的特征通道赋予更大的权重并减少对冗余部分的关注，随后通过一个maxpool最大池化层将转换后的特征图的尺寸进行对齐，突出特征图中最大响应值的部分后并将其映射到新的特征图，此时原来三个不同尺度的特征图被统一变成尺寸为(512,8,8)的张量。随后将这三个张量在空间维度进行展平压缩，以用于计算两两之间的余弦相似度sim
1,2
,sim
1,3
,sim
2,3
。三个张量两两之间进行余弦相似度计算后将得到三个余弦相似度的标量，再通过softmax计算后将相似度映射至(0,1)区间内，得到最终不同层次特征图之间的相似度。通过可视化方法可以观察到，原有yolov5方法内不同层次特征图关注的特征区域是非常相似的，因此不利于对相似物体局部细微差异的捕捉。因此我们这里将不同层次的特征图在特征空间上通过降低其相似度的方法对其进行拉开。在yolov5中，低层特征图关注的是较为细节的特征，高层特征图则关注的是较为全局的特征，中层特征图则处于两者之间。我们这里选择将高层与低层的特征图的相似度进行拉开，使得低层特征图能够关注更多物体的细节而不是高层特征图关注的整体。而中层特征图在yolov5中是低层和高层特征图连接的桥梁，其与低层特征图和高层特征图的交互将有利于模型结合局部特征和整体特征进行预测判断，如果将所有特征图两两之间的相似度进行拉开可能会破坏各个特征图之间的交互性。因此在拉开低层和高层特征图的相似度的同时，需要将低层特征图与中层特征图以及高层特征图与中层特征图的相似度进行拉近，使得各个特征图之间保持多样性的同时也保留良好的交互性。最终的多样性损失函数表示为：
[0105]
l
div
＝αsim
1,3
―βsim
2,3
―γsim
1,2
[0106]
式中，l
div
为多样性损失函数值，sim
1,3
为低层特征图与高层特征图之间的相似度，sim
2,3
为中层特征图与高层特征图之间的相似度，sim
1,2
为低层特征图与中层特征图之间的相似度，α、β、γ均为大于零的超参数。
[0107]
本实施例中，根据实验结果，在该数据集中，多样性损失函数中，分别取α＝4,β＝γ＝0.5时效果最佳。
[0108]
进一步地，细粒度损失函数mutual feature layer loss模块的判别性组件的具体实现方式为：将训练集的标注框内的图像分别映射至低中高层的特征图中，在每一层中，将一个batch中每一个真实值为破损标志的框内特征图与真实值为正常标志的框内特征图进行比较，通过计算余弦相似度挑选最接近的一对正负样本。将这对正负样本特征图进行与多样性组件同样的卷积变化，将通道扩充至512维并通过se注意力机制，将得到的正负样本特征图记为代表低中高层次的特征图，0代表破损，1代表正常)。随后进行一个跨通道最大池化(ccmp跨通道最大池化)将特征图中的响应峰值最大的部分映射至新的特征图中，此时通道数重新降维至1维。紧接着在空间域进行全局平均池化，此时正、负样本特征图将被压缩为两个标量其浓缩包含了各自具有判别性的信息。随后对其进行softmax变换后与真实标签进行交叉熵计算，从而构成两者之间的判别性损失函数失函数由于一个batch中不止有一对正负样本，记每个batch中破损标志的数目为n0，则该层的判别性损失函数为最终的判别性损失函数为函数为判别性损失的核心目的是确保从每层提取转化的特征图包含充分的判别性信息，并且由于多样性组件中将高层与低层的特征图相似度进行拉开的操作具有一定的随机性，有可能会使得拉开后的特征图丢失关键的信息，因此判别性组件还对多样性组件起到重要的引导性作用，两者结合可以使引导模型去关注不同具有判别性信息的局部区域。
[0109]
最终细粒度损失函数mutual feature layer loss的计算公式为：
[0110]
l
mfl
＝l
dis
+λl
div
[0111]
其中，l
dis
为判别性损失函数值，l
div
为多样性损失函数值，λ为大于零的超参数。
[0112]
本实施例中，根据实验结果，在该数据集中，λ取1时效果最佳。
[0113]
参照图4，本技术基于改进的yolov5模型进行破损交通标志的检测。改进的yolov5模型可以称为mfl-yolo模型。改进的yolov5模型的网络结构如图4所示。
[0114]
其中，为了提高模型提取关键特征的能力，本技术在传统的yolov5模型的backbone部分加入了se通道注意力机制，通过在传统的yolov5模型上增加注意力机制模块，为不同的特征分配不同的权重，使网络能够更有效地提取关键特征。
[0115]
以及，在传统的yolov5模型的neck部分使用轻量级卷积gsconv模块来代替标准卷积，其计算成本约为标准卷积的60％-70％，但对模型学习能力的贡献和后者不相上下。gsconv是一种密集卷积和稀疏卷积相结合的新型卷积操作。
[0116]
在gsconv模块的基础上继续引入gs bottleneck子模块，使用一次性聚合one-shot aggregation的方法来设计跨级部分网络vov-gscsp子模块,并将vov-gscsp子模块来代替yolov5原有的neck部分中传统的csp模块，使得模型的计算效率flops平均比原来减少了15.72％，完成了传统的yolov5模型的neck部分的轻量化改进。
[0117]
其中，gsconv模块、gsbottleneck子模块和vov-gscsp子模块的网络结构如图5和图6所示。
[0118]
参照图5，本技术的gsconv模块，除了使用l1正则化对卷积核进行稀疏化处理外，还利用了两种技术，即动态感受野(dynamic receptive field，drf)和半稠密连接(half dense connection，hdc)，以保留一定的密集卷积特点。
[0119]
drf技术可以在卷积过程中自适应地调整卷积核的感受野大小，以适应不同的图像特征。在gsconv中，每个卷积核都具有不同的感受野大小，从而可以提高模型的表达能力和精度。
[0120]
hdc技术则是在每组卷积操作中引入了一定比例的全连接操作，以保留部分密集连接的特点。每组卷积核中有一部分卷积核是全连接的，而另一部分则是稀疏连接的。这样既可以减少模型参数和计算量，又可以保留一定的密集卷积特点，提高模型的表达能力和准确率。
[0121]
参照图6，gs bottleneck子模块和vov-gscsp子模块将yolov5原有的bottleneck中的部分标准卷积替换成了gsconv，这种改进可以使得该结构的参数量和计算量降低的同时，提升模型的精度。
[0122]
接着，采用轻量化的yolov5模型提取各检测层的特征图，包括低层特征图、中层特征图和高层特征图。
[0123]
参照图2，将训练集输入到改进后的mfl-yolo模型中进行训练。具体地，使用rtx 3060显卡，采用sgd优化器对模型进行训练迭代，其中，迭代次数可以为400次，并使用验证集中的数据进行性能评估。
[0124]
例如，本技术采用的主要评价指标为map。map是对一个目标检测器在所有类别上的平均准确度的度量。对于每个类别，map计算该类别下的ap的平均值(average)。在目标检测中，ap用于评估模型对单个类别的准确性，它是precision和recall曲线下的面积(auc)。更具体地说，对于每个类别，我们通过在不同的iou阈值下计算precision和recall，然后计算出一个ap值。所有类别的ap的平均值就是map，以借助map综合评价模型在多个类别上的性能表现。
[0125]
直至模型达到预设条件，选取最佳模型，输出训练好的模型作为目标检测模型。
[0126]
本实施例中，预设条件可以为选择训练过程中map最高的训练结果的权重作为最终训练好的模型。
[0127]
为了验证本技术的mfl-yolo模型的检测性能，通过使用同样的数据集以及数据划分训练集，分别训练传统的yolov5s、最新的yolov8x、yolov8s，并将各模型的训练结果与本技术的mfl-yolo模型的训练结果进行对比，具体结果如下表1所示。
[0128]
表1
[0129][0130]
由表可得，本技术的mfl-yolo模型的map为92.6％，比yolov5s和最新的yolov8系列算法的检测精度得到更大的提高，并且在模型的计算量、计算速度以及体积上也有不同程度的优化。
[0131]
本技术在提高检测准确率的同时还能够满足轻量化的需求，能较好嵌入智能养护移动端，实现破损交通标志的自动检测。
[0132]
破损交通标志检测过程中各个层次的gradcam热力图可视化的结果图如图7所示。从中可以看到对比传统的yolov5模型，改进后的模型更能关注到交通标志的局部破损特征。
[0133]
基于目标检测模型进行破损交通标志检测。具体地，在移动终端设备中，可嵌入式部署mfl-yolo模型，并设置只显示破损标志类的检测结果，获取终端监控设备采集的视频流输入mfl-yolo模型中，得到破损交通标志的检测结果，以实现对终端设备输出的视频流内的破损交通标志进行自动检测，检测示例如图8所示。
[0134]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0135]
综上所述，一种破损交通标志检测方法基于改进的yolov5模型，创新性地设计细粒度损失函数，使得模型能够更好地捕捉破损交通标志的局部细微的破损特征，从而更好地与正常的交通标志进行区分，能够有效地检测出破损的交通标志，并且该方法不会增加推理过程的参数量和计算量；同时本技术结合了ghostnet的轻量化卷积设计，对传统yolov5模型的neck部分进行了精简，使得模型在提高了检测准确率的同时，还降低了参数量和计算量，能够较好地应用于智能养护检测移动终端，实现破损交通标志的智能检测。
[0136]
本技术实施例还提供一种破损交通标志检测装置，该一种破损交通标志检测装置与上述实施例中一种破损交通标志检测方法一一对应。该一种破损交通标志检测装置包括，
[0137]
原始数据模块，用于采集若干破损交通标志与正常交通标志的数据，构建数据集；
[0138]
训练数据模块，用于标注所述数据集，得到训练集；
[0139]
细粒度模块，用于预设yolov5模型，并设计所述yolov5模型的细粒度损失函数模块，其中，所述细粒度损失函数模块包括判别性组件和多样性组件，判别性组件用于使不同层次的特征图包含充分的判别性信息，多样性组件用于保持不同层次特征图的多样性和交互性；
[0140]
训练模块，用于将所述训练集输入所述yolov5模型中，结合所述细粒度损失函数模块进行模型训练，直至达到预设条件，输出训练好的模型作为目标检测模型；
[0141]
检测模块，用于基于所述目标检测模型进行破损交通标志检测。
[0142]
关于一种破损交通标志检测装置的具体限定可以参见上文中对于一种破损交通
标志检测方法的限定，在此不再赘述。上述一种破损交通标志检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0143]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任意一种破损交通标志检测方法。
[0144]
在一个实施例中，提供了一种计算机可读存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
[0145]
s1:采集若干破损交通标志与正常交通标志的数据，构建数据集；
[0146]
s2:标注所述数据集，得到训练集；
[0147]
s3:预设yolov5模型，并设计所述yolov5模型的细粒度损失函数模块，其中，所述细粒度损失函数模块包括判别性组件和多样性组件，判别性组件用于使不同层次的特征图包含充分的判别性信息，多样性组件用于保持不同层次特征图的多样性和交互性；
[0148]
s4:将所述训练集输入所述yolov5模型中，结合所述细粒度损失函数模块进行模型训练，直至达到预设条件，输出训练好的模型作为目标检测模型；
[0149]
s5:基于所述目标检测模型进行破损交通标志检测。
[0150]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0151]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

技术特征：
1.一种破损交通标志检测方法，其特征在于，包括以下步骤，采集若干破损交通标志与正常交通标志的数据，构建数据集；标注所述数据集，得到训练集；预设yolov5模型，并设计所述yolov5模型的细粒度损失函数模块，其中，所述细粒度损失函数模块包括判别性组件和多样性组件，判别性组件用于使不同层次的特征图包含充分的判别性信息，多样性组件用于保持不同层次特征图的多样性和交互性；将所述训练集输入所述yolov5模型中，结合所述细粒度损失函数模块进行模型训练，直至达到预设条件，输出训练好的模型作为目标检测模型；基于所述目标检测模型进行破损交通标志检测。2.根据权利要求1所述的破损交通标志检测方法，其特征在于，所述判别性组件包括第一se通道注意力机制层、正负样本对选择层、跨通道最大池化层、全局平均池化层和第一softmax层；所述第一se通道注意力机制层用于对扩充后的特征图的权重进行重构，增大关键特征通道的权重并减少冗余特征通道的权重；所述正负样本对选择层用于确定破损标志的目标级负样本特征图和正常标志的目标级正样本特征图；所述跨通道最大池化层用于将所述负样本特征图和所述正样本特征图进行一个跨通道最大池化，得到降维特征图；所述全局平均池化层用于将所述降维特征图在空间域进行全局平均池化，得到包含正、负样本判别性信息的压缩特征图；所述第一softmax层用于基于所述压缩特征图，结合真实标签进行交叉熵计算，并预测任一组正负样本特征图的判别性损失值。3.根据权利要求2所述的破损交通标志检测方法，其特征在于，所述任一组正负样本特征图的判别性损失值的计算公式包括，式中，为任一组正负样本特征图的判别性损失函数值，为负样本特征图，为正样本特征图，j＝1,2,3分别代表低、中、高层次的特征图，l
ce
为交叉熵损失函数，y为真实标签，为负样本特征图的降维和压缩操作，为正样本特征图的降维和压缩操作，e为指数函数。4.根据权利要求3所述的破损交通标志检测方法，其特征在于，所述判别性组件还包括交叉熵计算层和平均层，所述交叉熵计算层的输入端连接所述第一softmax层的输出端，所述交叉熵计算层的输出端连接所述平均层的输入端；所述交叉熵计算层用于预测任一层次的正负样本特征图的判别性损失值；所述平均层用于基于任一层次的正负样本特征图的判别性损失值，设计判别性损失函数。5.根据权利要求4所述的破损交通标志检测方法，其特征在于，所述判别性损失函数的表达式包括，
式中，l
dis
为判别性损失函数值，为任一层次的正负样本特征图的判别性损失值，n0为破损交通标志的数目，i用于计数其中的每一个破损交通标志数目，即从第1个数到第n0个的每一个破损交通标志都参与运算。6.根据权利要求1所述的破损交通标志检测方法，其特征在于，所述多样性组件包括第二se通道注意力机制层、最大池化层、展平层、余弦相似度计算层和第二softmax层，所述第二se通道注意力机制层用于对扩充后的特征图的权重进行重构，增大关键特征通道的权重并减少冗余特征通道的权重；所述最大池化层用于对扩充后的重构权重的特征图的尺寸进行对齐，突出特征图中最大响应值的部分，得到不同层次特征图的统一尺寸的张量；所述展平层用于对所述张量在空间维度进行展平压缩；所述余弦相似度计算层用于获得所述张量两两之间的余弦相似度；所述第二softmax层用于根据所述余弦相似度的标量，计算不同层次特征图两两之间的相似度，并基于所述相似度设计多样性损失函数。7.根据权利要求6所述的破损交通标志检测方法，其特征在于，所述多样性损失函数的表达式包括，l
div
＝αsim
1,3
―βsim
2,3
―γsim
1,2
式中，l
div
为多样性损失函数值，sim
1,3
为低层特征图与高层特征图之间的相似度，sim
2,3
为中层特征图与高层特征图之间的相似度，sim
1,2
为低层特征图与中层特征图之间的相似度，α、β、γ均为大于零的超参数。8.一种破损交通标志检测装置，其特征在于，包括，原始数据模块，用于采集若干破损交通标志与正常交通标志的数据，构建数据集；训练数据模块，用于标注所述数据集，得到训练集；细粒度模块，用于预设yolov5模型，并设计所述yolov5模型的细粒度损失函数模块，其中，所述细粒度损失函数模块包括判别性组件和多样性组件，判别性组件用于使不同层次的特征图包含充分的判别性信息，多样性组件用于保持不同层次特征图的多样性和交互性；训练模块，用于将所述训练集输入所述yolov5模型中，结合所述细粒度损失函数模块进行模型训练，直至达到预设条件，输出训练好的模型作为目标检测模型；检测模块，用于基于所述目标检测模型进行破损交通标志检测。9.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现权利要求1至7任意一项所述方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任意一项所述方法的步骤。

技术总结
本申请涉及一种破损交通标志检测方法及装置，其方法包括采集若干破损交通标志与正常交通标志的数据，构建数据集；标注数据集，得到训练集；预设YOLOV5模型，并设计YOLOV5模型的细粒度损失函数模块，其中，细粒度损失函数模块包括判别性组件和多样性组件，判别性组件用于使不同层次的特征图包含充分的判别性信息，多样性组件用于保持不同层次特征图的多样性和交互性；将训练集输入YOLOV5模型中，结合细粒度损失函数模块进行模型训练，直至达到预设条件，输出训练好的模型作为目标检测模型。本申请具有捕捉更多局部细微的判别性特征，更好地将破损交通标志与正常交通标志区分开来，提高破损交通标志的检测精度的效果。高破损交通标志的检测精度的效果。高破损交通标志的检测精度的效果。


技术研发人员：任江涛 陈腾扬
受保护的技术使用者：中山大学
技术研发日：2023.04.24
技术公布日：2023/8/13