图像异物检测方法、装置、电子设备和存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像异物检测方法、装置、电子设备和存储介质。


背景技术：

2.在机场的跑道上，可能会存在诸如金属零件、防水塑料布、碎石块、报纸、瓶子、行李牌等可能损伤航空器的外来物质(foreign object debris，fod)，因此，需频繁对机场跑道进行异物检测。
3.现有技术中，在对机场异物图像进行异物检测时，一般利用机场fod数据集训练目标检测深度神经网络yolov7-tiny，训练得到检测精度较高的网络模型fodnet，并利用fodnet网络模型，进行异物检测。然而，训练得到的fodnet网络模型虽然检测精度较高，但模型的计算量和参数量较大，导致检测速度较低，难以满足实时性要求。


技术实现要素：

4.本发明提供一种图像异物检测方法、装置、电子设备和存储介质，用以解决现有技术中检测速度较低的缺陷，在确保检测精准度的同时，减小异物检测模型的计算量，提高异物检测的检测速度和实时性。
5.本发明提供一种图像异物检测方法，包括：
6.获取待检测目标图像；
7.将所述待检测目标图像输入异物检测模型，输出用于表征预测目标的类别概率和位置坐标的异物检测结果；
8.其中，所述异物检测模型是基于稀疏系数，对异物检测教师模型进行网络压缩，并对压缩后的稀疏异物检测模型进行知识蒸馏得到的；所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的；所述异物检测模型与所述异物检测教师模型的计算复杂度不同，且不同迭代训练周期对应的所述稀疏系数不同。
9.根据本发明提供的图像异物检测方法，所述异物检测模型是基于以下步骤训练得到的：
10.获取图像样本集；
11.基于所述图像样本集，对初始异物检测教师模型进行训练，得到异物检测教师模型；
12.基于稀疏系数，对所述异物检测教师模型进行网络压缩，确定稀疏异物检测模型，其中，不同迭代训练周期对应的所述稀疏系数不同；
13.将所述图像样本集输入所述稀疏异物检测模型进行知识蒸馏，得到异物检测模型，其中，所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二
输出结果确定的。
14.根据本发明提供的图像异物检测方法，所述基于稀疏系数，对所述异物检测教师模型进行网络压缩，包括：
15.确定上一迭代训练周期对应的上一迭代稀疏异物检测模型；
16.基于当前迭代训练周期对应的稀疏系数，对所述上一迭代稀疏异物检测模型进行稀疏训练，得到当前迭代稀疏异物检测模型；
17.遍历所述当前迭代稀疏异物检测模型中至少两层卷积层，对各所述卷积层进行剪枝，得到更新后的所述当前迭代稀疏异物检测模型；
18.对更新后的所述当前迭代稀疏异物检测模型进行下一轮的网络压缩，在达到总迭代轮数的情况下停止。
19.根据本发明提供的图像异物检测方法，所述当前迭代训练周期对应的稀疏系数是基于以下步骤确定的：
20.确定总迭代轮数、阶段提升因子和稀疏系数上限值；
21.在当前迭代训练周期小于总迭代轮数的阶段阈值的情况下，基于所述当前迭代训练周期、所述总迭代轮数、所述阶段提升因子和所述稀疏系数上限值，确定所述当前迭代训练周期对应的稀疏系数；
22.在当前迭代训练周期大于或等于总迭代轮数的阶段阈值的情况下，将所述稀疏系数上限值确定为所述当前迭代训练周期对应的所述稀疏系数。
23.根据本发明提供的图像异物检测方法，所述对各所述卷积层进行剪枝，包括：
24.遍历各所述卷积层，确定当前卷积层中各卷积核对应的权重的l2范数，并基于各所述l2范数，确定各所述卷积核对应的重要性评估值；
25.基于所述重要性评估值，将各所述卷积核进行正序排序；
26.基于所述当前迭代训练周期对应的稀疏系数和所述重要性评估值，确定卷积核保留向量，所述卷积核保留向量为基于所述稀疏系数，对所述重要性评估值排序靠后的各所述卷积核进行剪枝得到的；
27.遍历所述卷积核保留向量，对各所述保留卷积核的通道数进行剪枝，确定各所述保留卷积核对应的通道更新数量，各所述保留卷积核的通道更新数量是基于连接的上一卷积层对应的所述卷积核保留向量确定的。
28.根据本发明提供的图像异物检测方法，所述确定各所述保留卷积核对应的通道更新数量，包括：
29.确定所述当前卷积层连接的至少一层上一卷积层对应的上一卷积核保留向量；
30.在所述上一卷积层的数量为1层的情况下，将所述上一卷积核保留向量中的上一卷积核数量确定为所述当前卷积层中各所述保留卷积核对应的通道更新数量；
31.在所述上一卷积层的数量大于1层的情况下，确定各所述上一卷积核保留向量的并集向量，并将所述并集向量中的上一卷积核数量确定为所述当前卷积层中各所述保留卷积核对应的通道更新数量。
32.根据本发明提供的图像异物检测方法，所述异物检测模型对应的蒸馏损失函数是基于以下步骤确定的：
33.确定所述第一输出结果中的置信度缩放系数，所述置信度缩放系数用于负样本在
所述蒸馏损失函数中的权值；
34.基于所述第一输出结果和所述第二输出结果对应的均方和误差函数，以及所述教师损失函数中的第二置信度损失函数，确定第一置信度损失函数；
35.基于所述置信度缩放系数，所述第一输出结果和所述第二输出结果对应的kl离散度函数、以及所述教师损失函数中的第二类别损失函数，确定第一类别损失函数；
36.基于所述置信度缩放系数，所述第一输出结果和所述第二输出结果对应的ciou损失函数、以及所述教师损失函数中的第二位置坐标损失函数，确定第一位置坐标损失函数；
37.基于所述第一置信度损失函数、所述第一类别损失函数和所述第一位置坐标损失函数，确定所述蒸馏损失函数。
38.本发明还提供一种图像异物检测装置，包括：
39.获取模块，用于获取待检测目标图像；
40.输出模块，用于将所述待检测目标图像输入异物检测模型，输出用于表征预测目标的类别概率和位置坐标的异物检测结果；
41.其中，所述异物检测模型是基于稀疏系数，对异物检测教师模型进行网络压缩，并对压缩后的稀疏异物检测模型进行知识蒸馏得到的；所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的；所述异物检测模型与所述异物检测教师模型的计算复杂度不同，且不同迭代训练周期对应的所述稀疏系数不同。
42.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像异物检测方法。
43.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像异物检测方法。
44.本发明提供的图像异物检测方法、装置、电子设备和存储介质，将获取的待检测目标图像输入异物检测模型，由于异物检测模型是基于随迭代训练周期改变而动态变化的稀疏系数，对训练得到精度较高且规模较大的异物检测教师模型进行网络压缩，并结合异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的蒸馏损失函数，对网络压缩后的稀疏异物检测模型进行知识蒸馏得到的，使得异物检测模型的规模较小但精度较高，确保图像异物检测结果的精准度的同时，通过减小异物检测模型的计算量，提高图像异物检测的检测速度和实时性。
附图说明
45.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1是本发明提供的图像异物检测方法的流程示意图；
47.图2是本发明提供的初始异物检测教师模型的示例网络结构示意图之一；
48.图3是本发明提供的初始异物检测教师模型的示例网络结构示意图之二；
49.图4是本发明提供的初始异物检测教师模型的示例网络结构示意图之三；
50.图5是本发明提供的初始异物检测教师模型的示例网络结构示意图之四；
51.图6是本发明提供的初始异物检测教师模型的示例网络结构示意图之五；
52.图7是本发明提供的确定ciou损失函数的示意图；
53.图8是现有技术提供的稀疏训练和剪枝的流程示意图；
54.图9是现有技术提供的软剪枝的流程示意图；
55.图10是现有技术提供的基准模型yolov7-tiny的损失曲线示意图之一；
56.图11是现有技术提供的基准模型yolov7-tiny的损失曲线示意图之二；
57.图12是现有技术提供的基准模型yolov7-tiny的性能曲线示意图之一；
58.图13是现有技术提供的基准模型yolov7-tiny的性能曲线示意图之二；
59.图14是现有技术提供的基准模型yolov7-tiny的性能曲线示意图之三；
60.图15是现有技术提供的基准模型yolov7-tiny的性能曲线示意图之四；
61.图16是本发明提供的恒定训练策略的性能曲线示意图之一；
62.图17是本发明提供的恒定训练策略的性能曲线示意图之二；
63.图18是本发明提供的恒定训练策略的性能曲线示意图之三；
64.图19是本发明提供的动态训练策略的性能曲线示意图之一；
65.图20是本发明提供的动态训练策略的性能曲线示意图之二；
66.图21是本发明提供的动态训练策略的性能曲线示意图之三；
67.图22是本发明提供的直接微调训练的性能曲线示意图之一；
68.图23是本发明提供的直接微调训练的性能曲线示意图之二；
69.图24是本发明提供的直接微调训练的性能曲线示意图之三；
70.图25是本发明提供的直接微调训练的性能曲线示意图之四；
71.图26是本发明提供的知识蒸馏训练的性能曲线示意图之一；
72.图27是本发明提供的知识蒸馏训练的性能曲线示意图之二；
73.图28是本发明提供的知识蒸馏训练的性能曲线示意图之三；
74.图29是本发明提供的知识蒸馏训练的性能曲线示意图之四；
75.图30是本发明提供的图像异物检测装置的结构示意图；
76.图31是本发明提供的电子设备的结构示意图。
具体实施方式
77.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
78.针对现有技术中训练得到的fodnet网络模型虽然检测精度较高，但模型的计算量和参数量较大，导致检测速度较低，难以满足实时性要求，且难以用于实际的fod检测系统的问题，本发明实施例提供一种图像异物检测方法，图1是本发明提供的图像异物检测方法的流程示意图，如图1所示，该方法包括：
79.步骤110、获取待检测目标图像；
80.可选地，本发明实施例可以应用于机场道路、高速公路、赛道等场景的异物检测。以机场道路异物检测为例，上述待检测目标图像以机场道路为背景，且机场道路背景可以包括：胶印背景、无胶背景、水泥背景、沥青背景等。待检测目标图像中可以包含典型的且处于不同图像比例下的机场道路异物，如：螺钉、螺母、石头、胶皮等，且机场道路异物的材质类型可以包括：金属、石头、塑料和玻璃，本发明实施例对此不作限制。
81.步骤120、将所述待检测目标图像输入异物检测模型，输出用于表征预测目标的类别概率和位置坐标的异物检测结果；
82.其中，所述异物检测模型是基于稀疏系数，对异物检测教师模型进行网络压缩，并对压缩后的稀疏异物检测模型进行知识蒸馏得到的；所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的；所述异物检测模型与所述异物检测教师模型的计算复杂度不同，且不同迭代训练周期对应的所述稀疏系数不同。
83.具体地，将获取的待检测目标图像输入异物检测模型后，由于稀疏系数随迭代训练周期改变而动态变化，对训练得到精度较高且规模较大的异物检测教师模型进行网络压缩，可平衡检测精度和网络规模的矛盾，并在结合异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的蒸馏损失函数，对网络压缩后的稀疏异物检测模型进行知识蒸馏得，使得异物检测模型的规模较小但精度较高，采用异物检测模型对待检测目标图像进行检测时，既保证图像异物检测结果的精准度，又可提高图像异物检测的检测速度，满足异物检测的时效性，可基于异物检测结果，进一步确定待检测目标图像中异物所处位置，便于对该异物进行及时处理，避免造成对场景中道路及其他设备的损坏。
84.可选地，所述异物检测模型是基于以下步骤训练得到的：
85.获取图像样本集；
86.基于所述图像样本集，对初始异物检测教师模型进行训练，得到异物检测教师模型；
87.基于稀疏系数，对所述异物检测教师模型进行网络压缩，确定稀疏异物检测模型，其中，不同迭代训练周期对应的所述稀疏系数不同；
88.将所述图像样本集输入所述稀疏异物检测模型进行知识蒸馏，得到异物检测模型，其中，所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的。
89.具体地，现有技术中，直接训练得到异物检测教师模型虽然检测精度较高，但网络规模较大，在进行模型部署时需要占用较多的资源，且对设备的要求较高，且无法满足实际应用中的实时性要求。因此，本发明实施例中，通过获取图像样本集对构建的初始异物检测教师模型进行训练，对训练得到的精度较高但规模较大的异物检测教师模型进行网络压缩，针对不同的迭代训练周期，动态调节稀疏系数，平衡模型检测精度和模型规模之间的矛盾，通过对训练好的异物检测教师模型进行网络压缩，最终得到网络参数量减少，但运算较快且检测性能受影响较小的稀疏异物检测模型，且在进行部署时对资源要求较少。而在进
行网络压缩后，虽然网络规模大大减小，但检测精度不可避免地会受到影响，导致模型检测精度下降，因此，在进行网络压缩后，将异物检测教师模型作为教师模型，将网络压缩得到的稀疏异物检测模型作为学生模型，对稀疏异物检测模型进行知识蒸馏，以提高模型检测精度。
90.可选地，在获取图像样本集前，需先构建异物数据集，并将异物数据集按照一定的数据比例分为图像样本集和测试数据集，上述数据比例可以为4：1，通过图像样本集对初始异物检测教师模型进行训练，并在模型训练完成后，通过测试数据集对训练好的异物检测教师模型的训练效果进行测试。
91.可选地，为提高样本多样性，在确定异物数据集后，还可以通过数据增强扩充异物数据集，数据增强可以包括：平移、旋转、mosaic数据增强等。其中，mosaic数据增强为对四张异物数据进行拼接得到的，在利用拼接后新的异物数据进行训练时，相当于一次性向初始异物检测教师模型输入四张训练数据进行学习，大大丰富了检测异物的背景。
92.可选地，在上述图像样本集中可通过预设锚框，对机场道路异物进行人工标注，或利用机器学习模型进行自动标注或半自动标注。上述图像样本集中机场道路异物的图像比例β可以通过确定机场道路异物与训练数据的面积的比值，并将该比值的开方确定为图像比例β。此外，可以基于图像比例β的大小，将图像样本集中的机场道路异物分为小目标、中目标和大目标，不同目标对应的图像比例如表1所示，表1中小目标、中目标和大目标之间的区间阈值可基于经验进行设定，本发明实施例对此不作限制。
93.表1不同目标的比例标准
94.目标类别小目标中目标大目标图像比例区间β≤0.030.03≤β≤0.1β＞0.1
95.可选地，上述初始异物检测教师模型可基于yolo系列目标检测深度神经网络进行构建，用单个神经网络直接对整张图片进行回归预测目标的类别概率和位置坐标。其中：
96.yolov1网络的特点是检测速度较快，但其检测精度较低。yolov2网络和yolov3网络针对其存在的问题提出了多种改进策略，包括引入锚框机制、设计更深的特征提取网络、构建fpn结构等，提高了模型的检测性能。yolov4网络和yolov5网络则进一步引入mosaic数据增强、focus模块、pan结构等，进一步提升模型精度。yolov7网络则在网络结构、标签分配和训练方法上做出改进，模型精度和速度显著超越前代。
97.针对不同的新能需求，yolov7网络提供了不同规模网络，如：yolov7-tiny深度神经网络、yolov7深度神经网络、yolov7x深度神经网络，其中，yolov7深度神经网络、yolov7x深度神经网络可适用于规模较大的数据集，yolov7-tiny深度神经网络适用于规模较小的数据集，本发明实施例对此不作限制。鉴于本发明实施例中提供的异物数据集量级较小，本发明实施例中，采用yolov7-tiny深度神经网络构建初始异物检测教师模型。yolov7-tiny深度神经网络中引入锚框机制，用于输出预测目标框相对于预设锚框的偏移量。yolov7-tiny深度神经网络有三个尺度的预测分支，在训练阶段，需要根据真实目标框(ground truth)与各个尺度预设锚框的匹配程度，将其分配给不同的分支和对应的锚框，进一步生成与网络输出维度相同的标签，最后根据网络真实的输出和标签之间的差异，计算损失函数的值，采用反向传播算法更新网络，如此迭代训练直到网络收敛。
98.可选地，图2是本发明提供的初始异物检测教师模型的示例网络结构示意图之一，
如图2所示，上述yolov7-tiny深度神经网络包括：特征提取网络backbone、特征融合模块neck和检测头模块head，其中：特征提取网络backbone用于对输入的图片进行特征提取，生成特征图，并将该特征图输入特征融合模块neck。特征融合模块neck用于对不同尺度的特征图进行融合。检测头模块head用于在网络末端预测得到最终的检测结果。其中：
99.1)特征提取网络包括22个卷积层和3个最大池化层，图3是本发明提供的初始异物检测教师模型的示例网络结构示意图之二，如图3所示，卷积单元cbl中包括：1层卷积层、归一化层和relu(rectified linear unit)激活层。图4是本发明提供的初始异物检测教师模型的示例网络结构示意图之三，如图4所示，c5模块中包括：5个卷积单元cbl和一个特征连接单元concat，将5个卷积单元cbl和特征连接单元concat进行连接，加强网络中的特征复用和特征传播。最大池化层mp用于对特征图进行下采样的同时，增大特征图的通道数。图5是本发明提供的初始异物检测教师模型的示例网络结构示意图之四，特征提取网络backbone中的cbc模块如图5所示，cbc模块中的最大池化层，在对特征图进行降采样的同时增大其特征图的通道数。
100.2)图6是本发明提供的初始异物检测教师模型的示例网络结构示意图之五，在输入端，yolov7-tiny深度神经网络采用了与yolov5网络相同的mosaic数据增强策略，在特征融合模块neck结构中采用了fpn结构和pan结构，加强不同尺度特征的融合。fpn结构和pan结构如图6所示。yolo系列从yolov2开始引入了锚框机制，即不再直接预测目标框的位置，而是预测其相对于预先设定的锚框的偏移。大量预设的锚框可以密集地覆盖图片的各个位置，使得yolo系列召回率有了很大提高。如图6所示，yolov7-tiny深度神经网络有三个尺度的预测分支，在训练阶段，需要根据真实的目标框(ground truth)与各个尺度预设锚框的匹配程度，将其分配给不同的分支和对应的锚框，进一步生成与网络输出维度相同的标签，最后根据网络真实的输出和标签之间的差异，计算损失函数的值，采用反向传播算法更新网络，如此迭代训练直到网络收敛。
101.可选地，所述基于稀疏系数，对所述异物检测教师模型进行网络压缩，包括：
102.确定上一迭代训练周期对应的上一迭代稀疏异物检测模型；
103.基于当前迭代训练周期对应的稀疏系数，对所述上一迭代稀疏异物检测模型进行稀疏训练，得到当前迭代稀疏异物检测模型；
104.遍历所述当前迭代稀疏异物检测模型中至少两层卷积层，对各所述卷积层进行剪枝，得到更新后的所述当前迭代稀疏异物检测模型；
105.对更新后的所述当前迭代稀疏异物检测模型进行下一轮的网络压缩，在达到总迭代轮数的情况下停止。
106.深度神经网络主流轻量化方法包括模型剪枝、低秩分解、权值量化、知识蒸馏等。模型剪枝主要通过剪除网络中不重要的参数来达到压缩模型的作用。低秩分解通过将权重矩阵分解为多个低秩矩阵来降低模型参数量。权值量化主要采用低比特量化的方法，将32位或64位的浮点数压缩为8位的浮点数从而达到模型压缩的目的。知识蒸馏则是将已训练好的复杂模型输出作为软目标，指导简化模型训练，使其达到或超越复杂模型性能。由于低秩分解和权值量化主要优化的是模型存储时占用空间的大小，而对模型运行时速度的提升作用较小，本专利主要结合模型剪枝和知识蒸馏方法进行网络轻量化处理。稀疏训练和网络剪枝是一种常用的网络压缩技术，通过剪除网络中重要性较低的节点来减少网络参数
量，减少网络推理的资源消耗和时间开销。图8是现有技术提供的稀疏训练和剪枝的流程示意图，如图8所示，网络剪枝的关键是定义合适的重要性评估方法，包括以下几种：
107.1)基于归一化层的启发，直接使用归一化层中的γ参数作为每个通道的“重要性衡量因子”，将γ纳入损失函数中进行稀疏训练，最后依据每个通道对应的γ的值进行剪枝。这种方法的优点是设计巧妙，没有引入额外的参数，缺点是该方法忽略了卷积核各个通道本身参数的值，仅采用归一化层γ参数不足以准确表征通道的重要性，因此采用该方法剪枝会造成模型精度下降严重。
108.2)采用卷积核的l2范数作为衡量“重要性衡量因子”，与前一种方法相比，该方法的缺点是l2范数计算量较大，这会导致训练时的计算开销变大，但不影响模型推理时开销，优点是更充分地考虑了卷积核权重本身的重要性，模型剪枝后精度受影响程度较小。
109.然而，在确定重要性评估方法后，对网络进行稀疏训练和剪枝。常用的剪枝方法以硬剪枝为主，即在每一轮的训练中，根据某种标准计算权重的重要性并进行排序，将重要性低于阈值的权重剪除，被剪除的权重不再参与下一轮训练。硬剪枝方法的优点是在训练中的每一个循环都及时地剪除重要性较低的节点，因此模型规模随着训练的进行逐渐减小，训练的计算开销也相应减小。但其缺点是剪除的节点无法再参与后续的训练，因此模型精度下降比较明显。针对硬剪枝策略导致模型精度下降明显的问题，后续提出了针对神经网络的软剪枝策略，其核心思想是，对于重要性较低的节点，通过采用将其权重置零的策略取代剪除操作，在下一轮的训练中，上一轮被置零的节点依然可以参加训练，在完成训练后，再完全剪除重要性低的节点。图9是现有技术提供的软剪枝的流程示意图，如图9所示，算法流程由两个循环构成，外层循环是训练轮数的循环，在内层循环中，遍历每一个卷积层，计算其每一个卷积核的l2范数作为重要性指标，根据重要性指标对卷积核进行排序，将重要性低于阈值的卷积核权重置零，然后进入下一轮循环，不断迭代训练，最后得到稀疏模型。最后对稀疏模型进行剪枝得到轻量化模型。与硬剪枝方法相比，软剪枝策略在训练时的计算开销较大，但模型推理时的计算开销与硬剪枝相同，且由于剪枝策略比较“缓和”，模型精度一般优于硬剪枝策略。
110.具体地，在对异物检测教师模型进行网络压缩时，为平衡压缩规模和模型检测精度的矛盾，解决上述计算开销较大的问题，本发明实施例中，设定每个迭代训练周期的稀疏系数不同，通过动态确定每个迭代训练周期对应的稀疏系数，并基于该稀疏系数对上一迭代训练周期得到的上一迭代稀疏异物检测模型进行稀疏训练，同时，对稀疏训练得到的当前迭代稀疏异物检测模型中各卷积层进行剪枝，进一步实现在减小检测精度的受影响程度的情况下，提高压缩程度。
111.可选地，所述当前迭代训练周期对应的稀疏系数是基于以下步骤确定的：
112.确定总迭代轮数、阶段提升因子和稀疏系数上限值；
113.在当前迭代训练周期小于总迭代轮数的阶段阈值的情况下，基于所述当前迭代训练周期、所述总迭代轮数、所述阶段提升因子和所述稀疏系数上限值，确定所述当前迭代训练周期对应的稀疏系数；
114.在当前迭代训练周期大于或等于总迭代轮数的阶段阈值的情况下，将所述稀疏系数上限值确定为所述当前迭代训练周期对应的所述稀疏系数。
115.具体地，现有技术中，在对模型进行稀疏训练时，通过固定的稀疏系数，确定模型
参数被压缩的比例，然而，若采用较大的稀疏系数，则在训练过程中，模型参数会以较大的比例被置零，导致训练得到的稀疏异物检测模型稀疏程度较高，但模型的检测精度大大降低，无法满足检测要求；若采用较小的稀疏系数，则在训练过程中，模型参数会以较小的比例被置零，虽然检测精度较高，但训练得到的稀疏异物检测模型稀疏程度不足，即模型压缩程度不足，导致训练得到的稀疏异物检测模型规模仍然较大，无法满足实际应用要求。因此，为平衡检测精度和模型压缩程度的矛盾，本发明实施例中，在训练过程中，设定初始稀疏系数为0，在总迭代轮数的第一阶段，稀疏系数从0开始以阶段步长分阶段提升，直至达到稀疏系数上限值，便于观察提升效果。在总迭代轮数的第二阶段，以恒定的稀疏系数对迭代稀疏异物检测模型进行稀疏训练，直至模型收敛。通过第一阶段稀疏系数的逐渐增大，使得异物检测教师模型的压缩程度逐渐增大，但检测精度受到的影响较小，在较好的平衡模型压缩程度与检测精度的矛盾的同时，实现模型的轻量化。当前迭代训练周期对应的稀疏系数pi的公式如式(1)所示，式(1)为：
[0116][0117]
其中，p表示稀疏系数上限值，m表示提升比例因子，1/m表示稀疏系数分阶段提升时的提升比例，本发明实施例中，1/m的下限值为20％，即，m的上限值为5，且提升比例的范围为[0.2，1]，i
p
表示当前迭代训练周期对应的迭代轮数，e表示总迭代轮数，n表示阶段提升因子，1/n表示稀疏系数提升的阶段步长，k
p
为大于1的整数，e/k
p
表示阶段分隔阈值，[0，e/k
p
)表示总迭代轮数的第一阶段，[e/k
p
，e]表示总迭代轮数的第二阶段，/表示整数除法，即，除数、被除数均为整数，且对除法结果进行取整。
[0118]
可选地，所述基于所述当前迭代训练周期对应的稀疏系数，对当前卷积层进行剪枝，包括：
[0119]
确定所述当前卷积层中各卷积核对应的权重的l2范数，并基于各所述l2范数，确定各所述卷积核对应的重要性评估值；
[0120]
基于所述重要性评估值，将各所述卷积核进行正序排序；
[0121]
基于所述当前迭代训练周期对应的稀疏系数和所述重要性评估值，确定卷积核保留向量，所述卷积核保留向量为基于所述稀疏系数，对所述重要性评估值排序靠后的各所述卷积核进行剪枝得到的；
[0122]
遍历所述卷积核保留向量，对各所述保留卷积核的通道数进行剪枝，确定各所述保留卷积核对应的通道更新数量，各所述保留卷积核的通道更新数量是基于连接的上一卷积层对应的所述卷积核保留向量确定的。
[0123]
具体地，在训练得到异物检测教师模型且异物检测教师模型采用yolov7-tiny深度神经网络的情况下，为适应异物检测教师模型的结构，减小稀疏异物检测模型检测精度受到剪枝的影响，本发明实施例中，充分考虑模型中卷积核权重、卷积核数量和卷积通道数三个因素，将当前卷积层中各卷积核对应的权重的l2范数，确定为重要性评估值，虽然训练时的计算开销变大，但不影响模型预测时的开销，使得异物检测教师模型剪枝后检测精度受影响程度较小。在确定重要性评估值后，可基于重要性评估值将各卷积核进行正序排序，
并通过当前迭代训练周期对应的稀疏系数，对重要性评估值排序靠后的卷积核进行剪枝，减少当前卷积层中的卷积核数量，进而减小当前迭代训练周期对应的当前迭代稀疏异物检测模型的网络参数量，实现异物检测教师模型的轻量化。同时，保留重要性评估值排序靠前的卷积核，并构建卷积核保留向量，并对卷积核保留向量中的保留卷积核的通道数进行剪枝，以确保当前卷积层中保留卷积核的通道更新数量与上一卷积层输出特征图的通道数保持一致，避免对模型结构进行剪枝而影响检测精度。
[0124]
需要说明的是，上述各卷积核进行正序排序为将各卷积核按照重要性评估值从大到小的顺序进行排序，并通过当前迭代训练周期对应的稀疏系数，将重要性评估值排序靠后的卷积核进行剪枝，保留重要性评估值排序靠前的卷积核，并构建卷积核保留向量。此外，上述各卷积核还可按照重要性评估值从小到大的顺序进行排序，可通过当前迭代训练周期对应的稀疏系数，将重要性评估值排序靠前的卷积核进行剪枝，保留重要性评估值排序靠后的卷积核，并构建卷积核保留向量。
[0125]
可选地，所述确定各所述保留卷积核对应的通道更新数量，包括：
[0126]
确定所述当前卷积层连接的至少一层上一卷积层对应的上一卷积核保留向量；
[0127]
在所述上一卷积层的数量为1层的情况下，将所述上一卷积核保留向量中的上一卷积核数量确定为所述当前卷积层中各所述保留卷积核对应的通道更新数量；
[0128]
在所述上一卷积层的数量大于1层的情况下，确定各所述上一卷积核保留向量的并集向量，并将所述并集向量中的上一卷积核数量确定为所述当前卷积层中各所述保留卷积核对应的通道更新数量。
[0129]
具体地，由于当前迭代稀疏异物检测模型中包含多层卷积层，且各卷积层连接关系不同，在对网络进行剪枝时，与被剪枝的卷积层直接关联的输入输出层也需要做相应的修剪。对于结构较为简单的卷积神经网络如lenet、vgg等，卷积层的输入只和前一层有关，因此在进行剪枝操作时，只需保证当前卷积层的卷积核在剪枝后与前一层的输出特征图通道数匹配即可。但在yolov7-tiny的网络中存在concat跨层连接结构，普通剪枝方法不能直接用于concat结构。因此，为确保当前卷积层中保留卷积核的通道更新数量与上一卷积层输出特征图的通道数保持一致，避免对模型结构进行剪枝而影响检测精度，本发明实施例中，通过确定当前卷积层连接的上一卷积层，若当前卷积层仅连接一层上一卷积层，则为确保剪枝后模型的检测精度，当前卷积层中保留卷积核的通道数需与上一卷积核保留向量中的上一卷积核数量相等。若当前卷积层连接多层上一卷积层时，需基于各上一卷积核保留向量的并集向量中上一卷积核数量，确定当前卷积层中各保留卷积核对应的通道更新数量。如，对于简单连接的卷积层，其通道保留向量只与前一层相关，即当前卷积层的卷积核通道保留向量mask_channel＝mask_pre。而对于本发明实施例中的yolov7-tiny深度神经网络中的特征连接层concat，该特征连接层concat为跨连接结构，即，特征连接层concat连接有多层上一卷积层，以连接4层上一卷积层为例，4层上一卷积层对应的上一卷积核保留向量分别为：mask1、mask2、mask3和mask4，则当前卷积层中卷积核的通道更新数量mask_channel为：mask_channel＝mask1∪mask2∪mask3∪mask4。
[0130]
可选地，所述异物检测模型对应的蒸馏损失函数是基于以下步骤确定的：
[0131]
确定所述第一输出结果中的置信度缩放系数，所述置信度缩放系数用于负样本在所述蒸馏损失函数中的权值；
[0132]
基于所述第一输出结果和所述第二输出结果对应的均方和误差函数，以及所述教师损失函数中的第二置信度损失函数，确定第一置信度损失函数；
[0133]
基于所述置信度缩放系数，所述第一输出结果和所述第二输出结果对应的kl离散度函数、以及所述教师损失函数中的第二类别损失函数，确定第一类别损失函数；
[0134]
基于所述置信度缩放系数，所述第一输出结果和所述第二输出结果对应的ciou损失函数、以及所述教师损失函数中的第二位置坐标损失函数，确定第一位置坐标损失函数；
[0135]
基于所述第一置信度损失函数、所述第一类别损失函数和所述第一位置坐标损失函数，确定所述蒸馏损失函数。
[0136]
具体地，现有技术中的常规知识蒸馏方法中，在计算模型损失函数时，直接将教师模型的输出与学生模型的输出之间的偏差纳入损失函数中。然而，本发明实施例中的异物检测教师模型是基于yolov7-tiny深度神经网络构建的，由于yolov7-tiny深度神经网络中预设了大量锚框，在实际训练过程中，大量锚框中不包含异物，属于负样本，只有少数包含物体的锚框属于正样本，若采用常规知识蒸馏方法计算损失函数，则会导致训练时计算开销大大增加，且过度优化不包含目标的负样本也会导致模型收敛困难。因此，本发明实施例中，通过第一置信度损失函数、第一类别损失函数和第一位置坐标损失函数之和确定蒸馏损失函数。
[0137]
其中：
[0138]
1)第一置信度损失函数如式(2)所示，式(2)为：
[0139][0140]
其中，表示特征图中第i个边界框置信度的真实标签值，表示迭代稀疏异物检测模型输出的第二输出结果中第i个边界框置信度的预测值，表示异物检测教师模型输出的第一输出结果中第i个边界框置信度的预测值，即，置信度缩放系数，f
obj
(
·
)表示均方误差函数，表示异物检测教师模型的第二置信度损失函数，表示迭代稀疏异物检测模型与异物检测教师模型之间的置信度损失，λ表示蒸馏损失函数的权重系数，用于平衡真实标签和异物检测教师模型输出对异物检测模型的影响。
[0141]
第二置信度损失函数如式(3)所示，式(3)为：
[0142][0143]
其中，s2表示预测特征图的大小，b代表预测特征图的每个位置预测得到不同尺寸的边界框的个数，和pi(k)分别表示边界框对应所属类别k的预测概率值和真实概率值，λ
class
表示第二置信度损失函数的权重系数，表示如果预测特征图的第i个位置所对应的第j个边界框存在目标，其值为1，否则为0。
[0144]
2)第一类别损失函数如式(4)所示，式(4)为：
[0145][0146]
其中，p
igt
表示边界框对应所属类别k的标签值，表示迭代稀疏异物检测模型输出的第二输出结果中边界框对应所属类别k的预测值，p
it
表示异物检测教师模型输出的第一输出结果中边界框对应所属类别k的预测值，f
cl
(
·
)表示kl离散度函数，用于表示两个分布之间的差异，表示异物检测教师模型的第二类别损失函数，表示迭代稀疏异物检测模型与异物检测教师模型之间的类别损失。针对异物检测教师模型中存在过多负样本预测框的问题，通过在第一类别损失函数中引入置信度缩放系数当预测框为负样本时，置信度缩放系数趋近于0，当预测框为正样本时，置信度缩放系数趋近于1，通过置信度缩放系数为类别概率进行加权，可降低负样本预测框在第一类别损失函数中的权重，使得迭代稀疏异物检测模型更加关注于包含异物的正样本的学习，避免对负样本预测框进行过度优化，提高模型收敛效率。
[0147]
第二类别损失函数如式(5)所示，式(5)为：
[0148][0149][0150]
其中，表示如果预测特征图的第i个位置所对应的第j个边界框存在目标，其值为1，否则为0；与之相反，如果预测特征图的第i个位置所对应的第j个边界框中存在目标，其值为0，否则为1；和ci分别表示特征图第i个位置所对应边界框置信度的预测值和真实值，可以为0或1，λ
obj
、λ
noobj
分别表示第二类别损失函数各部分的权重系数。
[0151]
3)第一位置坐标损失函数如式(6)所示，式(6)为：
[0152][0153]
其中，表示真实目标框，表示迭代稀疏异物检测模型输出的第二输出结果中的预测边界框，表示异物检测教师模型输出的第一输出结果中的真值框，f
bb
(
·
)表示ciou损失函数，用于在考虑预测框的长宽比例的影响下，缓解预测框和目标框之间没有重叠区域时优化困难的问题，表示异物检测教师模型的第二位置坐标损失函数，表示迭代稀疏异物检测模型与异物检测教师模型之间的位置坐标损失。与第一类别损失函数相似，第二位置坐标损失函数中也引入了置信度缩放系数通过置
信度缩放系数为位置坐标进行加权，可降低负样本预测框在第一位置坐标损失函数中的权重，使得迭代稀疏异物检测模型更加关注于包含异物的正样本的学习，避免对负样本预测框进行过度优化，提高模型收敛效率。
[0154]
第二位置坐标损失f
bb
如式(7)所示，式(7)为：
[0155][0156]
其中，pred
i,j
表示特征图预测的边界框，ground_truthi表示真实的目标框，λ
coord
表示位置误差项的权重系数。
[0157]
4)蒸馏损失函数loss
distill
如式(8)所示，式(8)为：
[0158][0159]
可选地，ciou损失函数可有效缓解预测目标框和真实目标框不重叠时优化困难的问题，加快了模型训练时的收敛速度。则ciou损失函数的确定可以包括以下步骤：
[0160]
1)图7是本发明提供的确定ciou损失函数的示意图，如图7所示，基于预设锚框和标签值确定真实目标框，预测目标框可通过模型输出得到，k1表示真实目标框对应的中心点，k2表示预测目标框对应的中心点，基于两个中心点的位置坐标，可得到中心点k1与中心点k2之间的欧式距离d，最小外接框为可同时覆盖真实目标框和预测目标框的最小矩形，进一步确定最小外接框的对角线长度c。则ciou损失函数如式(9)所示，式(9)为：
[0161][0162]
其中，iou表示预测目标框b和真实目标框b
gt
的交并比，即，预测目标框b和真实目标框b
gt
的相交面积与最小外接框的面积之比。α如式(10)所示，式(10)为：
[0163][0164]
μ如式(11)所示，式(11)为：
[0165][0166]
其中，w
gt
表示真实目标框的宽度，h
gt
表示真实目标框的高度，w表示预测目标框的宽度，h表示预测目标框的高度。
[0167]
可选地，在训练得到异物检测模型后，可基于测试训练集对异物检测模型进行性能测试，预先获取的异物数据集包括8180张机场道路数据，其中，包含异物目标共计12196个，其中，小目标3119个，中目标7800个、大目标1277个。对异物数据集按照4：1的比例随机抽样划分图像样本集和测试数据集，其中，图像样本集包括6544张机场道路数据，测试数据集包括1636张机场道路数据。采用测试数据集对训练得到的异物检测模型进行测试时，本发明实施例中，可以采用查准率(precision)、查全率(recall)、平均精度(map)作为检测精度的评价指标。其中：
[0168]
表2混淆矩阵
[0169]
实际为正样本实际为负样本预测为正样本truepositive(tp)falsepositive(fp)预测为负样本falsenegative(fn)truenegative(tn)
[0170]
1)可通过确定异物检测模型对应的混淆矩阵，确定查全率和查准率，混淆矩阵如表2所示。其中，查准率precision是指被预测为正样本的目标中实际为正样本的比例，查准率precision如式(12)所示，式(12)为：
[0171][0172]
查全率recall是指实际所有的正样本目标中被正确检测的比例，查全率recall如式(13)所示，式(13)为：
[0173][0174]
2)针对某一类目标，可以绘制该类别的precision recall(pr)曲线，根据pr曲线，可确定该类别的ap值，在确定所有类别的ap值后，可基于所有ap值的均值确定平均精度map值。其中，某一类别的pr曲线可通过以下方法绘制：
[0175]
给定合适的iou阈值，如果预测框与真实物体框的iou大于或等于该iou阈值，则表明该预测目标框被预测为正样本，否则被预测为负样本；将预测目标框按照置信度从大到小进行排列，取不同的置信度值分别计算该类目标对应的查准率和查全率作为pr曲线的取样点，连接取样点即可得到pr曲线。
[0176]
若为连续的pr曲线，则该类别的ap值如式(14)所示，式(14)为：
[0177][0178]
若为离散的pr曲线，则该类别的ap值如式(15)所示，式(15)为：
[0179][0180]
可选地，本发明实施例中使用map@0.5和map@0.5:0.95作为网络检测精度的衡量指标，其中，map@0.5表示将iou设为0.5时，计算每一类目标的ap@0.5，并求均值得到所有类别的map。map@0.5:0.95则表示:网络分别在iou＝[0.5,0.55,0.6,0.65,0.7,0.75,0.8,0.85,0.9,0.95]上map的均值。
[0181]
此外，本发明实施例中，还可以采用模型参数量(params)、浮点运算次数(floating point operations，flops)和每秒推理帧数(frame per second，fps)作为评价模型计算规模的指标，在相同的软硬件环境下，参数量和浮点运算次数越大，则每秒推理帧数越小。其中：
[0182]
1)网络参数量是指完整存储模型所需的参数量的个数，其单位通常为兆(m)，其中：
[0183]
对于卷积层，网络参数量可以由输入特征图的通道数、输出特征图的通道数和卷积核的尺寸确定，且卷积层的网络参数量parametersco
nv
如式(16)所示，式(16)为：
[0184]
parametersco
nv
＝c
in
×
co
ut
×
kh×kw
+co
ut
[0185]
其中，c
in
表示输入特征图的通道数，co
ut
表示输出特征图的通道数，也可表示偏置项的参数量，kh表示卷积核的高度，kw表示卷积核的宽度，c
in
×
co
ut
×
kh×kw
表示卷积核的参数量。
[0186]
对于全连接层，网络参数量可以通过输入节点数和输出节点数确定，全连接层的网络参数量parameters
linear
如式(17)所示，式(17)为：
[0187]
parameters
linear
＝n
in
×nout
+n
out
[0188]
其中，n
in
表示输入节点数，n
out
表示输出节点数。
[0189]
2)浮点运算次数是指网络完成一次前向推理所需的乘法或加法运算次数之和，其单位通常为千兆(g)，其中：
[0190]
对于卷积层，若输入通道数为c
in
，输出通道数为c
out
，输出特征图的尺寸为h
×
w，卷积核尺寸为kh×kw
，则其进行一次卷积运算所需的乘法次数为c
in
×
kh×kw
次，加法次数为c
in
×
kh×kw-1次，共计2
×cin
×
kh×kw-1次。输出特征图一共有c
out
个通道，对于每一个通道需要进行h
×
w次卷积运算，因此，卷积层的浮点运算次数flops
conv
如式(18)所示，式(18)为：
[0191]
flops
conv
＝(2c
in
khk
w-1)hwc
out
[0192]
对于全连接层，全连接层的浮点运算次数可以由输入节点数i和输出节点数o确定，全连接层的浮点运算次数如式(19)所示，式(19)为：
[0193]
flops
linear
＝2io
[0194]
3)每秒推理帧数是指网络在单位时间内能够完成的前向推理次数。计算方法通常为：设置一个预设时间段，例如100秒，统计在该时间内网络不间断运行所能完成的推理次数，再将该次数除以预设时间段即得到每秒推理帧数。
[0195]
示例地，本发明实施例中，以yolov7-tiny作为基准模型，采用上述图像样本集对yolov7-tiny深度神经网络进行训练，训练的超参数配置如下：网络输入分辨率为640
×
640，训练数据批大小batch-size＝16，初始学习率lr＝0.02，使用sgd优化器，迭代轮数为100个epoch。各部分损失比例系数分别设置为：λ
cls
＝0.5，λ
obj
＝1.0，λ
noobj
＝0.05，λ
coord
＝0.05。基准模型yolov7-tiny的损失曲线如图10和图11所示，图10为基准模型中的训练损失，图11为基准模型的测试损失，图12为基准模型中的查准率曲线，图13为基准模型中的查全率曲线，图14为基准模型中的map@0.5曲线，图15为基准模型中的map@0.5:0.95曲线，横坐标表示训练轮数，纵坐标表示损失值或评价值。将基准模型yolov7-tiny在测试数据集上进行测试，相关参数设置为：网络输入大小为640
×
640，置信度阈值conf_thres＝0.25，nms后处理的iou阈值iou_thres＝0.45，在测试集上计算得到各类目标ap@0.5及模型的map@0.5、map@0.5:0.95测试结果如表3所示，yolov7-tiny模型的其他性能指标包括参数量、fps及flops如表4所示。分析表4和表3的结果可知，基准模型yolov7-tiny的整体性能较好，但其检测速度每秒49帧，低于60帧的最低要求，网络参数量和计算量较大，对于计算资源有限的移动平台而言部署难度较大。
[0196]
表3 yolov7-tiny模型的测试结果
[0197][0198]
表4 yolov7-tiny模型其他性能指标
[0199]
paramsinference/fpsflops11.7m4913.2g
[0200]
示例地，对于已训练好的基准模型yolov7-tiny进行稀疏训练和剪枝，为验证提出的稀疏系数动态提升的训练策略的有效性，设置以下两个实验：
[0201]
1)稀疏系数为恒定值，p＝0.5；
[0202]
2)稀疏系数采用动态提升策略，初始值为0，随着迭代轮数逐渐提升，最终值为p＝0.5。
[0203]
表5两个稀疏模型的测试结果
[0204]
稀疏模型map@0.5map@0.5:0.95modela66.1％44.3％modelb51.3％28.4％
[0205]
训练时的超参数配置如下：网络输入分辨率为640
×
640，训练数据批大小batch-size＝16，初始学习率lr＝0.02，使用sgd优化器，稀疏训练100个epoch。各部分损失比例系数分别设置为：λ
cls
＝0.5，λ
obj
＝1.0，λ
noobj
＝0.05，λ
coord
＝0.05。图16-图18为稀疏系数为恒定值时的性能曲线，图19-图21为稀疏系数动态提升时的性能曲线，如图16-图21所示，采用恒定稀疏系数训练策略的模型由于初始稀疏系数过大，模型参数调整幅度较大，在训练一开始模型精度立即降为零，在后续的训练中模型精度逐渐回升，但最终精度较原始模型仍然下降明显。采用动态提升训练策略的模型在训练开始后模型有一定程度的下降，但由于稀疏系数较小，其参数调整幅度也较小，训练过程精度整体中呈现出先小幅下降后提升的趋势，最终模型精度比第一种训练策略要高。之后，在测试集上测试两种稀疏模型的性能，结果如表5所示。其中，modela表示采用动态提升训练策略的模型，即，modelb采用恒定稀疏系数训练策略的模型。由表5可知，稀疏训练的模型精度较初始模型有所下降，其中采用恒定稀疏系数的模型精度下降最明显。
[0206]
示例地，在进行稀疏训练后，基于本发明实施例提出的方法对稀疏网络进行剪枝，并统计基准模型yolov7-tiny、动态稀疏模型modela、恒定稀疏模型modelb三种模型的参数量、浮点运算次数和推理速度，统计结果如表6所示。由表6可知，在完成网络剪枝后，轻量化网络的参数量和浮点运算次数大幅减少，推理速度大幅提高至每秒67帧，但与此同时，网络map也有了很明显的下降，所以后续对剪枝后的网络进行微调训练是非常必要的。
[0207]
表6三个模型的指标对比
[0208]
模型map@0.5map@0.5-0.95paramsinference/fpsflopsyolov7-tiny83.8％62.6％11.7m4913.2gmodela66.1％44.3％1.51m673.3g
modelb51.3％28.4％1.51m673.3g
[0209]
示例地，在对上述模型进行稀疏训练和剪枝后，可对模型进行直接微调训练，或采用本发明实施例提出的知识蒸馏方法进行微调训练。其中，直接微调训练时，使用yolov7-tiny原始的损失函数在训练集上迭代50个epoch，初始学习率lr＝0.01，训练得到的各项指标曲线如图22-图25所示。采用本发明实施例提出的知识蒸馏方法进行微调训练时，将基准模型yolov7-tiny作为异物检测教师模型，剪枝后的轻量化模型作为学生模型，使用前述损失函数进行知识蒸馏。设置超参数蒸馏温度t＝2.0，比例系数α＝0.05，其他参数与直接微调相同，迭代训练50个epoch，训练得到的各项指标曲线如图26-图29所示。将直接微调训练和知识蒸馏训练在测试数据集上测试，统计结果如表7所示。由表7可知，与直接微调训练相比，采用知识蒸馏方法微调得到的模型精度提高更为明显，表明本发明实施例提出的针对yolo目标检测模型知识蒸馏函数的有效性。
[0210]
表7两种微调方法性能对比
[0211]
策略map@0.5map@0.5:0.95直接微调72.9％45.2％蒸馏微调80.6％53.7％
[0212]
表8与基准网络的性能对比
[0213][0214]
示例地，将基准模型yolov7-tiny、剪枝后的动态稀疏模型和两种蒸馏微调模型进行比较，各项性能指标如表8所示。由表8可知，经过稀疏训练、模型剪枝和知识蒸馏得到的轻量化模型相比基准模型参数量减少86％，计算量减少75％，模型推理速度每秒提高18帧，且达到67帧，满足民航局机场司制定的规范性文件中对异物检测设备响应时间中，采用每秒60帧的标准作为检测速度的最低帧数的要求，但map@0.5仅下降3.2％，且仍处于80％以上，表明本发明实施例提供的模型剪枝和知识蒸馏策略的有效性。
[0215]
可选地，本发明实施例中各个模型及其网络结构均可通过pytorch构建，具体的软硬件配置可以如表9所示。
[0216]
表9软硬件配置环境参数
[0217][0218]
本发明提供的图像异物检测方法，将获取的待检测目标图像输入异物检测模型，由于异物检测模型是基于随迭代训练周期改变而动态变化的稀疏系数，对训练得到精度较高且规模较大的异物检测教师模型进行网络压缩，并结合异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的蒸馏损失函数，对网络压缩后的稀疏异物检测模型进行知识蒸馏得到的，使得异物检测模型的规模较小但精度较高，确保图像异物检测结果的精准度的同时，通过减小异物检测模型的计算量，提高图像异物检测的检测速度和实时性。
[0219]
本发明实施例还提供一种图像异物检测装置，图30是本发明提供的图像异物检测装置的结构示意图，如图30所示，该图像异物检测装置3000包括：获取模块3001和输出模块3002，其中：
[0220]
获取模块3001，用于获取待检测目标图像；
[0221]
输出模块3002，用于将所述待检测目标图像输入异物检测模型，输出用于表征预测目标的类别概率和位置坐标的异物检测结果；
[0222]
其中，所述异物检测模型是基于稀疏系数，对异物检测教师模型进行网络压缩，并对压缩后的稀疏异物检测模型进行知识蒸馏得到的；所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的；所述异物检测模型与所述异物检测教师模型的计算复杂度不同，且不同迭代训练周期对应的所述稀疏系数不同。
[0223]
本发明提供的图像异物检测装置，将获取的待检测目标图像输入异物检测模型，由于异物检测模型是基于随迭代训练周期改变而动态变化的稀疏系数，对训练得到精度较高且规模较大的异物检测教师模型进行网络压缩，并结合异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的蒸馏损失函数，对网络压缩后的稀疏异物检测模型进行知识蒸馏得到的，使得异物检测模型的规模较小但精度较高，确保图像异物检测结果的精准度的同时，通过减小异物检测模型的计算量，提高图像异物检测的检测速度和实时性。
[0224]
可选地，输出模块3002，具体用于：
[0225]
所述异物检测模型是基于以下步骤训练得到的：
[0226]
获取图像样本集；
[0227]
基于所述图像样本集，对初始异物检测教师模型进行训练，得到异物检测教师模型；
[0228]
基于稀疏系数，对所述异物检测教师模型进行网络压缩，确定稀疏异物检测模型，其中，不同迭代训练周期对应的所述稀疏系数不同；
[0229]
将所述图像样本集输入所述稀疏异物检测模型进行知识蒸馏，得到异物检测模型，其中，所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的。
[0230]
可选地，输出模块3002，具体用于：
[0231]
确定上一迭代训练周期对应的上一迭代稀疏异物检测模型；
[0232]
基于当前迭代训练周期对应的稀疏系数，对所述上一迭代稀疏异物检测模型进行稀疏训练，得到当前迭代稀疏异物检测模型；
[0233]
遍历所述当前迭代稀疏异物检测模型中至少两层卷积层，对各所述卷积层进行剪枝，得到更新后的所述当前迭代稀疏异物检测模型；
[0234]
对更新后的所述当前迭代稀疏异物检测模型进行下一轮的网络压缩，在达到总迭代轮数的情况下停止。
[0235]
可选地，输出模块3002，具体用于：
[0236]
所述当前迭代训练周期对应的稀疏系数是基于以下步骤确定的：
[0237]
确定总迭代轮数、阶段提升因子和稀疏系数上限值；
[0238]
在当前迭代训练周期小于总迭代轮数的阶段阈值的情况下，基于所述当前迭代训练周期、所述总迭代轮数、所述阶段提升因子和所述稀疏系数上限值，确定所述当前迭代训练周期对应的稀疏系数；
[0239]
在当前迭代训练周期大于或等于总迭代轮数的阶段阈值的情况下，将所述稀疏系数上限值确定为所述当前迭代训练周期对应的所述稀疏系数。
[0240]
可选地，输出模块3002，具体用于：
[0241]
遍历各所述卷积层，确定当前卷积层中各卷积核对应的权重的l2范数，并基于各所述l2范数，确定各所述卷积核对应的重要性评估值；
[0242]
基于所述重要性评估值，将各所述卷积核进行正序排序；
[0243]
基于所述当前迭代训练周期对应的稀疏系数和所述重要性评估值，确定卷积核保留向量，所述卷积核保留向量为基于所述稀疏系数，对所述重要性评估值排序靠后的各所述卷积核进行剪枝得到的；
[0244]
遍历所述卷积核保留向量，对各所述保留卷积核的通道数进行剪枝，确定各所述保留卷积核对应的通道更新数量，各所述保留卷积核的通道更新数量是基于连接的上一卷积层对应的所述卷积核保留向量确定的。
[0245]
可选地，输出模块3002，具体用于：
[0246]
确定所述当前卷积层连接的至少一层上一卷积层对应的上一卷积核保留向量；
[0247]
在所述上一卷积层的数量为1层的情况下，将所述上一卷积核保留向量中的上一卷积核数量确定为所述当前卷积层中各所述保留卷积核对应的通道更新数量；
[0248]
在所述上一卷积层的数量大于1层的情况下，确定各所述上一卷积核保留向量的并集向量，并将所述并集向量中的上一卷积核数量确定为所述当前卷积层中各所述保留卷积核对应的通道更新数量。
[0249]
可选地，输出模块3002，具体用于：
[0250]
所述异物检测模型对应的蒸馏损失函数是基于以下步骤确定的：
[0251]
确定所述第一输出结果中的置信度缩放系数，所述置信度缩放系数用于负样本在所述蒸馏损失函数中的权值；
[0252]
基于所述第一输出结果和所述第二输出结果对应的均方和误差函数，以及所述教师损失函数中的第二置信度损失函数，确定第一置信度损失函数；
[0253]
基于所述置信度缩放系数，所述第一输出结果和所述第二输出结果对应的kl离散度函数、以及所述教师损失函数中的第二类别损失函数，确定第一类别损失函数；
[0254]
基于所述置信度缩放系数，所述第一输出结果和所述第二输出结果对应的ciou损失函数、以及所述教师损失函数中的第二位置坐标损失函数，确定第一位置坐标损失函数；
[0255]
基于所述第一置信度损失函数、所述第一类别损失函数和所述第一位置坐标损失函数，确定所述蒸馏损失函数。
[0256]
图31是本发明提供的电子设备的结构示意图，如图31所示，该电子设备可以包括：处理器(processor)3110、通信接口(communications interface)3120、存储器(memory)3130和通信总线3140，其中，处理器3110，通信接口3120，存储器3130通过通信总线3140完成相互间的通信。处理器3110可以调用存储器3130中的逻辑指令，以执行图像异物检测方法，该方法包括：
[0257]
获取待检测目标图像；
[0258]
将所述待检测目标图像输入异物检测模型，输出用于表征预测目标的类别概率和位置坐标的异物检测结果；
[0259]
其中，所述异物检测模型是基于稀疏系数，对异物检测教师模型进行网络压缩，并对压缩后的稀疏异物检测模型进行知识蒸馏得到的；所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的；所述异物检测模型与所述异物检测教师模型的计算复杂度不同，且不同迭代训练周期对应的所述稀疏系数不同。
[0260]
此外，上述的存储器3130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0261]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像异物检测方法，该方法包括：
[0262]
获取待检测目标图像；
[0263]
将所述待检测目标图像输入异物检测模型，输出用于表征预测目标的类别概率和位置坐标的异物检测结果；
[0264]
其中，所述异物检测模型是基于稀疏系数，对异物检测教师模型进行网络压缩，并对压缩后的稀疏异物检测模型进行知识蒸馏得到的；所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的；所述异物检测模型与所述异物检测教师模型的计算复杂度不同，且不同迭代训练周期对应的所述稀疏系数不同。
[0265]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像异物检测方法，该方法包括：
[0266]
获取待检测目标图像；
[0267]
将所述待检测目标图像输入异物检测模型，输出用于表征预测目标的类别概率和位置坐标的异物检测结果；
[0268]
其中，所述异物检测模型是基于稀疏系数，对异物检测教师模型进行网络压缩，并对压缩后的稀疏异物检测模型进行知识蒸馏得到的；所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的；所述异物检测模型与所述异物检测教师模型的计算复杂度不同，且不同迭代训练周期对应的所述稀疏系数不同。
[0269]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0270]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0271]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种图像异物检测方法，其特征在于，包括：获取待检测目标图像；将所述待检测目标图像输入异物检测模型，输出用于表征预测目标的类别概率和位置坐标的异物检测结果；其中，所述异物检测模型是基于稀疏系数，对异物检测教师模型进行网络压缩，并对压缩后的稀疏异物检测模型进行知识蒸馏得到的；所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的；所述异物检测模型与所述异物检测教师模型的计算复杂度不同，且不同迭代训练周期对应的所述稀疏系数不同。2.根据权利要求1所述的图像异物检测方法，其特征在于，所述异物检测模型是基于以下步骤训练得到的：获取图像样本集；基于所述图像样本集，对初始异物检测教师模型进行训练，得到异物检测教师模型；基于稀疏系数，对所述异物检测教师模型进行网络压缩，确定稀疏异物检测模型，其中，不同迭代训练周期对应的所述稀疏系数不同；将所述图像样本集输入所述稀疏异物检测模型进行知识蒸馏，得到异物检测模型，其中，所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的。3.根据权利要求2所述的图像异物检测方法，其特征在于，所述基于稀疏系数，对所述异物检测教师模型进行网络压缩，包括：确定上一迭代训练周期对应的上一迭代稀疏异物检测模型；基于当前迭代训练周期对应的稀疏系数，对所述上一迭代稀疏异物检测模型进行稀疏训练，得到当前迭代稀疏异物检测模型；遍历所述当前迭代稀疏异物检测模型中至少两层卷积层，对各所述卷积层进行剪枝，得到更新后的所述当前迭代稀疏异物检测模型；对更新后的所述当前迭代稀疏异物检测模型进行下一轮的网络压缩，在达到总迭代轮数的情况下停止。4.根据权利要求3所述的图像异物检测方法，其特征在于，所述当前迭代训练周期对应的稀疏系数是基于以下步骤确定的：确定总迭代轮数、阶段提升因子和稀疏系数上限值；在当前迭代训练周期小于总迭代轮数的阶段阈值的情况下，基于所述当前迭代训练周期、所述总迭代轮数、所述阶段提升因子和所述稀疏系数上限值，确定所述当前迭代训练周期对应的稀疏系数；在当前迭代训练周期大于或等于总迭代轮数的阶段阈值的情况下，将所述稀疏系数上限值确定为所述当前迭代训练周期对应的所述稀疏系数。5.根据权利要求3或4所述的图像异物检测方法，其特征在于，所述对各所述卷积层进行剪枝，包括：遍历各所述卷积层，确定当前卷积层中各卷积核对应的权重的l2范数，并基于各所述
l2范数，确定各所述卷积核对应的重要性评估值；基于所述重要性评估值，将各所述卷积核进行正序排序；基于所述当前迭代训练周期对应的稀疏系数和所述重要性评估值，确定卷积核保留向量，所述卷积核保留向量为基于所述稀疏系数，对所述重要性评估值排序靠后的各所述卷积核进行剪枝得到的；遍历所述卷积核保留向量，对各所述保留卷积核的通道数进行剪枝，确定各所述保留卷积核对应的通道更新数量，各所述保留卷积核的通道更新数量是基于连接的上一卷积层对应的所述卷积核保留向量确定的。6.根据权利要求5所述的图像异物检测方法，其特征在于，所述确定各所述保留卷积核对应的通道更新数量，包括：确定所述当前卷积层连接的至少一层上一卷积层对应的上一卷积核保留向量；在所述上一卷积层的数量为1层的情况下，将所述上一卷积核保留向量中的上一卷积核数量确定为所述当前卷积层中各所述保留卷积核对应的通道更新数量；在所述上一卷积层的数量大于1层的情况下，确定各所述上一卷积核保留向量的并集向量，并将所述并集向量中的上一卷积核数量确定为所述当前卷积层中各所述保留卷积核对应的通道更新数量。7.根据权利要求3或4所述的图像异物检测方法，其特征在于，所述异物检测模型对应的蒸馏损失函数是基于以下步骤确定的：确定所述第一输出结果中的置信度缩放系数，所述置信度缩放系数用于负样本在所述蒸馏损失函数中的权值；基于所述第一输出结果和所述第二输出结果对应的均方和误差函数，以及所述教师损失函数中的第二置信度损失函数，确定第一置信度损失函数；基于所述置信度缩放系数，所述第一输出结果和所述第二输出结果对应的kl离散度函数、以及所述教师损失函数中的第二类别损失函数，确定第一类别损失函数；基于所述置信度缩放系数，所述第一输出结果和所述第二输出结果对应的ciou损失函数、以及所述教师损失函数中的第二位置坐标损失函数，确定第一位置坐标损失函数；基于所述第一置信度损失函数、所述第一类别损失函数和所述第一位置坐标损失函数，确定所述蒸馏损失函数。8.一种图像异物检测装置，其特征在于，包括：获取模块，用于获取待检测目标图像；输出模块，用于将所述待检测目标图像输入异物检测模型，输出用于表征预测目标的类别概率和位置坐标的异物检测结果；其中，所述异物检测模型是基于稀疏系数，对异物检测教师模型进行网络压缩，并对压缩后的稀疏异物检测模型进行知识蒸馏得到的；所述异物检测模型对应的蒸馏损失函数是基于所述异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的；所述异物检测模型与所述异物检测教师模型的计算复杂度不同，且不同迭代训练周期对应的所述稀疏系数不同。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所
述图像异物检测方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图像异物检测方法。

技术总结
本发明提供一种图像异物检测方法、装置、电子设备和存储介质，涉及图像处理技术领域，所述方法包括：获取待检测目标图像；将待检测目标图像输入异物检测模型，输出用于表征预测目标的类别概率和位置坐标的异物检测结果；其中，异物检测模型是基于稀疏系数，对异物检测教师模型进行网络压缩，并对压缩后的稀疏异物检测模型进行知识蒸馏得到的；异物检测模型对应的蒸馏损失函数是基于异物检测教师模型对应的教师损失函数和第一输出结果、以及不同迭代训练周期的迭代稀疏异物检测模型对应的第二输出结果确定的。本发明可在确保检测精准度的同时，提高异物检测的检测速度和实时性。提高异物检测的检测速度和实时性。提高异物检测的检测速度和实时性。


技术研发人员：郑可尧 张栋 孙玉泉 郑红
受保护的技术使用者：维森视觉丹阳有限公司北京分公司
技术研发日：2023.03.10
技术公布日：2023/7/22