一种基于深度学习融合模型的车辆类型识别方法

1.本发明属于智能交通、智慧高速研究领域，具体涉及一种基于深度学习融合模型的车辆类型识别方法。


背景技术：

2.随着实电子不停车收费系统的研究与应用，实时精确的车辆类型识别不仅能协助交通管理部门高效监控道路情况，及时调整道路资源分配，而且能帮助车辆管理部门掌握车辆实时位置和状态信息，实现车辆定位、追踪、调度等功能。
3.在车辆类型识别研究中，传统机器学习方法依赖于人工提取特征及大量训练数据进行学习，在为学习过的车辆类型或拍摄角度上分类性能较差，泛化能力有限，难以应用于实际工程。而深度学习不再使用特征工程，理论上可以映射到任意函数，更加适合解决车辆类型识别这种复杂问题，在实际工程上具有非常大的应用潜力。融合模型能结合各种模型结构特性，兼具多个模型优势，补缺单一模型某些方面的缺陷，提高网络性能。因此，本发明提出了一种基于深度学习融合模型的车辆类型识别方法。


技术实现要素：

4.发明目的：为了克服现有技术中存在的不足，提供一种基于深度学习融合模型的车辆类型识别方法，首先构建高速公路场景中车辆顶视图数据集，其次采用centernet模型进行车辆类型检测与识别，并使用crop函数获取车辆目标区域，最后利用深度融合神经网络有效地对车辆目标区域进行车辆类型分类，可对高速公路场景中的车辆信息感知提供技术支持。
5.技术方案：为实现上述目的，本发明提供一种基于深度学习融合模型的车辆类型识别方法，包括如下步骤：
6.s1：构建高速公路场景中车辆顶视图图像数据集；
7.s2：构建基于深度学习的车辆类型检测与分类模型centernet，并使用crop函数获取车辆顶视图中的车辆目标区域；
8.s3：构建基于深度学习的车辆类型识别模型vtr-nasnetlarge，获取一维特征向量fn；
9.s4：构建基于深度学习的车辆类型识别模型vtr-vgg16，获取一维特征向量fv；
10.s5：构建基于深度学习的车辆类型识别模型vtr-mobilenetv2，获取一维特征向量fm；
11.s6：将特征向量fn、fv、fm融合，构建基于深度学习车辆类型识别融合模型dfn-vtr，进行车辆类型识别。
12.进一步的，所述步骤s1中构建高速公路中车辆顶视图图像数据集的具体方法如下：
13.s1-1：根据《收费公路车辆通行费车型分类》将高速公路日常通行收费车辆分为客
车与货车两大类，并根据车辆长度、核载人数、车(轴)型进一步细分为passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共十种标签；
14.s1-2：收集高速公路场景中车辆顶视图图像8331幅，包括s1-1中划分的十种收费车辆类型；
15.s1-3：使用数据增强技术进一步丰富数据集，其中包括平移(将图像沿y轴正方向平移200个像素单位，沿x轴正方向平移150个像素单位)得到432幅，镜像(将图片沿y轴翻转)得到376幅，添加噪声(添加高斯噪声以模拟电子元件引起的噪声)得到484幅，改变亮度(使用对数变换保持较亮区域对比度的同时增强较暗区域对比度)得到377幅。最终构建高速公路场景中车辆顶视图数据集共10000幅图像数据；其中每种收费车辆类型1000幅，图像包括不同时段不同车道方向不同光线条件的变化；
16.s1-4：模型训练前，随机抽取81：9：10比例的图像数据划分训练集、验证集和测试集。
17.进一步的，所述步骤s2中构建基于深度学习的车辆类型检测与分类模型centernet，并使用crop函数获取车辆顶视图中的车辆目标区域的具体步骤如下：
18.s2-1：将车辆顶视图图像数据重整为512
×
512输入centernet模型；
19.s2-2：将centernet模型主干提取网络更换为resnet网络进行特征图提取；
20.s2-3：使用三次通道数为256、128、64的反卷积对s2-2中得到的特征图进行上采样，输出尺寸在128
×
128
×
64的高分辨率特征图；
21.s2-4：将上步获得的高分辨率特征图进行三个不同卷积后拆分为热力图预测、中心点宽高预测三支。其中，热力图预测输出特征图尺寸为128
×
128
×
10(10类收费车型)，用于判断一个热力点是否有目标车辆存在及车辆所属收费类型；中心点预测输出特征图尺寸为128
×
128
×
2，用于判断目标车辆中心距离热力点偏移情况；宽高预测输出特征图尺寸为128
×
128
×
2，用于判断目标车辆宽高；
22.s2-5：使用crop函数对检测结果进行roi提取与裁剪，获得车辆目标区域；
23.进一步的，所述步骤s2-5中crop函数具体步骤为：
24.①
函数接受检测后待裁剪图像及目标框坐标[top,left,bottom,right]作为输入
[0025]
②
为保证裁剪框不超过图像上边界，令：
[0026]
top＝max{0,不大于top的最大整数}
[0027]
③
为保证裁剪框不超过图像左边界，令：
[0028]
left＝max{0,不大于left的最大整数}
[0029]
④
为保证裁剪框不超过图像下边界，令：
[0030]
bottom＝min{原始图像高度,bottom向下取整}
[0031]
⑤
为保证裁剪框不超过图像右边界，令：
[0032]
right＝min{原始图像高度,right向下取整}
[0033]
进一步的，所述步骤s3中构建基于深度学习的车辆类型识别模型vtr-nasnetlarge，获取一维特征向量fn的具体方法为：将裁剪后的车辆目标区域重整为尺寸224
×
224
×
3输入nasnetlarge模型，并在模型的基础上，增加全局平均池化层、丢弃率为0.5的dropout层和全连接层，更改softmax层使得网络识别种类分为passenger_car_1、
passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共10类，得到基于深度学习的vtr-nasnetlarge车辆类型识别模型，训练完成后删除末尾的全连接层与dropout层，最后输出1
×1×
4032的一维特征向量fn。
[0034]
进一步的，所述步骤s4中构建基于深度学习的车辆类型识别模型vtr-vgg16，获取一维特征向量fv的具体方法为：将裁剪后的车辆目标区域重整为尺寸224
×
224
×
3输入vgg16模型，并在模型的基础上，增加全局平均池化层、丢弃率为0.5的dropout层和全连接层，更改softmax层使得网络识别种类分为passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共10类，得到基于深度学习的vtr-vgg16车辆类型识别模型，训练完成后删除末尾的全连接层与dropout层，最后输出1
×1×
512的一维特征向量fv。
[0035]
进一步的，所述步骤s5中构建基于深度学习的车辆类型识别模型vtr-mobilenetv2，获取一维特征向量fm的具体方法为：将裁剪后的车辆目标区域重整为尺寸224
×
224
×
3输入mobilenetv2模型，并在模型的基础上，增加全局平均池化层、丢弃率为0.5的dropout层和全连接层，更改softmax层使得网络识别种类分为passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共10类，得到基于深度学习的vtr-mobilenetv2车辆类型识别模型，训练完成后删除末尾的全连接层与dropout层，最后输出1
×1×
1028的一维特征向量fm.
[0036]
进一步的，所述步骤s6中将特征向量fn、fv、fm融合，构建基于深度学习车辆类型识别融合模型v的具体方法为：对于vtr-nasnetlarge、vtr-vgg16、vtr-mobilenetv2三个模型，去除原结构全连接层与dropout层，以适应一维输出，其次将得到的一维特征向量fn、fv、fm并联融合得到1
×1×
5824的特征，然后将合并后的一维特征向量作为输入，重新训练融合模型全连接层，并再次加入dropout层防止过拟合，加入softmax层并修改识别种类为10类收费车型输出分类结果，最后得到融合模型dfn-vtr。
[0037]
有益效果：本发明与现有技术相比，基于深度学习技术实现了对车辆类型的自动识别，提高了识别精度、模型稳定性与泛化能力，可对高速公路场景的车辆信息感知提供技术支持。
附图说明
[0038]
图1为centernet模型结构示意图。
[0039]
图2为dfn-vtr模型结构示意图。
具体实施方式
[0040]
下面结合附图和具体实施例，进一步阐明本发明。
[0041]
本发明提供一种基于深度学习的车辆类型识别方法，包括以下步骤：
[0042]
s1：构建高速公路中车辆顶视图图像数据集，其具体为：
[0043]
s1-1：根据《收费公路车辆通行费车型分类》将高速公路日常通行收费车辆分为客车与货车两大类，并根据车辆长度、核载人数、车(轴)型进一步细分为passenger_car_1、
passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共十种标签；
[0044]
s1-2：收集高速公路场景中车辆顶视图图像8331幅，包括s1-1中划分的十种收费车辆类型；
[0045]
s1-3：使用数据增强技术进一步丰富数据集，其中包括平移(将图像沿y轴正方向平移200个像素单位，沿x轴正方向平移150个像素单位)得到432幅，镜像(将图片沿y轴翻转)得到376幅，添加噪声(添加高斯噪声以模拟电子元件引起的噪声)得到484幅，改变亮度(使用对数变换保持较亮区域对比度的同时增强较暗区域对比度)得到377幅。最终构建高速公路场景中车辆顶视图数据集共10000幅图像数据；其中每种收费车辆类型1000幅，图像包括清晨、正午、傍晚、夜晚不同光线条件及高速公路场景中两种车道方向的变化，数据集构成如表1所示；
[0046]
表1高速公路场景中车辆顶视图图像数据集
[0047]
车辆类型passenger_car_1passenger_car_2passenger_car_3passenger_car_4truck_1数量10001000100010001000车辆类型truck_2truck_3truck_4truck_5truck_6数量10001000100010001000
[0048]
s1-4：模型训练前，随机抽取81：9：10比例的图像数据划分训练集、验证集和测试集。
[0049]
s2：构建基于深度学习的车辆类型检测与分类模型centernet，并使用crop函数获取车辆顶视图中的车辆目标区域，其具体为：
[0050]
s2-1：将车辆顶视图图像数据重整为512
×
512输入centernet模型；
[0051]
s2-2：将centernet模型主干提取网络更换为resnet网络进行特征图提取；
[0052]
s2-3：使用三次通道数为256、128、64的反卷积对s2-2中得到的特征图进行上采样，输出尺寸在128
×
128
×
64的高分辨率特征图；
[0053]
s2-4：将上步获得的高分辨率特征图进行三个不同卷积后拆分为热力图预测、中心点宽高预测三支。其中，热力图预测输出特征图尺寸为128
×
128
×
10(10类收费车型)，用于判断一个热力点是否有目标车辆存在及车辆所属收费类型；中心点预测输出特征图尺寸为128
×
128
×
2，用于判断目标车辆中心距离热力点偏移情况；宽高预测输出特征图尺寸为128
×
128
×
2，用于判断目标车辆宽高；
[0054]
s2-5：使用crop函数对检测结果进行roi提取与裁剪，获得车辆目标区域；
[0055]
①
函数接受检测后待裁剪图像及目标框坐标[top,left,bottom,right]作为输入
[0056]
②
为保证裁剪框不超过图像上边界，令：
[0057]
top＝max{0,不大于top的最大整数}
[0058]
③
为保证裁剪框不超过图像左边界，令：
[0059]
left＝max{0,不大于left的最大整数}
[0060]
④
为保证裁剪框不超过图像下边界，令：
[0061]
bottom＝min{原始图像高度,bottom向下取整}
[0062]
⑤
为保证裁剪框不超过图像右边界，令：
[0063]
right＝min{原始图像高度,right向下取整}
[0064]
s3：构建基于深度学习的车辆类型识别模型vtr-nasnetlarge，获取一维特征向量fn：将s2中检测并裁剪后的车辆目标区域重整为尺寸224
×
224
×
3输入nasnetlarge模型，并在传统卷积神经网络nasnetlarge模型的基础上，增加全局平均池化层、丢弃率为0.5的dropout层和全连接层，更改softmax层使得网络识别种类分为passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共10类，得到基于深度学习的vtr-nasnetlarge车辆类型识别模型，训练完成后删除末尾的全连接层与dropout层，最后输出1
×1×
4032的一维特征向量fn。
[0065]
s4：构建基于深度学习的车辆类型识别模型vtr-vgg16，获取一维特征向量fv：将s2中检测并裁剪后的车辆目标区域重整为尺寸224
×
224
×
3输入vgg16模型，并在传统卷积神经网络vgg16模型的基础上，增加全局平均池化层、丢弃率为0.5的dropout层和全连接层，更改softmax层使得网络识别种类分为passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共10类，得到基于深度学习的vtr-nasnetlarge车辆类型识别模型，训练完成后删除末尾的全连接层与dropout层，最后输出1
×1×
512的一维特征向量fv。
[0066]
s5：构建基于深度学习的车辆类型识别模型vtr-mobilenetv2，获取一维特征向量fm：将s2中检测并裁剪后的车辆目标区域重整为尺寸224
×
224
×
3输入nasnetlarge模型，并在传统卷积神经网络mobilenetv2模型的基础上，增加全局平均池化层、丢弃率为0.5的dropout层和全连接层，更改softmax层使得网络识别种类分为passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共10类，得到基于深度学习的vtr-nasnetlarge车辆类型识别模型，训练完成后删除末尾的全连接层与dropout层，最后输出1
×1×
1028的一维特征向量fm。
[0067]
s6：将特征向量fn、fv、fm融合，构建基于深度学习车辆类型识别融合模型dfn-vtr，对车辆类型进行识别：vtr-nasnetlarge、vtr-vgg16、vtr-mobilenetv2三个车辆类型识别模型采用并联融合规则，形成dfn-vtr车辆类型识别模型如图2所示。对于vtr-nasnetlarge、vtr-vgg16、vtr-mobilenetv2三个模型，基于迁移学习原则导入预训练权重，完成模型训练后去除各模型原结构全连接层与dropout层，提取到一维特征向量fn、fv、fm，将得到的一维特征向量进行并联，融合成尺寸为1
×1×
5824的新一维特征向量，然后将合并后的一维特征向量作为输入，再次加入丢弃率为0.5的dropout层防止过拟合，重新训练全连接层，加入softmax并更改识别类型为10，最后得到融合模型dfn-vtr，输出passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共10种收费车型识别结果。
[0068]
为验证centernet模型对高速场景中车辆类型检测与识别的优越性，本案例设置了对比实验。基于10000幅高速公路中车辆顶视图数据集，按照81:9:10划分训练集、验证集与测试集，基于迁移学习原则设置冻结阶段50个epoch，解冻阶段100个epoch，统一使用adam优化器，分别使用yolov5、ssd、efficientdet、centernet进行车辆类型检测与识别，并训练神经网络，得到测试集上召回率如表2所示(passenger_car_1用p1代表，其他类型同理)。可以看出使用centernet模型进行车辆类型检测与识别测试结果明显优于其他算法，
尤其是与yolov5算法相比平均召回率有明显提高。表明centernet模型能够有效识别车辆顶视图种的车辆目标区域。
[0069]
表2高速公路场景种车辆类型检测与识别方法对比
[0070] yolov5ssdefficientdetcenternetp1100％100％100％100％p263％81％96％95％p399％95％93％98％p499％100％98％97％t196％98％100％99％t299％100％96％98％t3100％98％99％100％t4100％100％100％98％t599％99％99％99％t6100％99％100％100％平均召回率95.50％97.0％98.1％98.4％
[0071]
为验证融合模型(dfn-vtr)的优越性，同样进行了对比实验。基于1000幅高速公路场景中车辆顶视图图像数据，按81:9:10的比例划分训练集、验证集和测试集，使用centernet模型进行高速场景中车辆类型检测与识别并使用crop函数裁剪出车辆目标区域，分别训练vtr-nasnetlarge、vtr-vgg16、vtr-mobilenetv2、dfn-vtr四种车辆类型识别模型，对比分析不同模型的精度，结果如表3所示。可以看出融合模型(dfn-vtr)的车辆类型识别的训练精确率为99.58％，训练召回率为99.35％，验证精确率为94.94％，验证召回率为94.19％，明显高于其他单一模型；同时相比单一模型，融合模型在单网络基础上的训练速度极快。
[0072]
表3融合模型对比
[0073] nasnetlargevgg16mobilenetv2dfn-vtr训练精确率99.52％98.26％99.28％99.58％训练召回率99.33％97.79％99.24％99.35％验证精确率91.42％93.73％92.27％94.94％验证召回率91.04％93.33％92.08％94.19％训练耗时473ms/epoch475ms/epoch496ms/epoch1.52ms/epoch
[0074]
为了进一步表明dfn-vtr模型的有效性，本案例统计了测试集识别结果的混淆矩阵，如表4所示。结果表明dfn-vtr融合模型对车辆类型的识别性能较好，十种收费车型的测试集识别准确率均不低于96.00％，平均识别准确率达99.00％，且不存在图片未检出情况。
[0075]
表4 dfn-vtr融合模型混淆矩阵
[0076] p1p2p3p4t1t2t3t4t5t6未检出p110000000000p200.960.030.010000000p300.020.970.010000000
p40001.000000000t100000.990.0100000t2000001.0000000t3000000.010.990000t40000000.010.99000t5000000001.0000t60000000001.000
[0077]
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

技术特征：
1.一种基于深度学习融合模型的车辆类型识别方法，其特征在于：包括如下步骤：s1：构建高速公路场景中车辆顶视图图像数据集；s2：构建基于深度学习的车辆类型检测与分类模型centernet，并使用crop函数获取车辆顶视图中的车辆目标区域；s3：构建基于深度学习的车辆类型识别模型vtr-nasnetlarge，获取一维特征向量f
n
；s4：构建基于深度学习的车辆类型识别模型vtr-vgg16，获取一维特征向量fv；s5：构建基于深度学习的车辆类型识别模型vtr-mobilenetv2，获取一维特征向量f
m
；s6：将特征向量f
n
、fv、f
m
融合，构建基于深度学习车辆类型识别融合模型dfn-vtr，进行车辆类型识别。2.根据权利要求1所述的一种基于深度学习融合模型的车辆类型识别方法，其特征在于：所述步骤s1中构建高速公路场景中车辆顶视图图像数据集的具体方法如下：s1-1：将高速公路日常通行收费车辆分为客车与货车两大类，并根据车辆长度、核载人数、车型进一步细分为passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共十种标签；s1-2：收集高速公路场景中车辆顶视图图像8331幅，包括s1-1中划分的十种收费车辆类型；s1-3：使用数据增强技术进一步丰富数据集，其中包括平移得到432幅，镜像得到376幅，添加噪声得到484幅，改变亮度得到377幅；最终构建高速公路场景中车辆顶视图数据集共10000幅图像数据；其中每种收费车辆类型1000幅，图像包括不同时段不同车道方向不同光线条件的变化；s1-4：模型训练前，随机抽取81：9：10比例的图像数据划分训练集、验证集和测试集。3.根据权利要求1所述的一种基于深度学习融合模型的车辆类型识别方法，其特征在于：所述步骤s2中构建基于深度学习的车辆类型检测与分类模型centernet，并使用crop函数获取车辆顶视图中的车辆目标区域的具体步骤如下：s2-1：将车辆顶视图图像数据重整为512
×
512输入centernet模型；s2-2：将centernet模型主干提取网络更换为resnet网络进行特征图提取；s2-3：使用三次通道数为256、128、64的反卷积对s2-2中得到的特征图进行上采样，输出尺寸在128
×
128
×
64的高分辨率特征图；s2-4：将上步获得的高分辨率特征图进行三个不同卷积后拆分为热力图预测、中心点宽高预测三支；其中，热力图预测输出特征图尺寸为128
×
128
×
10，用于判断一个热力点是否有目标车辆存在及车辆所属收费类型；中心点预测输出特征图尺寸为128
×
128
×
2，用于判断目标车辆中心距离热力点偏移情况；宽高预测输出特征图尺寸为128
×
128
×
2，用于判断目标车辆宽高；s2-5：使用crop函数对检测结果进行roi提取与裁剪，获得车辆目标区域。4.根据权利要求3所述的一种基于深度学习融合模型的车辆类型识别方法，其特征在于：所述步骤s2-5中crop函数具体内容为：
①
函数接受检测后待裁剪图像及目标框坐标[top,left,bottom,right]作为输入
②
为保证裁剪框不超过图像上边界，令：top＝max{0,不大于top的最大整数}
③
为保证裁剪框不超过图像左边界，令：left＝max{0,不大于left的最大整数}
④
为保证裁剪框不超过图像下边界，令：bottom＝min{原始图像高度,bottom向下取整}
⑤
为保证裁剪框不超过图像右边界，令：right＝min{原始图像高度,right向下取整}。5.根据权利要求1所述的一种基于深度学习融合模型的车辆类型识别方法，其特征在于：所述步骤s3中构建基于深度学习的车辆类型识别模型vtr-nasnetlarge，获取一维特征向量f
n
的具体方法为：将裁剪后的车辆目标区域重整为尺寸224
×
224
×
3输入nasnetlarge模型，并在模型的基础上，增加全局平均池化层、丢弃率为0.5的dropout层和全连接层，更改softmax层使得网络识别种类分为passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共10类，得到基于深度学习的vtr-nasnetlarge车辆类型识别模型，训练完成后删除末尾的全连接层与dropout层，最后输出1
×1×
4032的一维特征向量f
n
。6.根据权利要求1所述的一种基于深度学习融合模型的车辆类型识别方法，其特征在于：所述步骤s4中构建基于深度学习的车辆类型识别模型vtr-vgg16，获取一维特征向量fv的具体方法为：将裁剪后的车辆目标区域重整为尺寸224
×
224
×
3输入vgg16模型，并在模型的基础上，增加全局平均池化层、丢弃率为0.5的dropout层和全连接层，更改softmax层使得网络识别种类分为passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共10类，得到基于深度学习的vtr-vgg16车辆类型识别模型，训练完成后删除末尾的全连接层与dropout层，最后输出1
×1×
512的一维特征向量fv。7.根据权利要求1所述的一种基于深度学习融合模型的车辆类型识别方法，其特征在于：所述步骤s5中构建基于深度学习的车辆类型识别模型vtr-mobilenetv2，获取一维特征向量f
m
的具体方法为：将裁剪后的车辆目标区域重整为尺寸224
×
224
×
3输入mobilenetv2模型，并在模型的基础上，增加全局平均池化层、丢弃率为0.5的dropout层和全连接层，更改softmax层使得网络识别种类分为passenger_car_1、passenger_car_2、passenger_car_3、passenger_car_4、truck_1、truck_2、truck_3、truck_4、truck_5、truck_6共10类，得到基于深度学习的vtr-mobilenetv2车辆类型识别模型，训练完成后删除末尾的全连接层与dropout层，最后输出1
×1×
1028的一维特征向量f
m
。8.根据权利要求1所述的一种基于深度学习融合模型的车辆类型识别方法，其特征在于：所述步骤s6中将特征向量f
n
、fv、f
m
融合，构建基于深度学习车辆类型识别融合模型dfn-vtr的具体方法为：对vtr-nasnetlarge、vtr-vgg16、vtr-mobilenetv2三个车辆类型识别模型提取到的特征向量f
n
、fv、f
m
采用并联融合规则，形成dfn-vtr车辆类型识别模型。9.根据权利要求8所述的一种基于深度学习融合模型的车辆类型识别方法，其特征在于：并联融合规则的具体内容为：对于vtr-nasnetlarge、vtr-vgg16、vtr-mobilenetv2三个模型，去除原结构全连接层与dropout层，以适应一维输出，其次将得到的一维特征向量f
n
、fv、f
m
并联融合得到1
×1×
5824的特征，然后将合并后的一维特征向量作为输入，重新训练融合模型全连接层，并再次加入dropout层防止过拟合，加入softmax层并修改识别种类为
车辆类型输出分类结果，最后得到融合模型dfn-vtr。

技术总结
本发明公开了一种基于深度学习融合模型的车辆类型识别方法，包括：构建高速公路场景中车辆顶视图图像数据集；构建基于深度学习的高速公路场景中车辆类型检测与识别方法CenterNet，并使用crop函数裁剪车辆目标区域；构建基于深度学习的车辆类型识别模型VTR-NASNetLarge，获取一维特征向量F


技术研发人员：赵池航 张子怡 马欣怡
受保护的技术使用者：东南大学
技术研发日：2023.06.06
技术公布日：2023/10/11