车辆属性信息的识别方法、装置、电子设备及存储介质与流程

1.本发明涉及车辆信息识别技术领域，具体而言，涉及一种车辆属性信息的识别方法、装置、电子设备及存储介质。


背景技术：

2.随着ai人工智能的不断发展，智慧交通逐渐兴起。在实现智慧交通过程中，如何对车辆属性信息进行识别是一个亟待解决的问题。现有技术中，一般通过计算机视觉算法提取车辆图像的边缘特征，以识别车辆属性信息。
3.但是，由于光照、摄像机、场景等因素的影响，车辆图像会受到模糊和噪声的影响，导致通过计算机视觉算法去识别得到的车辆属性信息的结果不准确。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种车辆属性信息的识别方法、装置、电子设备及存储介质，能够识别图像中车辆的属性信息，提高了识别车辆属性信息的准确率。
5.第一方面，本技术实施例提供了一种车辆属性信息的识别方法，车辆属性信息的识别方法包括：
6.通过待识别视频流中车辆首次出现时的初始图像，获取车辆在图像中的位置信息；
7.在待识别视频流中，对初始图像内与位置信息对应的车辆进行追踪，得到追踪车辆图像及对应的追踪结果；
8.若追踪结果为追踪成功，则从追踪车辆图像内分辨率最高的图像中，提取车辆的目标图像；
9.若追踪结果为追踪失败，则将初始图像中位置信息对应的车辆图像确定为目标图像；
10.从目标图像中提取车牌信息；
11.将位置信息和车牌信息，确定为待识别视频流对应的车辆属性信息。
12.在一种可能的实施方式中，通过待识别视频流中车辆首次出现时的初始图像，获取车辆在所述图像中的位置信息，包括：
13.将车辆样本图像输入到车辆属性识别模型中，得到车辆在车辆样本图像中的识别位置信息；其中，车辆样本图像中携带有车辆在图像中的实际位置信息；
14.根据车辆样本图像中与识别位置信息对应的识别框、与实际位置信息对应的实际框，确定车辆属性识别模型的损失值；
15.通过损失值对车辆属性识别模型进行模型训练，直至损失值小于预设阈值；
16.将初始图像输入到训练完成的车辆属性识别模型中，得到车辆在图像中的位置信息。
17.在一种可能的实施方式中，根据车辆样本图像中与识别位置信息对应的识别框、
与实际位置信息对应的实际框，确定车辆属性识别模型的损失值，包括：
18.通过下述损失值公式确定损失值；
[0019][0020]
其中，ciou
loss
为损失值；iou为实际框与识别框的交并比，distance2为实际框与识别框的中心点的距离，distance
c2
为实际框与识别框的外接矩形对角线的距离，v是实际框与识别框的长宽比的一致性参数。
[0021]
在一种可能的实施方式中，识别位置信息包括车辆轮廓识别位置信息和车辆车标识别位置信息；实际位置信息包括车辆轮廓实际位置信息和车辆车标实际位置信息，根据车辆样本图像中与识别位置信息对应的识别框、与实际位置信息对应的实际框，确定车辆属性识别模型的损失值，包括：
[0022]
将车辆样本图像中与车辆轮廓识别位置信息对应的识别框、与车辆轮廓实际位置信息对应的实际框代入所述损失值公式，得到车辆属性识别模型的第一损失值；
[0023]
将车辆样本图像中与车辆车标识别位置信息对应的识别框、与车辆车标实际位置信息对应的实际框代入损失值公式，确定车辆属性识别模型的第二损失值。
[0024]
在一种可能的实施方式中，通过下述公式确定实际框与识别框的长宽比的一致性参数；
[0025][0026]
其中，v为实际框与识别框的长宽比的一致性参数，gt为实际框，p为识别框，为实际框的宽，为实际框的高，w
p
为识别框的宽，h
p
为识别框的高。
[0027]
在一种可能的实施方式中，若追踪结果为追踪成功，该方法还包括：
[0028]
识别追踪车辆图像中，时间最早的第一追踪车辆图像内包含的第一标志物；
[0029]
识别追踪车辆图像中，时间最晚的第二追踪车辆图像内包含的第二标志物；第一标志物和第二标志物均为标志数据库中存储的标志物，标志物携带有位置信息；
[0030]
根据第一标志物对应的位置信息和第二标志物对应的位置信息，确定追踪车辆图像中的追踪车辆的行驶距离；并确定第一追踪车辆图像对应的时间与第二追踪车辆图像对应的时间之间的差值，得到追踪车辆图像中的追踪车辆的行驶时长；
[0031]
根据行驶距离、行驶时长，计算追踪车辆图像中的追踪车辆的行驶速度。
[0032]
在一种可能的实施方式中，从目标图像中提取车牌信息，包括：
[0033]
将目标图像输入到车牌属性识别模型中，得到车牌信息；车牌信息中包括车牌位置信息；
[0034]
将目标图像中与车牌位置信息对应的车牌图像进行纠正变换；
[0035]
将纠正变换后的车牌图像输入到车牌字符识别模型中，得到车牌字符信息；
[0036]
其中，车牌属性识别模型通过车牌样本图像及对应的车牌信息训练得到的；车牌字符识别模型通过车牌字符样本图像及对应的车牌字符信息训练得到的。
[0037]
第二方面，本技术实施例还提供了一种车辆属性信息的识别装置，该车辆属性信息的识别装置包括：
[0038]
获取模块，用于通过待识别视频流中车辆首次出现时的初始图像，获取车辆在图像中的位置信息；
[0039]
追踪模块，用于在待识别视频流中，对初始图像内与位置信息对应的车辆进行追踪，得到追踪车辆图像及对应的追踪结果；
[0040]
提取模块，用于若追踪结果为追踪成功，则从追踪车辆图像内分辨率最高的图像中，提取车辆的目标图像；
[0041]
确定模块，用于若追踪结果为追踪失败，则将初始图像中与位置信息对应的车辆图像确定为目标图像；
[0042]
提取模块，还用于从目标图像中提取车牌信息；
[0043]
确定模块，还用于将所述位置信息和所述车牌信息，确定为所述待识别视频流对应的车辆属性信息。
[0044]
在一种可能的实施方式中，获取模块，具体用于将车辆样本图像输入到车辆属性识别模型中，得到车辆在车辆样本图像中的识别位置信息；其中，车辆样本图像中携带有车辆在图像中的实际位置信息；根据车辆样本图像中与识别位置信息对应的识别框、与实际位置信息对应的实际框，确定车辆属性识别模型的损失值；通过损失值对车辆属性识别模型进行模型训练，直至损失值小于预设阈值；将初始图像输入到训练完成的车辆属性识别模型中，得到车辆在图像中的位置信息。
[0045]
在一种可能的实施方式中，确定模块，具体用于通过下述损失值公式确定损失值；
[0046][0047]
其中，ciou
loss
为损失值；iou为实际框与识别框的交并比，distance2为实际框与识别框的中心点的距离，distance
c2
为实际框与识别框的外接矩形对角线的距离，v是实际框与识别框的长宽比的一致性参数。
[0048]
在一种可能的实施方式中，识别位置信息包括车辆轮廓识别位置信息和车辆车标识别位置信息；实际位置信息包括车辆轮廓实际位置信息和车辆车标实际位置信息，确定模块，具体用于将车辆样本图像中与车辆轮廓识别位置信息对应的识别框、与车辆轮廓实际位置信息对应的实际框代入所述损失值公式，得到车辆属性识别模型的第一损失值；将车辆样本图像中与车辆车标识别位置信息对应的识别框、与车辆车标实际位置信息对应的实际框代入损失值公式，确定车辆属性识别模型的第二损失值。
[0049]
在一种可能的实施方式中，确定模块，还用于：
[0050][0051]
其中，v为实际框与识别框的长宽比的一致性参数，gt为实际框，p为识别框，为实际框的宽，为实际框的高，w
p
为识别框的宽，h
p
为识别框的高。
[0052]
在一种可能的实施方式中，若追踪结果为追踪成功，该装置还包括：识别模块，计算模块；
[0053]
识别模块，用于识别追踪车辆图像中，时间最早的第一追踪车辆图像内包含的第一标志物；
[0054]
识别模块，还用于识别追踪车辆图像中，时间最晚的第二追踪车辆图像内包含的第二标志物；第一标志物和第二标志物均为标志数据库中存储的标志物，标志物携带有位置信息；
[0055]
确定模块，还用于根据第一标志物对应的位置信息和第二标志物对应的位置信息，确定追踪车辆图像中的追踪车辆的行驶距离；并确定第一追踪车辆图像对应的时间与第二追踪车辆图像对应的时间之间的差值，得到追踪车辆图像中的追踪车辆的行驶时长；
[0056]
计算模块，用于根据行驶距离、行驶时长，计算追踪车辆图像中的追踪车辆的行驶速度。
[0057]
在一种可能的实施方式中，提取模块，具体用于将目标图像输入到车牌属性识别模型中，得到车牌信息；车牌信息中包括车牌位置信息；将目标图像中与车牌位置信息对应的车牌图像进行纠正变换；将纠正变换后的车牌图像输入到车牌字符识别模型中，得到车牌字符信息；其中，车牌属性识别模型通过车牌样本图像及对应的车牌信息训练得到的；车牌字符识别模型通过车牌字符样本图像及对应的车牌字符信息训练得到的。
[0058]
第三方面，本技术实施例还提供了一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行所述机器可读指令，以执行如第一方面任一项车辆属性信息的识别方法的步骤。
[0059]
第四方面，本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行如第一方面任一项车辆属性信息的识别方法的步骤。
[0060]
本技术实施例提供了一种车辆属性信息的识别方法、装置、电子设备及存储介质，该方法包括：通过待识别视频流中车辆首次出现时的初始图像，获取车辆在图像中的位置信息；在待识别视频流中，对初始图像内与位置信息对应的车辆进行追踪，得到追踪车辆图像及对应的追踪结果；若追踪结果为追踪成功，则从追踪车辆图像内分辨率最高的图像中，提取车辆的目标图像；若追踪结果为追踪失败，则将初始图像中位置信息对应的车辆图像确定为目标图像；从目标图像中提取车牌信息；将位置信息和车牌信息，确定为待识别视频流对应的车辆属性信息。本技术在待识别视频流中，对车辆首次出现时的初始图像进行追踪，根据追踪结果确定目标图像，并从目标图像中获取车牌信息，以得到车辆属性信息，提高了识别车辆属性信息的准确率。
附图说明
[0061]
为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0062]
图1示出了本技术实施例提供的一种车辆属性信息的识别方法的流程图；
[0063]
图2示出了本技术实施例提供的另一种车辆属性信息的识别方法的流程图；
[0064]
图3示出了本技术实施例提供的一种车辆属性信息的识别装置的结构示意图；
[0065]
图4示出了本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0066]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
[0067]
另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0068]
为了使得本领域技术人员能够使用本技术内容，结合特定应用场景“车辆信息识别技术领域”，给出以下实施方式。对于本领域技术人员来说，在不脱离本技术的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本技术主要围绕“车辆信息识别技术领域”进行描述，但是应该理解，这仅是一个示例性实施例。
[0069]
需要说明的是，本技术实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
[0070]
下面对本技术实施例提供的一种车辆属性信息的识别方法进行详细说明。
[0071]
参照图1所示，为本技术实施例提供的一种车辆属性信息的识别方法的流程示意图，该车辆属性信息的识别方法的具体执行过程为：
[0072]
s101、通过待识别视频流中车辆首次出现时的初始图像，获取车辆在图像中的位置信息。
[0073]
s102、在待识别视频流中，对初始图像内与位置信息对应的车辆进行追踪，得到追踪车辆图像及对应的追踪结果。
[0074]
s103、若追踪结果为追踪成功，则从追踪车辆图像内分辨率最高的图像中，提取车辆的目标图像。
[0075]
s104、若追踪结果为追踪失败，则将初始图像中位置信息对应的车辆图像确定为目标图像。
[0076]
s105、从目标图像中提取车牌信息。
[0077]
s106、将位置信息和车牌信息，确定为待识别视频流对应的车辆属性信息。
[0078]
本技术实施例提供了一种车辆属性信息的识别方法，该方法包括：通过待识别视频流中车辆首次出现时的初始图像，获取车辆在图像中的位置信息；在待识别视频流中，对初始图像内与位置信息对应的车辆进行追踪，得到追踪车辆图像及对应的追踪结果；若追踪结果为追踪成功，则从追踪车辆图像内分辨率最高的图像中，提取车辆的目标图像；若追踪结果为追踪失败，则将初始图像中位置信息对应的车辆图像确定为目标图像；从目标图像中获取车牌信息；将位置信息和车牌信息，确定为待识别视频流对应的车辆属性信息。本技术在待识别视频流中，对车辆首次出现时的初始图像进行追踪，根据追踪结果确定目标
图像，并从目标图像中获取车牌信息，以得到车辆属性信息，提高了识别车辆属性信息的准确率。
[0079]
下面对本技术实施例示例性的各步骤进行说明：
[0080]
s101、通过待识别视频流中车辆首次出现时的初始图像，获取车辆在图像中的位置信息。
[0081]
在本技术实施方式中，通过摄像设备获取视频流，该视频流中的视频数据可以为行驶道路等场景的视频数据。将获取的视频流进行编解码得到待识别视频流。对待识别视频流进行抽帧，得到抽帧图像；对抽帧图像添加时间戳，得到待识别图像，即每个待识别图像都对应有在待识别视频流中的出现时间。将待识别视频流中所有出现过的车辆确定为目标车辆；将待识别视频流中该目标车辆对应的至少一个待识别图像内，出现时间最早的待识别图像作为车辆首次出现时的初始图像。车辆在图像中的位置信息包括车辆轮廓识别位置信息和车辆车标识别位置信息；获取每个初始图像中的车辆轮廓在初始图像中的位置信息以及车辆车标轮廓在待识别图像中的位置信息，得到车辆轮廓识别位置信息和车辆车标识别位置信息；位置信息为初始图像包括轮廓的左上角坐标、右上角坐标、左下角坐标和左上角坐标。每个坐标包括横坐标和纵坐标。
[0082]
可选地，本技术除可以获取到车辆在图像中的位置信息外，还可以获取车辆的车辆类型、车辆车标类型信息、车辆颜色信息、车辆朝向信息；实施例可进行识别的车辆类型包括汽车、摩托车、三轮车、卡车、面包车、公交车、自行车和箱型货车等多种类型，这里不做限定，具体根据实际情况而定。车辆车标类型信息为车标的类型；实施例可进行识别的车标类型可以为奥迪、宝马、丰田、奔驰、保时捷、其他等多种车标类型，这里不做限定，具体根据实际情况而定。实施例可进行识别的车辆颜色信息包括白、灰、黄、红、绿、蓝、黑、橙、金、棕、其他等多种车辆颜色信息，这里不做限定，具体根据实际情况而定。实施例可进行识别的车辆朝向信息包括前面、侧面、后面三种朝向信息。
[0083]
s102、在待识别视频流中，对初始图像内与位置信息对应的车辆进行追踪，得到追踪车辆图像及对应的追踪结果。
[0084]
在本技术实施方式中，将初始图像中与初始图像对应的车辆在图像中的位置信息对应的位置进行裁剪，得到车辆图像；并将该车辆图像、所有待识别图像输入到单摄像头车辆追踪模型中对该车辆图像对应的车辆进行追踪，得到追踪结果，以及对应的追踪车辆图像。追踪结果包括追踪成功和追踪失败两种结果；若追踪成功，则将追踪车辆图像包括在所有待识别图像中追踪到的，包含该车辆图像对应车辆的多个待识别图像。若追踪失败，则该车辆图像对应的追踪车辆图像为空。
[0085]
s103、若追踪结果为追踪成功，则从追踪车辆图像内分辨率最高的图像中，提取车辆的目标图像。
[0086]
在本技术实施方式中，从多个追踪车辆图像中挑选出分辨率最高的图像作为车辆的中间图像；在中间图像中与中间图像对应的车辆在图像中的位置信息对应位置进行裁剪，得到车辆的目标图像。
[0087]
这里，从分辨率最高的图像中进行提取，可以提高后续提取车牌信息的准确率，以解决现有技术中由于光线图像。
[0088]
可选地，通过下述步骤确定追踪车辆的行驶速度：
[0089]
i、识别追踪车辆图像中，时间最早的第一追踪车辆图像内包含的第一标志物。
[0090]
在本技术实施方式中，第一追踪车辆图像是指所有追踪车辆图像中，在待识别视频流中的出现时间最早的追踪车辆图像，识别第一追踪车辆图像中包含的第一标志物。第一标志物为标志数据库中存储的标志物，标志物携带有位置信息；标志物携带的位置信息是指在该标志物在现实中所处的位置信息。
[0091]
具体地，对追踪车辆图像进行前景和背景的景深标定，以得到第一追踪车辆图像中包含的第一标志物。
[0092]
ii、识别追踪车辆图像中，时间最晚的第二追踪车辆图像内包含的第二标志物。
[0093]
在本技术实施方式中，第二追踪车辆图像是指所有追踪车辆图像中，在待识别视频流中的出现时间最晚的追踪车辆图像，识别第二追踪车辆图像中包含的第二标志物。同第一标志物，第一标志物为标志数据库中存储的标志物，标志物携带有位置信息；标志物携带的位置信息是指在该标志物在现实中所处的位置信息。
[0094]
具体地，对追踪车辆图像进行前景和背景的景深标定，以得到第二追踪车辆图像中包含的第二标志物。
[0095]
iii、根据第一标志物对应的位置信息和第二标志物对应的位置信息，确定追踪车辆图像中的追踪车辆的行驶距离；并确定第一追踪车辆图像对应的时间与第二追踪车辆图像对应的时间之间的差值，得到追踪车辆图像中的追踪车辆的行驶时长。
[0096]
在本技术实施方式中，将第一标志物对应的位置信息和第二标志物对应的位置信息之间的差值的绝对值，确定为追踪车辆图像中的追踪车辆的行驶距离。确定第一追踪车辆图像对应的时间与第二追踪车辆图像对应的时间之间的差值的绝对值，得到追踪车辆图像中的追踪车辆的行驶时长。
[0097]
iv、根据行驶距离、行驶时长，计算追踪车辆图像中的追踪车辆的行驶速度。
[0098]
在本技术实施方式中，计算行驶距离与行驶时长的比值，得到追踪车辆图像中的追踪车辆的行驶速度。
[0099]
s104、若追踪结果为追踪失败，则将初始图像中位置信息对应的车辆图像确定为目标图像。
[0100]
在本技术实施方式中，追踪失败时，将车辆图像对应的初始图像中，与初始图像对应的车辆在图像中的位置信息对应位置进行裁剪，得到目标图像。
[0101]
s105、从目标图像中提取车牌信息。
[0102]
具体地，将目标图像输入到车牌属性识别模型中，得到车牌信息。
[0103]
在本技术实施方式中，在车牌信息中包括车牌位置信息、车牌颜色信息。车牌位置信息为目标图像中车辆的车牌的轮廓的左上角坐标、右上角坐标、左下角坐标和左上角坐标。每个坐标包括横坐标和纵坐标。车牌颜色信息为目标图像中车辆的车牌的颜色。通过车牌属性识别模型可以识别出的车牌颜色可以为蓝色、绿色、黄色、白色、黄绿色等多种颜色，具体根据实际情况而定，不作限定。
[0104]
本技术实施例中的车牌属性识别模型是一个多任务模型，包括车牌位置检测模型和车牌颜色分类模型。车牌属性识别模型通过车牌样本图像及对应的车牌信息训练得到的，具体训练过程如下：
[0105]
第一步，获取车牌样本图像，该车牌样本图像包括有车牌的样本图像和无车牌的
样本图像；这里，获取的有车牌的图像与无车牌的图像的比例为10:1；将有车牌的样本图像和无车牌的样本图像分别按照3:1:1的比例分为训练集、验证集和测试集。并将有车牌的样本图像作为正样本，无车牌的样本图像作为负样本。并构建车牌属性识别模型。
[0106]
第二步，通过训练集对车牌属性识别模型进行训练，直至车牌属性识别模型的损失值小于预置损失值。
[0107]
第三步，通过验证集对训练完成的车牌属性识别模型进行验证；通过测试集对车牌属性识别模型进行测试，当车牌属性识别模型中的车牌位置检测模型和车牌颜色分类模型的平均精度大于等于98％时，车牌属性识别模型为最终的车牌属性识别模型，反之则对车牌属性识别模型继续进行训练，直到车牌位置检测模型和车牌颜色分类模型的平均精度大于等于98％。
[0108]
具体地，将目标图像中与车牌位置信息对应的车牌图像进行纠正变换。
[0109]
在本技术实施方式中，将目标图像中与车牌位置信息对应位置进行裁剪，得到车牌图像，并通过stn对车牌图像进行纠正变换，以将车牌图像的轮廓变换成一个规则的矩形轮廓。
[0110]
具体地，将纠正变换后的车牌图像输入到车牌字符识别模型中，得到车牌字符信息。
[0111]
在本技术实施方式中，车牌字符信息为车牌图像中车辆的车牌号码。车牌字符识别模型通过车牌字符样本图像及对应的车牌字符信息训练得到的，具体训练过程如下：
[0112]
第一步，获取车牌字符样本图像，该车牌字符样本图像包括有完整车牌字符的样本图像和无完整车牌字符的样本图像；这里，获取的有完整车牌字符的样本图像和无完整车牌字符的样本图像的比例为4:1；将有完整车牌字符的样本图像和无完整车牌字符的样本图像分别按照3:1:1的比例分为训练集、验证集和测试集。并将有完整车牌字符的样本图像作为正样本，无完整车牌字符的样本图像作为负样本。并构建车牌字符识别模型。
[0113]
第二步，通过训练集对车牌字符识别模型进行训练，直至车牌字符识别模型的损失值小于预置损失值。
[0114]
第三步，通过验证集对训练完成的车牌字符识别模型进行验证；通过测试集对车牌字符识别模型进行测试，当车牌字符识别模型中的精度大于等于95％时，车牌字符识别模型为最终的车牌字符识别模型，反之则对车牌字符识别模型继续进行训练，直到车牌字符识别模型的平均精度大于等于95％。
[0115]
s106、将位置信息和车牌信息，确定为待识别视频流对应的车辆属性信息。
[0116]
在本技术实施方式中，得到的位置信息和车牌信息中包括待识别视频流中每个车辆对应的位置信息和车牌信息。
[0117]
可选地，还可以将步骤s101获取到车辆类型、车辆车标信息、车辆颜色信息、车辆朝向信息也作为待识别视频流对应的车辆属性信息。
[0118]
参照图2所示，为本技术实施例提供的一种车辆属性信息的识别方法的流程示意图，该方法为上述步骤s101的具体实施过程，下面对本技术实施例示例性的各步骤进行说明：
[0119]
s201、将车辆样本图像输入到车辆属性识别模型中，得到车辆在车辆样本图像中的识别位置信息。
[0120]
在本技术实施方式中，这里，车辆属性识别模型是一个多任务模型，包括用于识别车辆轮廓识别位置信息的车辆定位分支模型和用于识别车辆车标识别位置信息的车辆车标定位分支模型；还可以包括用于识别车辆类型的车辆类型识别分支模型、用于识别车辆车标类型信息的车标类型识别分支模型、用于识别车辆颜色信息的车辆颜色分类分支模型、用于识别车辆朝向信息的车辆朝向分类分支模型；还可以包含用于识别其他车辆属性信息的分支模型，具体根据实际情况而定。
[0121]
车辆样本图像中包括有车辆的样本图像和无车辆的样本图像；有车辆的样本图像与无车辆的样本图像的比例为10:1；将有车辆的样本图像和无车辆的样本图像分别按照3:1:1的比例分为训练集、验证集和测试集。并将有车辆的样本图像作为正样本，无车辆的样本图像作为负样本。车辆样本图像中携带有人工标注的车辆在图像中的实际位置信息，还可以携带有人工标注的实际车辆类型、实际车辆车标类型信息、实际车辆颜色信息、实际车辆朝向信息；这里要保证样本图像中携带的标注与车辆属性识别模型中包括的分支模型用于识别的内容相互对应。实际位置信息包括车辆轮廓实际位置信息和车辆车标实际位置信息。
[0122]
将训练集中的车辆样本图像输入到车辆属性识别模型中，得到车辆在车辆样本图像中的识别位置信息，还可以得到识别车辆类型、识别车辆车标类型信息、识别车辆颜色信息、识别车辆朝向信息，具体得到的内容应与车辆属性识别模型中包括的分支模型用于识别的内容相互对应。
[0123]
s202、根据车辆样本图像中与识别位置信息对应的识别框、与实际位置信息对应的实际框，确定车辆属性识别模型的损失值。
[0124]
在本技术实施实施方式中，将车辆样本图像中与识别位置信息对应位置进行裁剪，得到识别框，将车辆样本图像中与实际位置信息对应位置进行裁剪，得到实际框。确定车辆定位分支模型和车辆车标定位分支模型的损失函数时，通过下述ciou的损失值公式进行确定。具体地，将车辆样本图像中与车辆轮廓识别位置信息对应的识别框、与车辆轮廓实际位置信息对应的实际框代入ciou的损失值公式，得到车辆属性识别模型的第一损失值；将车辆样本图像中与车辆车标识别位置信息对应的识别框、与车辆车标实际位置信息对应的实际框代入ciou的损失值公式，确定车辆属性识别模型的第二损失值。
[0125]
这里，ciou的损失值公式如下：
[0126][0127][0128]
其中，ciou
loss
为损失值；iou为实际框与识别框的交并比，distance2为实际框与识别框的中心点的距离，distance
c2
为实际框与识别框的外接矩形对角线的距离，v是实际框与识别框的长宽比的一致性参数。gt为实际框，p为识别框，为实际框的宽，为实际框的高，w
p
为识别框的宽，h
p
为识别框的高。
[0129]
这里，一般对于定位回归损失采用交并比损失，计算交并比的三个关键因子：重叠面积、两个框的中心点距离以及长宽比。之前采用iou loss，iou loss只考虑了重叠面积，但是对于不相交的两个框无法衡量两个框的远近的情况计算得到的导数为零，无法反向传
播，对于识别框在实际框内部的这种情况，无法衡量识别框的形状不同带来的影响；后来的giou考虑了两个框不相交的远近距离的影响，但是对于识别框在实际框内部的这种情况，无法衡量识别框与实际框的距离不同带来的影响，这种情况就退化成了iou loss；后来又出现了diou，diou考虑了重叠面积和中心点的距离，但是对于识别框在实际框内部的这种情况，中心点距离相同时，仍无法判断其形状不同带来的影响，而本技术中的ciou考虑了重叠面积，中心点距离以及长宽比解决了上述的问题。
[0130]
可选地，当车辆属性识别模型中包括车辆类型识别分支模型、车标类型识别分支模型、车辆颜色分类分支模型、车辆朝向分类分支模型、或用于识别其他车辆属性信息的分支模型时，可以采用损失值的计算方式可以为softmax loss函数。这里，softmax loss函数如下：其中，yj为分支模型中可分类的第j个类别的预测概率值，xj为第j个类别的输出概率值，m为分支模型中可分类的类别数量，xi为第i个类别的输出概率值。
[0131]
进一步地，将车辆属性识别模型中包含的所有分支模型通过平衡因子进行加权，得到车辆属性识别模型的最终的损失值。示例，若车辆属性识别模型中仅包含车辆定位分支模型和车辆车标定位分支模型，则将第一损失值和第二损失值通过个分支模型对应的平衡因子进行加权，得到车辆属性识别模型的最终的损失值。
[0132]
s203、通过损失值对车辆属性识别模型进行模型训练，直至损失值小于预设阈值。
[0133]
s204、将初始图像输入到训练完成的车辆属性识别模型中，得到车辆在所述图像中的位置信息。
[0134]
通过本技术的实施方式，可以得到用于得到车辆在所述图像中的位置信息的车辆属性识别模型。
[0135]
基于同一发明构思，本技术实施例中还提供了与车辆属性信息的识别方法对应的车辆属性信息的识别装置，由于本技术实施例中的装置解决问题的原理与本技术实施例上述车辆属性信息的识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0136]
参照图3示，为本技术实施例提供的一种车辆属性信息的识别装置的结构示意图，该车辆属性信息的识别装置包括：
[0137]
获取模块301，用于通过待识别视频流中车辆首次出现时的初始图像，获取车辆在图像中的位置信息；
[0138]
追踪模块302，用于在待识别视频流中，对初始图像内与位置信息对应的车辆进行追踪，得到追踪车辆图像及对应的追踪结果；
[0139]
提取模块303，用于若追踪结果为追踪成功，则从追踪车辆图像内分辨率最高的图像中，提取车辆的目标图像；
[0140]
确定模块304，用于若追踪结果为追踪失败，则将初始图像中与位置信息对应的车辆图像确定为目标图像；
[0141]
提取模块303，还用于从目标图像中提取车牌信息；
[0142]
确定模块304，还用于将所述位置信息和所述车牌信息，确定为所述待识别视频流对应的车辆属性信息。
[0143]
在一种可能的实施方式中，获取模块301，具体用于将车辆样本图像输入到车辆属
性识别模型中，得到车辆在车辆样本图像中的识别位置信息；其中，车辆样本图像中携带有车辆在图像中的实际位置信息；根据车辆样本图像中与识别位置信息对应的识别框、与实际位置信息对应的实际框，确定车辆属性识别模型的损失值；通过损失值对车辆属性识别模型进行模型训练，直至损失值小于预设阈值。
[0144]
在一种可能的实施方式中，确定模块304，具体用于通过下述损失值公式确定损失值；
[0145][0146]
其中，ciou
loss
为损失值；iou为实际框与识别框的交并比，distance2为实际框与识别框的中心点的距离，distance
c2
为实际框与识别框的外接矩形对角线的距离，v是实际框与识别框的长宽比的一致性参数。
[0147]
在一种可能的实施方式中，识别位置信息包括车辆轮廓识别位置信息和车辆车标识别位置信息；实际位置信息包括车辆轮廓实际位置信息和车辆车标实际位置信息，确定模块304，具体用于将车辆样本图像中与车辆轮廓识别位置信息对应的识别框、与车辆轮廓实际位置信息对应的实际框代入所述损失值公式，得到车辆属性识别模型的第一损失值；将车辆样本图像中与车辆车标识别位置信息对应的识别框、与车辆车标实际位置信息对应的实际框代入损失值公式，确定车辆属性识别模型的第二损失值。
[0148]
在一种可能的实施方式中，确定模块304，还用于：
[0149][0150]
其中，v为实际框与识别框的长宽比的一致性参数，gt为实际框，p为识别框，为实际框的宽，为实际框的高，w
p
为识别框的宽，h
p
为识别框的高。
[0151]
在一种可能的实施方式中，若追踪结果为追踪成功，该装置还包括：识别模块305，计算模块306；
[0152]
识别模块305，用于识别追踪车辆图像中，时间最早的第一追踪车辆图像内包含的第一标志物；
[0153]
识别模块305，还用于识别追踪车辆图像中，时间最晚的第二追踪车辆图像内包含的第二标志物；第一标志物和第二标志物均为标志数据库中存储的标志物，标志物携带有位置信息；
[0154]
确定模块304，还用于根据第一标志物对应的位置信息和第二标志物对应的位置信息，确定追踪车辆图像中的追踪车辆的行驶距离；并确定第一追踪车辆图像对应的时间与第二追踪车辆图像对应的时间之间的差值，得到追踪车辆图像中的追踪车辆的行驶时长；
[0155]
计算模块306，用于根据行驶距离、行驶时长，计算追踪车辆图像中的追踪车辆的行驶速度。
[0156]
在一种可能的实施方式中，提取模块303，具体用于将目标图像输入到车牌属性识别模型中，得到车牌信息；车牌信息中包括车牌位置信息；将目标图像中与车牌位置信息对应的车牌图像进行纠正变换；将纠正变换后的车牌图像输入到车牌字符识别模型中，得到
车牌字符信息；其中，车牌属性识别模型通过车牌样本图像及对应的车牌信息训练得到的；车牌字符识别模型通过车牌字符样本图像及对应的车牌字符信息训练得到的。
[0157]
本技术实施例提供了一种车辆属性信息的识别装置，该装置包括：获取模块301，用于通过待识别视频流中车辆首次出现时的初始图像，获取车辆在图像中的位置信息；追踪模块302，用于在待识别视频流中，对初始图像内与位置信息对应的车辆进行追踪，得到追踪车辆图像及对应的追踪结果；提取模块303，用于若追踪结果为追踪成功，则从追踪车辆图像内分辨率最高的图像中，提取车辆的目标图像；确定模块304，用于若追踪结果为追踪失败，则将初始图像中与位置信息对应的车辆图像确定为目标图像；提取模块303，还用于从目标图像中提取车牌信息；确定模块304，还用于将所述位置信息和所述车牌信息，确定为所述待识别视频流对应的车辆属性信息。本技术在待识别视频流中，对车辆首次出现时的初始图像进行追踪，根据追踪结果确定目标图像，并从目标图像中获取车牌信息，以得到车辆属性信息，提高了识别车辆属性信息的准确率。
[0158]
如图4所示，本技术实施例提供的一种电子设备400，包括：处理器401、存储器402和总线，存储器402存储有处理器401可执行的机器可读指令，当电子设备运行时，处理器401与存储器402之间通过总线通信，处理器401执行机器可读指令，以执行如上述车辆属性信息的识别方法的步骤。
[0159]
具体地，上述存储器402和处理器401能够为通用的存储器和处理器，这里不做具体限定，当处理器401运行存储器402存储的计算机程序时，能够执行上述车辆属性信息的识别方法。
[0160]
对应于上述车辆属性信息的识别方法，本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述车辆属性信息的识别方法的步骤。
[0161]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本技术中不再赘述。在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0162]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0163]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0164]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件
产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述信息处理方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0165]
以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种车辆属性信息的识别方法，其特征在于，所述车辆属性信息的识别方法包括：通过待识别视频流中车辆首次出现时的初始图像，获取车辆在图像中的位置信息；在所述待识别视频流中，对所述初始图像内与所述位置信息对应的车辆进行追踪，得到追踪车辆图像及对应的追踪结果；若所述追踪结果为追踪成功，则从所述追踪车辆图像内分辨率最高的图像中，提取车辆的目标图像；若所述追踪结果为追踪失败，则将所述初始图像中所述位置信息对应的车辆图像确定为目标图像；从所述目标图像中提取车牌信息；将所述位置信息和所述车牌信息，确定为所述待识别视频流对应的车辆属性信息。2.根据权利要求1所述的车辆属性信息的识别方法，其特征在于，所述通过待识别视频流中车辆首次出现时的初始图像，获取车辆在图像中的位置信息，包括：将车辆样本图像输入到车辆属性识别模型中，得到车辆在车辆样本图像中的识别位置信息；其中，所述车辆样本图像中携带有车辆在图像中的实际位置信息；根据所述车辆样本图像中与所述识别位置信息对应的识别框、与所述实际位置信息对应的实际框，确定所述车辆属性识别模型的损失值；通过所述损失值对所述车辆属性识别模型进行模型训练，直至所述损失值小于预设阈值；将所述初始图像输入到训练完成的车辆属性识别模型中，得到车辆在图像中的位置信息。3.根据权利要求2所述的车辆属性信息的识别方法，其特征在于，所述根据所述车辆样本图像中与所述识别位置信息对应的识别框、与所述实际位置信息对应的实际框，确定所述车辆属性识别模型的损失值，包括：通过下述损失值公式确定所述损失值；其中，ciou
loss
为损失值；iou为实际框与识别框的交并比，distance2为实际框与识别框的中心点的距离，distance
c2
为实际框与识别框的外接矩形对角线的距离，v是实际框与识别框的长宽比的一致性参数。4.根据权利要求3所述的车辆属性信息的识别方法，其特征在于，所述识别位置信息包括车辆轮廓识别位置信息和车辆车标识别位置信息；所述实际位置信息包括车辆轮廓实际位置信息和车辆车标实际位置信息，所述根据所述车辆样本图像中与所述识别位置信息对应的识别框、与所述实际位置信息对应的实际框，确定所述车辆属性识别模型的损失值，包括：将所述车辆样本图像中与所述车辆轮廓识别位置信息对应的识别框、与所述车辆轮廓实际位置信息对应的实际框代入所述损失值公式，得到所述车辆属性识别模型的第一损失值；将所述车辆样本图像中与所述车辆车标识别位置信息对应的识别框、与所述车辆车标实际位置信息对应的实际框代入所述损失值公式，确定所述车辆属性识别模型的第二损失
值。5.根据权利要求3所述的车辆属性信息的识别方法，其特征在于，通过下述公式确定所述实际框与识别框的长宽比的一致性参数；其中，v为实际框与识别框的长宽比的一致性参数，gt为实际框，p为识别框，w
gt
为实际框的宽，h
gt
为实际框的高，w
p
为识别框的宽，h
p
为识别框的高。6.根据权利要求1至5任一项所述的车辆属性信息的识别方法，其特征在于，若所述追踪结果为追踪成功，所述方法还包括：识别所述追踪车辆图像中，时间最早的第一追踪车辆图像内包含的第一标志物；识别所述追踪车辆图像中，时间最晚的第二追踪车辆图像内包含的第二标志物；所述第一标志物和所述第二标志物均为标志数据库中存储的标志物，所述标志物携带有位置信息；根据所述第一标志物对应的位置信息和所述第二标志物对应的位置信息，确定所述追踪车辆图像中的追踪车辆的行驶距离；并确定所述第一追踪车辆图像对应的时间与所述第二追踪车辆图像对应的时间之间的差值，得到所述追踪车辆图像中的追踪车辆的行驶时长；根据所述行驶距离、所述行驶时长，计算所述追踪车辆图像中的追踪车辆的行驶速度。7.根据权利要求1至5任一项所述的车辆属性信息的识别方法，其特征在于，所述从所述目标图像中提取车牌信息，包括：将所述目标图像输入到车牌属性识别模型中，得到车牌信息；所述车牌信息中包括车牌位置信息；将所述目标图像中与所述车牌位置信息对应的车牌图像进行纠正变换；将纠正变换后的车牌图像输入到车牌字符识别模型中，得到车牌字符信息；其中，所述车牌属性识别模型通过车牌样本图像及对应的车牌信息训练得到的；所述车牌字符识别模型通过车牌字符样本图像及对应的车牌字符信息训练得到的。8.一种车辆属性信息的识别装置，其特征在于，所述车辆属性信息的识别装置包括：获取模块，用于通过待识别视频流中车辆首次出现时的初始图像，获取车辆在图像中的位置信息；追踪模块，用于在所述待识别视频流中，对所述初始图像内与所述位置信息对应的车辆进行追踪，得到追踪车辆图像及对应的追踪结果；提取模块，用于若所述追踪结果为追踪成功，则从所述追踪车辆图像内分辨率最高的图像中，提取车辆的目标图像；确定模块，用于若所述追踪结果为追踪失败，则将所述初始图像中所述位置信息对应的车辆图像确定为目标图像；提取模块，还用于从所述目标图像中提取车牌信息；所述确定模块，还用于将所述位置信息和所述车牌信息，确定为所述待识别视频流对应的车辆属性信息。9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所
述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一项所述的车辆属性信息的识别方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的车辆属性信息的识别方法的步骤。

技术总结
本申请涉及车辆信息识别技术领域，尤其涉及车辆属性信息的识别方法、装置、电子设备及存储介质，该方法包括：通过待识别视频流中车辆首次出现时的初始图像，获取车辆在图像中的位置信息；在待识别视频流中，对初始图像内与位置信息对应的车辆进行追踪，得到追踪车辆图像及对应的追踪结果；若追踪结果为追踪成功，则从追踪车辆图像内分辨率最高的图像中，提取车辆的目标图像；若追踪结果为追踪失败，则将初始图像中位置信息对应的车辆图像确定为目标图像；从目标图像中提取车牌信息；将位置信息和车牌信息，确定为待识别视频流对应的车辆属性信息。通过本申请的方式，能够得到车辆属性信息，提高了识别车辆属性信息的准确率。提高了识别车辆属性信息的准确率。提高了识别车辆属性信息的准确率。


技术研发人员：林海华 琚午阳 王达
受保护的技术使用者：北京睿芯通量科技发展有限公司
技术研发日：2023.04.17
技术公布日：2023/7/21