基于尺度变化的车辆行为识别方法及系统

1.本发明涉及车辆行为识别技术领域，更具体的说是涉及基于尺度变化的车辆行为识别方法及系统。


背景技术：

2.车辆行为识别任务是根据视频中的高级语义信息对车辆行为类别进行判别，旨在发挥交通监控视频数据价值，挖掘交通视频中的车辆行为语义信息，提升车辆行为识别性能。目前车辆行为识别主要分为两个方向，面向自动驾驶的车辆行为识别和面向交通监管的车辆行为识别。面向自动驾驶的车辆行为识别多集中于对周围车辆驾驶意图以及行为的预测与识别；而面向交通监管的车辆行为识别将研究内容关注于当前车辆的行为特征提取与判断。目前，我国交通系统在路运行的摄像头大约有2400万个，每天都产生大量的视频监控数据，但是很多交通路段中，车辆行为依然通过人为监督的方式进行实现，人为监督存在效率较低和资源浪费严重的问题。因此以交通监控视频数据驱动车辆行为识别的发展与落地，对于推动交通监管信息化和智能化具有重要的理论意义与应用价值，极大的提高交通运输效率、保障交通安全。
3.根据过去的研究发现，在真实交通监控视频数据中，车辆与观察者(摄像头)相对位置在随着时间变化，相对位置的变换导致车辆在视频中的尺度发生改变。目前常用的卷积神经网络对于尺度变换的车辆特征提取性能较差，导致现有的行为识别方法在车辆行为识别任务无法取得优异的效果。本发明设计了尺度变化特征构建单元并结合长短期记忆网络，解决车辆识别中车辆尺度随时间推移而变换的问题。
4.因此，如何设计尺度变化特征构建单元，实现车辆尺度随时间推移而变换的过程中识别车辆行为是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了基于尺度变化的车辆行为识别方法及系统，将resnet输出的特征向量作为尺度变化特征构建单元的输入，经过多分支和多层次感受野卷积特征处理，增加模型对尺度变化的目标车辆的特征提取能力，解决了车辆识别中车辆尺度随时间推移而变换的问题。
6.为了实现上述目的，本发明采用如下技术方案：基于尺度变化的车辆行为识别方法，包括：
7.获取视频帧图像序列；
8.通过特征提取骨干网络提取所述视频帧图像序列的高级语义特征，得到特征向量；
9.对所述特征向量使用不同尺寸的卷积核进行尺度变化的特征处理得到不同大小的多个特征图；
10.所述不同大小的多个特征图通过多个双层lstm进行时序建模；
11.对建模后的特征向量进行概率计算，得到车辆行为类别。
12.优选的，所述特征提取骨干网络通过resnet-50网络进行特征提取，解决模型退化的问题，通过加深网络层数达到对图像高级语义特征提取的目的。
13.优选的，对所述特征向量进行尺度变化的特征处理，具体包括：
14.采用多分支结构，构建尺度变化特征构建单元；
15.将所述特征向量并联输入到所述尺度变化特征构建单元中，依次经卷积层、池化层、融合层、归一化层和激活层处理后输出特征向量。
16.传统的卷积神经网络采用固定尺寸的卷积核，在尺度变化情况下，无法提取到的关键特征，为解决尺度变化的问题，本发明设计了一种尺度变化特征构建单元，用以增加模型对于尺度变化特征的适应性。
17.优选的，所述卷积层由不同尺寸的卷积核并联构成，使用卷积核尺寸最小的卷积层过滤无用特征，不同的分支使用不同的卷积核获得不同大小的特征图，将所述特征图输入到所述池化层。
18.优选的，卷积层输出的特征图经所述池化层最大池化后输出特征向量；
19.对输出后的特征向量进行特征融合，输出具有尺度变化适应性的特征向量；融合公式如下：
[0020][0021]
其中，ri表示不同分支的输出特征向量，i表示尺度变化特征构建单元中分支序号，i∈[1,n]，n表示卷积层的分支层数，rc表示特征融合后的特征向量，c表示特征向量的通道数。
[0022]
优选的，将具有尺度变化适应性的特征向量输入到归一化层进行批量归一化处理，将处理后的特征向量输入到激活层通过非线性激活函数计算，输出处理后的特征向量，具体公式如下：
[0023]
f＝σ(batchnorm(rc))；
[0024]
其中，batchnorm表示归一化计算，σ表示relu非线性激活函数，f表示经归一化和非线性激活函数处理后的特征向量。
[0025]
优选的，所述对建模后的特征向量进行概率计算具体包括：通过softmax函数将具有多种分类的输出转换为范围在[0,1]的概率分布，获得分类结果。
[0026]
基于尺度变化的车辆行为识别系统，包括：
[0027]
图像获取单元，用于获取视频帧图像序列；
[0028]
特征提取单元，用于提取所述视频帧图像序列的高级语义特征，得到特征向量；
[0029]
尺度变化特征构建单元，用于对所述特征向量进行尺度变化的特征处理，得到具有尺度变化适应性的特征向量；
[0030]
时序建模单元，用于将所述具有尺度变化适应性的特征向量通过多个双层lstm进行时序建模；
[0031]
分类单元，用于对建模后的特征向量进行概率计算，得到分类结果；
[0032]
显示单元，用于显示车辆行为类别。
[0033]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于尺度变
化的车辆行为识别方法及系统，包括：获取视频帧图像序列；通过特征提取骨干网络提取所述视频帧图像序列的高级语义特征，得到特征向量；对所述特征向量使用不同尺寸的卷积核进行尺度变化的特征处理得到不同大小的多个特征图；所述不同大小的多个特征图通过多个双层lstm进行时序建模；对建模后的特征向量进行概率计算，得到行为类别。本发明将resnet输出的特征向量作为尺度变化特征构建单元的输入，本发明将resnet输出的特征向量作为尺度变化特征构建单元的输入，经过多层次多尺寸感受野卷积特征重构处理，增加模型对车辆尺度变化特征的适应能力，在车辆识别任务中，缓解了车辆尺度变换导致识别精度下降的问题。
附图说明
[0034]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0035]
图1为本发明提供的基于尺度变化的车辆行为识别框架图；
[0036]
图2为本发明提供的尺度变化特征构建单元结构图。
具体实施方式
[0037]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
本发明实施例公开了一种基于尺度变化的车辆行为识别方法，包括：
[0039]
获取视频帧图像序列；
[0040]
通过特征提取骨干网络提取所述视频帧图像序列的高级语义特征，得到特征向量；
[0041]
对所述特征向量使用不同尺寸的卷积核进行尺度变化的特征处理得到不同大小的多个特征图；
[0042]
所述不同大小的多个特征图通过多个双层lstm进行时序建模；
[0043]
对建模后的特征向量进行概率计算，得到车辆行为类别。
[0044]
具体的，所述特征提取骨干网络通过resnet-50网络进行特征提取，解决模型退化的问题，通过加深网络层数达到对图像高级语义特征提取的目的。
[0045]
具体的，对所述特征向量进行尺度变化的特征处理，具体包括：
[0046]
采用多分支结构，构建尺度变化特征构建单元；
[0047]
将所述特征向量并联输入到所述尺度变化特征构建单元中，依次经卷积层、池化层、融合层、归一化层和激活层处理后输出特征向量。
[0048]
传统的卷积神经网络采用固定尺寸的卷积核，在尺度变化情况下，无法提取到的关键特征，为解决尺度变化的问题，本发明设计了一种尺度变化特征构建单元，用以增加模型对于尺度变化特征的适应性。
[0049]
具体的，所述卷积层由不同尺寸的卷积核并联构成，使用卷积核尺寸最小的卷积层过滤无用特征，不同的分支使用不同的卷积核获得不同大小的特征图，将所述特征图输入到所述池化层。
[0050]
具体的，卷积层输出的特征图经所述池化层最大池化后输出特征向量；
[0051]
对输出后的特征向量进行特征融合，输出具有尺度变化适应性的特征向量；融合公式如下：
[0052][0053]
其中，ri表示不同分支的输出特征向量，i表示尺度变化特征构建单元中分支序号，i∈[1,n]，n表示卷积层的分支层数，rc表示特征融合后的特征向量，c表示特征向量的通道数。
[0054]
具体的，将具有尺度变化适应性的特征向量输入到归一化层进行批量归一化处理，将处理后的特征向量输入到激活层通过非线性激活函数计算，输出处理后的特征向量，具体公式如下：
[0055]
f＝σ(batchnorm(rc))；
[0056]
其中，batchnorm表示归一化计算，σ表示relu非线性激活函数，f表示经归一化和非线性激活函数处理后的特征向量。
[0057]
具体的，所述对建模后的特征向量进行概率计算具体包括：通过softmax函数将具有多种分类的输出转换为范围在[0,1]的概率分布，获得分类结果。
[0058]
在本发明的一个优选实施例中，如图1所示，本发明所提出的车辆行为识别算法主要包括特征提取单元、尺度变化特征构建单元、时序建模单元和分类单元，其各自对应的功能为：深层次特征提取、尺度变化的特征处理、时间序列建模和概率值输出结果分类。首先将交通视频转换为视频帧图像序列，将视频帧图像序列送入特征提取单元，通过resnet特征提取骨干网络解决了模型退化问题，加深网络层数达到对图像高级语义特征进行提取的目的；之后将resnet输出的特征向量作为尺度变化特征构建单元的输入，经过多层次感受野卷积特征处理，增加模型对尺度变化的目标车辆的特征提取能力。由于车辆行为识别的本质是时间序列建模任务，为了更好的探索车辆信息在时域中的变化，有效挖掘时间序列中依赖关系，本发明实施例时序建模单元采用具有处理长序列能力的lstm作为模型基本单元，时序建模单元采用多个双层lstm单元，提取序列中时序依赖特征；最后通过分类单元中的softmax函数将多分类的输出值转换为范围在[0,1]的概率分布，其中包括每一个车辆行为类别对应的概率，选择概率最大的车辆行为类别作为输出结果，即为最终的车辆行为类别。
[0059]
本发明采用不同感受野对于车辆特征进行提取和融合，此外采用长短期记忆网络增加对视频序列中时序依赖关系的学习和理解能力。
[0060]
具体的，尺度变化特征构建单元的结构如图2所示，由四类不同尺寸的卷积核并联构成，使用增加网络宽度拓展感受野策略，将resnet-50网络输出的特征向量ai并联输入至四个分支特征提取层，首先使用卷积核尺寸为1的卷积层过滤无用特征，不同的分支使用不同的卷积核获得不同大小的多个特征图。其计算过程如公式(1-1)所示。
[0061][0062]
卷积输出的特征向量经最大池化计算输出特征向量，经过特征融合产生具有尺度变化适应性的特征向量，其融合策略如公式(1-2)所示。
[0063][0064]
其中，ri表示不同分支的输出特征向量，i表示尺度变化特征构建单元中分支序号，i∈[1,4]，rc表示特征融合后的特征向量，c表示特征向量的通道数。
[0065]
具有尺度变化适应性的特征向量通过批量归一化和非线性激活函数计算后，输出特征向量至双层多lstm进行时序建模，如公式(1-3)所示。
[0066]
f＝σ(batchnorm(r)) (1-3)
[0067]
其中，batchnorm表示归一化计算，σ表示relu非线性激活函数，f表示经归一化和非线性激活函数处理后的特征向量。本发明尺度变化的车辆行为识别算法如表1-1所示。
[0068]
表1-1
[0069]
输入：包含车辆动作实例的视频数据x
[0070]
输出：车辆类别标签y
[0071][0072]
在本发明的一个具体实施例中，基于尺度变化的车辆行为识别系统，包括：
[0073]
图像获取单元，用于获取视频帧图像序列；
[0074]
特征提取单元，用于提取所述视频帧图像序列的高级语义特征，得到特征向量；
[0075]
尺度变化特征构建单元，用于对所述特征向量进行尺度变化的特征处理，得到具有尺度变化适应性的特征向量；
[0076]
时序建模单元，用于将所述具有尺度变化适应性的特征向量通过多个双层lstm进行时序建模；
[0077]
分类单元，用于对建模后的特征向量进行概率计算，得到分类结果；
[0078]
显示单元，用于显示车辆行为类别。
[0079]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置
而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0080]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.基于尺度变化的车辆行为识别方法，其特征在于，包括：获取视频帧图像序列；通过特征提取骨干网络提取所述视频帧图像序列的高级语义特征，得到特征向量；对所述特征向量使用不同尺寸的卷积核进行尺度变化的特征处理得到不同大小的多个特征图；所述不同大小的多个特征图通过多个双层lstm进行时序建模；对建模后的特征向量进行概率计算，得到车辆行为类别。2.根据权利要求1所述的基于尺度变化的车辆行为识别方法，其特征在于，所述特征提取骨干网络通过resnet-50网络进行特征提取。3.根据权利要求1所述的基于尺度变化的车辆行为识别方法，其特征在于，对所述特征向量进行尺度变化的特征处理，具体包括：采用多分支结构构建尺度变化特征构建单元；将所述特征向量并联输入到所述尺度变化特征构建单元中，依次经卷积层、池化层、融合层、归一化层和激活层处理后输出特征向量。4.根据权利要求3所述的基于尺度变化的车辆行为识别方法，其特征在于，所述卷积层由不同尺寸的卷积核并联构成，使用卷积核尺寸最小的卷积层过滤无用特征，不同的分支使用不同的卷积核获得不同大小的特征图，将所述特征图输入到所述池化层。5.根据权利要求4所述的基于尺度变化的车辆行为识别方法，其特征在于，卷积层输出的特征图经所述池化层最大池化后输出特征向量；对输出后的特征向量进行特征融合，输出具有尺度变化适应性的特征向量；融合公式如下：其中，r
i
表示不同分支的输出特征向量，i表示尺度变化特征构建单元中分支序号，i∈[1,n]，n表示卷积层的分支层数，r
c
表示特征融合后的特征向量，c表示特征向量的通道数。6.根据权利要求5所述的基于尺度变化的车辆行为识别方法，其特征在于，将具有尺度变化适应性的特征向量输入到归一化层进行批量归一化处理，将处理后的特征向量输入到激活层通过非线性激活函数计算，输出处理后的特征向量，具体公式如下：f＝σ(batchnorm(r
c
))；其中，batchnorm表示归一化计算，σ表示relu非线性激活函数，f表示经归一化和非线性激活函数处理后的特征向量。7.根据权利要求1所述的基于尺度变化的车辆行为识别方法，其特征在于，所述对建模后的特征向量进行概率计算具体包括：通过softmax函数将具有多种分类的输出转换为范围在[0,1]的概率分布，获得分类结果。8.基于尺度变化的车辆行为识别系统，其特征在于，包括：图像获取单元，用于获取视频帧图像序列；特征提取单元，用于提取所述视频帧图像序列的高级语义特征，得到特征向量；尺度变化特征构建单元，用于对所述特征向量进行尺度变化的特征处理，得到具有尺度变化适应性的特征向量；
时序建模单元，用于将所述具有尺度变化适应性的特征向量通过多个双层lstm进行时序建模；分类单元，用于对建模后的特征向量进行概率计算，得到分类结果；显示单元，用于显示车辆行为类别。

技术总结
本发明公开了基于尺度变化的车辆行为识别方法及系统，涉及车辆行为识别技术领域。包括：获取视频帧图像序列；通过特征提取骨干网络提取视频帧图像序列的高级语义特征，得到特征向量；对特征向量使用不同尺寸的卷积核进行尺度变化的特征处理得到不同大小的多个特征图；不同大小的多个特征图通过多个双层LSTM进行时序建模；对建模后的特征向量进行概率计算，得到行为类别。本发明将ResNet输出的特征向量作为尺度变化特征构建单元的输入，经过多层次多尺寸感受野卷积特征重构处理，增加模型对车辆尺度变化特征的适应能力，在车辆识别任务中，缓解了车辆尺度变换导致识别精度下降的问题。问题。问题。


技术研发人员：马志强 高俊东 武卓毅 李宏勋 邢宽 陈硕帅
受保护的技术使用者：内蒙古工业大学
技术研发日：2023.05.09
技术公布日：2023/8/4