一种基于特征注意力的交通流速度预测方法

1.本发明涉及时空序列数据预测方法技术领域，特别是一种基于特征注意力的交通流速度的预测方法。


背景技术：

2.近年来随着城镇化进程的加快，城市人口规模大幅增加，给城市交通带来了巨大的压力。城市人口的增长所增加的出行需求会导致交通基础设施过载，从而导致交通状况恶化。因此，城市交通流速度的预测在城市发展过程中扮演着重要的角色，它可以为城市规划、交通管理和资源配置提供参考，有助于提高城市交通效率和生活环境。如果能准确地提前预测交通流速度，就能合理地对车辆进行引导，提高路网运行效率，也可以对城市的发展规划提供指导，对城市的可持续发展具有重要意义。
3.但是由于其复杂的时空特征，现有的交通流速度预测方法在短期预测效果尚可，随着预测步长的增加预测误差出现了爆炸式的增长，特别是对长期的交通流速度数据预测准确率较低。例如t-gcn则是利用了纯卷积结构捕获数据时空特征，传统的卷积操作随着卷积层的加深及池化操作会出现特征信息丢失从而使预测误差增大的问题。


技术实现要素：

4.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
5.鉴于上述和/或现有的基于特征注意力的交通流速度的预测方法中存在的问题，提出了本发明。
6.因此，本发明所要解决的问题在于如何提供一种基于特征注意力的交通流速度的预测方法。
7.为解决上述技术问题，本发明提供如下技术方案：一种基于特征注意力的交通流速度的预测方法，其包括，获取交通流数据，制作数据集，并进行预处理；将预处理后的交通流数据输入2头自我注意力模块，获取数据时间特征矩阵；输入动态卷积网络，获取数据空间特征矩阵，通过门控融合机制动态融合得到时空特征矩阵；将时空特征矩阵输入特征注意力网络，更新时空特征矩阵；将更新后的时空特征矩阵输入神经网络，产生预测输出；训练基于特征注意力模型；将数据输入训练好的模型中得到预测结果。
8.作为本发明所述基于特征注意力的交通流速度的预测方法的一种优选方案，其中：所述交通流数据包括交通流速度数据和路网空间数据，所述数据集包括训练集和测试集。
9.作为本发明所述基于特征注意力的交通流速度的预测方法的一种优选方案，其中：所述预处理包括将数据集通过随机方式划分成70％为训练集，30％为测试集；并且清洗数据集，去掉异常数据，即负值和0值数据，将数据集标准化。
10.作为本发明所述基于特征注意力的交通流速度的预测方法的一种优选方案，其中：所述获取数据时间特征矩阵包括如下步骤，将交通流速度数据集划分成3个特征向量q，k，v，由交通流数据特征矩阵x经过参数矩阵线性变换得到；其中，q＝xwq，k＝xwk，v＝xwv，q为查询用来匹配其他单元，k为键用来被其他单元匹配，v为值包含将被提取的信息；注意力机制的q，k和v，即查询、键和值矩阵；w为可学习的参数矩阵；特征注意力输出的向量是由softmax层通过q和k计算得到的权重作用在v上所得到的加权和，其表达式为：
[0011][0012]
其中，t表示矩阵的转置，dk表示为k维度。
[0013]
将2头注意力结果线性地池化合并，获取数据的时间特征，其表达式为：
[0014]
headi＝attention(qw
iq
,kw
iq
,vw
iv
)
[0015]
2head(q,k,v)＝concat(head1,head2)w。
[0016]
作为本发明所述基于特征注意力的交通流速度的预测方法的一种优选方案，其中：所述数据空间特征矩阵，其表达式为：
[0017][0018]
其中，是在i时间输出的空间特征矩阵，ar是卷积核，wi是参数矩阵，δ是激活函数。
[0019]
作为本发明所述基于特征注意力的交通流速度的预测方法的一种优选方案，其中：所述得到时空特征矩阵包括如下步骤，用两个权重系数矩阵计算门控制机制融合参数：
[0020]
z＝t
×
w1+s
×
w2[0021]
使用门控制机制动态融合时间特征和空间特征：
[0022]
h＝δ(z
·
t+(1-z)
·
s)
[0023]
其中，t是时间特征矩阵，s是空间特征矩阵，w1和w2是参数矩阵，δ是激活函数。
[0024]
作为本发明所述基于特征注意力的交通流速度的预测方法的一种优选方案，其中：所述更新时空特征矩阵包括，将时空特征矩阵和输入的数据计算注意力得分，其公式如下：
[0025][0026]
根据注意力得分更新时空特征矩阵，其公式如下：
[0027]hi
＝λ
·
f3(h
i-1
×
w3)
[0028]
其中，λ为注意力得分，f1、f2和f3是线性变换函数，hi是更新后的时空特征矩阵，h
i-1
是输入的时空特征矩阵，w3是参数矩阵。
[0029]
作为本发明所述基于特征注意力的交通流速度的预测方法的一种优选方案，其中：所述产生预测输出包括如下步骤，将卷积神经网络权值进行初始化；在输入层输入时空特征矩阵，经过第一卷积层、池化层、第二卷积层和全连接层得到输出值；输出值表达式表示为：
[0030]
x＝f
l
(...(f2(f1(w1h))w2)w
l
)
[0031]
式中，x为输出值，h为网络的输入，即x的时空特征矩阵；w1表示网络第一层的权重系数矩阵；w2表示网络第二层的权重系数矩阵；w
l
表示网络第l层的权重系数矩阵；f1表示网
络第一层采用的激活函数，f2表示网络第二层采用的激活函数，f
l
表示网络第l层采用的激活函数。
[0032]
作为本发明所述基于特征注意力的交通流速度的预测方法的一种优选方案，其中：所述训练基于特征注意力模型包括如下步骤，计算输出值与目标值的误差值；目标函数是均方损失函数，公式如下：
[0033]
loss(xi,yi)＝(x
i-yi)2[0034]
其中，loss(xi,yi)为均方损失函数，xi为预测交通流速度，yi为实际交通流速度；当得到的误差值大于期望值时，将误差传回进行反向传播，并更新模型参数，直到模型收敛，保存模型此时的参数。
[0035]
作为本发明所述基于特征注意力的交通流速度的预测方法的一种优选方案，其中：所述预测结果包括产生预测输出，并且在评估模型预测性能时，评价指标为平均绝对误差、均方根误差和平均绝对百分比误差。
[0036]
本发明有益效果为通过2头自注意力机制捕获数据的时间相关性,用动态卷积网络捕获空间相关性；再采用门控融合机制动态融合时间和空间特征，最后用特征注意力网络防止特征信息丢失；克服了卷积池化操作丢失部分特征信息而在长距离预测时误差大的问题，动态地融合数据的时空特征，使模型获取时空信息的适应能力更强，具有预测结果更稳定、预测精度更高的特点。
附图说明
[0037]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0038]
图1为基于特征注意力的交通流速度的预测方法的流程图。
[0039]
图2为基于特征注意力的交通流速度的预测方法的特征注意力模型图。
具体实施方式
[0040]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
[0041]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0042]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0043]
实施例1
[0044]
参照图1和图2，为本发明第一个实施例，该实施例提供了一种基于特征注意力的交通流速度的预测方法，基于特征注意力的交通流速度的预测方法包括，
[0045]
s1：获取交通流数据，制作数据集。其中，交通流数据包括交通流速度数据和路网
空间数据，具体的，使用的数据集为los数据集，其获取的数据是通过环形探测器在洛杉矶高速公路上实时采集的，选择207个探测器和2012年3月1日到3月7日的交通流数据，数据可以通过一个路网空间数据矩阵和一个交通流速度矩阵表示；利用交通网络中传感器之间的距离计算路网空间数据矩阵。
[0046]
s2：对数据集进行预处理，划分训练集和测试集。具体的，s2.1：将数据集随机分为训练集和测试集；其中，70％为训练集，30％为测试集。
[0047]
s2.2：清洗数据集，去掉异常数据，把负值和0值数据去掉，将数据集标准化，并计算矩阵各列的和。
[0048]
具体的，将路网空间数据矩阵a和交通流速度矩阵x进行标准化；公式如下：
[0049][0050]
公式中，a'为标准化后的路网空间数据矩阵，a∈rn×n，x'为标准化后的交通流速度矩阵，代表矩阵各列的和，x∈r
l
×n；l代表有l个时间步长，每个时间步长是5分钟的交通流数据；n是观测点的数量。
[0051]
s3：将交通流速度数据输入2头自注意力模块，获取数据的时间特征。
[0052]
具体的，s3.1：将数据集划分成3个特征向量q，k，v，由交通数据特征x矩阵经过参数矩阵线性变换得到，其中，q＝xwq，k＝xwk，v＝xwv，q为查询用来匹配其他单元，k为键用来被其他单元匹配，v为值包含将被提取的信息；注意力机制的q，k和v，即查询、键和值矩阵；w为参数矩阵。
[0053]
s3.2：特征注意力机制输出的向量是由softmax层通过q和k计算得到的权重作用在v上所得到的加权和，得到权重系数，其表达式为：
[0054][0055]
其中，t表示矩阵的转置，dk表示为k维度。
[0056]
s3.3：将2头注意力结果线性地池化合并，获取数据的时间特征，其表达式为：
[0057]
headi＝attention(qw
iq
,kw
iq
,vw
iv
)
[0058]
2head(q,k,v)＝concat(head1,head2)w。
[0059]
s4：将路网空间数据输入动态卷积网络，获取数据的空间特征；所述数据空间特征矩阵，其表达式为：
[0060][0061]
其中，是在i时间输出的空间特征矩阵，ar是卷积核，wi是参数矩阵，δ是激活函数。
[0062]
s5：将获取到的特征用门控融合机制动态地融合得到时空特征矩阵。具体的，s5.1：用两个权重系数矩阵计算门控制机制融合参数，公式如下：
[0063]
z＝t
×
w1+s
×
w2[0064]
s5.2：使用门控制机制动态融合时间特征和空间特征，公式如下：
[0065]
h＝δ(z
·
t+(1-z)
·
s)
[0066]
其中，t是时间特征矩阵，s是空间特征矩阵，w1和w2是参数矩阵，δ是激活函数。
[0067]
s6：将时空特征矩阵输入特征注意力网络，更新时空特征矩阵。具体的，s6.1：将时空特征矩阵和输入的数据计算注意力得分，其公式如下：
[0068][0069]
s6.2：根据注意力得分更新时空特征矩阵，公式如下：
[0070]hi
＝λ
·
f3(h
i-1
×
w3)
[0071]
其中，λ为注意力得分，f1、f2和f3是线性变换函数，hi是更新的时空特征矩阵，h
i-1
是输入的时空特征矩阵，w3是参数矩阵。
[0072]
s7：将更新后的时空特征矩阵输入神经网络，产生预测输出。具体的，s7.1：将卷积神经网络权值进行初始化。
[0073]
s7.2：在输入层输入时空特征矩阵，经过第一卷积层、池化层、第二卷积层、全连接层得到输出值；输入层的输入数据为4*4的矩阵；第一卷积层包含10个特征图，采用3*3的窗口对输入进行卷积，得到每个特征图的大小为4*4；池化层对第一卷积层进行降采样操作，选用最大池化的方式得到10个特征图，每个特征图的大小减小到2*2；第二卷积层包含20个特征图，采用的卷积核大小为2*2，得到每个特征图的大小为1*1；第二卷积层得到的特征图经过全连接层，得到大小为1*n的输出结果，n为预测的长度。
[0074]
其中，输出值表达式为：
[0075]
x＝f
l
(...(f2(f1(w1h))w2)w
l
)
[0076]
式中，x为输出值，h为网络的输入，即x的时空特征表示矩阵；w1表示网络第一层的权重系数矩阵；w2表示网络第二层的权重系数矩阵；w
l
表示网络第l层的权重系数矩阵；f1表示网络第一层采用的激活函数，f2表示网络第二层采用的激活函数，f
l
表示网络第l层采用的激活函数。
[0077]
s8：训练模型，保存训练好的模型。
[0078]
具体的，s8.1：计算输出值与目标值的误差值；目标函数是均方损失函数，公式如下：
[0079]
loss(xi,yi)＝(x
i-yi)2[0080]
其中，loss(xi,yi)为均方损失函数，xi为预测交通流速度，yi为实际交通流速度。
[0081]
s8.2：当得到的误差值大于期望值时，将误差传回进行反向传播，并更新模型参数，直到模型收敛，保存模型此时的参数。
[0082]
具体的，卷积神经网络的超参数为：batchsize＝50决定了训练一次网络所提供的样本数量；learningrate＝0.001控制着基于损失梯度调整神经网络权值的速度；epoch＝50代表所有训练样本进行训练的次数，即1次epoch意味着所有的训练样本完成一次前向传播(forward propagation,fp)运算以及一次反向传播(back propagation,bp)运算。
[0083]
s9：将测试集输入训练好的模型得到预测结果。
[0084]
采用平均绝对误差(mae)、均方根误差(rmse)和平均绝对百分比误差(mape)来评价模型的预测性能，mae、rmse、mape的值越小说明模型预测能力越好。其中，mae计算预测结果绝对误差的平均值反映预测值的实际误差；rmse计算真实值与预测值误差的平方值，对
极端误差更为敏感；mape计算绝对误差值与真实值的比值，可估算预测模型的准确性。
[0085]
由上可知，本发明通过2头自注意力机制捕获数据的时间相关性,用动态卷积网络捕获空间相关性；再采用门控融合机制动态融合时间和空间特征，最后用特征注意力网络防止特征信息丢失；克服了卷积池化操作丢失部分特征信息而在长距离预测时误差大的问题，动态地融合数据的时空特征，使模型获取时空信息的适应能力更强，具有预测结果更稳定、预测精度更高的特点。
[0086]
实施例2
[0087]
为了验证实施例1的有效性，为本发明以los数据集为例，进行了实验，实验结果如下，表1为本发明模型与传统a3tgcn模型预测结果对比图；
[0088]
表1预测结果对比图
[0089][0090]
由上可知，本发明模型在预测时间步长15min、30min时mae、rmse和mape的值与对比方法a3tgcn相近，说明模型在短时间预测也具有良好的性能，在预测时间步长为1h时，本发明模型的3个评价指标均低于对比方法a3tgcn，表现了本发明降低了长期交通流速度预测的误差，在长期预测交通流预测中优势明显。因此，本发明在大规模长期交通流速度预测精度更高，效果更好。
[0091]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种基于特征注意力的交通流速度的预测方法，其特征在于：包括，获取交通流数据，制作数据集，并进行预处理；将预处理后的交通流数据输入2头自我注意力模块，获取数据时间特征矩阵；输入动态卷积网络，获取数据空间特征矩阵，通过门控融合机制动态融合得到时空特征矩阵；将时空特征矩阵输入特征注意力网络，更新时空特征矩阵；将更新后的时空特征矩阵输入神经网络，产生预测输出；训练基于特征注意力模型；将数据输入训练好的模型中得到预测结果。2.如权利要求1所述的基于特征注意力的交通流速度的预测方法，其特征在于：所述交通流数据包括交通流速度数据和路网空间数据，所述数据集包括训练集和测试集。3.如权利要求1或2所述的基于特征注意力的交通流速度的预测方法，其特征在于：所述预处理包括将数据集通过随机方式划分成70％为训练集，30％为测试集；并且清洗数据集，去掉异常数据，即负值和0值数据，将数据集标准化。4.如权利要求3所述的基于特征注意力的交通流速度的预测方法，其特征在于：所述获取数据时间特征矩阵包括如下步骤，将交通流速度数据集划分成3个特征向量q，k，v，由交通流数据特征矩阵x经过参数矩阵线性变换得到；其中，q＝xw
q
，k＝xw
k
，v＝xwv，q为查询用来匹配其他单元，k为键用来被其他单元匹配，v为值包含将被提取的信息；注意力机制的q，k和v，即查询、键和值矩阵；w为参数矩阵；特征注意力机制输出的向量是由softmax层通过q和k计算得到的权重作用在v上所得到的加权和，其表达式为：其中，t表示矩阵的转置，d
k
表示为k维度；将2头注意力结果线性地池化合并，获取数据的时间特征，其表达式为：head
i
＝attention(qw
iq
,kw
iq
,vw
iv
)2head(q,k,v)＝concat(head1,head2)w。5.如权利要求1、2或4任一所述的基于特征注意力的交通流速度的预测方法，其特征在于：所述数据空间特征矩阵，其表达式为：其中，是在i时间输出的空间特征矩阵，a
r
是卷积核，w
i
是参数矩阵，δ是激活函数。6.如权利要求5所述的基于特征注意力的交通流速度的预测方法，其特征在于：所述得到时空特征矩阵包括如下步骤，用两个权重系数矩阵计算门控制机制融合参数：z＝t
×
w1+s
×
w2使用门控制机制动态融合时间特征和空间特征：h＝δ(z
·
t+(1-z)
·
s)其中，t是时间特征矩阵，s是空间特征矩阵，w1和w2是参数矩阵，δ是激活函数。7.如权利要求6所述的基于特征注意力的交通流速度的预测方法，其特征在于：所述更
新时空特征矩阵包括，将时空特征矩阵和输入的数据计算注意力得分，其公式如下：根据注意力得分更新特征矩阵，其公式如下：h
i
＝λ
·
f3(h
i-1
×
w3)其中，λ为注意力得分，f1、f2和f3是线性变换函数，h
i
是更新后的时空特征矩阵，h
i-1
是输入的时空特征矩阵，w3是参数矩阵。8.如权利要求6或7所述的基于特征注意力的交通流速度的预测方法，其特征在于：所述产生预测输出包括如下步骤，将卷积神经网络权值进行初始化；在输入层输入时空特征矩阵，经过第一卷积层、池化层、第二卷积层和全连接层得到输出值；输出值表达式表示为：x＝f
l
(...(f2(f1(w1h))w2)w
l
)式中，x为输出值，h为网络的输入，即x的时空特征矩阵；w1表示网络第一层的权重系数矩阵；w2表示网络第二层的权重系数矩阵；w
l
表示网络第l层的权重系数矩阵；f1表示网络第一层采用的激活函数，f2表示网络第二层采用的激活函数，f
l
表示网络第l层采用的激活函数。9.如权利要求8所述的基于特征注意力的交通流速度的预测方法，其特征在于：所述训练基于特征注意力模型包括如下步骤，计算输出值与目标值的误差值；目标函数是均方损失函数，公式如下：loss(x
i
,y
i
)＝(x
i-y
i
)2其中，loss(x
i
,y
i
)为均方损失函数，x
i
为预测交通流速度，y
i
为实际交通流速度；当得到的误差值大于期望值时，将误差传回进行反向传播，并更新模型参数，直到模型收敛，保存模型此时的参数。10.如权利要求1、2、4、6、7或9任一所述的基于特征注意力的交通流速度的预测方法，其特征在于：所述预测结果包括产生预测输出，并且在评估模型预测性能时，评价指标为平均绝对误差、均方根误差和平均绝对百分比误差。

技术总结
本发明公开了一种基于特征注意力的交通流速度的预测方法，涉及时空序列数据预测方法技术领域，包括获取交通流数据，制作数据集，并进行预处理；获取数据时间特征矩阵和数据空间特征矩阵，通过门控融合机制动态融合得到时空特征矩阵；将时空特征矩阵输入特征注意力网络，更新时空特征矩阵；将更新后的时空特征矩阵输入神经网络，产生预测输出；训练基于特征注意力机制模型；将数据输入训练好的模型中得到预测结果。本发明克服了卷积池化操作丢失部分特征信息而在长距离预测时误差大的问题，动态地融合数据的时空特征，使模型获取时空信息的适应能力更强，具有预测结果更稳定、预测精度更高的特点。度更高的特点。度更高的特点。


技术研发人员：孙勇 张安勤 陈菁菁
受保护的技术使用者：上海电力大学
技术研发日：2023.04.27
技术公布日：2023/8/9