基于改进状态空间模型的交通速度预测方法

1.本发明涉及深度学习时间序列预测的技术领域，尤其是指一种基于改进状态空间模型的交通速度预测方法。


背景技术：

2.在智慧城市和智能交通系统(intelligent transportation systems，itss)的开发和运行中，交通状态通过道路上的传感器(如环路探测器)、地铁和公交系统交易记录、交通监控视频等来检测。交通状态对于交通预测来说十分重要，交通预测通常是基于对历史交通状态数据进行预测。此外也不少外在因素会影响交通因素，比如天气和假期，故有时也会加入外在因素来提升精确度。
3.交通预测问题相比其它时间序列预测问题更具挑战性，因为它涉及高维的大数据量，以及包括紧急情况等多种变动。特定位置的交通状态有空间依赖性，可能不仅仅受附近区域的影响，也可能受远处的影响，一条路段拥堵可能会导致另一条路线交通流量增加。此外，交通预测有时间依赖性，可能是季节性的，也可能受节假日影响。传统的线性时间序列模型，比如自回归和综合移动平均(arima)模型，无法有效地处理这类时空预测问题。机器学习和深度学习技术已被引入该领域，以提高预测精度，例如通过将整个城市建模为网格，并应用卷积神经网络(cnn)来处理。cnn对图像等欧几里得数据可以比较好的处理，在图像分类任务上很早便大幅超越了人类。然而，在面对交通预测问题这种具有图形式的问题时，cnn的方法并不是最优的。
4.随着深度学习发展，一种新型的网络结构被提出，这个网络结构基于现代空间状态模型，称为structured state space sequence model。相比于attention来说，它能轻易地用较少的参数取抽取非常长的时间序列特征。并且在可解释方面更强，用其为基础改造成可以处理交通速度预测数据的模型，能够提升预测效果且模型更具有可解释性。


技术实现要素：

5.本发明的目的在于克服现有技术的缺点与不足，提出了一种基于改进状态空间模型的交通速度预测方法，可准确预测交通速度。
6.为实现上述目的，本发明所提供的技术方案为：基于改进状态空间模型的交通速度预测方法，该方法是基于改进状态空间模型structured state space sequence model实现交通速度预测，其中，该改进状态空间模型是对原structured state space sequence model进行三个部分的改进；第一个部分是对structured state space sequence model的编码器部分改进，将原来的liner网络替换为自适应图结构+时空融合特征层，使得模型能够融合时间和空间信息；第二个部分是将structured state space sequence model中主干网络backbone的状态矩阵、输入矩阵、输出矩阵的维度进行改造，更好地适应交通速度预测的需求；第三个部分是对structured state space sequence model的解码器进行改进，将liner网络改为多层mlp网络并加入relu激活函数；
7.该交通速度预测方法的具体实施包括以下步骤：
8.1)将邻接矩阵和历史交通速度数据输入自适应图结构+时空融合特征层，自适应图结构+时空融合特征层会在原先邻接矩阵的基础上学习一个更贴切真实的邻接矩阵，该邻接矩阵和历史交通速度数据进行融合，获得融合时间空间特征的嵌入层embedding；
9.2)将embedding输入进backbone，backbone根据状态矩阵、输入矩阵、输出矩阵以及离散化的状态空间方程获得未来交通速度特征，未来交通速度特征通过解码器的多层mlp网络得到未来交通速度的预测值。
10.进一步，在步骤1)中，所述自适应图结构+时空融合特征层的具体情况是：预先定义好的邻接矩阵记为g0，将所有交通节点输入节点嵌入层node-embedding得到一个n
×
h0的矩阵，记为e，其中n是交通节点的个数，h0是node-embedding的特征维度，将e和它的转置e
t
进行矩阵相乘得到邻接矩阵g1，并与g0进行加权得到与实际更加相符的邻接矩阵g2，具体公式如下所示(1)、(2)：
11.g1＝e
×et
ꢀꢀꢀ
(1)
12.g2＝g0+αg1ꢀꢀꢀ
(2)
13.其中，α为自适应邻接矩阵加权超参数，接着对历史数据在时间尺度上取最大值m，并将历史数据除以m，起到一个归一化的作用，能提高模型的泛化能力，接着扩充历史数据和g2的维度，进行哈达玛积，使得节点信息与历史数据的特征融合在一起，得到融合时间空间特征的embedding。
14.进一步，在步骤2)中，原structured state space sequence model的backbone中的状态矩阵a、输入矩阵b，皆为二维h1×
h1矩阵，h1为structured state space sequence model的特征维数，将状态矩阵a、输入矩阵b改造为n
×
h1×
h1张量，其中n是交通节点的个数，相当于针对每一个节点学习一个状态矩阵、输入矩阵，能够更有针对性地对每一个节点建立相应的状态矩阵、输入矩阵，提高模型预测的准确性，融合时间空间特征的embedding通过backbone后张量维度不改变，故还需要多层mlp网络，得到最终的交通速度预测结果，相比于单层liner网络，多层mlp网络能够学到更多的特征，加入relu激活函数后，能提升模型的非线性表达能力。
15.本发明与现有技术相比，具有如下优点与有益效果：
16.1、本方法相比与传统的交通速度预测方法相比，采用了自适应图结构，可以学习到更贴切真实的空间信息，从而达到更好的预测效果。
17.2、本方法使用了更先进且更具可解释性的空间状态模型作为主干网络，在效率上和准确率上都更加好。
附图说明
18.图1是本发明方法的总体架构图；图中，input为输入历史交通速度数据，graph learning为自适应图结构，spatial temporal layer为时空融合特征层，backbone为主干网络，decoder为解码器，output是预测的交通速度数据。
19.图2是自适应图结构示意图；图中，numbers of node是节点数量即交通传感器数量。
20.图3是时空融合特征层的结构示意图；图中，history data为历史交通速度数据。
21.图4是backbone的结构示意图，由多个s4 layer(structured state space sequence model layer)组成。
具体实施方式
22.下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
23.如图1至图4所示，本实施例公开了一种基于改进状态空间模型的交通速度预测方法，该方法是基于改进状态空间模型structured state space sequence model实现交通速度预测，其中，该改进状态空间模型是对原structured state space sequence model进行三个部分的改进；第一个部分是对structured state space sequence model的编码器部分改进，将原来的liner网络替换为自适应图结构+时空融合特征层，使得模型能够融合时间和空间信息；第二个部分是将structured state space sequence model中backbone(主干网络)的状态矩阵、输入矩阵、输出矩阵的维度进行改造，更好地适应交通速度预测的需求；第三个部分是对structured state space sequence model的解码器进行改进，将liner网络改为多层mlp网络并加入relu激活函数。该交通速度预测方法的具体实施包括以下步骤：
24.1)将邻接矩阵和历史交通速度数据输入自适应图结构+时空融合特征层，自适应图结构+时空融合特征层会在原先邻接矩阵的基础上学习一个更贴切真实的邻接矩阵，该邻接矩阵和历史交通速度数据进行融合，获得融合时间空间特征的embedding(嵌入层)；
25.所述自适应图结构+时空融合特征层的具体情况是：预先定义好的邻接矩阵记为g0，将所有交通节点输入node-embedding(节点嵌入层)得到一个n
×
h0的矩阵，记为e，其中n是交通节点的个数，h0是node-embedding的特征维度，将e和它的转置e
t
进行矩阵相乘得到邻接矩阵g1，并与g0进行加权得到与实际更加相符的邻接矩阵g2，具体公式如下所示(1)、(2)：
26.g1＝e
×et
ꢀꢀꢀ
(3)
27.g2＝g0+αg1ꢀꢀꢀ
(4)
28.其中，α为自适应邻接矩阵加权超参数，接着对历史数据在时间尺度上取最大值m，并将历史数据除以m，起到一个归一化的作用，能提高模型的泛化能力，接着扩充历史数据和g2的维度，进行哈达玛积，使得节点信息与历史数据的特征融合在一起，得到融合时间空间特征的embedding。
29.2)将embedding输入进backbone，backbone根据状态矩阵、输入矩阵、输出矩阵以及离散化的状态空间方程获得未来交通速度特征，未来交通速度特征通过解码器的多层mlp网络得到未来交通速度的预测值。
30.原structured state space sequence model的backbone中的状态矩阵a、输入矩阵b，皆为二维h1×
h1矩阵，h1为structured state space sequence model的特征维数，将状态矩阵a、输入矩阵b改造为n
×
h1×
h1张量，其中n是交通节点的个数，相当于针对每一个节点学习一个状态矩阵、输入矩阵，能够更有针对性地对每一个节点建立相应的状态矩阵、输入矩阵，提高模型预测的准确性，融合时间空间特征的embedding通过backbone后张量维度不改变，故还需要多层mlp网络，得到最终的交通速度预测结果，相比于单层liner网络，
多层mlp网络能够学到更多的特征，加入relu激活函数后，能提升模型的非线性表达能力。
31.上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.基于改进状态空间模型的交通速度预测方法，其特征在于，该方法是基于改进状态空间模型structured state space sequence model实现交通速度预测，其中，该改进状态空间模型是对原structured state space sequence model进行三个部分的改进；第一个部分是对structured state space sequence model的编码器部分改进，将原来的liner网络替换为自适应图结构+时空融合特征层，使得模型能够融合时间和空间信息；第二个部分是将structured state space sequence model中主干网络backbone的状态矩阵、输入矩阵、输出矩阵的维度进行改造，更好地适应交通速度预测的需求；第三个部分是对structured state space sequence model的解码器进行改进，将liner网络改为多层mlp网络并加入relu激活函数；该交通速度预测方法的具体实施包括以下步骤：1)将邻接矩阵和历史交通速度数据输入自适应图结构+时空融合特征层，自适应图结构+时空融合特征层会在原先邻接矩阵的基础上学习一个更贴切真实的邻接矩阵，该邻接矩阵和历史交通速度数据进行融合，获得融合时间空间特征的嵌入层embedding；2)将embedding输入进backbone，backbone根据状态矩阵、输入矩阵、输出矩阵以及离散化的状态空间方程获得未来交通速度特征，未来交通速度特征通过解码器的多层mlp网络得到未来交通速度的预测值。2.根据权利要求1所述的基于改进状态空间模型的交通速度预测方法，其特征在于，在步骤1)中，所述自适应图结构+时空融合特征层的具体情况是：预先定义好的邻接矩阵记为g0，将所有交通节点输入节点嵌入层node-embedding得到一个n
×
h0的矩阵，记为e，其中n是交通节点的个数，h0是node-embedding的特征维度，将e和它的转置e
t
进行矩阵相乘得到邻接矩阵g1，并与g0进行加权得到与实际更加相符的邻接矩阵g2，具体公式如下所示(1)、(2)：g1＝e
×
e
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)g2＝g0+αg1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，α为自适应邻接矩阵加权超参数，接着对历史数据在时间尺度上取最大值m，并将历史数据除以m，起到一个归一化的作用，能提高模型的泛化能力，接着扩充历史数据和g2的维度，进行哈达玛积，使得节点信息与历史数据的特征融合在一起，得到融合时间空间特征的embedding。3.根据权利要求1所述的基于改进状态空间模型的交通速度预测方法，其特征在于，在步骤2)中，原structured state space sequence model的backbone中的状态矩阵a、输入矩阵b，皆为二维h1×
h1矩阵，h1为structured state space sequence model的特征维数，将状态矩阵a、输入矩阵b改造为n
×
h1×
h1张量，其中n是交通节点的个数，相当于针对每一个节点学习一个状态矩阵、输入矩阵，能够更有针对性地对每一个节点建立相应的状态矩阵、输入矩阵，提高模型预测的准确性，融合时间空间特征的embedding通过backbone后张量维度不改变，故还需要多层mlp网络，得到最终的交通速度预测结果，相比于单层liner网络，多层mlp网络能够学到更多的特征，加入relu激活函数后，能提升模型的非线性表达能力。

技术总结
本发明公开了一种基于改进状态空间模型的交通速度预测方法，包括：1)将邻接矩阵和历史交通速度数据输入自适应图结构+时空融合特征层，自适应图结构+时空融合特征层会在原先邻接矩阵的基础上学习一个更贴切真实的邻接矩阵，该邻接矩阵和历史交通速度数据进行融合，获得融合时间空间特征的嵌入层Embedding；2)将Embedding输入进Backbone，Backbone根据状态矩阵、输入矩阵、输出矩阵以及离散化的状态空间方程获得未来交通速度特征，未来交通速度特征通过解码器的多层MLP网络得到未来交通速度的预测值。本发明采用了自适应图结构，可以学习到更贴切真实的空间信息，从而达到更好的预测效果。的预测效果。的预测效果。


技术研发人员：黄元培 肖南峰
受保护的技术使用者：华南理工大学
技术研发日：2023.01.11
技术公布日：2023/7/6