一种智能网联交通数据修复方法与流程

1.本公开实施例涉及数据处理技术领域，尤其涉及一种智能网联交通数据修复方法。


背景技术：

2.交通流量具有时空特性，能反映实时的交通拥堵情况，对主动管控、应急处理等研究都具有重大意义。随着我国高速公路里程的不断增加和etc设备的普及，人们可以持续获得大量高速公路流量数据。同时，伴随智能网联车辆的快速增长，智能网联数据由于其灵活性、多样性和时效性，为高速公路设备稀疏的地方提供了数据补充。因此，智能网联数据也成为了智慧高速交通流数据的重要组成部分。但由于设备故障、漏检多检、网络故障等现象，数据中往往会存在缺失值异常值等问题。而缺失的数据通常会限制预测模型的性能，并影响到高速公路主动管控的决策。
3.总体来看，国内外现有交通数据修复方法可以分为基于统计学的方法、基于深度学习的方法和基于张量分解的方法三种类型。其中，基于统计学的修复方法主要是通过时间序列变化关系，挖掘时间维度上的内在联系，从而估计缺失点的大小。基于深度学习的修复方法大多采用了图神经网络和循环神经网络等可以发现交通流数据中时空关联性的模型，利用缺失点临近节点及其历史数据估计缺失点的大小。基于张量分解的修复方法利用了交通流量的高维性、低秩性，通过张量分解让张量的秩最小化，进而得到修复数据。
4.针对基于统计学的修复方法来说，因为只考虑了路段的时间关联性而忽略了路网层面的时空关联性，所以其修复精度并不高。另外，随着待修复路段数量的提升模型计算时间与内存消耗也大幅提升，因此难以对大规模路网进行有效地应用。针对基于深度学习的修复方法来说，虽然考虑了交通流时空关联性，但是限制于模型大小，难以捕获长期时间关联特征，模型精度有待提升。针对基于张量分解的修复方法来说，因为每次修复都需要把当前数据与历史数据组成张量，再通过训练算出修复结果，所以不适用于实时应用场景。
5.可见，亟需一种实时性和精准度高的智能网联交通数据修复方法。


技术实现要素：

6.有鉴于此，本公开实施例提供一种智能网联交通数据修复方法，至少部分解决现有技术中存在实时性和精准度较差的问题。
7.本公开实施例提供了一种智能网联交通数据修复方法，包括：
8.步骤1，通过生成器提取交通流历史数据的隐藏特征并与待修复片段融合，得到融合特征；
9.步骤2，将融合特征输入生成器的时空模块挖掘交通流的时空关联性，得到待修复片段对应的修复值。
10.根据本公开实施例的一种具体实现方式，所述步骤1之前，还包括：
11.利用wgan进行生成器和判别器的对抗训练，调整生成器的超参至判别器无法辨别
观测值和修复值。
12.根据本公开实施例的一种具体实现方式，所述步骤1具体包括：
13.步骤1.1，设待修复片段为x
t
∈rn×
t
，待修复片段对应的前p个片段为xr∈rn×
p*t
,前p天的片段为xd∈rn×
p*t
,前p周的片段为xw∈rn×
p*t
，将xr,xd,xw通过一个共享的全连接层转换成hq∈rn×
p*t
×d,q∈{r,d,w}；
14.步骤1.2，使用扩散卷积和门控机制提取历史片段的隐藏特征
15.步骤1.3，将隐藏特征加权求和得到hf并与待修复片段融合，得到融合特征。
16.根据本公开实施例的一种具体实现方式，所述隐藏特征的计算公式为
[0017][0018]
其中，w
q1
,w
q2
表示扩散卷积核，b
q1
,b
q2
表示偏差项；
[0019]
所述融合特征的计算公式为
[0020][0021]
其中，zv＝z[v,:,:]∈r
t
×d，xv∈r
t
，fv∈r
t
×d分别是z,x
t
,f的第v个节点特征，σ是非线性函数，w
f1
,w
f2
,b
f1
是通过训练调节的参数。
[0022]
根据本公开实施例的一种具体实现方式，所述时空模块包括多头空间注意力层、多头时间注意力层和图卷积门控循环单元。
[0023]
根据本公开实施例的一种具体实现方式，所述步骤2具体包括：
[0024]
步骤2.1，使用多头空间注意力层提取融合特征周围k阶邻居的空间关联性；
[0025]
步骤2.2，将多头空间注意力层的输出作为多头时间注意力层的输入，提取特征张量的时间关联性；
[0026]
步骤2.3，将多头时间注意力层的输出作为图卷积门控循环单元的输入进行图卷积和循环单元变换，得到待修复片段对应的修复值。
[0027]
根据本公开实施例的一种具体实现方式，所述k阶邻居的空间关联性的计算公式为
[0028][0029]
其中，| |表示平均操作，z
(k-1)
为上一层的输出且z
(0)
＝zw
p
，h为多头注意力的头数，为节点u到节点v的注意力权重，ws为通过训练调节的参数；
[0030]
所述多头时间注意力层的输出为
[0031][0032]
其中，||表示平均操作，h为多头时间注意力的头数，w0为可训练权重参数，
[0033]
所述修复值的计算公式为
[0034][0035]
其中，z
t
＝z
tem
[:,t,:]，σ为激活函数，[:,t,:]，σ为激活函数，是的度矩阵，a是邻接矩阵，in为单位矩阵，w为可调节的权重，
⊙
表示hadamard乘积。
[0036]
本公开实施例中的智能网联交通数据修复方案，包括：步骤1，通过生成器提取交通流历史数据的隐藏特征并与待修复片段融合，得到融合特征；步骤2，将融合特征输入生成器的时空模块挖掘交通流的时空关联性，得到待修复片段对应的修复值。
[0037]
本公开实施例的有益效果为：通过本公开的方案，将待修复片段历史片段融合，再将其与待修复片段加权求和，从而挖掘历史片段内隐藏的高级语义信息，在捕获交通流的长期时间关联特征的同时不大幅增加模型参数和计算时间，然后，融合多头时空注意力与图卷积门控循环单元，深度挖掘交通流内在的时空关联性，最后，利用生成对抗网络使得修复数据更接近于真实数据分布，提高了数据修复的实时性和精准度。
附图说明
[0038]
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0039]
图1为本公开实施例提供的一种智能网联交通数据修复方法的流程示意图；
[0040]
图2为本公开实施例提供的一种生成器的结构示意图；
[0041]
图3为本公开实施例提供的一种生成对抗网络的结构示意图。
具体实施方式
[0042]
下面结合附图对本公开实施例进行详细描述。
[0043]
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0044]
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显
而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
[0045]
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0046]
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
[0047]
本公开实施例提供一种智能网联交通数据修复方法，所述方法可以应用于城市公路、高速路等场景的交通数据分析过程中。
[0048]
参见图1，为本公开实施例提供的一种智能网联交通数据修复方法的流程示意图。如图1所示，所述方法主要包括以下步骤：
[0049]
步骤1，通过生成器提取交通流历史数据的隐藏特征并与待修复片段融合，得到融合特征；
[0050]
进一步的，所述步骤1具体包括：
[0051]
步骤1.1，设待修复片段为x
t
∈rn×
t
，待修复片段对应的前p个片段为xr∈rn×
p*t
,前p天的片段为xd∈rn×
p*t
,前p周的片段为xw∈rn×
p*t
，将xr,xd,xw通过一个共享的全连接层转换成hq∈rn×
p*t
×d,q∈{r,d,w}；
[0052]
步骤1.2，使用扩散卷积和门控机制提取历史片段的隐藏特征
[0053]
步骤1.3，将隐藏特征加权求和得到hf并与待修复片段融合，得到融合特征。
[0054]
进一步的，所述隐藏特征的计算公式为
[0055][0056]
其中，w
q1
,w
q2
表示扩散卷积核，b
q1
,b
q2
表示偏差项；
[0057]
所述融合特征的计算公式为
[0058][0059]
其中，zv＝z[v,:,:]∈r
t
×d，xv∈r
t
，fv∈r
t
×d分别是z,x
t
,f的第v个节点特征，σ是非线性函数，w
f1
,w
f2
,b
f1
是通过训练调节的参数。
[0060]
具体实施时，所述生成器的具体结构如图2所示，设待修复片段为x
t
∈rn×
t
，待修复片段对应的前p个片段为xr∈rn×
p*t
,前p天的片段为xd∈rn×
p*t
,前p周的片段为xw∈rn×
p*t
。历史数据融合需要经过3个步骤。
[0061]
步骤1：将xr,xd,xw都通过一个生成器的共享的全连接层转换成hq∈rn×
p*t
×d,q∈
{r,d,w}。
[0062]
步骤2：使用扩散卷积和门控机制提取历史片段的隐藏特征，其计算公式如下式：
[0063][0064]
其中，w
q1
,w
q2
表示扩散卷积核，b
q1
,b
q2
表示偏差项。
[0065]
步骤:3：将加权求和得到hf，权重是可通过训练调节的参数。最后将hf和x
t
融合成包含历史信息和当前信息的融合特征z∈rn×
t
×d，其计算方法如下式：
[0066][0067]
其中，zv＝z[v,:,:]∈r
t
×d，xv∈r
t
，fv∈r
t
×d分别是z,x
t
,f的第v个节点特征，σ是非线性函数，w
f1
,w
f2
,b
f1
是可通过训练调节的参数。
[0068]
步骤2，将融合特征输入生成器的时空模块挖掘交通流的时空关联性，得到待修复片段对应的修复值。
[0069]
进一步的，所述时空模块包括多头空间注意力层、多头时间注意力层和图卷积门控循环单元。
[0070]
进一步的，所述步骤2具体包括：
[0071]
步骤2.1，使用多头空间注意力层提取融合特征周围k阶邻居的空间关联性；
[0072]
步骤2.2，将多头空间注意力层的输出作为多头时间注意力层的输入，提取特征张量的时间关联性；
[0073]
步骤2.3，将多头时间注意力层的输出作为图卷积门控循环单元的输入进行图卷积和循环单元变换，得到待修复片段对应的修复值。
[0074]
进一步的，所述k阶邻居的空间关联性的计算公式为
[0075][0076]
其中，| |表示平均操作，为节点u到节点v的注意力权重，z
(k-1)
为上一层的输出且z
(0)
＝zw
p
，h为多头注意力的头数，ws为通过训练调节的参数；
[0077]
所述多头时间注意力层的输出为
[0078][0079]
其中，||表示平均操作，h为多头时间注意力的头数，w0为可训练权重参数，
[0080]
所述修复值的计算公式为
[0081][0082]
其中，z
t
＝z
tem
[:,t,:]，σ为激活函数，[:,t,:]，σ为激活函数，是的度矩阵，a是邻接矩阵，in为单位矩阵，w为可调节的权重，
⊙
表示hadamard乘积。
[0083]
具体实施时，考虑到交通流数据的时空关联强度往往是不一致的，从空间维度来说，即使都是直接与中心节点相连的节点，它们之间的关联程度也会有强弱之分。从时间维度来说，与目标片段更近时间点的关联程度更强。因此，本发明采用了多头空间注意力和多头时间注意力分别挖掘交通流的空间和时间关联性。此外，刚才分别挖掘了空间和时间的关联程度，而交通流的时空特征还是相互影响，难以分割的，所以接下来采用gcgru同时捕获交通流的时空特征。
[0084]
本部分内容将上一阶段生成的融合特征z作为模型输入，利用l个堆叠的时空模块和1个输出层得到流量数据修复值。每个时空模块中包含3个主要部分：多头空间注意力，多头时间注意力和gcgru。本部分内容具体可分为3个步骤：
[0085]
步骤1：多头空间注意力计算
[0086]
使用多头空间注意力提取特征周围k阶邻居的空间关联性。空间注意力的注意力权重计算方法如式(3)所示：
[0087][0088]
其中，w
v,u
为节点u到节点v的注意力权重，[
·
||
·
]表示连接操作，]表示连接操作，为编码后的节点特征表示，α为节点相关度的函数，用全连接层表示。
[0089]
节点u到节点v的k阶多头注意力运算为
[0090][0091]
其中，| |表示平均操作，z
(k-1)
为上一层的输出且z
(0)
＝zw
p
，h为多头注意力的头数，ws为可训练的参数。
[0092]
最后，节点v在多头空间注意力层的输出为最后，节点v在多头空间注意力层的输出为
[0093]
步骤2：多头时间注意力计算
[0094]
将步骤1的输出作为步骤2的输入提取特征张量的时间关联性。因为时间注意力在计算时间序列中每两两时间戳之间的权重时会忽略掉时间序列的先后顺序，所以在此之前需要加入时间位置编码。编码公式为：
[0095][0096]
其中，t'∈[1,t]为时间序列中的时间戳位置。将时间位置编码与步骤1的输出连接得到多头时间注意力输入特征连接得到多头时间注意力输入特征
[0097]
时间注意力的注意力权重计算过程为：其中其中
[0098]
最后，节点v在多头时间注意力层的输出为
[0099][0100]
其中，||表示平均操作，h为多头时间注意力的头数，w0为可训练权重参数，
[0101]
步骤3：gcgru计算
[0102]
图卷积门控循环单元(graph convolution gate recurrent unit,简称gcgru)是在gru模型的基础上，结合gcn模型对图上的时空关系联合建模。具体来说，它修改了原始gru中对输入状态和隐藏状态的线性变换，将其换成了图卷积变换。图卷积的计算公式如下所示：
[0103][0104]
其中，σ为激活函数，其中，σ为激活函数，是的度矩阵，a是邻接矩阵，in为单位矩阵，w为可调节的权重。得到待修复片段对应的修复值的公式为：
[0105][0106]
其中，z
t
＝z
tem
[:,t,:]，σ为激活函数，f(
·
)为gcn运算，
⊙
表示hadamard乘积。
[0107]
本实施例提供的智能网联交通数据修复方法，通过将待修复片段历史片段融合，再将其与待修复片段加权求和，从而挖掘历史片段内隐藏的高级语义信息，在捕获交通流的长期时间关联特征的同时不大幅增加模型参数和计算时间，然后，融合多头时空注意力与图卷积门控循环单元，深度挖掘交通流内在的时空关联性，最后，利用生成对抗网络使得修复数据更接近于真实数据分布，提高了数据修复的实时性和精准度。
[0108]
在上述实施例的基础上，所述步骤1之前，还包括：
[0109]
利用wgan进行生成器和判别器的对抗训练，调整生成器的超参至判别器无法辨别观测值和修复值。
[0110]
具体实施时，考虑到生成对抗网络(generative adversarial networks,简称gan)是一种利用生成器和判别器的对抗机制，使得生成器的结果无限接近于真实数据的模型。本发明使用wasserstein gan(wgan)来进行对抗训练。在本发明中，wgan的目标是用生成器计算得出的修复值代替缺失值，让判别器无法辨别观测值和修复值。
[0111]
为了使判别器也能利用前后时间序列信息判断哪些是修复值，本文采用双向gru作为判别器。此外，为了使判别器能更好地指导生成器，在判别器的输入中还加入了提示矩阵来加速判别器的收敛。
[0112]
本发明使用的模型训练方法包含3个损失函数：
[0113][0114][0115][0116]
其中，lossg,lossd,lossi分别为生成器损失、判别器损失和修复损失。x为原始矩阵，m为掩码矩阵，为修复数据，y为真实数据。
⊙
表示hadamard乘积。g(
·
)表示生成器，d(
·
)表示判别器。
[0117]
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。
[0118]
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
[0119]
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种智能网联交通数据修复方法，其特征在于，包括：步骤1，通过生成器提取交通流历史数据的隐藏特征并与待修复片段融合，得到融合特征；步骤2，将融合特征输入生成器的时空模块挖掘交通流的时空关联性，得到待修复片段对应的修复值。2.根据权利要求1所述的方法，其特征在于,所述步骤1之前，还包括：利用wgan进行生成器和判别器的对抗训练，调整生成器的超参至判别器无法辨别观测值和修复值。3.根据权利要求2所述的方法，其特征在于,所述步骤1具体包括：步骤1.1，设待修复片段为x
t
∈r
n
×
t
，待修复片段对应的前p个片段为x
r
∈r
n
×
p*t
,前p天的片段为x
d
∈r
n
×
p*t
,前p周的片段为x
w
∈r
n
×
p*t
，将x
r
,x
d
,x
w
通过一个共享的全连接层转换成h
q
∈r
n
×
p*t
×
d
,q∈{r,d,w}；步骤1.2，使用扩散卷积和门控机制提取历史片段的隐藏特征步骤1.3，将隐藏特征加权求和得到h
f
并与待修复片段融合，得到融合特征。4.根据权利要求3所述的方法，其特征在于,所述隐藏特征的计算公式为其中，w
q1
,w
q2
表示扩散卷积核，b
q1
,b
q2
表示偏差项；所述融合特征的计算公式为其中，z
v
＝z[v,:,:]∈r
t
×
d
，x
v
∈r
t
，f
v
∈r
t
×
d
分别是z,x
t
,f的第v个节点特征，σ是非线性函数，w
f1
,w
f2
,b
f1
是通过训练调节的参数。5.根据权利要求4所述的方法，其特征在于,所述时空模块包括多头空间注意力层、多头时间注意力层和图卷积门控循环单元。6.根据权利要求5所述的方法，其特征在于,所述步骤2具体包括：步骤2.1，使用多头空间注意力层提取融合特征周围k阶邻居的空间关联性；步骤2.2，将多头空间注意力层的输出作为多头时间注意力层的输入，提取特征张量的时间关联性；步骤2.3，将多头时间注意力层的输出作为图卷积门控循环单元的输入进行图卷积和循环单元变换，得到待修复片段对应的修复值。7.根据权利要求6所述的方法，其特征在于,所述k阶邻居的空间关联性的计算公式为其中，| |表示平均操作，z
(k-1)
为上一层的输出且z
(0)
＝zw
p
，h为多头注意力的头数，为节点u到节点v的注意力权重，w
s
为通过训练调节的参数；
所述多头时间注意力层的输出为其中，| |表示平均操作，h为多头时间注意力的头数，w0为可训练权重参数，所述修复值的计算公式为其中，z
t
＝z
tem
[:,t,:]，σ为激活函数，[:,t,:]，σ为激活函数，是的度矩阵，a是邻接矩阵，i
n
为单位矩阵，w为可调节的权重，
⊙
表示hadamard乘积。

技术总结
本公开实施例中提供了一种智能网联交通数据修复方法，属于数据处理技术领域，具体包括：步骤1，通过生成器提取交通流历史数据的隐藏特征并与待修复片段融合，得到融合特征；步骤2，将融合特征输入生成器的时空模块挖掘交通流的时空关联性，得到待修复片段对应的修复值。通过本公开的方案，将待修复片段历史片段融合，再将其与待修复片段加权求和，从而挖掘历史片段内隐藏的高级语义信息，在捕获交通流的长期时间关联特征的同时不大幅增加模型参数和计算时间，然后，融合多头时空注意力与图卷积门控循环单元，深度挖掘交通流内在的时空关联性，并得到修复数据，提高了数据修复的实时性和精准度。时性和精准度。时性和精准度。


技术研发人员：唐进君 段一鑫 黄合来 李烨 周波 陈吉光 薛红丽
受保护的技术使用者：湖南纽狐科技有限公司
技术研发日：2023.03.20
技术公布日：2023/7/22