一种使用空间动态图卷积网络进行交通流预测方法

1.本发明涉及交通数据分析技术领域，尤其涉及一种使用空间动态图卷积网络进行交通流预测方法。

背景技术：

2.在智能交通系统（intelligent transport system, its）中，时空预测是现实生活中的一项重要任务。每个人都致力于提高预测未来交通流量的准确性。它有利于许多应用，包括自动驾驶汽车运营、能源和智能电网优化、物流和供应链管理。在本文中，我们通过解决动态时间复杂度成功地提高了预测性能。
3.为了捕捉交通节点历史时间序列的复杂时间相关性，引入循环神经网络（recurrent neural network，rnns）来预测交通流量。同时，交通网络的相邻节点之间存在明显的空间相关性。研究人员应用卷积神经网络 (convolutional neural networks，cnn) 来提取空间相关性。 cnn 可以很好地处理网格结构。时空循环卷积网络（spatiotemporal recurrent convolutional network，srcn）继承了深度卷积神经网络 (deep convolutional neural networks，dcnn) 和长短期记忆 (long short-term memory，lstm) 神经网络的优势。
4.道路网络是一种典型的非欧式数据，即拓扑结构。这些方法在捕捉非欧几里得相关性以预测交通时间序列方面很差。为了解决这个问题，大多数方法使用图卷积网络（graph convolutional networks，gcn）来处理时空信息。图卷积神经网络通过拉普拉斯矩阵有效地提取非网格局部空间特征。图卷积与循环神经网络或门卷积网络（gated convolutional network，gate-cnn）相结合的网络在交通网络中的时空图建模中被广泛采用。该网络在空间和时间建模比卷积神经网络和循环神经网络实现了更好的性能。
5.然而在上述现有技术中，存在以下主要缺陷。
6.首先，在时间和空间维度上有效地提取交通数据的动态仍然具有挑战性。图卷积的大多数方法采用静态图和固定邻接矩阵来捕获节点特征表示的空间相关性。然而，交通网络的每个节点都是动态变化的。基于静态图的图卷积无法动态捕获节点的特征。bing yu等人提出的基于拉普拉斯矩阵的时空图卷积网络（spatio-temporal graph convolutional networks，stgcn）忽略了隐藏在交通数据中的许多有用的空间关系。graph wavenet网络中提出了门控时间卷积层（gated temporal convolution layer，gated tcn）和自适应邻接矩阵来分别提取空间和长距离时间信息，但它无法挖掘不同动态图之间的相关性其次，当前网络对时间序列的捕获不足。基于循环神经的网络容易造成梯度消失和爆炸的问题，所以在长序列模型中捕获效果并不理想。基于注意力的网络在捕捉长期复杂性方面表现良好，但不能有效地提取局部信息。
7.导致存在上述不足的主要原因为：将图卷积神经网络和循环神经网路结合应用于交通流预测中大多数使用的是已
经预先定义好的矩阵及静态的图结构，此图基于道路节点中传感器之间的距离来构造的。但交通流数据是高非线性的，且是受多种因素而时刻动态变化的，因此路网之间的相关性是随着时间动态变化的，比如：在某个时段，两个道路节点在物理空间上它是相连的，但在逻辑空间中它们是弱连接，弱相关的。根据当前道路数据得到的动态的图能够真实的反映节点之间的强弱相关性，其对空间节点的学习表达起着关键作用。
8.循环神经网络在反向传播时涉及时间序列上的大量求导运算，无论是梯度消失还是梯度爆炸，都是源于网络结构太深，造成网络权重不稳定，从本质上来讲是因为梯度反向传播中的连乘效应。长短距离神经网络通过门函数，将一部分梯度遗忘掉，这样就可以很大程度上减轻了梯度消失发生的概率，但依旧不能解决梯度“爆炸”的问题。比起局部时间相似性，基于注意力的网络更加关注前后时间节点的序列的相似度。

技术实现要素：

9.本发明实施例所要解决的技术问题在于，提供一种使用空间动态图卷积网络进行交通流预测方法。可有效解决交通流预测中，静态图中固定的节点关系限制图节点进一步特征学习，以及循环神经网络捕获长时间依赖性不足的问题。
10.为了解决上述技术问题，本发明实施例提供了一种使用空间动态图卷积网络进行交通流预测方法，其特征在于，包括以下步骤：步骤1：构造网络图结构g，通过计算传感器之间成对道路网络距离，利用阈值高斯核建立邻接矩阵a；步骤2：图融合网络构建，对于当前时间节点的交通流数据x
t
，首先使用空间注意力机制，捕获当前时间下的全局图节点特征mah
t
，其次，采用门控机制将上一时间段的各节点特征h
t-1
与当前时间下通过空间注意力机制得到的节点特征mah
t
进行一个自适应的融合，得到基于注意力的图滤波af
t
；步骤3：动态扩散卷积模块构建，使用双向扩散卷积来捕获更多来自上游和下游交通流的影响；步骤4：时间相关性模块构建，所述时间相关性模块由图卷积循环单元和带有零初始化的残差连接转换网络组成，在图卷积循环单元中，使用门控循环单元捕获时间依赖性，并使用动态扩散卷积模块替代了门控循环单元中矩阵相乘部分; 每一个图卷积循环单元在时间t的输出h
t
都会被输入带有零初始化的残差连接转换网络挖掘节点长时间依赖的特征；步骤5：预测层输出，从最后一层带有零初始化的残差连接转换网络输出得到的ho’(i)
经过一个线性变换得到最终交通流预测输出。
11.2、根据权利要求1所述的使用空间动态图卷积网络进行交通流预测方法，其特征在于，所述步骤1的邻接矩阵a公式表达式为：其中，v代表节点集合，e代表边集合，代表节点vi与节点vj之间的距离，k是控
制邻接矩阵a稀疏性的阈值，σ是距离的标准差，表示以自然常数e为底的指数函数。
12.进一步地，所述步骤2中的空间注意力机制的公式表达式为：所述步骤2中的空间注意力机制的公式表达式为：其中，交通流数据经线性变换到三个矩阵q
t
=x
t
wq，k
t
=x
t
wk与v
t
=x
t
wv；wq，wk，wv为三个可学习参数矩阵；softmax(
·
)表示归一化指数函数；attention(
·
)是实现注意力机制所表示的函数，以获得节点特征；wo是一个可学习的投影矩阵；表示第i个注意力在时间t的输出; concat(
·
)表示拼接操作。
13.进一步地，所述步骤2中的图滤波af
t
的公式表达式为：wz,1，w
z,2
，wh，bh，w
z,l
均是可学习参数；σ(
·
)表示激活函数，将随机初始化模型参数与注意力滤波af
t
对应元素相乘以获得动态图节点，公式如下所示：参数β是用于控制激活函数饱和率的超参数；《》表示哈达玛内积；tanh(
·
)是激活函数；看作是源动态节点嵌入, 看作是目标动态节点嵌入，通过计算源动态节点嵌入与目标动态节点嵌入的相似性，获得动态邻接矩阵da
t
relu(
·
)是激活函数，通过图融合网络的构建，每个时间节点下都会生成相应的动态邻接矩阵。
14.进一步地，所述步骤3中使用双向扩散卷积来捕获更多来自上游和下游交通流的影响的公式表达式为：其中，表示转移矩阵；均为非出度对角矩阵；a表示静态的邻接矩阵；和代表了转移矩阵pf，pb的幂级数；θ
k,f
，
θ
k,b
是可学习参数，从多个角度来提取空间节点上的关系，公式如下所示：公式如下所示：代表动态正向转移矩阵；代表动态反向转移矩阵；θ
k,f
，θ
k,b
，θ
k,df
，θ
k,db
均是可学习参数。
15.实施本发明实施例，具有如下有益效果：1.静态的图邻接矩阵无法完全反映每个时间节点下的节点关系，对图节点特征提取有一定的限制。本发明提出的注意力融合网络在每个时间节点生成注意力图滤波，该滤波和可学习参数结合用于生成动态节点嵌入；通过计算成对动态节点嵌入的相似性，可得到每个时间节点下的动态邻接矩阵。每个时间节点下的动态邻接矩阵相比于静态固定的邻接矩阵它依据当前交通数据反映路网节点关系，以此来进行节点特征学习。
16.2.传统的循环神经网络在捕获长时间依赖性效果不佳，会出现梯度爆炸的情况。本发明通过将图卷积循环单元与带有零初始化残差连接转换网络相结合来捕获各节点在时间维度上的依赖性。在图卷积循环单元中，可以同时进行时间上和空间上的依赖关系捕获，带有零初始化残差连接在转化器中提高其神经元前向传播能力，以探索更深层的长时间依赖关系。
附图说明
17.图1是空间动态图卷积神经网络的结构；图2是注意力融合网络的示意图；图3是带有零初始化残差连接的transformer架构。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
19.如图1所示，本发明实施例的一种使用空间动态图卷积网络进行交通流预测方法，可有效解决交通流预测中，静态图中固定的节点关系限制图节点进一步特征学习，以及循环神经网络捕获长时间依赖性不足的问题。本发明依据以下步骤实现交通流预测：步骤 1：构造网络图结构g=(v,e,a)。通过计算传感器之间成对道路网络距离，利用阈值高斯核建立邻接矩阵a，公式表达如下：
(1)v代表节点集合，e代表边集合，代表节点vi与节点vj之间的距离，k是控制邻接矩阵a稀疏性的阈值，σ是距离的标准差，表示以自然常数e为底的指数函数。
20.步骤2：图融合网络构建。图融合网络是用于生成动态的邻接矩阵。对于当前时间节点的交通流数据,首先使用空间注意力机制，如图2所示，公式如下所示，捕获当前时间下的全局图节点特征mah
t
。。
21.在这里，交通流数据经线性变换到三个矩阵q
t
=x
t
wq，k
t
=x
t
wk与v
t
=x
t
wv；wq，wk，wv为三个可学习参数矩阵；softmax(
·
)表示归一化指数函数；attention(
·
)是实现注意力机制所表示的函数，以获得节点特征；wo是一个可学习的投影矩阵；表示第i个注意力在时间t的输出;concat(
·
)表示拼接操作。
22.接着，采用门控机制将上一时间段的各节点特征与当前时间下通过空间注意力机制得到的节点特征mah
t
进行一个自适应的融合，得到基于注意力的图滤波af
t
,公式表示如下:（4）wz,1，w
z,2
，wh，bh，w
z,l
均是可学习参数；σ(
·
)表示激活函数，将随机初始化模型参数与注意力滤波af
t
对应元素相乘以获得动态图节点，公式如下所示：（5）参数β是用于控制激活函数饱和率的超参数；《》表示哈达玛内积；tanh(
·
)是激活函数；看作是源动态节点嵌入,看作是目标动态节点嵌入，通过计算源动态节点嵌入与目标动态节点嵌入的相似性，获得动态邻接矩阵da
t
。
23.relu(
·
)是激活函数。通过步骤2图融合网络的构建，每个时间节点下都会生成相应的动态邻接矩阵。下面步骤介绍如何将静态图跟动态图相结合来进行图节点特征学习。
24.步骤3：动态扩散卷积模块构建。扩散卷积递归神经网络（diffusion convolutional recurrent neural network，dcrnn）使用双向扩散卷积来捕获更多来自上游和下游交通流的影响，公式如（7）所示。
25.（7）其中，表示转移矩阵；均为非出度对角矩阵；由(1)所示，a表示静态的邻接矩阵；和代表了转移矩阵pf，pb的幂级数；θ
k,f
，θ
k,b
是可学习参数。本发明在(7)基础上进行改进，考虑了动态图的扩散卷积，从多个角度来提取空间节点上的关系，公式如下所示：(8)代表动态正向转移矩阵；代表动态反向转移矩阵；θ
k,f
，θ
k,b
，θ
k,df
，θ
k,db
均是可学习参数均是可学习参数。公式(8)表示了静态图的双向扩散卷积与动态图的双向扩散卷积过程共同构成了动态扩散卷积模块。
26.步骤4：时间相关性模块构建。时间相关性模块由图卷积循环单元（graph convolution recurrent unit, gcru）和带有零初始化的残差连接转换网络（rezero transformer）组成，如图3所示。在图卷积循环单元中，本发明使用门控循环单元去捕获时间依赖性。其中，动态扩散卷积模块替代了门控循环单元中矩阵相乘部分。该过程将当前时间的交通流数据及图卷积循环单元在时间t-1输出h
t-1
进行一个拼接，放入图卷积循环单元，公式如下表示：(9)r
(t)
是重置门，u
(t)
是更新门。
⋆
g表示动态扩散卷积，如（8）所示。是扩散卷积层的可学习参数。借助图卷积循环单元可以同时捕获节点在时间和空间上的特征。
27.接着，每一个图卷积循环单元在时间t的输出h
t
都会被输入带有零初始化的残差连接转换网络挖掘节点长时间依赖的特征。带有零初始化的残差连接转换网络（rezerotransformer）是在转换网络（transformer）改进过来。它借助动态等距的思想推动
转换网络（transformer）的前向传播提升其在长时间节点的依赖性捕获。它去除了原有转化器归一化的过程，同时保留位置编码，多头注意力机制及前向传播的模块，并使用带有零初始化的残差连接（rezero）。位置编码pe
t
是通过正弦函数和余弦函数来表示:h
t,i
表示图卷积循环单元在时间t节点i的输出，d
model
表示隐藏层的维度。一开始，将各时间下的节点进行位置编码后进行一个拼接，作为第1层rezero转换网络的输入。在第层rezero转化器，输入h
,(i-1)
是上一层i-1的输出ho
,(i-1)
，输入首先经过多头注意力机制，然后进行残差连接得到h
,i
，再经过前向传播和残差连接得到该层的最终输出ho
,(i)
。
28.α是多头注意力机制与前向传播共享的可学习参数。
29.步骤5：预测层输出。从最后一层带有零初始化的残差连接转换网络输出得到的ho
,(i)
经过一个线性变换得到最终交通流预测输出，公式表达如下：wo和bo是可学习参数。
30.最后，通过上述5个步骤可搭建出空间动态图卷积网络来进行交通流预测任务。
31.本发明与现有技术相比具有如下优点：现有方法大多数采用基于距离构建的交通路网图结构，时空图卷积网络(spatio-temporal graph convolutional networks, stgcn)基于静态图结构进行图卷积学习节点特征，同时还有从多个语义的角度出发，构建多个类型的静态图，如基于时间相似性构建的路网图，基于poi 构建的路网图等等，地理语义时空网络（a geographical and semantic spatial-temporal network，gsnet）构建了基于道路风险的图结构，基于距离的图结构，基于poi的图结构进行图卷积进行交通事故预测。此类方法归纳如下：(13)式是根据不同的语义角度来构建相应的图结构。表示对应语义对应的邻接矩阵；表示对应的相似性函数。(14)是图卷积公式。其中，图傅里叶基数u是归一化
图拉普拉斯矩阵l的特征向量构成的矩阵。图拉普拉斯矩阵，in是单位矩阵，d是对角矩阵，其中，
⋀
是对角矩阵，里面存的是l的特征值。代表一个滤波器，a代表其中的已构造出的邻接矩阵。
32.但这类图结构都是静态的图，有限的节点关系表示限制了图节点空间上的特征学习。为了克服静态图有限的节点关系表示的困难，能够在端对端学习过程中更新的自适应矩阵被提出。graphwavenet提出了自适应矩阵来进行图节点学习，但是自适应矩阵无法做到动态性，在每一次循环中，每个时间节点的图都是静态的，也有可能会存在大面积缺失的节点关系。graphwavenet通过自适应邻接矩阵与静态图使用扩散卷积进行图节点特征学习总结为如下：总结为如下：对于式（15），e1为源节点嵌入；e2为目标节点嵌入；sosftmax(
·
)为归一化函数，relu(
·
)为激活函数；为自适应邻接矩阵。对于式（16），pk代表转移矩阵的幂级数；为可学习参数；x为交通信号。
33.在长时间依赖的捕获上，大多数采用的是循环神经网络，但循环神经网络在长序列相关性捕获上容易造成梯度消失或梯度爆炸。扩散卷积递归神经网络（diffusion convolutional recurrnet neural network，dcrnn）采用门控循环单元并用扩散卷积替代了门控循环单元里面矩阵相乘的部分以同时捕获空间依赖性和时间依赖性。时间卷积网络（temporal convolutional network，tcn）是一个在时间维度上提取特征的通用结构，graph wavenet提出了将时间卷积与门控机结合来捕获时间依赖性。但为了捕获时间上的长期序列，tcn需要叠加多个卷积层来连接序列中的任意两个位置。但这损害了tcn学习长期依赖关系的能力。
34.本发明提出的空间动态图卷积网络中，不同于式（13）构造的静态图，（15）的自适应邻接矩阵。在注意力融合网络中使用门机制将空间注意力机制捕获到当前时间节点的特征，与上一节时间节点的特征进行自适应地融合得到注意力滤波，如式（5），（6），注意力滤波生成成对动态节点嵌入，并通过计算成对动态节点嵌入的相似性得到每个时间节点对应的动态邻接矩阵da
t
。如式（8）所示，动态邻接矩阵和静态邻接矩阵应用到双向扩散卷积中以捕获上下游空间影响的节点的相关性。同时，在图卷积循环单元（gcru），门控循环单元的矩阵相乘被替换成动态扩散卷积模块用来同时捕获时间和空间的相关性。在长时间依赖捕获上，不同于过去的方法，如式（10）所示，应用带有零初始化的残差连接（rezero）到转换网络（transformer）中以探索深层的长时间依赖性。
35.以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

技术特征：

1.一种使用空间动态图卷积网络进行交通流预测方法，其特征在于，包括以下步骤：步骤1：构造网络图结构g，通过计算传感器之间成对道路网络距离，利用阈值高斯核建立邻接矩阵a；步骤2：图融合网络构建，对于当前时间节点的交通流数据x
t
，首先使用空间注意力机制，捕获当前时间下的全局图节点特征mah
t
，其次，采用门控机制将上一时间段的各节点特征h
t-1
与当前时间下通过空间注意力机制得到的节点特征mah
t
进行一个自适应的融合，得到基于注意力的图滤波af
t
；步骤3：动态扩散卷积模块构建，使用双向扩散卷积来捕获更多来自上游和下游交通流的影响；步骤4：时间相关性模块构建，所述时间相关性模块由图卷积循环单元和带有零初始化的残差连接转换网络组成，在图卷积循环单元中，使用门控循环单元捕获时间依赖性，并使用动态扩散卷积模块替代了门控循环单元中矩阵相乘部分; 每一个图卷积循环单元在时间t的输出h
t
都会被输入带有零初始化的残差连接转换网络挖掘节点长时间依赖的特征；步骤5：预测层输出，从最后一层带有零初始化的残差连接转换网络输出得到的ho’(i)
经过一个线性变换得到最终交通流预测输出。2.根据权利要求1所述的使用空间动态图卷积网络进行交通流预测方法，其特征在于，所述步骤1的邻接矩阵a公式表达式为：其中，v代表节点集合，e代表边集合，代表节点v
i
与节点v
j
之间的距离，k是控制邻接矩阵a稀疏性的阈值，σ是距离的标准差，表示以自然常数e为底的指数函数。3.根据权利要求2所述的使用空间动态图卷积网络进行交通流预测方法，其特征在于，所述步骤2中的空间注意力机制的公式表达式为：所述步骤2中的空间注意力机制的公式表达式为：其中，交通流数据经线性变换到三个矩阵q
t
=x
t
w
q
，k
t
=x
t
w
k
与v
t
=x
t
wv；w
q
，w
k
，wv为三个可学习参数矩阵；softmax(
·
)表示归一化指数函数；attention(
·
)是实现注意力机制所表示的函数，以获得节点特征；w
o
是一个可学习的投影矩阵；表示第i个注意力在时间t的输出; concat(
·
)表示拼接操作。4.根据权利要求3所述的使用空间动态图卷积网络进行交通流预测方法，其特征在于，所述步骤2中的图滤波af
t
的公式表达式为：
wz,1，w
z,2
，w
h
，b
h
，w
z,l
均是可学习参数；σ(
·
)表示激活函数，将随机初始化模型参数与注意力滤波af
t
对应元素相乘以获得动态图节点，公式如下所示：参数β是用于控制激活函数饱和率的超参数；<>表示哈达玛内积；tanh(
·
)是激活函数；看作是源动态节点嵌入, 看作是目标动态节点嵌入，通过计算源动态节点嵌入与目标动态节点嵌入的相似性，获得动态邻接矩阵da
t
relu(
·
)是激活函数，通过图融合网络的构建，每个时间节点下都会生成相应的动态邻接矩阵。5.根据权利要求4所述的使用空间动态图卷积网络进行交通流预测方法，其特征在于，所述步骤3中使用双向扩散卷积来捕获更多来自上游和下游交通流的影响的公式表达式为：其中，表示转移矩阵；均为非出度对角矩阵；a表示静态的邻接矩阵；和代表了转移矩阵p
f
，p
b
的幂级数；θ
k,f
，θ
k,b
是可学习参数，从多个角度来提取空间节点上的关系，公式如下所示：公式如下所示：代表动态正向转移矩阵；代表动态反向转移矩阵；θ
k,f
，θ
k,b
，θ
k,df
，θ
k,db
均是可学习参数。

技术总结

本发明公开了一种使用空间动态图卷积网络进行交通流预测方法，首先提出了一种新的注意力融合网络，包括空间注意力和门控机制，以在时间节点生成动态图。该网络旨在通过动态节点嵌入更有效地捕获空间依赖性。其次，提出了动态扩散图卷积循环模块，它将双向扩散卷积与门控循环单元相结合，以同时捕获全局空间相关性和时间相关性。在模块之后，本发明添加了带有零初始化的残差连接转换网络来提取长时间特征。最后，通过大量实验在两个真实的交通数据集上评估空间动态图卷积网络，实验表明空间动态图卷积网络优于目前最先进的方法。动态图卷积网络优于目前最先进的方法。动态图卷积网络优于目前最先进的方法。