一种基于DSTGCN的交通预测方法

本发明专利涉及一种交通预测方法，在智慧城市建设领域具有极其重要的应用前景。

近年来，得益于城市化进程加快，智能交通系统得到了飞速的发展，它在解决交通拥堵、道路规划等一系列城市交通问题上发挥了重大的作用，对新时期智慧城市建设及其交通管理具有重大意义。交通预测的目的是利用历史观测数据来预测道路未来的交通状况，它作为智能交通系统的基石，已被广泛研究并应用于解决交通拥堵问题，从而起到改善城市环境、提升城市品质的作用。

交通预测是经典的时空数据预测问题，不同道路分布的传感器在连续的时间下记录观测的数据。交通网络由多个路段交织而成，这意味着每个地点进行的观测在时间和空间上并不是独立的，它不仅和先前的观测数据高度相关，还与其他道路的交通状况相互动态关联。因此，有效的提取交通数据的时空相关性是实现精准预测的关键。从时间维度来看，交通数据在长期范围内呈现周期性变化，在短期内受交通拥堵或交通事故影响，呈现出波动性，高度的非线性使预测未来交通状况变得困难。另一方面，道路之间的相关性随时间呈现动态变化，并且存在随机性、周期性因素，如何动态的选择邻域信息来预测目标道路的交通状况是一个具有挑战性的问题。此外，建模交通网络的空间异质性也是十分困难的。

目前，针对上述挑战，人们进行了广泛的研究。传统的交通预测方法比如历史平均法(HA)、向量自回归法(VAR)、支持向量回归法(SVR)等，这些传统的预测方法普遍受到学习时空依赖性能力的限制。近年来，随着深度学习的兴起，循环神经网络(RNN)、长短期记忆网络(LSTM)、门控融合单元(GRU)等循环神经网络由于具有捕捉序列数据的能力在时序数据中表现突出，基于循环神经网络的深度学习模型ST-MetaNet、DCRNN、MTGNN、DGCR等极大提高了短期预测的能力。STJGCN、ASTGNN、DMSTGCN等框架由于其并行式的计算方法在长时间序列预测中表现出。以上这些方法大多只能兼顾短期或长期一种任务，如何长期有效的对时空相关性进行建模仍是需要考虑的。因此本发明为改进上述缺陷，设计了基于动态时空图卷积网络的预测方法。

为了克服无法实现长期有效的对时空相关性进行建模等困难，发明了一种动态时空图网络(DSTGCN)的交通预测方法。具体地说，本发明设计了一种新的图生成算法，利用由节点近邻性以及节点结构相似性定义的两种图，在不同的时刻通过GRU进行更新得到新的邻接矩阵，它融合了节点对之间的地理信息和结构信息，可以有效的聚合邻域信息。此外，还在编码器和解码器之间添加了转换层，以降低误差传播。

本发明主要包括五个部分：(1)确定模型的输入输出。(2)数据集处理。(3)针对交通数据的时空特性建模交通数据的时空相关性。(4)构建动态时空图卷积网络模型(DSTGCN)。(5)方法有效性验证。

下面分别介绍以上五部分的内容:

1、确定模型的输入输出。流量数据集作为本方法的输入，其中两者包括流量、经纬度、开始时间、结束时间等属性。选择合适的训练数据集，以历史某一时间段的流量值来预测未来某一时间段的流量值。通过给定交通网络中N个传感器在Th个时间步的历史交通数据学习一个函数f，它能够预测所有传感器在未来Th个时间步的交通状况。具体可表示为：

2、数据集预处理。数据集预处理主要包括标准化等处理。从传感器提取的流量数据通常存在异常值和一些噪音，采用标准化处理可以间接通过中心化避免异常值和极端值的影响。

3、针对交通数据的时空特性建模交通数据的时空相关性。交通网络的节点性质呈现多样化，例如：医院、学校、商场等。不同区域的学校通常在工作日通常表现出相似的行为，但在周末可能存在不同的行为。为了有效的描述这种现象，本发明使用了一种时空位置表示方法。具体来说，首先，将序列的时间特征进行时间编码，随后使用node2Vec算法学习交通网络节点的空间结构表示。本发明中利用时空嵌入对每一个节点进行时空位置编码，有利于精准聚合邻域信息。

4、构建动态时空图卷积网络模型(DSTGCN)。DSTGCN主要由时空位置编码、动态图生成器、图卷积网络(GCN)以及门控融合单元(GRU)四部分组成。其中时空位置编码主要提取交通数据的时间和空间信息，将信息进行编码输入到编码器中。图卷积网络主要对交通网络的空间特征进行建模，门控融合单元主要对交通网络的时间特征进行建模。动态图生成器主要用于捕获交通数据的动态时空相关性。

5、方法有效性验证。通过在两类真实交通数据集上的广泛实验证明，并且对比于其他前沿的研究，本发明无论在短时程预测还是长时程预测上都是显著优于其他对比方法。

本发明为实现上述目的所采取的详细实施步骤如下：

步骤1：根据交通流量数据集特征定义交通路网表示。将交通路网定义为一个加权有向图G＝(V,E,A)。其中V是一个N＝|V|的节点集合，每个节点对应道路网络中的传感器。E是一组M＝|E|的边的集合，每条边都表示节点之间具有连通性，是一个加权邻接矩阵，表示距离节点vi和vj的距离。

步骤2：确定模型的输入输出。给定交通网络中N个传感器在Th个时间步的历史交通数据输入为预测目标是

步骤3：选择合适的比例划分数据集，数据预处理。按照通用的划分标准，70％的数据用于训练，10％的数据用于验证，其余20％的数据用于测试，并对整体数据集进行Z-Score规范化。

步骤4：时空嵌入模块。首先，使用one-hot编码方法对序列的时间进行编码，将一天划分为T个时间步长，我们将一周中的天和一天中的小时进行编码，分别用和表示，并且将它们连接变成向量表示随后，利用全连接层将时间特征转化为向量P+Q个时间步的时间嵌入表示为其次，我们通过node2Vec算法学习交通网络节点的空间结构表示，得到全局向量表示是时空嵌入矩阵表示，其中向量是节点vi在tj时间步的时空嵌入表示。

步骤5：构建动态时空图卷积网络模型(DSTGCN)。在数据输入到模型后，主要有以下几个步骤：

步骤5.1：构建动态图生成模块。道路的交通状况随时间动态变化，在长期范围内呈现周期变化，短期范围内受人口密度、车辆密度和突发事故等因素影响表现出高度的波动性。因此，从动态的角度描述交通网络是很有必要的。本发明中的动态图生成模块主要通过门控融合单元在不同的时间步自适应融合地理近邻性信息和空间异质性信息，新的动态邻接矩阵为描述空间相关性提供了丰富的信息。

步骤5.1.1构建基于距离的静态图。交通网络由多条道路交织而成，因此根据交通网络的局部相关性定义邻接矩阵是非常有意义的，局部相关性是通过相邻道路的交通状况来表示目标道路的交通状况，距离近的道路对之间往往有很强的相关性，距离较远的道路对之间的相关性通常很弱。为了衡量不同距离的道路对同一个道路交通状况的影响，本发明利用阈值高斯核函数距离度量不同的道路对之间的近邻性：

其中表示路网中节点vi到节点vj的距离，μ是标准差，ε是控制邻接矩阵A稀疏度的阈值，指定为0.1。基于静态图的邻接矩阵根据道路距离给予邻居节点不同的权重，然后以一种非均匀的方式聚合邻域信息。它有效的描述了交通网络的固有结构。

步骤5.1.2：基于空间异构的静态图。从距离的角度衡量了节点之间的相似性，因此我们通常会得到这样的结论：距离较近的节点对之间相关性程度高，距离较远则相关性程度低。它在一定程度上表现出积极的作用，但是它忽视了交通网络的空间异质性，即缺乏考虑与自身性质相同节点的影响。例如，两个所处不同区域的中学，通常在工作日表现出明显相似的行为，彼此在一定程度上可用于相互表示，但是这种关系在基于距离的图中的相关性程度为0。为了学习这种潜在的空间相关性，本发明设计一种可表示交通网络空间异质性的邻接矩阵，具体来说，首先通过node2Vec算法得到交通路网中节点的向量表示：

S＝node2Vec(A)

其中，A是邻接矩阵，是交通网络中所有节点的空间向量表示，是节点vi的空间向量表示。node2Vec算法使同一个区域内的节点或拥有相似结构特征的节点表示相似。为了度量节点对之间的相似性，利用余弦相似度算法来求得两两节点对之间的相似度：

其中，表示节点vi和vj之间的相似度，的值越大说明节点vi和vj的地点性质趋近于一致，θ代表两个向量的夹角。为了能更清楚的表示节点间的相似程度，继续对相似度进行归一化处理：

其中，表示节点vi和vj的相关性分数。将M定义为一种描述交通网络空间异质性的邻接矩阵，基于空间异质的静态图根据节点的性质给予其他节点不同的权重，通过它们的加权和来表示自身的交通状况。

步骤5.1.3：动态图生成器的过程。基于距离的静态图和基于空间异质的静态图从不同的角度建模空间相关性，但静态图限制了它们的表达能力。因此本发明设计了一个动态图生成模块，它由基于距离的图A和基于空间异质的图M和门控融合单元(GFU)三部分构成，GFU将A作为初始隐状态，自适应融合地理近邻性和空间异质性信息并生成新的邻接矩阵。具体地，将GFU的操作表示为：

zt+1＝sigmoid(WDDt+UMM)

Dt+1＝zt+1⊙M+(1-zt+1)⊙Dt

其中zt+1是t+1时间步控制M和Dt的门，⊙表示数组元素依次相乘，Dt+1是t+1时间步生成的动态邻接矩阵。在得到t时间步的邻接矩阵Dt之后，通过节点的消息传递效应来表示节点的交通状况：

其中，将Xt和Ut连接作为t时间步图信号的输入，表示t时间步图信号的输出，和都是学习参数。σ(·)是ReLU(·)激活函数。

步骤5.2：图卷积循环模块。一个地点的交通状况与之前的观测值是紧密相关的，并且随着时间步长的增加，相关性逐渐减弱。为了有效的建模交通数据的时间相关性，本发明采用GRU来处理连续的时间序列。GRU是一种基于RNN的时间序列模型，GRU在每个时间步生成一个隐藏状态，用于控制下一个时间步的信息流，并作为当前时间步的输出。此外，为了扩大感受野，将GCN运算应用于GRU的输入表示，利用邻域信息来表示节点的交通状况：

接着，给定t时间步的输入和t-1时间步的隐藏表示GRU的操作可以被表示为：

其中，是t时刻的输出，和都是可学习的参数。动态图生成模块和图卷积循环模块分别建模动态的空间相关性和非线性的时间相关性，然后，通过GFU自适应融合空间和时间表示。在t时间步，动态图模块和图卷积循环模块的输出分别为和是两者融合后的表示，最后将Q个时间步的输出进行连接：

YT＝concat(Yt,Yt+1…,Yt+Q-1)

其中表示Encoder在Q个时间步上的图信号输出。

步骤5.3：转换注意力机制。编码器编码历史时间序列的时空特征，为了缓解在时间步之间迭代产生的误差传播，在编码器和解码器之间添加了一个转换注意力层，它通过未来时间步对历史时间步的关注度进行建模，从而得到未来时间序列表示。具体地将其表示为：

其中是未来时间步ti对历史时间步tj的注意力得分,分别是ti时间步和时间步tj所有节点的时空嵌入表示。在得到注意力得分后，未来时间步自适应选择过去时间步的相关特征，将历史时间序列转换为未来时间序列表示：

X是编码器的输出，是节点vi在tm时间步的交通流量表示，是节点vi在未来ti时间步的交通流量表示。是可学习的参数。k是注意力头的个数。

步骤6：DSTGCN模型的训练和优化。根据步骤4和步骤5构建的DSTGCN模型，并对模型进行训练和优化。其中使用Adam优化器对整个模型进行优化，并选取MAE、MSE和RMSE作为评价指标。具体的评价指标公式如下：

本发明的创新在于提出了一种基于动态图卷积的预测模型DSTGCN。有效合理的解决了交通预测中长时程时间序列的预测问题。主要的核心思想在于将动态图生成器和GCN以及GRU结合，充分捕获复杂交通数据的时空依赖性，弥补了之前研究不能动态建模以及无法深度挖掘交通数据异构性等缺陷。本发明实现过程简单，不仅可以应用于交通数据集，同时也能应用于其他领域的时序数据集，并能有效的处理复杂的数据场景。

图1是本发明中DSTGCN的模型整体框架图

图2是本发明中交通预测整体过程图

图3是本发明中动态图生成模块图

图4是本发明中展示交通网络的空间异质性图

图5是本发明中对DSTGCN模型的重要组成部分的消融实验图

图6是本发明中对DSTGCN模型中超参数研究图

下面结合附图和实施例对本发明进一步说明。

本发明从城市路网下的传感器中获取了大量的流量数据，并对其进行了数据清理，整理过后分别得到了流量值、经纬度、预测开始时间、预测截止时间等具体属性。本发明基于动态图卷积神经网络，广泛的适用于各种时序预测领域，有效的处理复杂的时序数据。图1是本发明的整体模型框架图，模型基于编码器-解码器结构，其中包括四个模块，时空嵌入模块、动态图生成器模块、图卷积模块和门控融合单元模块。编码器和解码器结构一致，为减小传播误差，在编码器和解码器中间添加了转换注意力机制，有效的提高了模型的整体预测性能。具体实施如下：

步骤1：以交通流量数据集为例，为解决长时程时间序列预测问题，本发明设计了一种基于动态时空图卷积的预测模型DSTGCN。首先确定模型的输入和输出，以及预测目标，随后选择合适的数据集，并对数据集进行合适的划分。模型是由Pytorch1.8.0在一个拥有24G内存的NvidiaGeForceRTX3090GPU的虚拟工作站上实现的。通过Adam优化器对模型进行训练，初始学习率设置为0.01，批量大小设置为64，模型维度dmodel设置为64，注意力个数h设置为8，使用早停机制避免过拟合，同时保存在验证集上表现最佳的模型。按照通用的划分标准，70％的数据用于训练，10％的数据用于验证，其余20％的数据用于测试。通过给定交通网络中N个传感器在Th个时间步的历史交通数据学习一个函数f，它能够预测所有传感器在未来Th个时间步的交通状况。具体可表示为：模型的整体流程图见图2。之后转入步骤2。

步骤2：数据预处理。从传感器提取的流量数据通常存在异常值和一些噪音，采用标准化处理可以间接通过中心化避免异常值和极端值的影响。本发明中对整体数据集进行Z-Score规范化处理。

步骤3：定义交通路网信息。本发明将交通路网定义为一个加权有向图G＝(V,E,A)。其中V是一个N＝|V|的节点集合，每个节点对应道路网络中的传感器。E是一组M＝|E|的边的集合，每条边都表示节点之间具有连通性，是一个加权邻接矩阵，表示节点vi和节点vj的距离。

步骤4：时空嵌入模块。首先，使用one-hot编码方法对序列的时间进行编码，将一天划分为T个时间步长，将一周中的天和一天中的小时进行编码，分别用和表示，并且将它们连接变成向量表示其次，通过node2Vec算法学习交通网络节点的空间结构表示，得到全局向量表示是时空嵌入矩阵表示，其中向量是节点vi在tj时间步的时空嵌入表示。

步骤5：动态图生成模块。道路的交通状况随时间动态变化，在长期范围内呈现周期变化，短期范围内受人口密度、车辆密度和突发事故等因素影响表现出高度的波动性。因此，从动态的角度描述交通网络是很有必要的。本发明中的动态图生成模块主要通过门控融合单元在不同的时间步自适应融合地理近邻性信息和空间异质性信息，动态图生成器的具体表示见图3。

步骤5.1：构建基于距离的静态图。发明中使用阈值高斯核函数距离度量不同的道路对之间的近邻性，具体表示如下：

其中表示路网中节点vi到节点vj的距离，μ是标准差,ε是控制邻接矩阵A稀疏度的阈值，指定为0.1。

步骤5.2：构建基于空间异构的静态图。建模交通网络的空间异质性是困难的，如图4(a)所示，传感器A和传感器C所处于两个不同区域的中学附近，地点性质相同，但是距离较远，传感器A和传感器B的性质不同，但是距离较近。图4(b)展示了三个地点的交通流量变化情况：相对于传感器B，传感器A和传感器C有更相似的变化趋势。这意味着交通网络中存在空间异质性，如何描述这种现象是需要考虑的。首先通过node2Vec算法得到交通路网中节点的向量表示：

S＝node2Vec(A)

其中，A是邻接矩阵，是交通网络中所有节点的空间向量表示，是节点vi的空间向量表示。为了度量节点对之间的相似性，本发明利用余弦相似度算法来求得两两节点对之间的相似度：

其中，表示节点vi和vj之间的相似度，的值越大说明节点vi和vj的地点性质趋近于一致，θ代表两个向量的夹角。为了能更清楚的表示节点间的相似程度，随后对相似度进行归一化处理：

其中，表示节点vi和vj的相关性分数。

步骤5.3：具体动态图生成器的过程。本发明设计了一个动态图生成模块，它由基于距离的图A和基于空间异质的图M和门控融合单元(GFU)三部分构成，具体地，将GFU的操作表示为：

zt+1＝sigmoid(WDDt+UMM)

Dt+1＝zt+1⊙M+(1-zt+1)⊙Dt

其中zt+1是t+1时间步控制M和Dt的门，⊙表示数组元素依次相乘，Dt+1是t+1时间步生成的动态邻接矩阵。在得到t时间步的邻接矩阵Dt之后，通过节点的消息传递效应来表示节点的交通状况：

其中，将Xt和Ut连接作为t时间步图信号的输入，表示t时间步图信号的输出，和都是学习参数。σ(·)是ReLU(·)激活函数。

步骤5.4：图卷积循环模块。本发明将GCN运算应用于GRU的输入表示，利用邻域信息来表示节点的交通状况：

接着，给定t时间步的输入和t-1时间步的隐藏表示GRU的操作可以被表示为：

其中，是t时刻的输出，和都是可学习的参数。最后将Q个时间步的输出进行连接：

YT＝concat(Yt,Yt+1…,Yt+Q-1)

其中表示编码器在Q个时间步上的图信号输出。

步骤5.5：转换注意力机制。注意力机制通过未来时间步对历史时间步的关注度进行建模，从而得到未来时间序列表示，具体表示为：

其中是未来时间步ti对历史时间步tj的注意力得分,分别是ti时间步和时间步tj所有节点的时空嵌入表示。在得到注意力得分后，未来时间步自适应选择过去时间步的相关特征，将历史时间序列转换为未来时间序列表示：

X是编码器的输出，是节点vi在tm时间步的交通流量表示，是节点vi在未来ti时间步的交通流量表示。是可学习的参数。k是注意力头的个数。

步骤6：训练并优化DSTGCN预测模型。本发明为验证模型的合理性和有效性，在两类交通数据集上进行了广泛的实验，一类是关于公路交通速度的，另一类是关于公路交通流量的。为了进行评估，使用所有基线的默认设置来进行实验。所有方法的性能通过三种广泛使用的评估指标来进行评估，即MAE、RMSE和MAPE。其具体定义如下：

其中x＝xi,…,xm表示真实值，表示预测结果，M是待预测时间序列的长度，设置为12。

为了进一步评价DSTGCN中各个组件的有效性，本发明在PeMSD8数据集上进行了消融实验。消融实验中DSTGCN的各个变体命名为：

DSTGCN-NS:它去除了空间模块(动态图模块)，以研究空间模块的重要性。

DSTGCN-NT:它去除了时间模块(图卷积循环模块)，以研究时间模块的重要性。

DSTGCN-NDA:动态邻接矩阵被基于距离的邻接矩阵替换，以研究动态图对于性能的影响。

DSTGCN-NG:将时空自适应融合组件替换为简单的加法,以研究自适应融合的有效性。

DSTGCN与四种变体在相同的条件下进行了三次实验，结果取平均值。图5展示了未来一小时内模型的平均预测结果，以及在十二个时间段上的单步预测结果。实验结果证明DSTGCN在30min-60min内的预测结果始终优于其他变体，表明空间模块、时间模块和门控融合在建模复杂时空相关性方面的有效性。

为了进一步研究超参数设置对模型性能的影响，本发明在PEMSD8数据集上对DSTGCN的模型维度d、层数L以及激活函数和相似性度量方法的敏感性展开研究，除了变化的参数，所有设置均相同。本发明将每个实验重复三次，并报告测试集指标的平均值。图6显示了在PEMSD8数据集上的实验结果。实验结果表明，增加隐藏单元的当隐藏单元的数量维持在64时，模型性能最好，随着隐藏单元数量不断增加，性能逐渐下降，这可能是由于产生了过拟合。如图6(b)所示，模型层数为1层时，模型性能最好，层数越深不仅会降低运行速度，还会产生过拟合。图6(c)展示与其他激活函数相比，ReLU解决了梯度消失问题，并且计算速度、收敛速度更快，它将负值输出为0的特性在一定程度上缓解了过拟合问题。