动态不确定性时空图建模系列（五）: DGCN

1、文章信息

《Dynamic Graph Convolution Network for Traffic Forecasting Based on Latent Network of Laplace Matrix Estimation》。这是北京邮电大学发表在交通顶级期刊IEEE TITS上的一篇文章。

2、摘要

由于交通数据的复杂性和非平稳变化，交通预测在交通研究领域是一个具有挑战性的问题，因此该问题的关键是如何探索合适的时空特征。基于这种思想，提出了许多创新的方法，其中基于图卷积神经网络（GCN）的方法已显示出令人鼓舞的性能。但是，这些方法取决于图的构造，目前大部分工作中，图的构造主要使用道路网络的先验知识。近来，一些学者意识到了道路网络图的变化，并试图为GCN构造动态图，但是他们并没有在图构造中充分利用交通数据的时空特性。在本文中，作者提出了一种用于交通预测的新型动态图卷积网络DGCN，其中引入了一种潜在网络以提取时空特征，以自适应地构建动态道路网图邻接矩阵。该方法在多个交通数据集上进行了评估，实验结果表明，该方法优于多种最新的交通预测方法。

3、动机

在这篇论文中，作者提出了一种用于交通预测的新型动态图卷积网络，如图1（b）所示。与传统基于GCN的方法中的固定和经验Laplace矩阵相反，如图1（a）所示，该方法引入了Laplace矩阵潜在网络（LMLN）来自适应地表示时空关系，然后将该关系馈入GCN并形成动态图卷积网络。

4、模型

为了利用图1（b）中的框架来实现动态图卷积网络，具体在某段时间给出一个网络单元，如图2所示。为了充分考虑周期性时间数据对预测任务的不同影响，论文中采样了三种不同的周期，这些周期组成了模型的输入数据：时间最近邻周期数据XTh，日周期数据XTd是在在过去几天中的同一预测时刻的采样数据，每周周期数据XTw是过去几周中同一预测时刻的采样数据。

论文提出的DGCN的时空特征结构的提取主要有两个组成部分：拉普拉斯矩阵潜在网络组件（图2右侧为蓝色背景），用于估计观测交通数据的拉普拉斯矩阵。基于GCN的流量预测组件（图2左侧为灰色背景），用于通过图卷积捕获观测到的流量数据的时空特征。在下文中将详细描述这两个组件。

(1)拉普拉斯矩阵潜网络（LMLN）

在LMLN中，路网的拉普拉斯矩阵L首先由全局拉普拉斯矩阵学习层处理。然后，将输出的全局拉普拉斯矩阵传输到几个拉普拉斯矩阵预测单元。最后，将动态拉普拉斯矩阵Lp传输到图的时间卷积层，如图3所示，拉普拉斯矩阵预测单元包括三个模块：特征采样，空间注意力和LSTM单元。

A.全局拉普拉斯矩阵学习层：全局拉普拉斯矩阵学习层与文献[1]中的参数化全局共享拉普拉斯矩阵具有相似的功能，在[1]中，作者利用MASK方法通过以下方法生成新的拉普拉斯矩阵,其中是一个可训练参数，*代表逐位乘积，是拉普拉斯矩阵L的r-hop矩阵。但是其构造方式不同但是，L的缺点是省略了中零值位置的连接。为此，论文中设计了一个缩放的1-hop残差全局Laplace矩阵，如下所示：

其中是参数化的拉普拉斯矩阵，是节点i的度，是度矩阵的倒置矩阵，通过加上0.0001来以防出现NAN的问题。是被归一化的全局拉普拉斯矩阵。

B.特征采样：最近邻，每天和每周观察到的交通数据会被输入。如果使用原始数据作为输入，则随着时间长度k ∗T的增加，时间和空间的复杂性将会增加。因此，论文中根据特征的重要性提出了一种特征采样方案来减少交通特征的数据维度 在不同的时间间隔内，最近的交通特征比其他时间特征更为重要。在这里，除了最邻近的T个时间特征，我们将之前的每个T长度的时间特征特征融合为一个新的特征，然后，第一个k-1和最后一个T特征将分别输入到图3中的两个不同的空间注意力模块中。

C.空间注意力：为了建立每时每刻的路网空间关系，论文中采用注意力机制估计路网当前周期的邻接矩阵Ld，因此，如果注意力机制的输入特征为F（1：τ）=（F1，...，Fτ），如图4所示，则注意力计算公式为：

其中W1（·）和W2（·）是嵌入函数，Tr是矩阵转置。这里使用矩阵内积作为道路网络相邻矩阵的估计方法。为了探索节点之间的更多关系，论文中还采用了多头注意力结构。

D.LSTM单元：为了探索邻接矩阵Ld的序列之间的内在关联，我们采用LSTM来学习时间相关。LSTM单元可以表示为：

通过LSTM，可以得到邻接矩阵，结合全局拉普拉斯矩阵，拉普拉斯预测网络的输出可以由下式得到：

其中将作为图时间卷积网络的输入。

(2)      基于GCN的交通预测模块

如图2所示，基于GCN的流量预测组件具有以下模块：

A.时间卷积层（TCL）：此时间卷积层旨在从原始交通数据中提取高维局部时间信息。交通数据段上的时间卷积可以表示为：

B.图时间卷积层（GTCL）：通常在流量预测领域中，该层可以基于GCN来实现，例如，可以将GCN和TCL堆叠为时空块以从TCL的输出中提取时空特征TC

但是，上面的模型中有太多的计算，因此本论文中通过替换GCN操作将这两个函数集成为一个GTCL。

原始的GCN:

替换之后的GTCL可表示为：

此外，还配套GTCL设计了一种门机制来探索局部时态特征，如下所示：

C.时间注意力：除了TCL和GTCL外，还需要一种方法来捕捉长期时序依赖关系，因此论文中采用时间注意力来自适应地捕获交通数据的大规模时间序列之间的相关性。表达式如下所示：

其中都是可学习参数,是用于保持不连续时间段之间的依赖性并使不连续时间段之间的关系的值为零的掩码矩阵。因此，在基于GCN的流量预测中，时间注意力表示如下：

5、实验结果

本文的实验使用了3个数据集，分别是PeMSD4，PeMSD8和PHILADELPHIA。评价指标为RMSE和MAE。论文将提出的方法与7种流量预测方法进行了比较：HA，ARIMA，LSTM，GRU，GCRN，Gated-STGCN，ASTGCN。在这些方法中，除了ASTGCN使用采样的交通数据作为输入特征外，其他方法都使用最近邻的时序数据进行预测。为了评估不同输入的影响，我们还使用了DGCN的另一个版本，DGCN_R，只将最近邻时序数据作为输入（不考虑日周期数据和周周期数据）。为了进一步评估不同Laplace矩阵对GCN（尤其是GAT）的效率，我们将我们的方法与四种基于GCN的方法进行了比较：ASTGCN，其中使用了注意力Laplace矩阵；DGCN_Mask，只使用掩码拉普拉斯矩阵的模型的修改版；DGCN_Res，只使用残差拉普拉斯矩阵的模型修改版；DGCN_GAT，该方法是将本论文中模型的空间特征层GTCL替换为GAT。

下表显示了不同方法对PeMSD4，PeMSD8，PHILADELPHIA的平均一小时流量预测准确度。结果表明，与其他方法相比，该论文提出的DGCN在所有指标上均具有最佳性能。传统的HA和ARIMA结果最差。与两种基线方法相比，基于时间神经网络的方法LSTM和GRU具有更好的结果。然后，与上述方法相比，基于GCN的方法，GCRN和Gated-STGCN有了明显的改进，这应该受益于捕获交通数据的时空特征的能力。与该论文中的方法的紧密相关方法ASTGCN在所有度量标准中均排在第三位，这可以解释为由掩码运算符在经验Laplace矩阵上的自适应和动态图Laplace矩阵带来了结果的提升。与其他方法相比，与ASTGCN相比，GRCN在两个高速公路数据集（PeMSD4和PeMSD8）上的提升至少达到8％，在城市道路数据集（PHILADELPHIA）上达到5％。尤其是，DGCN_R在所有指标中均排名第二，这进一步证实LMLN可以利用更好的路网动态空间关系。DGCN_R的结果与DGCN相比，它还验证了输入更多周期性数据可以获得更好的预测精度。

为了评估不同拉普拉斯矩阵的影响，论文中通过基于GCN的方法对流量进行了预测实验，该方法使用了不同的拉普拉斯矩阵，ASTGCN，DGCN_Mask，DGCN_Res，DGCN_GAT和本文提出的的DGCN方法。如下表所示。除预测精度外，表中还列出了训练时间（一个时期的训练时间）和测试时间（测试集中一个样本的平均测试时间）。结果表明，ASTGCN和DGCN_Mask这两种mask方法的效果较差。可能的解释是掩码拉普拉斯矩阵在表示交通数据的复杂空间相关性方面存在局限性，相比于ASTGCN，DGCN_Mask可获得更好的结果，这进一步验证了本文提出模型的有效性，尽管未使用动态矩阵。DGCN_Res优于ASTGCN和DGCN_Mask，而训练时间却很少增加。这就是用经验拉普拉斯矩阵代替全局优化残差拉普拉斯矩阵。这也证明论文方法中的全局Laplace矩阵学习层是必要的。与其他四种方法相比，DGCN模型获得了最佳的精度。证明了LMLN可以为GCN网络构造有效的动态图拉普拉斯矩阵序列。本文提出的方法在MAE和RMSE方面都优于DGCN_GAT，这意味着GTCL层比原始图的注意力机制更好。但是由于拉普拉斯矩阵潜在网络的复杂性增加，与其他方法相比，该方法的训练时间和测试时间增加了，但是这种差异是可以接受的。

6、创新点

与目前大多数基于GCN的方法（通常将经验图Laplace矩阵用于图卷积）不同，这篇论文提出了一种潜在网络通过深度序列模型来自适应地估计动态Laplace矩阵，并证明这样的自适应学习出来的动态Laplace矩阵具有良好的提取交通数据时空相关性的能力。

[1] Z. Zhang, M. Li, X. Lin, Y. Wang, and F. He, “Multistep speed prediction on traffic networks: A deep learning approach considering spatiotemporal dependencies,”Transp. Res. C, Emerg. Technol., vol. 105, pp. 297–322, Aug. 2019.

Attention

如果你和我一样是轨道交通、道路交通、城市规划相关领域的，可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！