动态不确定性时空图建模系列（四）: AGCRN

1、文章信息

《Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting》。这是新南威尔士大学发表在计算机国际顶级会议NIPS2020上的一篇文章。

2、摘要

在相关的时间序列数据中对复杂的空间和时间相关性进行建模对于理解交通动态并预测交通系统的演化状态是必不可少的。最近的工作集中在设计复杂的图神经网络架构上，以借助预定义的图形捕获空间共享模式。这篇论文中认为学习节点特定的模式对于流量预测至关重要，并且可以无需使用预定义的图结构。为此，论文中提出了两个具有新功能的用于增强图卷积网络（GCN）的自适应模块：1）节点自适应参数学习（NAPL）模块以捕获特定于节点的模式；2）数据自适应图生成（DAGG）模块，用于自动推断不同流量时间序列之间的相互依赖性。论文中将这两部分整合起来又进一步提出了一种自适应图卷积递归网络（AGCRN），以基于两个模块和递归网络自动捕获交通流序列中的时空相关性。论文中在两个真实世界的交通数据集上的实验表明，AGCRN在没有预先定义的有关空间连接的图结构的情况下，优于当前最新技术。

3、定义

在这篇论文中，基本目标是交通流的多步预测。我们将问题公式化为根据过去的T步历史数据找到函数F来预测接下来的τ步数据：

其中，θ是神经网络的可学习参数，g=(V,E,A)代表一个图结构，在以往的大部分工作中g是被预定义好的，但是在这篇论文中g是通过不断学习迭代出来的。

4、模型

该论文中的模型主要由三部分组成，分别是节点自适应参数学习（NAPL),数据自适应图生成（DAGG）和自适应图卷积循环网络(AGCRN),接下来分别详细介绍这三部分。

(1)节点自适应参数学习

该论文中的图卷积模块采用了简化版的一阶ChebNet形式，公式如下所示：

其中，在传统的GCN中A为维度（N,N）的邻接矩阵，X为维度（N,C)的特征矩阵，θ维度为（C,F），是GCN的可学习参数，Z为学习到的图表示。

但是在这篇论文中，作者提出了和传统GCN不一样的想法：传统的GCN模型对于各个节点来说，参数θ都是共享的。虽然共享参数可能有助于捕捉许多任务中所有节点之间最突出的模式，并且可以显着减少参数数量，但是它对于流量预测问题不是最优的。除了紧密相关的流量序列之间的空间紧密相关性外，由于时间序列数据的动态性以及节点中可能影响流量的各种因素，在不同的流量时间序列之间还存在多种模式。从一方面来说，由于来自两个相邻节点的的特定属性（例如PoI，天气），它们在某些特定时间段也可能呈现出不同的模式。从另一方面来说，来自两个不相邻的节点的流量序列甚至可能显示反向模式。所以仅捕获所有节点之间的共享模式不足以进行准确的流量预测，本论文中提出了为每个节点提高唯一的参数空间以学习特定于节点的模式。在这样的思想下，GCN的可学习参数θ维度就要扩增为（N,C,F）。但是这样的参数空间对于节点量较多的交通网络来说，造成了很大的训练负担，所以论文中又提出了一种参数共享的方法：

在这里，原来的参数矩阵θ被分解为了节点嵌入矩阵Eg和权重池矩阵Wg的乘积形式。Eg的维度为（N,d)，Wg的维度为（d,C,F），其中d为一个远小于N的整数。

(2)      数据自适应图生成

另一个问题在于现有的基于GCN的流量预测模型，需要预定义的相邻矩阵A进行图卷积操作。现有工作主要利用距离函数或相似性度量来预先计算图形。定义A的方法主要有两种：1）距离函数，根据不同节点之间的地理距离定义图 2）相似度函数，它通过测量节点属性（例如PoI信息）或流量时间序列本身的相似度来定义节点接近度。但是，这些方法非常主观。预定义图不能包含有关空间依赖性的完整信息，并且不与预测任务直接相关，这可能会导致很大的偏差。此外，如果没有适当的知识，这些方法就无法适应其他领域，从而使现有的基于GCN的模型无效。这篇论文中运用的自适应图生成的方法如下所示：

其中EA表示随机初始化的节点嵌入，维度为（N,de)，它们在训练过程中是可学习的，以捕捉不同流量序列之间的隐藏依赖关系，并获得图卷积的邻接关系。在保留连接节点的权重的同时，通过ReLU将未连接节点的权重设置为零。总统上，通过图自适应学习得到的图表示如下所示：

(3)      自适应图卷积循环网络

除了空间相关性外，流量预测还涉及复杂的时间相关性。自适应图卷积循环网络（AGCRN）集成了NAPL-GCN，DAGG和门控循环单元（GRU），以捕获流量序列中特定于节点的空间和时间相关性。AGCRN用该论文提出的NAPL-GCN替换了GRU中的MLP层，以学习特定于节点的模式。此外，它使用DAGG模块自动发现空间依赖性。公式如下所示：

与GRU相似，AGCRN中的所有参数都可以通过反向传播进行端到端的训练。从等式可以看出，AGCRN将所有嵌入矩阵统一为E，而不是在不同的NAPL-GCN层和DAGG中学习单独的节点嵌入矩阵。可确保所有GCN块之间的节点嵌入保持一致，并为模型提供更好的可解释性。

为了实现多步交通预测，论文中将几个AGCRN层堆叠为一个encoder，以捕获特定于节点的时空模式。输入（即历史数据）的维度为(N,do)。然后可以通过应用线性变换将表示从维度(N,do)投影到维度(N,τ)，直接获得所有节点接下来τ步的流量预测。论文中选择L1损失作为训练目标，并针对多步预测一起优化损失。

5、实验结果

本文的实验使用了2个数据集，分别是PeMSD4和PeMSD8。评价指标为RMSE，MAE，MAPE。通过在对比实验可以得知AGCRN性能优于大多数的经典模型。

为了更好地评估NAPL和DAGG的性能，论文中还进行了全面的消融实验。消融实验的baseline是GCGRU，它将传统的GCN与GRU集成在一起以捕获时空相关性。论文中通过用NAPL-GCN代替传统的GCN来构造NAPL-GCGRU，并用DAGG模块代替预定义的图来构造DAGG-GCGRU。AGCCRN-1论文中提出的AGCRN的变体，它不统一节点嵌入，但在不同的NAPL-GCN层和DAGG之间采用了独立的节点嵌入矩阵。实验结果如图所示：

6、创新点

这篇论文的两个主要创新点，一是提出能更好捕捉不同节点个性特性的NAPL-GCN，二是引入了动态图结构学习模块，充分考虑了现实世界中交通节点之间的动态实时复杂关系和不确定性。但是本文的动态图学习方法与IJCAI19文章Graph WaveNet类似，但是在对比实验中没有与其对比这篇论文的是硬伤。

Attention

如果你和我一样是轨道交通、道路交通、城市规划相关领域的，可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！