Graph WaveNet for Deep Spatial-Temporal Graph Modeling

Graph WaveNet for Deep Spatial-Temporal Graph Modeling

时空图建模是分析系统中各组成部分的空间关系和时间趋势的一项重要任务。现有的方法大多捕捉固定图结构的空间依赖性，假设实体之间的潜在关系是预先确定的。但是，显式的图结构(关系)并不一定反映真实的依赖关系，真正的关系可能会因为数据中的连接不完整而缺失。此外，现有的方法无法捕获时间趋势，因为这些方法中使用的rnn或cnn不能捕获长期时间序列。为了克服这些局限性，我们在本文中提出了一种新的图神经网络结构，图波网络，用于时空图建模。通过开发一种新的自适应依赖矩阵，并通过节点嵌入学习它，我们的模型可以精确地捕捉数据中隐藏的空间依赖。通过叠加扩张的一维卷积分量，其接收域随着层数的增加呈指数级增长，Graph WaveNet能够处理非常长的序列。这两个组件无缝地集成在一个统一的框架中，并且以端到端的方式学习整个框架。在两个公共交通网络数据集metro - la和PEMS-BAY上的实验结果表明，该算法具有良好的性能。

背景：时空图建模背后的一个基本假设是，一个节点的未来信息取决于它的历史信息以及它邻居的历史信息。如何同时捕获空间和时间依赖性成为主要挑战。

传统GCN.CNN,RNN缺点：

1)首先，这些研究假设数据的图结构反映了节点之间真正的依赖关系。在某些情况下，连接不包含两个节点之间的相互依赖关系，或者两个节点之间的相互依赖关系存在但缺少一个连接。

2)第二，目前的时空图建模研究在学习时间相关性方面是无效的。

现存问题：

在捕获空间依赖性方面。 大多在固定图上捕获空间依赖关系，这种固定图结构不一样反映真实依赖关系，而真实依赖关系可能由于不完整的邻接关系而丢失。

在捕获时间依赖性方面。 RNNs/CNNs等在捕获长程的时间序列时，效果不太好。

方案：

1.我们提出一个图卷积层，其中一个自适应邻接矩阵可以从数据学习中，通过端到端监督训练（self-adaptive adjacency matrix）

2. 我们采用堆叠的扩展的随意卷积来捕获时间依赖性。（graph convolution with dilated casual convolution）

 Methodology

目标：本文将特征矩阵与图信号互换使用。给定一个图G和它的历史S阶图信号，我们的问题是学习一个能够预测它的下一个T阶图信号的函数f

3.2 Graph Convolution Layer

根据结构信息提取节点的特征。

Z表示输出

  diffusion convolution layer：具有K个有限步长的图信号的融合过程

如果无向图的融合，考虑一个节点的两个方面，一个入度和出度方向。

Self-adaptive Adjacency Matrix

1.）我们将E1命名为源节点嵌入，将E2命名为目标节点嵌入。通过将E1和E2相乘，我们得到源节点和目标节点之间的空间依赖权值。我们使用ReLU激活函数来消除弱连接。利用SoftMax函数对自适应邻接矩阵进行归一化处理。

2）通过结合预定义的空间相关性和自学习的隐藏图相关性，我们提出了以下图卷积层

3.3 Temporal Convolution Layer

采用扩张的因果卷积[Yu and Koltun, 2016]作为我们的时间卷积层(TCN)来捕捉节点的时间趋势。扩展的因果卷积网络能够以较少的层数捕获较长的序列，从而节省了计算资源。

我们在我们的模型中采用了gated TCN来学习复杂的时间依赖性。

3.4 Framework of Graph WaveNet

它由堆叠的时空层和输出层组成。时空层由图卷积层(GCN)和门控时间卷积层(gated temporal convolution layer)构成，门控时间卷积层由两个并行的时间卷积层(TCN- A和TCN-b)组成。通过叠加多个时空层，GraphWaveNet能够处理不同时间层次上的空间依赖性

4 Experiments

它比包括ARIMA、FCLSTM和WaveNet在内的时间模型性能要好得多。

Effect of the Self-Adaptive Adjacency Matrix

我们发现仅自适应模型比仅前向模型更有效。在图结构不可用时，图网络仍能实现良好的性能。我们发现仅自适应模型比仅前向模型更有效。在图结构不可用时，图波网络仍能实现良好的性能。前向后向自适应模型在所有三个评价指标上得分最低。说明在给定图结构信息的情况下，加入自适应邻接矩阵可以为模型引入新的、有用的信息

Computation Time

5 Conclusion

在本文中，我们提出了一种新的时空图建模模型。我们的模型通过将图卷积与扩展的随机卷积相结合，有效地捕获时空相关性。我们提出了一种有效的方法来自动学习隐藏的空间相关性数据。这为时空图建模开辟了一个新的方向，其中系统的依赖结构是未知的，但需要发现。在两个公共交通网络数据集上，GraphWaveNet实现了最先进的结果。在未来的工作中，我们将研究在大规模数据集上应用Graph WaveNet的可扩展方法，并探索动态空间依赖的学习方法。