动态不确定性时空图建模系列（三）: MTGNN-CSDN博客

本文链接：https://blog.csdn.net/zuiyishihefang/article/details/109324442

1、文章信息

《Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks》。这是悉尼科技大学发表在国际顶级会议KDD2020上的一篇文章。

2、摘要

对多元时间序列进行建模一直以来是一个吸引来自经济，金融和交通等各个领域研究人员的主题。多元时间序列预测背后的一个基本假设是，其变量相互依赖，但是现有方法无法完全利用变量对之间的潜在空间依赖性。同时，近年来，图神经网络（GNN）在处理关系依赖方面表现出了很高的能力。GNN需要良好定义的图结构来进行信息传播，这意味着它们无法直接应用于事先不知道相关性的多元时间序列。在该论文中，作者提出了专门为多元时间序列数据设计的通用图神经网络框架MTGNN。论文中的方法通过图学习模块自动提取变量之间的单向关系，可以轻松地将类似于外部知识的变量属性集成到其中。进一步提出了一种新颖的混合跳跃传播层和一个扩张的起始层来捕获时间序列内的空间和时间依赖性。在端到端框架中同步图学习模块，图卷积模块和时间卷积模块的学习。实验结果表明，该模型与其他方法相比，具有更优越的性能。

3、动机

现有的GNN方法在很大程度上依赖于预定义的图结构以进行时空序列预测。在大多数情况下，多元时间序列没有明确的图结构。变量之间的关系必须从数据中发现，而不是作为基础事实知识提供。即使可以有预定义的图结构，但大多数GNN方法仅专注于消息传递（GNN学习），而忽略了图结构不是最佳的，应该在训练期间进行更新的事实。接下来的问题是如何在端到端框架中同时学习图结构和时间序列的GNN。

基于上述问题，该论文提出了一种克服这些挑战的新颖方法。如图所示，基本框架包含三个核心组件：图学习层，图卷积模块和时间卷积模块。为了应对多元时间序列中没有明确的图结构的挑战，论文中提出了一种新颖的图学习层，该层基于数据自适应地提取稀疏图邻接矩阵。此外，根据图学习层学习的邻接矩阵，还开发了一个双向的mix-hop图卷积模块来解决变量之间的空间依赖性。这是专为有向图而设计的并且避免了在图卷积网络中经常发生的过度平滑问题。最后，论文中还提出了一种时间卷积模块，以通过修改后的一维卷积捕获时间模式。它既可以发现具有多个频率的时间模式，又可以处理很长的序列。

4、模型

如图所示， MTGNN的总体框架由图学习层，m个图卷积模块，m个时间卷积模块和一个输出模块组成。为了发现节点之间的隐藏关联，图学习层自适应学习图邻接矩阵，该矩阵随后用作所有图卷积模块的输入。图卷积模块与时间卷积模块交错，分别捕获空间和时间相关性。为了避免梯度消失的问题，将残差连接从时间卷积模块的输入添加到图卷积模块的输出。在每个时间卷积模块之后添加跳越连接。为了获得最终输出，输出模块将隐藏的特征投影到所需的输出尺寸。

(1)图学习层

图学习层自适应地学习图邻接矩阵以捕获时间序列数据之间的隐藏关系。在多元时间序列预测中，节点条件的变化可能会导致另一个节点条件的变化，例如交通流量。因此，学习的关系应该是单向的。论文中提出的图学习层专门设计用于提取单向关系，如下所示：

其中E1，E2表示随机初始化的节点嵌入，它们在训练过程中是可学习的，θ1，θ2是模型参数，α是用于控制激活函数的饱和率的超参数，而arg-top-k（·）返回顶部的索引向量的最大的K个值。论文中提出的图邻接矩阵的不对称性由公式3来实现。减法项和ReLU激活函数对邻接矩阵进行正则化，因此，如果Avu为正，则其对角线对数Auv将为零。公式5-6是一种使邻接矩阵稀疏并同时减少后续图卷积的计算成本的策略。对于每个节点，我们选择其前k个最近的节点作为其邻居。在保留连接节点的权重的同时，我们将未连接节点的权重设置为零。

(2) 图卷积模块

图卷积模块旨在将节点的信息与邻居的信息融合在一起，以处理图中的空间依赖性。图卷积模块由两个混合跳跃传播层组成，以分别处理通过每个节点的流入和流出信息。通过将两个混合跃点传播层的输出相加来获得净流入信息。图卷积模块和混合跳跃传播层的体系结构如图所示：

混合跳跃传播层：给定一个图邻接矩阵，用混合跳跃传播层来处理空间相关节点上的信息流。论文中所提出的混合跳跃传播层包括两个步骤-信息传播步骤和信息选择步骤。信息传播步骤定义如下：

其中β是一个超参数，它控制保留根节点原始状态的比率。信息选择步骤定义如下：

图4b中展示所提出的混合跳跃传播层中的信息传播步骤和信息选择步骤。它首先在水平方向传播信息，在垂直方向选择信息。

(3) 时间卷积网络

时间卷积模块应用一组标准的空洞一维卷积滤波器来提取高级时间特征。该模块由两个扩张起始层组成。一个扩张起始层后面是切线双曲线激活函数，并用作过滤器。另一层后面是S型激活函数，并用作控制过滤器可以传递到下一个模块的信息量的门。图5显示了时间卷积模块和扩张起始层的体系结构：

时间卷积模块通过一维卷积滤波器捕获时序数据的顺序模式。为了提出一个能够同时发现各种范围的时间模式并处理很长序列的时间卷积模块，论文中提出了扩张起始层，该层结合了来自卷积神经网络的两种广泛应用的策略，即使用具有多种大小的卷积核和应用扩张卷积。

(4) 跳跃连接和输出模块

跳越连接层本质上是1×Li标准卷积，其中Li是第i个跳过连接层的输入的序列长度。它对跳转到输出模块的信息进行标准化，使其具有相同的序列长度1。输出模块由两个1×1标准卷积层组成，将输入的通道维转换为所需的输出维。如果只想预测某个将来的步骤，则期望的输出尺寸为1。当我们要预测Q个连续的步骤时，期望的输出尺寸为Q。

5、实验结果

论文中在单步预测和多步预测两项任务上验证MTGNN性能。首先在四个不同领域的基准数据集上对MTGNN与其他多元时间序列模型的性能进行了比较，以进行多元时间序列预测，目的是预测单个未来时间步。此外，为了显示MTGNN与其他时空图神经网络（使用预定义图结构信息）相比表现如何，文中又针对时空图神经网络的两个交通数据集METR-LA和PEMA-BAY评估了MTGNN，其目的是预测未来的多个时间步。实验步骤使用五个评估指标，包括均值绝对误差（MAE），均方根误差（RMSE），均方根百分比误差（MAPE），均方根误差（RRSE）和经验相关系数（CORR）。对于RMSE，MAE，MAPE和RRSE，较低的值更好。对于CORR，值越高越好。