MegaCRN：基于元图卷积循环网络的交通速度预测模型

文章信息  

文章题为“Spatio-Temporal Meta-Graph Learning for Traffic Forecasting”，该文章于2023年发表于“The Thirty-Seventh AAAI Conference on Artificial Intelligence”会议。该文章主要关注交通预测任务，提出一种深度学习模型实现准确的速度预测。

摘要

交通预测作为多变量时间序列预测的典型任务，一直是人工智能领域的重要研究课题。为解决交通流的时空异质性和非平稳性问题，文章提出了一种基于时空数据的元图学习机制。具体来说，文章通过将由Meta Node Bank驱动的元图学习器插入GCRN编解码器，将这一想法实现到元图卷积循环网络（MegaCRN）中。文章利用两个大规模交通速度数据集和一个日本道路的数据集上对所提出的模型进行了全面评估。结果表明，文章所提出的模型在所有三个数据集上的表现都优于最先进的模型。此外，通过一系列的定性评价，文章证明了所提出模型可以明确地分离出不同模式的道路连接和时隙，并且对任何异常交通情况都有较强的适应性。

文章的主要贡献如下：

l文章提出了一种用于时空图(STG)学习的元图学习器，以明确地解决空间和时间上的异质性。

l文章提出了一种通用的元图卷积循环网络（MegaCRN），该网络仅仅依赖于观测数据，具有鲁棒性，并能适应从正常到非平稳的任何交通状况。

l文章在两个基准数据集（METR-LA和PEMS-BAY）和文章新发布的具有更大规模和更复杂事件情况的数据集（EXPY-TKY）上对所提出模型和基线模型进行了定量和定性验证。    

问题定义及准备知识  

文章首先给出了一般性的多步交通预测问题的问题定义，如下所示。

其中表示输入信号，N为空间单元的数量，C为信息通道数。在文章中C=1，表示速度。

进一步，文章对准备知识进行简要介绍，包括图卷积循环单元和图结构学习。具体而言，文章将图卷积操作代入门控循环单元中，图卷积循环单元的公式表述如下。

其中，X和H表示输入和输出，其维度分别为和。u、r和C分别表示更新门、重置门和候选状态。

图结构学习中的图矩阵通常由某些度量（例如距离、余弦相似度等）和经验定义。然而度量的选择可能是任意的。文章提到图结构学习中的三种方法，包括自适应图（adaptive）、瞬时图（moment）和元图（meta-graph），如下图所示。

   

其中，对于自适应图而言，自适应图通过通过随机游走将嵌入的可训练节点的矩阵积的非负部分归一化到其转置得到，具体公式表示如下。

对于瞬时图而言，瞬时图通过将输入特征经过可学系参数映射到嵌入空间，公式表示如下。

对于自适应图和瞬时图而言，自适应图仅依赖于参数化节点嵌入矩阵E，而瞬时图实际上是输入条件图。显然，这个生成过程决定了衍生图的性质，因为前者不随时间的变化，而后者对输入信号敏感。

模型简介 

模型整体框架如上图所示。包括图卷积循环单元（GCRU）和元图学习模块（Meta-Graph Learnner）。

具体而言，文章首先介绍了元图学习器（Meta-Graph Learner）。文章设计了一个元节点库（Meta-Node Bank），其中两个参数分别表示存储项的个数和每项的维度。该节点库的功能定义如下：    

其中，i表示行坐标，即表示中的第i个节点向量。首先，第一个公式表示将输入隐藏状态映射为局部查询向量Q；第二、三个公式表示记忆读取操作，通过将第i个节点的查询项链于元节点库的每个元素进行匹配计算权重a，用于衡量相似性。进一步，将输出结果与H拼接，即。进一步，文章使用一个超网络（Hyper-Network），该网络本质上把节点嵌入的生成置于元节点库的条件下。这种内存增强节点嵌入生成可以表示如下：

其中，表示超网络。表示所学习的元图（Meta-Graph），与自适应图和瞬时图不同。

进一步，文章对整体模型进行介绍。文章提出了元图卷积循环网络（MegaCRN）作为时空建模的通用框架。MegaCRN在元节点库中学习节点级的交通模式原型，根据观察到的情况自适应地更新辅助图。为进一步增强其对不同道路上不同场景的区分能力，文章用两个约束来调节记忆参数，包括对比损失L1和一致性损失L1，公式表示如下：

通过实现这两个约束，文章将作为锚点，其最相似的原型作为正样本，第二个相似的原型作为负样本（λ表示正负对之间的余量）。这里的想法是使内存项尽可能紧凑，同时尽可能不同。这两个约束引导记忆Φ在节点层面区分不同的时空模式。文章通过将上述两个约束进行加权求和并加入到目标函数中构成损失函数：    

实验

文章使用了三个数据集，数据集信息如上表所示。文章首先通过使用两个标准基准数据集来评估所提出的模型：METR-LA和PEMS-BAY。其中70%用于训练，10%用于验证，20%用于测试。此外，在本研究中，我们发表了一篇新的数据集EXPY-TKY，该数据集收集了3个月(2021/10 ~ 2021/12)期间，以东京市内1843条高速公路为对象，每隔10分钟收集交通速度信息和相应交通事故信息的交通数据集。文章使用前两个月(作为训练和验证数据集，最后一个月作为训练和验证数据集。实验结果如下表所示。

   

进一步，文章对模型进行了效率的研究。文章还通过与基线模型进行比较来评估所提出模型的效率。这里文章只选择了EXPY-TKY上的结果，散点图如下图所示，其中的x轴为参数总数，y轴为总体MAE。可以看到，MegaGRN模型具有第二少的参数，但总体MAE最小。对于像EXPY-TKY这样的大规模数据集，所提出模型可能非常节省内存。相比之下，一些模型，特别是基Transoformer的模型，由于在大张量上进行点积运算，因此非常消耗内存/时间。虽然Mega-GRN模型往往需要更多的时代来收敛，但每一轮训练都可以在很短的时间内完成。综上所述，所提出模型可以在保持相对效率的同时达到最先进的精度。

此外，文章还进行了定性分析。首先，文章通过在低维空间中使用t-SNE可视化来定性地评估节点嵌入的质量，如下图所示。与图(a)所示的自适应GSL相比，元图可以自动学习聚类节点(即道路链接)，如图(b)(c)所示。有趣的是，随着时间从t到t+1，这种聚类效应仍然存在，但聚类形状发生了变化，这证实了文章所提出的方法具有时空解纠缠能力和时间适应性。此外，在图(d)中，文章用不同的颜色（集群1为蓝色，集群2为红色）绘制了所发现集群中道路链接的物理位置。可以观察到集群2（红色）的空间分布与交汇处/收费站之间存在很强的相关性。从图(d)底部的日平均时间序列图中，可以清楚地看出簇间差异。虽然集群1（蓝色）的道路连接具有强烈的高峰时间模式，但另一个集群（红色）的平均速度较低，但变化较大，其特点是在立交/收费站附近有大量的速度变化。这些观察结果验证了元图学习器明确区分时空异质性的能力。    

结论  

文章提出了元图卷积循环网络（MegaCRN）以及一种新的时空图结构学习机制用于交通预测。除了MTER-LA和PEMS-BAY两个基准数据集之外，我们进一步从大规模GPS记录中生成全新的交通数据集EXPY-TKY，并收集相应的交通事件信息。在所有三个数据集上，所提出的模型在很大程度上都优于最先进的模型。通过一系列的可视化，还展示了以不同模式解开时间和节点的能力，以及对事件情况的适应性。