DCRNN:扩散卷积递归神经网络

1.文章信息

《DIFFUSION CONVOLUTIONAL RECURRENT NEURAL NETWORK: DATA-DRIVEN TRAFFIC FORECASTING》，作为2018年ICLR会议论文发表。

2.摘要

时空预测在神经科学、气候和交通领域有着广泛的应用。交通预测就是时空预测的一个典型例子。由于(1)对道路网络的复杂空间依赖性，(2)路况变化与非线性的时间动态性，以及(3)长期预测的固有困难，该任务具有挑战性。为了应对这些挑战，该文章提出将交通流建模为有向图上的扩散过程，并介绍了扩散卷积递归神经网络(DCRNN)，这是一种用于交通预测的深度学习框架，在交通流中结合了空间和时间依赖性。具体来说，DCRNN使用图上的双向随机游走来捕获空间相关性，并使用具有预定采样的编码器-解码器架构来捕获时间相关性。最后在两个真实世界的大规模道路网络交通数据集上评估了该框架，比先进的基线模型效果更好。

3.介绍

（1） 本文研究交通预测问题，并将交通的空间相关性建模为有向图上的扩散过程。文中提出了扩散卷积，它具有直观的解释，可以有效地计算。

（2） 本文提出了扩散卷积递归神经网络(DCRNN)，这是一种利用扩散卷积和序列到序列学习框架以及预定采样来捕捉空间和时间依赖性的整体方法。DCRNN并不局限于交通运输，它可以很容易地应用于其他时空预测任务。

（3） 本文在两个大规模真实数据集上进行了广泛的实验，所提出的方法比最先进的基线方法获得了显著的改进。

4.方法

交通预测问题

交通预测的目标是预测未来的交通速度，给定先前从道路网络上的N个相关传感器观察到的交通流量。本文将传感器网络表示为一个加权有向图G = (V，E，W)，其中V是一组节点|V| = N，E是一组边，W ∈ R^N×N是一个加权邻接矩阵，表示节点的邻近度。将G上观察到的交通流量表示为图形信号X ∈ R^N×P，其中P是每个节点的特征数量(例如速度、体积)。假设X(t)表示在时间T观察到的图形信号，交通预测问题旨在学习一个函数h(.)，该函数将T’历史图形信号映射到未来的T图形信号，给定一个图形G:

空间依赖建模

本文通过将交通流与扩散过程相关联来对空间依赖性进行建模，这明确地捕捉了交通动力学的随机性质。扩散形式以G上的随机游走来刻画，重启概率为α ∈ [0，1]，状态转移矩阵为D_O^-1W。这里D_O= diag(W1)是外度对角矩阵，1∈RN表示全一向量。经过许多时间步长后，这种马尔可夫过程收敛到一个平稳分布P∈ R^N×N，行P_i，：∈R^N表示从节点vi∈ V扩散的可能性。下面的引理为平稳分布提供了一个封闭形式的解。

引理：扩散过程的平稳分布可以表示为图上无限随机游动的加权组合，可以通过以下式子计算:

其中k是扩散步骤。在实验中，使用有限的K阶扩散过程，并为每个步骤分配一个可训练的权重。此外还融入了反向扩散过程，因为双向扩散可以让模型更灵活地捕捉来自上游和下游流量的影响。

扩散卷积

图信号X∈R^N×P和滤波器f_θ的扩散卷积运算定义为:

扩散卷积层

利用扩散卷积中定义的卷积运算，建立了一个扩散卷积层，将P维特征映射到Q维输出。

时间动态建模

本文利用循环神经网络(RNNs)对时间依赖性进行建模。该文章使用门控循环单位(GRU)，这是一种简单但功能强大的RNN变体，用扩散卷积代替了GRU中的矩阵乘法，从而产生了所提出的扩散卷积门控循环单元(DCGRU)。

在多步预测中，采用序列对序列的体系结构。编码器和解码器都是带有DCGRU的循环神经网络。在训练期间，将历史时间序列输入编码器，并使用其最终状态初始化解码器。

解码器根据之前的真实观测结果生成预测。在测试时，真实值替换成模型本身生成的预测结果。训练和测试的输入分布之间的差异会导致成绩下降。为了缓解这一问题，模型使用了预采样，在第i次迭代时向模型输入概率为的真实观测值或概率为的模型预测。在训练过程中，逐渐减小到0，使得模型可以学习到测试集的分布。

通过对空间和时间建模，本文建立了扩散卷积循环神经网络(DCRNN)。DCRNN的模型架构如上图所示。整个网络通过BPTT循环生成目标时间序列的最大似然得到。DCRNN能够捕获时空依赖关系，可以应用于各种时空预测问题。

5.实验

该文章在两个真实世界的大规模数据集上进行了实验:(1)METR-LA.该交通数据集包含从洛杉矶县高速公路环路检测器收集的交通信息。选取207个传感器，采集2012年3月1日至2012年6月30日4个月的数据进行实验。(2) PeMS-BAY.该交通数据集由美国加州运输局(CalTrans)绩效测量系统(PeMS)收集。在湾区选取325个传感器，收集2017年1月1日至2017年5月31日6个月的数据进行实验。

Attention

如果你和我一样是轨道交通、道路交通、城市规划相关领域的，可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！