WWW2021论文速递：细粒度城市流量预测

1、文章信息

《Fine-Grained Urban Flow Prediction》。这是新加坡国立大学和京东数科合作发表在计算机顶级会议WWW2021上的一篇文章。

2、摘要

城市流量预测从许多方面使得智慧城市的建设受益，例如交通管理和风险评估。但是关键先决条件是对城市的细粒度动态有足够的掌握。因此，与之前的工作仅限于粗粒度数据不同，这篇论文中将城市流量预测的范围扩展到细粒度，这带来了一些具体挑战：1）在细粒度数据中观察到的网格间的转移动态使预测变得更加复杂，需要在全局范围内捕获网格单元之间的空间依赖性；2）单独学习外部因素（例如天气）对大量网格单元的影响是非常具有挑战性的。为了解决这两个挑战，本文中提出了时空关系网（STRN）来预测细粒度的城市流量。首先，骨干网用于学习每个网格单元的高级表示，第二，文中还提出了一个全局关系模块（GloNet），与现有方法相比，该模块可以更有效地捕获全局空间依赖性。第三，模型中设计了一个元学习器，它将外部因素和土地功能（例如POI密度）作为输入以产生元知识并提高模型性能。论文提出的模型在两个现实世界的数据集进行了充足的实验。结果表明，与最新方法相比，STRN减少了7.1％到11.5％的误差，而使用了更少的参数。

3、基本定义

定义1 网格单元：如图论文中3（a）所示，将感兴趣的区域（例如一个城市地区）均匀地划分为一个H×W栅格，栅格中共有HW个网格单元。请注意，将H或W放大表示可以获取更高分辨率的城市流量数据。

定义2 城市流量：特定时间片t的城市流量可以表示为3D张量，其中K是流量测量的次数（例如流入/流出）。每个条目（k,h,w）表示单元格（h，w）中第k个测量值。

定义3 区域：土地使用和功能赋予不规则区域以不同的地理语义。论文中的图3（c）显示了基于道路网络的不规则区域分割的示例。与基于网格的方法相比，它为我们提供了更自然和语义上的城市空间分割。假设每个区域由许多网格单元组成，因此我们可以使用矩阵表示分配规则，其中每个元素bi,j代表是网格单元i属于区域j的可能性，而M是区域数量。

定义4 外部特征：城市流量数据与外部因素（如天气状况，一天中的时间和事件）具有很强的相关性。我们将这些外部因素在某个时间步t表示为向量，其中le是特征长度。

定义5 土地特征：POI的类别及其在城市网格单元中的密度指示该单元的土地功能以及该单元中的交通模式，因此有助于预测网格单元的城市流动。同样，公路网的结构（如高等级路段的数量）也为交通建模提供了很好的补充。因此，论文中将包括每个单元的POI和RN的土地特征组合在一起，并将它们表示为，其中lf是特征数量。

问题描述：论文中已经定义了城市流量细粒度预测的问题：给出城市流量的细粒度历史观测值表示为，相应的外部因素et， 和土地特征P，我们的目标是预测未来下一个时间片的城市流量，记为Xt。

4、模型

论文中图4说明了STRN的框架，该框架包括两个主要阶段：数据准备和模型学习/预测。在第一阶段，我们首先选择关键的时间步长（临近，周期和趋势）以创建流量输入，分别表示为Xc，Xp和Xq。同时，我们获取外部因素et和土地特征P的上下文向量。

在第二阶段，遵循局部到全局的范式，馈送准备好的数据以学习模型。如图4所示，对于每个时间序列（Xc，Xp和Xq），首先使用三个非共享的卷积层将它们转换为嵌入Oc，Op，Oq，每个都有D个通道，即它们的维度均为。同时，模型中还设计了一个元学习器，将外部特征和土地特征作为输入，以学习对每个城市网格单元的外部影响，其中学习的表示形式Om具有与Oc相同的形状。接下来将时间特征和元特征这三种类型连接起来，并将融合得到的张量馈送到骨干网，以在其局部感受野内提取特征。这种早期的融合策略允许不同类型的信息在骨干网中相互交互。一旦在局部尺度上获得提取的高级特征，就将它输入GloNet网络结构来捕获全局空间相关性并生成最终预测。最后通过使用包括两个部分的损失函数来优化模型权重：用于自动区域划分的Mincut损失和用于测量预测误差的平均绝对误差（MAE）损失。

（1）骨干网络

强大的骨干网络对于城市流量预测至关重要，因为它可以帮助模型学习有用和有区别的特征。例如，DeepST通过堆叠大量用于时空特征提取的卷积块，为城市流量预测提供了第一个基于深度学习的解决方案。随着网络深度的增加，由于消失梯度问题，DeepST将难以训练。为了克服此缺点，ResNet在以前和当前用于城市流量预测的最新技术中被广泛用作主干网络。但是，它们强调了空间维度上的依赖性，并忽略了特征图中的通道信息。在本文中使用了挤压和激励网络（SENet）在每一层的小（即局部）感受野内融合空间和通道信息，这已被证明可以有效地产生紧凑而有区别的每个网格单元特征。如图4所示，它将融合结果O作为输入，并输出每个单元格的高级表示。首先，我们使用卷积层将输入通道的尺寸从4D压缩到C。然后，我们将F个压缩和激励（SE）模块与C个卷积核堆叠在一起，以在感受野内进行特征提取。最后使用卷积层产生输出X h。

(2)      全局关系模块

提取局部特征后，论文中提出了一个全局关系模块（GloNet），以比以前的尝试（例如DeepSTN +）更经济的方式捕获全局空间依赖关系。由关系网络提取图像中对象之间相关的动力学特征，在更高级的语义级别（即区域级别）执行关系推断，该语义级别更易于捕获全局关系。此外，文中还基于最小切割（Mincut）理论为区域划分设计了无监督损失。 

论文中的图5描绘了GloNet的整个流程。首先使用特征卷积网络学习得到的高级特征Xℎ通过线性变换生成分配矩阵B。通过引用此矩阵，GloNet然后将网格单元特征聚合到区域空间中以获得区域特征，并生成这些区域之间的连接（即邻接矩阵）。由于区域以图的形式连接，因此我们利用图卷积网络（GCN）在区域级别执行消息传递。一旦我们获得了在区域级别具有区别性的全局感知特征，GloNet的最后一步就是将它们投影回网格空间并生成最终预测。

骨干网已经对流量的历史和外部上下文进行了高层抽象。为方便起见，将此张量整形为，其中N=HW是网格单元的数量。这样，每个网格i可以用嵌入表示。这里的目标是生成网格到区域分配矩阵，其中M是指示区域数的超参数。尽管我们可以如第2节所述基于道路网络执行静态区域分割，但是它无法捕获高度动态的交通状况和随时间变化的外部因素。为了解决这个问题，论文中通过函数δ基于高层表示Xℎ计算B，该函数将每个网格特征映射到B的第i行，如下所示：

其中softmax函数保证每一列的总和等于一 ,δ由一个前馈神经网络初始化。受到Mincut理论的启发，该理论旨在通过删除最小的边缘量将节点划分为不相交的子集，文中将每个区域视为包含许多网格单元的群集，并通过使用新的损失对赋值矩阵进行正则化。换句话说，可以通过最小化通常的特定于任务的丢失（例如，MAE丢失）以及由以下两项组成的无监督的Mincut丢失来共同优化网络权重：

关于这种分割方法具体操作，有兴趣的同学可以浏览论文的附录部分。

给定了网格单元特征和分配矩阵，文中将那些基于网格的嵌入特征转换为它们的区域对应项，它们更易于捕获全局依赖关系。此外，还需要找到这些区域之间的连通性。由于人们能够在短时间内（例如30分钟）到达现代城市中的偏远地区，因此论文中假定所有区域都是相互联系的（即全连接的图）。文中通过简洁的方式实现空间转换：

文中通过直接聚合属于该区域的相应单元格的特征来生成每个区域的特征，其中φ 是一个全连接映射函数，是一个对称矩阵，则是通过网格的邻接关系直接得到的邻接矩阵。

在得到了区域级的邻接矩阵之后，进行图神经网络的消息传递运算：

一旦从区域空间获得了全局感知特征H'，下一步就是将它们投影回原始空间。类似于空间转换的步骤，可以将分配矩阵用于反向投影。代替使用额外的操作并引入额外的开销，文中重用B矩阵通过线性组合将区域特征投影回网格单元特征，如下所示：

最后进行张量的维度变换和经过最终的预测网络层，得到预测结果。

(3)      元学习器模块

通常，具有相似土地功能的网格单元将对外部因素具有相似的响应。基于此观察，论文中设计了一种新颖的元学习器，以基于矩阵分解对外部因素产生特定于细胞的反应。给定土地特征和外部特征，目标是计算每一个网格的响应，通过下式：

然后，输出Om将尽早与时间信息（Oc，Op，Oq）融合，并馈送到骨干网。

(4)      损失函数优化

文中提出的方法提供了从历史观察到细粒度预测的端到端解决方案。损失函数部分通过反向传播策略和Adam优化器来训练网络。为了训练模型，通过两个损失项来最小化以下损失函数：

5、实验结果

论文中使用了两个数据集，分别是TaxiBJ+和 HappyValley，这两个数据集都采用了更细粒度的网格划分，基本属性信息如文中表1：

整体的对比实验结果如文中表2所示，可以发现在性能上超越了之前的方法。

6、创新点

该论文提出了一种时空关系网络，用于细粒度的城市流量预测。这个新模型框架可以同步学习空间（局部和全局）和不同粒度的时间（CPT）依赖关系以及与外部特征关系（例如天气和POI）。这篇文章最大的创新点在于同时对细粒度网格和较粗粒度的功能区进行建模，既学习到了局部的空间依赖关系又获得了高级的空间语义关系。并且在两个现实世界的细粒度数据集上评估新的模型，获得了最先进的性能。

Attention

如果你和我一样是轨道交通、道路交通、城市规划相关领域的，可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！