Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction∗（AAA2017）

Deep Spatio-Temporal Residual Networks for Citywide Crowd Flows Prediction∗（AAA2017）

人群流量预测对交通管理和公共安全具有重要意义，同时受区域间交通、事件、天气等多种复杂因素影响，具有很大的挑战性。我们提出了一种基于深度学习的方法，称为ST-ResNet，来集体预测城市每个区域的人群流入和流出。我们基于时空数据的独特特性设计了ST-ResNet的端到端结构。更具体地说，我们利用残差神经网络框架来建模人群交通的时间紧密性、周期和趋势特性。对于每个属性，我们设计了一个剩余卷积单元分支，每个分支都模拟了人群交通的空间属性。ST-ResNet学习根据数据动态聚合三个残差神经网络的输出，为不同的分支和区域分配不同的权值。该聚合进一步结合外部因素，如天气和一周的天数，预测每个区域的最终人群流量。在北京和纽约两种类型的人群流动中进行的实验表明，本文提出的ST-ResNet方法优于6种著名的方法。

背景：

在本文中，我们预测了两种类型的人群流动:流入和流出。流入区域是一个区域的人流量从一个区域到另一个区域流动的总人口数量。流出(Outflow)表示在给定的时间间隔内，从某一地区前往其他地方的人群的总流量。这两种流动都追踪了人群在地区之间的转移。了解它们对风险评估和交通管理非常有益。流入/流出可以通过行人数量、附近道路上行驶的汽车数量、乘坐公共交通系统的人数来衡量

面临的问题：

1. Spatial dependencies.  区域r2(如图1(a)所示)的流入受到附近区域(如r1)以及远处区域流出的影响。同样，r2的流出会影响其他区域(如r3)的流入。区域r2的流入也会影响其自身的流出

2. Temporal dependencies.  一个地区的人群流动受到最近的时间间隔的影响，包括远近。例如，上午8时发生的交通挤塞会影响上午9时的交通挤塞。此外，早高峰的交通情况可能在连续的工作日类似，每24小时重复一次。此外，随着冬季的到来，早高峰时间可能会逐渐推迟。当气温逐渐下降，太阳升起的时间越来越晚，人们起床的时间也越来越晚。

3. External influence 一些外部因素，如天气条件和事件可能会极大地改变一个城市不同地区的人群流动。

为了应对这些挑战，我们提出了一个深度时空残差网络(ST-ResNet)来集体预测每个区域的人群流入和流出。主要的贡献如下：

1）ST-ResNet利用基于卷积的残差网络对城市任意两个区域之间的近距离空间依赖关系进行建模，同时保证模型的预测精度不被神经网络的深层结构所包含

2）我们将人群流动的时间属性归纳为三个类别，包括时间紧密性、时期和趋势。ST-ResNet使用三个残差网络分别对这些性质进行建模

3）ST-ResNet将上述三个网络的输出动态聚合，为不同的分支和区域分配不同的权重。该聚合进一步与外部因素(如天气)结合。

4）我们使用北京出租车轨迹和气象数据以及纽约自行车轨迹数据来评估我们的方法。结果表明，与6个基线相比，我们的方法具有优势

Preliminaries

在本节中，我们简要回顾了人群流动预测问题(Zhang et al. 2016;Hoang, Zheng和Singh 2016)，并引入深度残差学习(He等，2016)。

1）Formulation of Crowd Flows Problem

定义1 (Region (Zhang et al. 2016))一个位置在不同的粒度和语义意义上有很多定义。在本研究中，我们根据经纬度将一个城市划分为I ×J网格地图，网格表示区域，如图2(a)所示。

2）流入和流出定义

3）问题定义：

4）Deep Residual Learning

Deep Spatio-Temporal Residual Networks

图中的ST-ResNet结构存在四部分 来建模temporal closeness, period, trend, and external influence。

如图3右上方所示，我们首先使用定义1和定义2中介绍的方法，将城市中每个时间间隔内的Inflow和outflow分别转换为两个通道的图像矩阵。然后，我们将时间轴分为三个片段，分别表示最近的时间、近历史和遥远的历史。然后将每个时间片段中间隔的2通道流矩阵分别输入前三个分量，分别对上述三个时间属性:紧密度、周期和趋势进行建模。前三个分量具有相同的网络结构，即卷积神经网络和残差单元序列。这种结构捕捉了附近区域和远处区域之间的空间依赖性。在外部组件中，我们手动从外部数据集中提取一些特征，如天气条件和事件，将它们输入到一个两层全连接的神经网络中。将前三个分量的输出基于参数矩阵融合为XRes，对不同区域的不同分量的结果赋予不同的权重。XRes与外部组件XExt的输出进一步集成。最后将聚合体映射为[1;1]，在反向传播学习过程中，其收敛速度比标准logistic函数快

1）Structures of the First Three Components

前三个分量(紧密度、周期、趋势)共享相同的网络结构，网络结构由卷积和残差网络两个子分量组成

1.1 Convolution

有三个多层次的特征图连接几个卷积。我们发现高层特征图中的一个节点依赖于中层特征图中的9个节点，而中层特征图中的9个节点依赖于下层特征图中的所有节点(即输入)。这意味着一个卷积可以自然地捕获空间上的近依赖关系，而一堆卷积可以进一步捕获遥远的甚至是全市范围的依赖关系

1.2Residual Unit

2）The Structure of the External Component

交通流量会受到许多复杂的外部因素的影响，如天气和事件。我们主要考虑天气、假日事件和元数据(即DayOfWeek、Weekday/Weekend)。

其实整个外部分量，对预测结果存在明显的影响。

Fusion

我们首先用一种基于参数矩阵的融合方法融合前三个分量，然后进一步与外部分量结合。

来自两个不同区域的曲线在时间序列上都表现出经验的时间相关性，即最近时间间隔的流入比遥远时间间隔的流入更相关，这意味着时间上的紧密性。综上所述，两个区域的流入都受到封闭性、时期和趋势的影响，但影响程度可能有很大的不同。我们在其他地区以及它们的流出也发现了同样的性质

首先，不同地区都受到亲缘关系、时期和趋势的影响，但影响程度可能不同。受这些观察结果的启发，我们提出了一种基于参数矩阵的融合方法。

我们的ST-ResNet可以通过最小化预测流量矩阵和真实流量矩阵之间的均方误差，从三个流矩阵序列和外部因素特征来预测Xt

Experiments