深度时空3D卷积神经网络用于交通预测（文末附数据链接）

1、文章信息

《Deep Spatial–Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting》。

北交大计算机学院万怀宇团队2019年发在IEEE Transactions on Intelligent Transportation Systems上的一篇文章。

1

2、摘要

交通预测是一个非常具有挑战性的问题，因为交通数据是一种典型的时空数据，在时空上同时表现出相关性和异质性。现有的工作大多只能捕捉交通数据的部分属性，甚至假设相关性对交通预测的影响是全局不变的，导致建模不足，预测效果不理想。本文提出了一种新的端到端深度学习模型ST-3DNet，用于交通栅格数据预测。ST-3DNet引入了3D卷积来自动捕获交通数据在空间和时间维度上的相关性。提出了一种新的重校准块（recalibration (Rc) block）来明确量化空间关联贡献的差异。考虑交通数据的两种时间特性，即短期性和长期性，ST-3DNet分别使用由3D convolutions和Rc block组成的两个分量对这两种模式进行建模，然后加权组合在一起进行最终预测。通过对实际交通数据集，即交通拥挤数据和人群流量数据的实验，验证了该方法的有效性。

1

3、简介

事实上，在过去的几十年里，人们做了很多尝试来做出更准确的交通预测。交通预测方法大致可分为两大类:模型驱动方法和数据驱动方法。模型驱动方法也被称为参数方法，就像时间序列模型一样，它是基于强有力的理论假设而预先确定的。然而，这些假设在实践中很难得到满足，这限制了它们的预测性能。最近，大量的交通传感器的部署，如地面环路探测器和GPS设备，使我们很容易获得大量的实时交通数据。这为通过数据驱动方法深入理解流量数据提供了一个很好的机会。

数据驱动方法可以分为两大类:传统的机器学习方法和基于深度学习的方法。传统的机器学习方法缺乏对高维数据的处理能力，难以描述交通数据复杂的非线性变化。此外，传统机器学习的预测性能严重依赖手工特征，而手工特征对问题依赖性强，依赖于专家经验。因此，这种方法泛化能力较弱。运的是，深度学习理论的出现使得对高维时空数据的有效建模和通过层次表示自动发现复杂特征成为可能，受此启发，许多研究人员开始转向基于深度学习的模型来处理高维时空交通数据。例如，采用卷积神经网络来探索交通数据的空间特征;利用递归神经网络对交通数据序列信息进行建模。

然而，从空间和时间两个维度的特征，即时，从连续时间间隔的多个输入中编码的运动信息没有得到很好的考虑。此外，除了提取交通数据的时空相关性外，考虑相关性的异质性也是建立时空交通数据模型的关键，而现有的方法大多忽略了这一点。

针对上述挑战，我们提出了一种基于深度学习的时空交通预测网络ST-3DNet来预测未来的交通数据。我们的研究有四方面的贡献：

1. 将三维卷积引入流量预测领域。

   ST-3DNet采用三维卷积和残差单元，有效地从时空维度提取特征。

2. 提出了一种新的结构单元“重新校准”(Rc)块（“Recalibration” block）来明确描述空间中时空相关性贡献的差异。

3. 我们考虑流量数据的两个时间特性，即，分别设计了短期时间模式和长期时间模式，并分别设计了两个组件对它们进行建模，然后以加权的方式对它们的输出进行汇总。

4. 在三个真实的交通数据集中进行了大量的实验。

   实验结果验证了该模型在不同交通预测任务下的性能。

1

4、主体内容

4.1三维卷积简介

如何在不依赖手工特征的情况下有效地学习时空信息也是视频分析中的一个关键问题。Tran等人和Ji等人开发了三维卷积神经网络(3D CNNs)学习时空特征，发现三维卷积比二维卷积更有效地捕捉时空特征。图1为二维卷积与三维卷积的对比图。

在图1(a)中，在卷积层上进行的二维卷积只能从上一层的局部邻域中提取空间维特征，得到一个特征图。当对视频应用2D卷积时，多个相邻帧应视为多个通道，如图2(b)所示。所以在二维卷积运算中，多帧图像被压缩成一个特征图，时间信息丢失。而3D卷积运算就是将多个相邻帧叠加生成的立方体上的三维滤波器，如图1(b)和图2(c)所示。这可以有效地捕获运动信息，因为一个特征映射连接到前一层中的多个连续帧。与二维卷积相比，应用三维卷积仍然可以生成一个视频体，它保留了时间信息。如图2(c)所示，在由多个相邻帧组成的立方体上对3D滤波器进行卷积的3D卷积可以生成一个同样是立方体的feature map。

每个时间间隔的交通流量数据可以类比为一个视频的帧。因此，受视频分析中3DCNN的成功推动，本文首先将三维卷积应用于交通预测领域，针对交通数据编码的时空信息自动建模。提出了一种新的时空网络结构ST-3DNet来预测时空交通数据。

4.2模型框架简介

为了解决时空交通预测问题，提出了一种基于端到端的深度学习模型ST-3DNet。图4展示了其总体架构，该架构由两个主要组件组成，分别用来描述交通数据的两种时间属性，即，closeness and weekly period，邻近性和周期性。每个区域的流量数据都具有两个时间属性。然而，这两种时间属性对每个区域的影响是不同的，例如，一些工作区域表现出明显的周期性模式，而一些娱乐场所则没有。

closeness组件的目的是基于最近的历史数据来捕获时空特征。因此，它的输入是最近时间段ST光栅数据的子序列。Closeness组建首先叠加三维卷积层和二维残差单元来获取交通数据的时空特征，然后使用一个Rc块来识别和量化每个区域特征的贡献。

在图4的左侧，周期组件旨在描述交通数据中的周期性和趋势性。它的输入是的ST光栅最近几周的数据，其周属性与预测目标相同（同为周一或同为周二等）。周期组件使用3D卷积来捕获时间模式，使用Rc块来选择信息特征并抑制每个区域的无用特征。在ST-3DNet的顶部，基于参数矩阵，将两个分量的输出合并为可以学习的Xf，可以反映两个时间属性在空间上贡献的不同。最后，Xf后面是一个激活函数。

三维卷积和残差单元比较容易实现，下面对Recalibration Block部分进行简介。

4.3Recalibration Block

值得注意的是，在整个空间中，邻近区域对预测的贡献在空间上是不同的。如果不考虑异构性，对交通数据之间的相关性进行建模是不够的。因此，识别和量化特征在空间中角色的变化程度对于准确地建模空间和时间相关性至关重要。因此，我们提出了一个“重新校准”(Rc)块，其能够自动量化每个通道特征的贡献程度，提高模型能力。

此外，在计算机视觉领域，Hu等人的也证明了神经网络的表征能力可以在channel-wise特性建模中得到提升。Rc块结构如图9所示,我们在最后一个残差单元(Lr)上叠加一个Rc块。(如图4所示的closeness分支)进行特征校正。我们使用可学习的参数Wc来量化channel-wise features在空间中的作用程度。因此，通过使用Rc块，可以很好地考虑特征在空间中的贡献差异。这一块感觉就是加了一个channel-wise的attention注意力机制。

1

5、特别之处

文章说是首次将3D CNN应用到交通领域，涉及到首次的问题，一般要慎重。此外，文章选取了三个数据集进行了实验， TrafficBJ是一组从百度地图上抓取的北京市内路网交通状况数据，收集时间为2017年5月14日至12月5日，更新频率为6分钟，作者并未公开。TaxiBJ和BikeNYC都是全市人群流量数据集，GitHub上有这两个数据集，点击阅读原文即可查看。

1

Attention

如果你和我一样是轨道交通、道路交通、城市规划相关领域的，可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！