ST-GSP: Spatial-Temporal Global Semantic Representation Learning for Urban Flow Prediction(2022WSDM)

城市流预测对于公共交通管理和智慧城市建设具有重要的意义。虽然以往的研究在一定程度上对时空信息进行了整合，但这些模型在时间维度上缺乏对全局信息和位置信息的考虑，主要表现在三个方面:1)模型没有考虑时间轴的相对位置信息，导致flow maps 的位置特征没有得到有效学习。b)忽略了不同尺度的时间相关性，导致全局信息表示不准确。c)这些模型只预测时间序列末尾的flow maps ，在此之前没有预测更多的flow maps ，导致在学习过程中忽略了部分时间特征。

为了解决这一问题，本文提出了一种新的城市流预测模型——时空全局语义表示学习(ST-GSP)。具体来说，对于a)，我们设计了一个提取时间相对位置信息的语义流编码器。此外，编码器在每个时间间隔捕捉城市流动的空间依赖性和外部因素。对于b)，我们利用多头自注意机制同时对不同尺度的时间依赖关系进行建模，该机制可以学习全局时间依赖关系。对于c)，受自我监督学习思想的启发，我们在时间序列上掩盖了一个城市流图，并预测它，以预先训练一个深度双向学习模型，从其上下文捕捉表示。我们对北京和纽约两种类型的城市流进行了广泛的实验，以表明所提出的方法优于最先进的方法。

问题：忽略不同粒度的时间依赖中的互相关性

方法：

为了解决上述问题，我们提出了一种新的城市流预测的时空全局语义表示学习模型(Spatial-Temporal Global Semantic representation learning for urban flow Prediction, ST-GSP)，该模型可以有效地学习城市流的全局时间相关性。具体而言，我们设计了一个由ResNet[6]和一个多层感知器组成的语义流编码器，以模拟城市范围内的空间相关性和外部因素的影响。为了捕获不同规模的时间依赖关系之间的相关性，我们使用多头自关注机制[17]来建模全局时间依赖关系。此外，我们还探讨了自监督学习在城市流预测中的应用。我们在训练前阶段对部分城市流序列进行掩模，然后对其进行重构。我们希望模型可以学习通过这种预训练方法对城市流序列进行深度双向表示。最后，与现有的许多方法相比，我们提炼了外部因素的时间信息。除了日常语义(即每周的某一天和每月的某一天)，我们还添加了日间语义(即每天的某小时)。这些细化的时间信息可以作为位置编码[17]来反映每个流图在时间轴上的位置。

 

 

时空全局语义表示学习用于城市流预测(ST-GSP)，挖掘不同区域的时空演变和复杂外部事实的影响。ST-GSP mainly consists of three components: semantic flow encoder, transformer encoder, and fusion process.

semantic flow encoder对不同距离的空间依赖性和外部因素的影响进行编码。transformer encoder用于捕获不同尺度的时间相关性。usion process是将历史表征与外部因素对未来时间间隔的融合，来表达最终表征。同时，为了学习城市流序列的双向深度表示，我们探索了自监督学习在我们的模型中的应用。

1）Semantic Flow Encoder

我们设计了语义流编码器，它可以捕捉空间相关性和外部因素的影响。the semantic flow encoder consists of two major components: ResNet and a multi-layer perceptron 

 

 

 

 

2）Transformer Encoder

在时间相关性建模方面，现有的神经网络，包括RNN和LSTM，只能捕获短期的时间相关性，而对长期相关性的学习效果较差，这可能会对城市流预测产生较大的影响。这些方法忽略了不同尺度的时间相关性 

 

3） Fusion

融合过程包括两个主要部分:全连接层和多层感知器。第一个模块将表示与未来时间间隔的历史表示相融合，第二个模块将表示与外部因素相融合。

 

 

 

 Self-Supervised Learning

 近年来，自监督学习在许多场景中都取得了成功[3,21]。自我监督学习有两个步骤:训练前和微调。

我们利用自监督学习来提高深度双向变压器编码器的表示能力

EXPERIMENTS

 

 

 Ablation Study

 

 

 

 Multi-Headed Self-Attention Analysis

为了解释我们的transformer编码器是否真的捕获了动态全局时间依赖关系，我们将𝐹𝑝𝑟𝑒的注意力矩阵可视化。注意矩阵是测试过程中变压器编码器最后一层的输出 

 论文的创新点：主要在于考虑了1）不同时间粒度下流量之间的相互依赖关系；2）考虑了外部的因素 3）在训练模型过程中主要考虑使用了预训练模型提高语义的表征效果。（值得借鉴的地方）