When Transfer Learning Meets Cross-City Urban Flow Prediction: Spatio-Temporal Adaptation Matters

城市流量预测是构建智慧城市的一项基本任务，神经网络已经成为其中最流行的方法。然而，深度学习方法通常依赖于大量的训练数据，这些数据在现实世界中可能是不可访问的。鉴于此，社会呼吁knowledge transfer。然而，现有研究将迁移学习应用于跨城市预测任务时，都是建立在静态的知识迁移基础上，忽略了城市间关联随时间动态变化的事实。动态相关性使得城市特征迁移具有挑战性。文中提出了一种新颖的时空适应网络(Spatio-Temporal Adaptation Network, STAN)，通过从数据丰富的城市中迁移时空知识，对数据稀缺的城市进行城市流量预测。STAN包含三个模块:i)空间对抗性适应模块，采用对抗性方式捕捉可迁移的空间特征;Ii)时间注意力适应模块关注关键动态以实现时间特征迁移;Iii)预测模块，旨在学习任务驱动的可转移知识。在5个真实数据集上的大量实验表明，STAN的性能明显优于当前最先进的方法

阅读者总结：这篇论文的创新点在于使用了迁移学习解决了原目标和对象目标标签稀疏问题。应该说 在城市计算上的城市特征之间迁移是个很好的方法。这篇论文在模型设计上相对比较精巧，利用对抗网络解决时空特征匹配问题。

设想：可以利用这类模型解决时间序列稀疏标签问题，即在时间序列上的迁移学习，当然现在已经有时间序列概念漂移，分类不均衡问题的解决方法，但是它们的模型中没有融合GAN网络，在特征提取上值得对比。

问题：

C1:如何捕捉源城市和目标城市之间的空间域不变相关性? 

C2:如何获取源城市和目标城市之间的时间域不变相关性?

本文提出一种时空适应网络STAN，由空间对抗适应模块(SAAM)、时间注意力适应模块(TAAM)和预测模块(PM)组成。具体来说，我们设计SAAM来解决第一个挑战。受GANs的启发[Goodfellow等人，2014]，它通过对抗性分类在每个时间步区分源城市和目标城市的空间特征，以高效的方式有效地捕获空间可迁移的特征。为了克服第二个挑战，我们设计了TAAM，在进行域差异减小时采用注意力机制。这样，对域差异贡献较大的时间动态将得到更多的关注，从而实现更有效的时空特征迁移。最后，在PM的指导下，STAN迁移任务驱动特征，实现数据稀缺的时空城市流量预测。 

 

 框架：

 图2展示了STAN的框架，它包含三个主要模块MS, MT和MP。STAN联合运行三个模块进行时空知识迁移预测学习。将空间域损失Ls、时域损失Lt和预测损失Lp分别与三个模块对齐。进一步设计了混合损失函数进行模型训练。每个模块的详细结构将在以下小节中描述。

Spatial Feature Extractor  Gse 

 

 

 Temporal Attentive Adaptation Module

如图2所示，TAAM  Mt设计用于时间感知特征转移，城市差异也反映在时间维度上。具体来说，我们首先使用自我注意机制来获取领域权重，表示源城市和目标城市的本地时间特征的影响。然后，采用基于差异的域适应方法，即MMD [Long等人，2017]，从源城市和目标城市获取全球时间特征。 

 

 

 Prediction Module