AutoST: Towards the Universal Modeling of Spatio-temporal Sequences

AutoST: Towards the Universal Modeling of Spatio-temporal Sequences

时空序列的分析在许多现实世界的应用中起着重要的作用，需要较高的模型能力来捕捉空间和时间维度之间的相互依赖关系。已有研究将网络设计分为三类:空间优先、时间优先和时空同步。然而，人工设计的异构模型难以满足不同任务优先级的时空依赖捕获。为了解决这个问题，提出了一种通用的建模框架，该框架具有三个鲜明的特点:(i)基于注意力机制的网络骨干，包括S2T层(空间优先)、t2层(时间优先)和STS层(时空同步)。(ii)命名为UniST的通用建模框架，具有统一的架构，能够灵活地使用所提出的三个不同模块进行建模优先级。(iii)自动搜索策略AutoST通过网络架构搜索自动搜索最优时空建模优先级。在五个真实数据集上的广泛实验表明，UniST与所提出的三个模块中的任何一种类型都可以取得最先进的性能。此外，AutoST可以使用UniST实现压倒性的性能。 

 首先介绍了两个基本的建模单元:时间序列线性自注意力和高阶混合图卷积。然后提出了三层不同的网络骨干网，并建立了基于树状"原子"层的通用建模框架;其次，提出一种时空信息融合的自动搜索策略，以优化下游任务的时空建模顺序;