TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting

TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting (KDD 2023)

Transformers 因其捕捉长序列相互作用的能力而在时间序列预测中获得了广泛的应用。然而，它们的内存和计算密集型需求构成了长期预测的关键瓶颈，尽管在计算感知的自注意模块方面取得了许多进步。为了解决这个问题，我们提出了TSMixer，一个由多层感知器(MLP)模块组成的轻量级神经架构。TSMixer设计用于多变量预测和对补丁时间序列的表示学习，为Transformers 提供了有效的替代方案。 

我们的模型从计算机视觉中MLP-Mixer模型的成功中获得灵感。我们展示了将Vision MLP-Mixer用于时间序列所涉及的挑战，并引入了经验验证的组件以提高准确性。这包括一种新颖的设计范例，将在线协调头附加到MLP-Mixer主干，用于显式地建模时间序列属性，如层次结构和通道相关性。我们还提出了一种混合信道建模方法，以有效地处理不同数据集的噪声信道相互作用和泛化，这是现有补丁信道混合方法中的一个常见挑战。此外，在主干中引入了一个简单的门控注意机制来优先考虑重要功能。

通过结合这些轻量级组件，我们显着增强了简单MLP结构的学习能力，以最小的计算使用量优于复杂的Transformer模型。此外，TSMixer的模块化设计使其能够兼容监督和masked self-supervised学习方法，使其成为时间序列基础模型的有前途的构建块。TSMixer在预测