【论文研读】浙大提出MSHyper：多尺度超图Transformer解锁时间序列预测新高度

老规矩，先贴论文地址：https://arxiv.org/pdf/2401.09261

研究背景

在时间序列预测这一重要领域中，准确捕捉并建模不同时间尺度模式间的复杂交互一直是提升预测精度的核心挑战。时间序列数据往往蕴含着丰富的时间模式，这些模式可能跨越从秒到年的不同时间尺度。传统方法，如ARIMA和Prophet等统计模型，往往基于简单的假设进行时间序列分解，难以有效捕捉这些复杂且多变的非线性依赖关系。近年来，深度学习模型，特别是TCN、RNN和Transformer等，凭借其强大的非线性建模能力，在时间序列预测中取得了显著进展。然而，这些方法在处理多尺度时间序列预测时，仍面临如何有效建模不同尺度模式间交互的难题，特别是在处理高阶交互（即多个时间模式之间的同时交互）时显得力不从心。

相关工作

针对时间序列预测中的多尺度建模问题，已有一些相关工作进行了探索。一些研究尝试使用不同的时间尺度对时间序列进行分解，并分别对每个尺度进行建模。然而，这些方法往往忽略了不同尺度模式间的交互，导致预测结果不够准确。另外，基于Transformer的多尺度方法虽然尝试从不同尺度的子序列中建模模式交互，但通常仅考虑简单的自注意力机制，难以捕捉高阶交互。此外，还有一些研究尝试引入图结构来建模时间序列中的依赖关系，但这些方法主要关注于建模单尺度或低阶交互，对于多尺度高阶交互的建模仍然不足。因此，如何在时间序列预测中有效建模多尺度高阶交互，成为了一个亟待解决的问题。

MSHyper框架解析

MSHyper框架的革新

为了突破现有时