Preformer: Predictive Transformer with Multi-ScaleSegment-wise Correlations for Long-Term Time Seri

Preformer: Predictive Transformer with Multi-Scale Segment-wise Correlations for Long-Term Time Series Forecasting

基于transformer的方法在长期时间序列预测中显示出了巨大的潜力。然而，这些方法大多采用标准的逐点自注意力机制，其复杂性随着时间序列长度的二次增长而难以进行长期预测，而且由于对应的键和值是从同一点转换而无法显式捕获来自上下文的预测依赖。本文提出了一种基于transformer的预测模型Preformer。Preformer引入了一种新的高效的多尺度分段相关机制，将时间序列划分为多个分段，并利用分段相关注意力对时间序列进行编码。提出了一种多尺度结构来聚集不同时间尺度上的依赖关系，并便于段长度的选择。Preformer进一步设计了一种解码预测范式，其中键和值来自连续的两个片段，而不是同一个片段。这样，如果关键段与查询段的相关度较高，则其后续段对查询段的预测贡献更大。广泛的实验表明，所提出的Preformer优于其他基于transformer的方法。

一关键点：

 我们提出了一种新的稀疏注意机制，称为多尺度分段相关(MSSC)。分段相关不仅减少了计算量，因为分段的数量远小于点的数量，而且可以更好地探索相邻点的局部性。段的长度是一个关键的超参数。长分段忽略细粒度信息，短分段具有较高的计算冗余。为了解决这个问题，MSSC对多个片段长度进行相关计算和融合。本文进一步提出了一种预测性多尺度分段相关(PreMSSC)。