Preformer: Predictive Transformer with Multi-ScaleSegment-wise Correlations for Long-Term Time Seri

西西弗的小蚂蚁

已于 2023-08-10 10:22:10 修改

阅读量280

点赞数

分类专栏：时间序列预测文章标签： transformer 深度学习人工智能

于 2023-02-21 23:15:52 首次发布

本文链接：https://blog.csdn.net/zj_18706809267/article/details/129152091

版权

Preformer是一种针对长期时间序列预测的Transformer模型，引入了多尺度分段相关机制，降低了计算复杂度并能捕捉局部依赖。通过预测性多尺度分段相关实现更有效的注意力计算，整体架构类似普通Transformer，但用Segment-Correlation替代点积自注意力，用PreMSSC替代交叉注意力，适用于时间序列数据的处理。

摘要由CSDN通过智能技术生成

Preformer: Predictive Transformer with Multi-Scale Segment-wise Correlations for Long-Term Time Series Forecasting

基于transformer的方法在长期时间序列预测中显示出了巨大的潜力。然而，这些方法大多采用标准的逐点自注意力机制，其复杂性随着时间序列长度的二次增长而难以进行长期预测，而且由于对应的键和值是从同一点转换而无法显式捕获来自上下文的预测依赖。本文提出了一种基于transformer的预测模型Preformer。Preformer引入了一种新的高效的多尺度分段相关机制，将时间序列划分为多个分段，并利用分段相关注意力对时间序列进行编码。提出了一种多尺度结构来聚集不同时间尺度上的依赖关系，并便于段长度的选择。Preformer进一步设计了一种解码预测范式，其中键和值来自连续的两个片段，而不是同一个片段。这样，如果关键段与查询段的相关度较高，则其后续段对查询段的预测贡献更大。广泛的实验表明，所提出的Preformer优于其他基于transformer的方法。

一关键点：

我们提出了一种新的稀疏注意机制，称为多尺度分段相关(MSSC)。分段相关不仅减少了计算量，因为分段的数量远小于点的数量，而且可以更好地探索相邻点的局部性。段的长度是一个关键的超参数。长分段忽略细粒度信息，短分段具有较高的计算冗余。为了解决这个问题，MSSC对多个片段长度进行相关计算和融合。本文进一步提出了一种预测性多尺度分段相