One Fits All:Power General Time Series Analysis by Pretrained LM

One Fits All: Power General Time Series Analysis by Pretrained LM

尽管我们已经见证了预训练模型在自然语言处理(NLP)和计算机视觉(CV)领域的巨大成功，但在一般时间序列分析方面的进展有限。与NLP和CV可以使用统一的模型执行不同的任务不同，在分类、异常检测、预测和少量学习等每一个时间序列分析任务中，专门设计的方法仍然占主导地位。阻碍时间序列分析预训练模型发展的主要挑战是缺乏大量的训练数据。在这项工作中，我们通过利用从数十亿代币中预训练的语言或CV模型进行时间序列分析来解决这一挑战。具体来说，我们避免改变预训练语言或图像模型中残差块的自注意和前馈层。这个模型被称为冷冻预训练transformer(FPT)，通过对涉及时间序列的所有主要类型的任务进行微调来评估。我们的结果表明，在自然语言或图像上进行预训练的模型可以在所有主要的时间序列分析任务中产生相当的或最先进的性能，如图1所示。我们还从理论上和经验上发现，自关注模块的行为与主成分分析(PCA)相似，这一观察有助于解释变压器如何弥合领域差距，也是理解预训练变压器普遍性的关键一步。

一 主要想法

利用预训练的语言模型提供一个统一的时间序列分析框架，处理不同的时间序列任务如：分类、异常检测、预测、少采样或零采样学习。 我们的分析表明，预训练transformer中的自关注模块通过训练获得了执行某些非数据依赖操作的能力。

二 Model Structure

Frozen Pretrained Block
我们的架构保留了预训练模型中的位置嵌入层和自关注块。由于自注意层和FFN(前馈神经网络)包含了大部分来自预训练语言模型的学习知识，我们选择在微调时冻结自注意块。

Patching
利用Patching ，聚合相邻的时间步骤来形成单个基于Patching的令牌。在保持相同令牌长度并减少transformer模型的信息冗余的同时，Patching可以显著增加输入历史时间范围

Main Time Series Analysis Tasks