具有光谱注意力机制的深度自回归模型

具有光谱注意力机制的深度自回归模型

关注人工智能学术前沿 回复 ：ts34

5秒免费获取论文pdf文档，及项目源码

摘要

时间序列预测是一个跨领域的重要问题，在现实世界的多种应用中发挥着至关重要的作用。在本文中，我们提出了一种将深度自回归模型与光谱注意(SA)模块相结合的预测体系结构，该模块在模型的嵌入空间中合并了全局和局部频域信息。通过在谱域将嵌入的时间序列描述为随机过程的发生，我们的方法可以识别全球趋势和季节性模式。两个光谱注意模型，对时间序列的全局和局部，将这些信息整合到预测中，并进行光谱滤波以去除时间序列的噪声。提出的体系结构有许多有用的特性:它可以有效地合并到众所周知的预测体系结构中，需要少量的参数，并产生可解释的结果，以提高预测的准确性。我们在几个著名的预测数据集上测试了光谱注意自回归模型(SAAM)。不断证明我们的模型优于最先进的方法。

1.介绍

在本文中，我们表明，通过将信号处理滤波技术纳入执行时间序列预测的自回归模型，所描述的问题可以部分缓解。针对这些模型无法聚焦于全局背景，我们可以通过频域表征获得时间序列最重要的趋势。这些趋势可以在预测期间智能地合并，从而使局部上下文意识到时间序列的全球模式。对于误差积累和噪声局部背景，频谱滤波可以在每个时刻决定哪些频率是有用的，哪些频率可以被抑制，消除对预测没有帮助的不必要成分。最后，这些在谱域操作的信号处理工具产生了更多可解释的内部表示，这将在实验部分得到证明，如果有必要，可以提取驱动预测的可解释的频域特征。

为了整合之前的解决方案，我们提出了一个通用的架构，光谱注意自回归模型(SAAM)。SAAM的模块化使其能够有效地纳入各种深度自回归模型中。该架构使用两个光谱注意模型来确定每个时刻的相关全局模式，并在进行预测时去除局部环境的噪声。这两种操作都在嵌入空间的频域内执行

据我们所知，SAAM是第一个利用光谱域注意力机制的深度神经自回归模型。在这个新的频域关注框架中，全球-局部架构将深度神经网络与经典信号处理技术相结合，将相关的全球趋势纳入预测，并进行频谱滤波以防止误差累积。此外，频谱注意所带来的额外复杂性可与时域内的经典注意模型相媲美。

我们在合成和真实时间序列数据集上进行了大量的实验，显示了提出的光谱注意模块的有效性，持续优于基本模型，并取得了最先进的结果。消融研究进一步证明了设计的体系结构的有效性。

2.模型概述

图4显示了该模型的展开架构。移除SA（Spectral Attention）模块，图2所示的基本框架仍然存在。注意，预期自相关和傅立叶变换的计算都是可微分的模型参数。

具体的公式推导过程不再描述。

关注人工智能学术前沿 回复 ：ts34

5秒免费获取论文pdf文档，及项目源码

3.实验概述

我们用合成数据集和真实数据集进行了实验，以证明SAAM具有良好的预测能力。

基线模型

将光谱注意模块应用于最先进的模型：

我们将SA模块集成到两个预测模型中:DeepAR[32]，这是一个被广泛使用的模型，有多个工业应用[53]-[57]，它使用LSTM来执行嵌入;

以及ConvTrans[34]，这是一个较新的基于transformer的方案，它是使用transformer解决时间序列预测问题的最有效方法之一。

合成数据

为了证明SAAM的能力，我们对由无协变量的正弦信号和持续时间为200个样本组成的合成数据进行了实验。

采样时间序列如图5所示。

合成数据实验结果

表II显示了DeepAR和SAAM报告的结果。平均而言，SAAM将ND（ Normalized Deviation，标准偏差）提高了28.4%，RMSE（Root Mean Square Error均方根误差）提高了27.7%，证明了光谱注意的包含提高了模型的性能。

真实数据

将SAAM在几个真实数据集上的表现与其他最先进的模型进行了比较:两种经典的预测技术，ARIMA[20]和ETS [59];最近的矩阵分解方法TRMF [18];基于RNN的状态空间模型DSSM[37]DeepAR[32]和ConvTrans[34]。

对SAAM提出了两种不同的配置:第一种使用DeepAR作为基础模型，第二种结合了ConvTrans和SA，

表IV总结了每个数据集和所用模型的体系结构。

真实数据实验结果

最后，表VII显示了基础模型DeepAR和ConvTrans及其SAAM版本的对比，该版本不断提高了基础模型的预测精度。

结论

我们提出了一种新的神经概率时间序列预测方法，将信号处理技术与基于深度学习的自回归模型相结合，发展了一种在频域上运行的注意机制。
多亏了这种组合，它被封装在光谱注意模块中。在预测过程中，局部频谱滤波和全局模式融合是相符合的。为此,两个注意力模型操作来确定嵌入的谱域表示,在每次即时和对于每一个时间序列,应该考虑哪些组件的频域噪声,因此被过滤掉,和全球模式相关,应该纳入预测。在合成的和真实的数据集上的实验证实了这些说法，并揭示了我们建议的模块化体系结构是如何被整合到各种基础深度自回归模型中的。持续改进这些基础模型的结果，并实现最先进的性能。特别是在嘈杂的环境或较短的调节范围内，我们的方法通过显式过滤噪音并快速识别相关趋势而脱颖而出。