FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting

FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting

最近的研究表明，rnn和transformer等深度学习模型在时间序列的长期预测中带来了显著的性能提升，因为它们有效地利用了历史信息。然而，我们发现如何在神经网络中保存历史信息，同时避免对历史中所呈现的噪声进行过拟合，仍有很大的改进空间。解决这个问题可以更好地利用深度学习模型的功能。为此，我们设计了一个频率改进的勒让德记忆模型(FiLM):它应用勒让德多项式投影逼近历史信息，使用傅立叶投影去除噪声，并添加低秩近似以加快计算速度。我们的实证研究表明，提出的FiLM在多变量和单变量长期预测中显著提高了现有模型的准确性(分别为20.3%和22.6%)。我们还证明，本工作开发的表示模块可以作为通用插件使用，以提高其他深度学习模块的长期预测性能。 

作为实现这一目标的第一步，我们直接利用Legendre投影，LMU Voelker等人(2019)使用该投影动态更新固定大小向量的时间序列表示

其次，为了降低噪声对Legendre投影的影响，提出了一种结合傅里叶分析和低秩矩阵逼近的降维方法。

然后将傅里叶分析和低秩近似相结合，保留与低频傅里叶成分相关的部分表示