Multi-Horizon Time Series Forecasting with Temporal Attention Learning

我们提出了一种新的数据驱动的方法来解决multi-horizon probabilistic forecasting tasks ，预测未来视界上时间序列的全部分布。我们说明隐藏在历史信息中的时间模式在长时间序列的准确预测中发挥着重要作用。传统方法依赖于手动设置时间依赖性来探索历史数据中的相关模式，这在根据真实数据预测长期序列方面是不现实的。相反，我们建议明确学习用深度神经网络构建隐藏模式表示，并关注历史的不同部分来预测未来。在本文中，我们提出了一种端到端的深度学习框架，用于多视域时间序列预测，通过时间注意机制更好地捕捉历史数据中对预测未来有用的潜在模式。基于学习到的潜在模式特征，可以同时生成对多个未来层位的多个分位数的预测。我们还提出了一种多模态融合机制，用于组合历史不同部分的特征，以更好地代表未来。实验结果表明，我们的方法在两个不同领域的大规模预测数据集上都取得了最先进的性能。

思路：其思想是首先利用一个双向的LSTM解码器，考虑到未来的动态信息，如促销和日历事件，在向前和向后两个方向传播未来输入变量的信息。然后在未来的每一个时间步中，利用解码器隐藏状态关注历史的几个不同时期，并分别生成注意向量。我们将历史的不同时期视为不同的模式，并通过学习每种模式在预测当前时间步长的相对重要性将它们结合起来。组合特征，我们称之为时间上下文特征，它包含了最能描述当前时间步长的历史信息和未来上下文信息。我们使用一个完全连接的层来基于时间上下文特征发出分位数预测，整个框架可以端到端进行训练，并通过标准的深度学习平台(如Tensorflow[1]和PyTorch[26])部署。我们的方法在两个不同领域的大规模预测数据集上优于目前最先进的模型。

APPROACH

     Basic encoder-decoder structure 

编码器部分是一个两层的LSTM，它将序列的历史映射到潜在表示。译码器是另一种以编码的历史信息为初始状态，以未来信息为输入，生成未来序列为输出的循环网络。

    Embedding

 Attention model

Temporal attention

我们建议分别关注历史的每个阶段，并将它们与多模态融合方案结合起来 

 Multimodal fusion

 EXPERIMENTS

 

 Forecasts visualization

总结：文中的关注点在多模态融合方面