Temporal Fusion Transformersfor Interpretable Multi-horizon Time Series Forecasting

Temporal Fusion Transformersfor Interpretable Multi-horizon Time Series Forecasting

Multi-horizon forecasting通常包含一种复杂的混合输入包括静态(即时不变)协变量、已知的未来输入和其他只在过去观察到的外生时间序列,没有任何关于它们如何与目标相互作用的事先信息。已经提出了几种深度学习方法，但它们通常是黑箱模型，不能说明它们如何在实际场景中使用全部输入。在本文中，我们介绍了时间融合变压器(TFT){这是一种新颖的基于注意力的架构，它结合了高性能的多视界预测和对时间动态的可解释的见解。为了学习不同尺度上的时间关系，TFT使用循环层进行局部处理，使用可解释的自我注意层进行长期依赖。TFT利用专门的组件来选择相关的特性，并通过一系列限制层来抑制不必要的组件，从而在广泛的场景中实现高性能。在各种真实的数据集上，我们展示了相对于现有基准的显著性能改进，并展示了TFT的三个实际可解释性用例

 我们设计TFT来使用规范组件来高效地为每种输入类型(即静态的、已知的、可观察的输入)构建特征表示，从而在广泛的问题上实现高预测性能。

1. 控制机制可以跳过架构中任何未使用的组件，提供自适应深度和网络复杂性，以适应广泛的数据集和场景。

2. 变量选择网络在每个时间步选择相关的输入变量。

3.静态协变量编码器将静态特征集成到网络中，通过编码上下文向量来条件时间动态。

4. 时间处理从观察到的和已知的时变输入中学习长期和短期的时间关系。局部处理采用序列对序列层，而长期依赖则采用一种新颖的可解释多头注意块来捕获

5. 预测区间通过分位数预测来确定每个预测视界上可能的目标值的范围