Learning Latent Seasonal-Trend Representations for Time Series Forecasting

Learning Latent Seasonal-Trend Representations for Time Series Forecasting

复杂时间序列的预测在许多应用中普遍存在且至关重要，但具有挑战性。最近的进展努力通过将各种深度学习技术(如RNN和Transformer)纳入序列模型来取得进展。然而，由于时间序列往往由多个复杂的相互纠缠的成分组成，清晰的模式仍然难以提取。受计算机视觉中解纠缠变分自编码器和经典时间序列分解成功的激励，计划推断出一对表示，描述时间序列的季节和趋势成分。为实现这一目标，本文提出LaST，基于变分推理，旨在解耦潜空间中的季节趋势表示。此外，LaST从自身和输入重建的角度监督和分离表示，并引入一系列辅助目标。广泛的实验证明，LaST与最先进的表示学习和端到端预测模型相比，在时间序列预测任务上取得了最先进的性能。 

背景

然而，这些模型很难提取与时间模式(如季节性、趋势和水平)相关的准确/明确的信息，特别是在没有任何约束表示的监督端到端架构中。当时间序列数据中存在各种复杂的协同演化成分时，由于神经网络的高度纠缠性，使用单一表示进行分析将导致浅层变量和模型不可重用且缺乏可解释性[13,14]。因此，在提供效率和效果的同时，现有的单一高维表示方法牺牲了信息利用率和可解释性，可能会进一步导致过拟合和性能退化。 

本文提出一种新的框架来学习潜在的季节趋势表示，用于时间序列预测。最后利用一个编码器-解码器架构，并遵循变分推理理论[17]来学习一对分解的潜在表示，这些表示描述了时间序列的季节和趋势。为实现这一目标，LaST在两个约束下强制表示进行解纠缠。(1)从输入重构中，解剖了内在的季节趋势模式，这些模式可以很容易地从原始时间序列和现成的测量方法中获得，并据此设计了一系列辅助目标;(2)从表示本身出发，在保证季节和趋势表示之间的一致性的前提下，最小化季节和趋势表示之间的互信息(MI)。

 图1说明了LaST框架的两个部分:(a)表示学习，产生分离的季节趋势表示(独立的重构和MI约束);和(b)基于学习表示的预测。

 

 最后，提出了一种基于互信息约束的解耦变分推理框架，用于解耦潜空间中的季节趋势表示，以有效地预测时间序列。广泛的实验表明，LaST成功地解开了季节趋势表示，并取得了最先进的性能。我们未来的工作将专注于解决时间序列领域中其他具有挑战性的下游任务，例如生成和填补。此外，我们计划在分解策略中显式地对随机因素进行建模，这将更好地理解现实世界的时间序列。