ST-Norm: Spatial and Temporal Normalization for Multi-variate Time Series Forecasting（KDD2021）

ST-Norm: Spatial and Temporal Normalization for Multi-variate Time Series Forecasting（KDD2021）

多变量时间序列(MTS)数据是现实世界中普遍存在的一类数据抽象。MTS的任何实例都是由混合动力系统产生的，其具体动力学通常是未知的。这种动力系统的混合性质是复杂的外部影响的结果，从时间上可以概括为高频和低频，从空间上可以概括为全局和局部。这些影响也决定了MTS的未来发展，使其在时间序列预测任务中至关重要。然而，传统的方法面临着从原始数据中分离各种影响产生的成分的内在困难。为此，我们提出了两种归一化模块:时间归一化模块和空间归一化模块，分别细化原始数据的高频分量和局部分量。此外，这两个模块可以很容易地集成到规范的深度学习架构中，如Wavenet和Transformer。在三个数据集上进行的大量实验1表明，通过添加标准化模块，在MTS的应用中，规范架构的性能可以大大提高，并取得与现有MTS模型相比最先进的结果

背景：

时间序列能够由四种因素组成，一种是局部，低频，全局，高频的组合构成。

特别地，“低频”意味着冲击变化平稳，换句话说，它倾向于在相对较长的时间内保持稳定;“高频”意味着冲击变化剧烈;“全球性”是指该影响对所有时间序列产生类似的影响;“局部”是指影响仅影响个别时间序列，或对不同的时间序列施加不同的影响

为了获得实际建模的时间关系的具体形式，我们假设两个假设在大多数现实世界问题中都成立:(1)低频分量(包括全局低频分量和局部低频分量)在给定周期内是稳定的;(2)全局高频分量明显主导局部高频分量。

Contributions

要解决上述问题，关键在于从原始度量中提炼出更多类型的组件。因此，将动态与空间视图或时间视图区分开来的关系可以被捕获。在我们的工作中，我们提出了两种归一化模块:时间归一化(TN)和空间归一化(SN)，分别细化高频分量和局部分量。具体而言，高频分量有助于从空间视角区分动态，局部分量有助于从时间视角区分动态。该模型具有空间和时间上的可分辨性，能够专门拟合每一类样本，特别是一些长尾样本。此外，我们展示了我们的方法与其他最先进的(SOTA)方法之间的联系，这些方法依赖于相互关系的建立来区分动态。

框架：

Dilated Causal Convolution（跳过）

使用因果卷积的一个缺点是，核大小或层数随接受域的范围呈线性增加，并且在对长历史建模时，线性关系导致参数爆炸。池化是解决这个问题的自然选择，但它牺牲了信号中显示的顺序信息。为此，利用了扩张的因果卷积，这种形式支持接受场的指数扩展

Temporal Normalization

时间归一化(TN)旨在从混合信号中提炼出高频成分，包括全局和局部成分。

Spatial Normalization

5 EVALUATION