Neural Decomposition of Time-Series Data for Effective Generalization

Neural Decomposition of Time-Series Data for Effective Generalization

本文提出一种用于时间序列数据分析和外推的神经网络技术，称为神经分解(ND)。具有正弦激活函数的单元用于将训练样本进行类似傅里叶的分解，分解为正弦函数的和，并通过具有非周期激活函数的单元来增广，以捕获线性趋势和其他非周期成分。展示了如何将谨慎的权重初始化与正则化相结合，以形成一个具有良好泛化能力的简单模型。该方法在Mackey-Glass系列上有效推广，该数据集是美国劳工部统计局报告的失业率数据集，每月国际航空乘客的时间序列，洛杉矶市中心每月臭氧浓度，以及来自印度北部一个洞穴的氧同位素测量的不均匀采样时间序列。ND优于流行的时间序列预测技术，包括LSTM、回声状态网络、ARIMA、SARIMA、径向基函数的SVR以及Gashler和Ashmore的模型。 

Key Points

这篇算是比较早期的用MLP模型来做时序预测的了，同时还具有一定的可解释性，方法非常简单，也超过了很多经典的方法，如SARIMA、SVR、ESN等，因为年份比较早，所以比较的对象都是一些经典的方法。之所以会介绍这篇文章，是因为最近有很多时序预测的文章不再局限于过去值预测未来值（如下图A），而是采用集中于仅用时间戳来得到未来值，回归过去来外推未来（如下图C）。此外，我觉得这篇文章的思想启发了很多后面的文章，比如NBeats、DEPTS。