论文笔记|Deep Transformer Models for Time Series Forecasting: The Influenza Prevalence Case

0 摘要

本文提出的新方法：使用基于Transformer的机器学习模型来预测时间序列数据。该方法通过利用自注意力机制从时间序列数据中学习复杂的模式和动态。

该方法具有通用性：它是一个通用的框架，可以应用于单变量和多变量时间序列数据，以及时间序列嵌入。

预测数据集：以流感样病例( influenza like illness，ILI )预测为例，我们证明了我们的方法产生的预测结果具有良好的可比性。

1. Introduction

疾病数据通常至少有一周的ILI报告延迟。因此，预测ILI活动对于实时疾病监测至关重要，对于公共卫生机构分配资源以规划和准备潜在的大流行也至关重要。

（1）常用方法：

①机理建模是基于对基础疾病感染动力学的理解。例如，SIR等区室方法是模拟疾病传播动力学的常用方法。

②统计和机器学习方法利用地面真值数据来学习趋势和模式。比较流行的方法有自回归( AR )、自回归移动平均( ARMA )、自回归移动平均( ARIMA )等。此外，基于卷积和循环神经网络的深度学习方法已被开发用于ILI数据建模。这些序列对齐模型是时间序列数据建模的自然选择。

然而，由于循环神经网络的"梯度消失和爆炸"问题以及卷积滤波器的限制，这些方法在建模序列数据中的长期复杂关系时存在局限性。

（2）本文贡献：我们开发了一个通用的基于Transformer的时间序列预测模型。

①对状态空间模型的补充。它可以对观测数据进行建模。使用嵌入作为代理，我们的方法也可以对系统的状态变量和相空间进行建模。

②使用ILI预测作为案例研究，我们证明了我们基于Transformer的模型能够使用多种特征准确地预测ILI流行率。

③我们表明在ILI案例中，我们基于Transformer的模型实现了最先进的预测结果。

本文提出了一种基于Transformer架构( Vaswani等, 2017)的时间序列预测方法。与序列对齐模型不同，Transformer不以有序序列的方式处理数据。相反，它处理整个序列数据并使用自注意力机制学习序列中的依赖关系。因此，基于Transformer的模型有潜力对序列模型具有挑战性的时间序列数据的复杂动态进行建模。在这项工作中，我们使用ILI预测作为案例研究，表明基于Transformer的模型可以成功地应用于时间序列预测任务，并且它优于许多现有的预测技术。

基于Transformer的预测模型架构

Figure 1. Architecture of Transformer-based forecasting model.

2. Related Work

（1）一个经典方法：谷歌流感趋势( Google Flu Trends，GFT )使用一个线性模型，使用预定义项的谷歌搜索量来估计当前的ILI比率( "现在预测")。GFT最初被认为是一个巨大的成功，但在随后的年份( Olson等, 2013 ; Lazer等, 2014)中出现了ILI峰值的高估。

（2）深度学习方法：

①Liu等( 2018 )使用谷歌趋势、气候、空气污染和病毒学生存数据训练了一个基于LSTM的模型来预测流感流行率。

②Venna等( 2019 )开发了基于LSTM的多阶段模型，将气候和时空调整因素纳入流感预测。

基于注意力机制的技术也被应用于ILI预测。

③Zhu等( 2019 )开发了多通道LSTM神经网络，从不同类型的输入中学习。他们的模型使用注意力层将模型输出与输入序列相关联，以进一步提高预测精度。

④Kondo等人( 2019 )采用了具有类似注意力机制的序列到序列的( ' Seq2Seq ')模型来预测流感流行率，并表明他们的方法优于ARIMA和基于LSTM的模型。

3. Background

3.1. Influenza and ILI

ILI比率计算为ILI患者人数与当周总就诊人数的比值。CDC公布了美国