Time-Aware Multi-Scale RNNs for Time Series Modeling

Time-Aware Multi-Scale RNNs for Time Series Modeling

多尺度信息对时间序列建模至关重要。虽然现有的大多数方法在时间序列数据中考虑了多个尺度，但它们假设所有的尺度对每个样本都是同等重要的，这使得它们无法捕捉到时间序列的动态时间模式。为此，我们提出了时间感知多尺度递归神经网络(TAMS-RNNs)，它可以分解不同尺度的表示，并在每个时间步上自适应地为每个样本选择最重要的尺度。首先，将RNN的隐藏状态解耦为多个独立更新的小隐藏状态，利用不同的更新频率对时间序列的多尺度信息进行建模;然后，在每个时间步，利用时间上下文信息对不同尺度的特征进行调制，选择最重要的时间序列尺度。因此，该模型能够在每个时间步上自适应地获取每个时间序列的多尺度信息。大量实验表明，该模型在多变量时间序列分类和人体运动预测任务方面优于最先进的方法。通过对音乐类型识别的可视化分析，验证了模型的有效性。

背景：

1）多尺度信息是时间序列建模的关键。 这些方法试图使用统一的特征表示来建模多个尺度，纠缠不同尺度的表示。使用纠缠表示很难探究不同尺度的影响，这不利于模型的可解释性

总结：文中在多粒度上考虑时间序列建模问题，它的切入点在分割不同hidden层上实现，与传统的多粒度方式不同，基于时间的多粒度RNN和基于时间的特征模型。其中基于时间的多粒度RNN主要是在RNN的隐藏层中划分不同粒度的hidden,实现多粒度信息建模。基于时间特征模型主要利用上下文的信息，去模拟不同时间尺度下的特征

方案：

首先，我们设计了一种多尺度特征解纠缠(MSFD)机制来获得不同尺度的特征解纠缠表示。具体而言，RNN的隐藏状态解纠缠为多个独立更新的小隐藏状态，这些小隐藏状态使用不同的更新频率对多尺度信息进行建模。此外，还设计了一种时间感知特征调制(TAFM)机制来调制不同尺度的特征，在每个时间步上自适应地选择最重要的尺度。我们在多元时间序列(MTS)分类、人体运动预测和音乐类型识别方面进行了对比实验，以验证tams - rnn的优越性。

框架

1.Time-Aware Multi-Scale RNNs

我们提出了时间感知多尺度rnn (tams - rnn)，并设计了两种机制(分别称为多尺度特征解缠和时间感知特征调制)，用于tams - rnn自适应建模多尺度信息，用于时间序列建模。

1）Multi-Scale Feature Disentanglement

为了捕捉不同尺度的特征表征，首先，将RNN的隐藏状态解纠缠为多个独立更新的小隐藏状态。具体地说，将时间步长t的隐态解纠缠为K个小隐态

hidden更新过程

解纠缠后的隐藏状态更新频率不同，每个小的隐藏状态都能捕获一定规模的信息。小范围的隐藏状态捕获短期依赖关系，这对于值频繁变化的时间序列至关重要。同时，大规模的隐藏状态捕获了时间序列建模任务的长期依赖关系，为时序建模任务提供了必要的信息。

2. Time-Aware Feature Modulation

我们设计了一种简单而有效的TAFM机制，利用时间上下文信息对不同尺度的特征进行调制，使模型能够在不同的时间步集中于不同的尺度。

更新状态：

Experiments

1）Multivariate Time Series Classification