TS2Vec: Towards Universal Representation of Time Series

TS2Vec: Towards Universal Representation of Time Series

本文提出了TS2Vec，一个学习任意语义层次时间序列表示的通用框架。与现有的方法不同，TS2Vec在增强的上下文视图上以分层的方式执行对比学习，它支持每个时间戳的健壮上下文表示。此外，为了获得时间序列中任意子序列的表示，我们可以对相应时间戳的表示应用一个简单的聚合。我们对时间序列分类任务进行了广泛的实验，以评估时间序列表征的质量。因此，TS2Vec在125个UCR数据集和29个UEA数据集上的无监督时间序列表示方面比现有SOTAs取得了显著的改进。学习到的时间戳级表示在时间序列预测和异常检测任务中也取得了优异的结果。在学习过的表示法基础上训练的线性回归优于以前的时间序列预测sota。此外，我们提出了一种简单的方法，将学习到的表示用于无监督异常检测，从而建立了文献中的SOTA结果。

背景：

首先，实例级表示可能不适合需要细粒度表示的任务，例如，时间序列预测和异常检测

第二，现有的方法很少区分不同粒度的多尺度上下文信息。多尺度特征可以提供不同层次的语义，提高学习表征的泛化能力。

第三，现有的无监督时间序列表示方法大多借鉴了CV和NLP领域的经验，具有很强的归纳偏差，如转换不变性和裁剪不变性。然而，这些假设并不总是适用于时间序列建模。

框架：

Problem Definition

给定一组时间序列目的是学习一个非线性嵌入函数

Model Architecture

我们从一个输入时间序列xi中随机抽样两个重叠的子序列，并鼓励在公共段上上下文表示的一致性。原始输入输入编码器，编码器与时间对比损耗和实例对比损耗联合优化。总损失是在一个分层框架的多个尺度上求和。

Contextual Consistency

我们提出了一种新的策略，即上下文一致性，它将两个增强上下文中同一时间戳的表示视为正对。通过对输入时间序列应用时间戳屏蔽和随机裁剪，可以生成上下文。

Hierarchical Contrasting

我们提出层次对比损失，迫使编码器学习在不同尺度上的表示。我们利用instance-wise and temporal contrastive，编码时间序列分布。在分层对比模型中，损失函数被应用于所有粒度级别。 

1）Temporal Contrastive Loss

为了学习随时间的区别表示，TS2Vec将来自输入时间序列的相同时间戳的表示作为阳性，而来自相同时间序列的不同时间戳的表示作为阴性

这两个损失是相辅相成的。

3 Experiments

在本节中，我们评估TS2Vec在时间序列分类、预测和异常检测方面的学习表示。

1.）分类任务 

与其他表示学习方法相比，TS2Vec在UCR和UEA数据集上都有了很大的改进。在这些方法中，TS2Vec的训练时间最短。

2）Time Series Forecasting

3 ）Time Series Anomaly Detection

结论

本文提出了一种通用的时间序列表示学习框架TS2Vec，该框架利用层次对比在增强上下文视图中学习尺度不变表示。通过对三个时间序列相关任务(包括时间序列分类、预测和异常检测)的学习表征进行评估，证明了TS2Vec的通用性和有效性。我们还发现，TS2Vec在输入不完整数据时具有稳定的性能，其中层次对比损失和时间戳屏蔽发挥了重要作用。此外，学习表征的可视化验证了TS2Vec捕捉时间序列动态的能力。消融实验证明了所提成分的有效性。TS2Vec框架具有较强的通用性，在今后的工作中具有广泛的应用前景。