Unsupervised Time-Series Representation Learning with Iterative Bilinear Temporal-Spectral Fusion

无监督/自监督时间序列表示学习是一个具有挑战性的问题，因为它具有复杂的动态和稀疏的注释。现有的研究主要采用对比学习的框架，利用基于时间的增强技术对正负号进行抽样，进行对比训练。然而，它们大多使用由时间切片衍生的分段级增强，由于失去全局上下文，可能会导致抽样偏差和错误的优化和假阴性。此外，它们都不注重将光谱信息纳入特征表示。在本文中，我们提出了一个统一的框架，即双线性时间谱融合(BTSF)。具体来说，我们首先利用实例级扩展，在整个时间序列上进行简单的退出，以最大限度地捕获长期依赖项。我们设计了一种新颖的迭代双线性时间-光谱融合，以显式编码丰富的时间-频率对的亲和力，并利用频谱-时间(S2T)和时间-频谱(T2S)聚合模块以融合-挤压的方式迭代细化表示。我们首先对时间序列的分类、预测和异常检测三个主要任务进行下游评价。实验结果表明，我们的BTSF始终显著优于最先进的方法

读者总结：首先本文是时间序列表征学习的一种典型方法，采用对比学习的方法（当然最近三年2019年的NIPS会议中采用开始）。这篇论文的创新点1）集合了时间序列频域信息，实现时频特征结合，2）文章的框架很清楚，先对比学习，找到正负样本（当然这里可以有些小的变化），其次实现频域和时域的结合。但是这里不是简单的时域和频域特征融合，而是采用了一种双向的特征融合，这样能够实现特征细粒度的结合，尤其是时域和频域交互。

3）从论文的实验看的出来，表征学习到的特征在下流任务中是很有效的。说明在时间序列中频域特征是很关键的一点

背景：1.它们都没有利用时间序列的时间谱（temporal-spectral affinities），从而限制了表征的鉴别性和表现力。

框架：

 1）Instance-level Augmentation Technique

为了探索一种有效的增强对比对构造方法，我们首先研究了时间序列的一般增广方法。为了保留全局时间信息，同时不改变时间序列的原始属性，我们在无监督表示学习中应用标准退出作为最小数据增强来生成不同的视图。在构建对比对的过程中，我们将每个时间序列x传递给dropout来生成一个正的对比对

 

 

2）Iterative Bilinear Temporal-Spectral Fusion 

以往的研究忽略了利用光谱特征和时间-光谱关系，我们提出的BTSF不仅同时利用光谱和时间特征，而且以更细粒度的方式增强了表示学习。BTSF采用迭代双线性时间-光谱融合方法，通过迭代探索和细化时间特征和光谱特征之间的成对相似性，产生一种交互式的特征表示，表示正对最常见的部分，扩大负对的差异

具体来说，每个增广时间序列xt首先通过快速傅里叶变换(FFT)变换到光谱域，得到光谱信号xs。然后将xt和xs分别交付到两个编码网络进行特征提取。

 

 BTSF对Ft和Fs进行了迭代双线性融合.具体来说，我们在两个域的特征之间建立了如下的通道级交互

 实现时域和频域相乘

 

 

 但是，二次展开存储高维特征的内存开销会影响算法的效率。为了解决这一问题，我们将最终的双线性特征转化为低秩特征。分解相互作用矩阵W

 

 因此，每个增广时间序列的最终联合特征表示f可以表示为

 

 we build a loss function to minimize and maximize the distance of positive and negative pairs respectively. 

 

实验

We compare our performances with state-of-the-art approaches CPC, SRL, TS-TCC and TNC

 

 

 

 为了评估学习到的表示在编码空间中的可聚类性，我们使用t-SNE将特征分布可视化。来自相同底层状态的表示应该聚集在一起。图4显示了不同模型的表示分布的比较。结果表明，该方法从相同的隐藏状态学习到的表示效果优于其他方法。可视化结果进一步证明了该模型的良好表达能力。此外，我们还评估了所有单变量时间序列数据集:UCR数据。

对应的临界差值图如图5所示。BTSF的平均得分接近1.3，大大超过了其他方法