Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency

Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency

由于预训练和目标域之间的潜在不匹配，在时间序列上进行预训练提出了独特的挑战，例如时间动态的变化、快速演变的趋势以及长程和短周期的影响，这可能会导致下游性能较差。虽然域适应方法可以减轻这些变化，但大多数方法需要直接来自目标域的示例，这使得它们在预训练中不是最优的。为了应对这一挑战，方法需要适应具有不同时间动态的目标域，并且能够在预训练期间不看到任何目标样本的情况下这样做。相对于其他模态，在时间序列中，我们期望同一示例的基于时间和基于频率的表示在时频空间中位于接近的位置。本文假设时频一致性(TF-C)——将示例的基于时间的邻域嵌入到其基于频率的邻域附近——是预训练所需的。受TF-C启发，定义了一个可分解的预训练模型，其中自监督信号由时间和频率分量之间的距离提供，每个分量都由对比估计单独训练。在8个数据集上评估了新方法，包括电诊断测试、人体活动识别、机械故障检测和物理状态监测。与八种最先进的方法进行的实验表明，TF-C在一对一设置中平均比基线高出15.4% (F1分数)(例如，在肌电信号数据上微调脑电图预训练模型)，在具有挑战性的一对多设置中高出8.4%(精度)(例如，微调手势识别或机械故障预测的脑电图预训练模型)，反映了现实世界应用中出现的场景的广度。 

 其核心思想是识别跨时间序列数据集保留的一般属性，并使用它来诱导迁移学习以进行有效的预训练。时域显示传感器读数如何随时间变化，而频域显示有多少信号位于整个频谱[51]的每个频率分量内。明确地考虑频域可以提供对时间序列行为的理解，而仅在时域中无法直接捕获这些行为