Anomaly Detection in Quasi-Periodic TimeSeries Based on Automatic Data Segmentation and Attentional

准周期时间序列在现实世界中广泛存在，探测准周期时间序列的异常具有重要意义。本文提出了一种自动QTS异常检测框架(AQADF)，该框架由基于两级聚类的QTS分割算法(TCQSA)和混合注意LSTM-CNN模型(HALCM)组成。TCQSA首先自动将QTS划分为准周期，然后利用HALCM将准周期划分为正常周期或异常周期。值得注意的是，TCQSA融合了层次聚类和k-means技术，具有很强的通用性和抗噪声性。HALCM将LSTM和CNN混合，同时提取QTS的整体变化趋势和局部特征，对其波动模式进行建模。此外，我们在LSTM中嵌入趋势注意门(TAG)，在CNN中嵌入特征注意机制(FAM)和位置注意机制(LAM)，根据它们的真实重要性对提取的变化趋势和局部特征进行微调，以更好地表达QTS的波动模式。在4个公共数据集上，HALCM超过了4个最先进的基线，获得了至少97.3%的准确率，TCQSA优于两种先进的QTS分割算法，可以应用于不同类型的QTS。此外，注意机制的有效性也得到了定量和定性的论证

背景：在QTS中，一些准周期可能会出现意想不到的波形变化，从而使它们与正常的准周期有很大的不同。现有的大多数QTS异常检测方法的核心思想是将QTS的异常检测转化为监督分类问题

挑战：

问题1。现有的基于聚类的QTS分区方法很难在相同的设置下自动有效地分割不同类型的QTS

 问题2。现有的准周期分类模型通常适用性较低或精度有限。从图1中可以看出，不同类型的QTSs波形往往存在较大差异，传统的基于特征工程的分类器很难同时利用完全相同的特征对其进行精确建模，适用性较低。

 METHODOLOGY

我们首先利用TCQSA将QTSs分解为一组准周期。然后，利用HALCM进一步将准期划分为正常期和异常期。首先给注意SB-LSTM输入一个准周期，提取其整体变化趋势。然后，将输出和原始准周期一起输入到注意TD-CNN中，进一步挖掘其局部特征。最后，AQADF利用两个全连接层(FCLs)和一个softmax函数得到最终的分类结果。

1） Two-Level Clustering-Based QTS Segmentation Algorithm (TCQSA)

我们提出的TCQSA将QTS的划分问题转化为QTS关键点的聚类问题 

1.1Extraction ofCandidate Points

因此，在本文中，我们利用广泛应用的数据压缩技术——Douglas-Peucker (DP)算法[28]，提取出关键点作为候选点。

1.2 Selection ofPeriodPoints

we propose a two-level clustering-based approach

第一级聚类采用分层聚类的方法，将候选点主要聚类到一组聚类中，不仅不需要进行任何手动设置，而且使TCQSA可以直接应用到不同类型的qts中，而不需要修改任何参数。此外，第二级聚类专门用于消除QTSs异常值形成的聚类，以使TCQSA具有抗噪声能力。

1.2.1Cluster the Candidate Points of QTS.

为了避免预先设置簇的数量，使TCQSA具有高度的通用性，我们利用Louvain算法[30]，[31]对候选点进行聚类。

The input of the Louvain algorithm is a weighted graph。To adapt to Louvain algorithm, the candidate points must first be converted into a weighted graph

1.3 Remove the clusters caused by outliers

具体来说，异常值引起的集群通常只有很少的顶点，因此在使用MOD和轮廓值[2]等常用指标进行评估时，它们更容易获得比普通集群更高的质量，这将导致次优甚至错误的周期点。为了解决这一问题，提出了第二级聚类来消除异常值引起的聚类 

1.4 Select the best period points.  

为了有效地评估集群的质量，我们设计了一个新的指标，称为集群平均模块化(AMC)。 

 1.5Segmentation ofQTS

给定一组周期点，有两种常用的策略将QTS分成准周期。第一种是为每个周期点截断一定长度固定的子序列作为一个准周期，其中周期点位于准周期的中心。第二种方法提取两个相邻周期点之间的子序列作为准周期。在本研究中，这两种方法都进行了尝试

2)Hybrid Attentional LSTM-CNN Model (HALCM) 

为了更准确地模拟准周期波动模式，从而获得更高的异常检测性能，我们设计了一种混合LSTM-CNN模型，同时利用QTS的整体变化趋势和局部特征。此外，我们设计了三种注意机制(TAG、FAM和LAM)，分别嵌入到LSTM和CNN中，对它们的输出进行微调，使HALCM产生的特征表示能够更好地代表QTS的波动模式。

2.1)HybridLSTM-CNN

我们提出了LSTM和CNN混合的HALCM，分别使用LSTM和CNN提取QTS的整体变化趋势和局部特征。The model mainly consists of a SBLSTM and a TD-CNN

SB-LSTM有三层，每层有两个方向相反的LSTM单元，以便同时捕捉QTS的正向和反向变化趋势。TD-CNN有两个CLs，一个是最大池层，一个是平均池层。CLs的目的是从输入中挖掘局部特征，而池化层的目的是降低特征映射的维数，从而使lecnn能够在不增大卷积核大小的情况下提取更高层次的特征。

2.2）AttentionalLSTM

一个准周期不同部分的变化趋势通常表现出不同的异常探测能力。通过在普通LSTM中嵌入一个新颖的TAG，提出了一种注意LSTM。TAG首先设计了一种统一的矢量格式，可以同时表示不同时间步的输入的相对位置和周围波形

2.3） AttentionalCNN

 EXPERIMENTAL EVALUATION

 

 

 其他部分略过..................

总结：论文的问题，在时间序列分割中很常见，在实验部分没有对照比较异常点出现后的回召率题，这在异常检测中是很重要的指标。其次，文中提出的模型在通用性不是很强，常规的时间序列通常周期性可能不是很明显，或者周期存在类相似。最后文中提出的分割算法，即为找关键点算法，基本上都是应用之前的分割算法，这方面的创新没有体现出来。

文中的创新点：1）文中提出的模型中增加了attention LSTM 和attention CNN机制。2）文中的写作方式值得学习下。主要在于讲述每次采用这个模型的原因。