LightTS: Lightweight Time Series Classification with Adaptive Ensemble Distillation

LightTS: Lightweight Time Series Classification with Adaptive Ensemble Distillation

由于流程的全面数字化，时间序列数据的量越来越大。对此类时间序列的准确分类有助于在多个领域进行决策。最先进的分类精度通常是通过集成学习来实现的，集成学习的结果是由多个基本模型合成的。这一特性意味着集成学习需要大量的计算资源，阻碍了它们在资源有限的环境中使用，例如在边缘设备中。为扩展集成学习的适用性，本文提出LightTS框架，将大型集成压缩为轻量级模型，同时确保具有竞争力的精度。提出自适应集成蒸馏，为不同的基模型分配自适应权重，使其不同的分类能力有目的地有助于轻量级模型的训练。提出了根据模型精度和模型大小确定帕累托最优设置的方法，使具有空间预算的用户能够选择最准确的轻量级模型。本文报告了用128个真实世界的时间序列集和不同类型的基础模型进行的实验，这些模型证明了LightTS设计中的关键决策是正确的，并提供了证据表明LightTS能够胜过竞争对手 

1. 问题

Lack of Distillation Flexibility  现有的知识蒸馏采用单一的蒸馏步骤，该步骤利用集成的组合输出来教轻量级模型，使每个基本模型的贡献被固定。当集成使用相等的权重来组合其基础模型的结果时，所有基础模型对轻量级模型的贡献相等。这大大降低了蒸馏的灵活性。

Lack of Support for Pareto Optimal Settings 在实际设置中，我们往往不知道如何为不同的设备配置这种特定的设置。相反，只有存储约束是已知的 。因此，考虑到精度与模型大小，获得帕累托最优设置是有益的

2. LightTS