Explainable Online Deep Neural Network Selection Using Adaptive Saliency Maps for Time Series Foreca

卷积神经网络(cnn)等深度神经网络已经成功应用于各种任务，包括时间序列预测。本文提出一种在时间序列预测任务中利用显著图进行在线深度CNN选择的新方法。我们从任意一组具有不同架构的CNN预测器开始。概述了一种基于梯度的技术，用于生成具有一致性设计的显著性图，使其能够使用基于性能的排名对输入时间序列中不同区域的CNN预测器进行专业化。该框架在线选择合适的模型，并在时间序列上进行漂移检测后自适应地实现负责模型选择的显著图计算。此外，显著图可以为在特定时间间隔或瞬间选择特定模型的原因提供适当的解释。在各种真实数据集上的广泛实证研究表明，与最先进的方法以及几个基线相比，所提出方法取得了优秀或相当的结果。

方法：

在模型选择中，候选模型可以是考虑同一模型的不同参数设置，也可以是训练属于不同模型族的不同模型。在前一种情况下，第一族模型选择方法被广泛使用[2,6]，而在后者中，已经提出了各种各样的选择方法[8,23,26]。然而，为特定应用寻找最优的网络体系结构仍然是一个开放的研究问题。在预测的情况下，这更具挑战性，因为必须实时做出适当的架构的决策。由于其高训练运行时间和一般的资源消耗，在每个时间点甚至以周期性的方式在测试时搜索适当的体系结构通常是不切实际的。本文专注于通过考虑来自不同架构(即基于cnn与其他神经网络模型相结合)的不同候选模型来解决这个问题，并使用时间序列中的概念漂移检测，以自适应的方式实时地执行适当架构的选择。 

我们首先使用显著图计算候选cnn的RoCs。

显著图saliency maps通常用于在给定固定权重的情况下建立神经网络的输出和输入之间的关系。它们被广泛应用于计算机视觉的背景下，利用cnn根据特定的输入图像和选定的感兴趣类[32]创建特定类的热图。这些映射用于可视化对模型预测和理解模型预测[27]“重要”的输入区域。本文建议不仅要将类激活图从分类的上下文迁移到预测，还要建立输入时间序列和性能之间的映射，以便为每个CNN计算动态RoCs。与上述方法相反，RoCs被认为是动态的，因为它们的大小是由显著图根据输入的时间序列序列和CNN的性能自动确定的，并随着时间的推移而改变。RoCs是在验证集上使用时间滑动窗口计算的。在测试时，我们逐步产生预测。在每个时间步长，确定时间序列观测值的最近观测窗口(即用于计算预测的滞后值)与预计计算的RoCs之间的距离。选择与最小距离的RoC曲线相对应的模型进行预测。此外，当时间序列中出现概念漂移时，通过滑动验证集自适应地更新预计算的RoCs，以在计算RoCs时考虑数据中可能出现新概念的情况。显著图还可以用来解释为给定的输入数据序列选择特定模型的原因。

阅读者总结：文中采用的是saliency maps 实现CNN 的可解释性   这种方法值得借鉴