Learning Differential Operators for Interpretable Time Series Modeling（KDD2022）

从数据中建模序列模式是各种时间序列预测任务的核心。深度学习模型的表现已经大大优于许多传统模型，但这些黑箱模型在预测和决策方面普遍缺乏可解释性。为了用可理解的数学表达式揭示潜在趋势，科学家和经济学家倾向于使用偏微分方程(PDEs)来解释序列模式的高度非线性动态。然而，它通常需要领域专家知识和一系列简化的假设，并不总是实用的，并且会偏离不断变化的世界。是否有可能动态地从数据中学习微分关系来解释时间演化的动态?本文提出一种学习框架，可以从序列数据中自动获得可解释的PDE模型。特别地，该框架由可学习的差分块(𝑃-blocks)组成，该差分块在理论上被证明可以近似任何随时间演化的复杂连续函数。此外，为了捕获动态变化，该框架引入元学习控制器来动态优化混合偏微分方程模型的超参数。在金融、工程和健康数据的时间序列预测上的广泛实验表明，所提出模型可以提供有价值的可解释性，并取得与最先进模型相当的性能。从实证研究中发现，学习几个微分算子可以捕捉序列动力学的主要趋势，而不需要大量的计算复杂性。

背景：

神经ODE仍然是一个黑箱模型，很难满足现实世界对模型可解释性的强烈需求。在多元时间序列中，了解哪些变量在动态中起主导作用以及它们如何相互依赖仍然具有挑战性。

挑战

还有一些尚未解决的挑战需要解决。首先，我们如何以显式的形式表示微分方程，以及我们如何从数据中学习它们 。第二，许多未观察到的因素和不可预测的外部条件可以改变动态性。

方法：

本文用一个新的学习框架来解决这两个问题，该框架可以从多元时间序列数据中自动获得可解释的微分算子。首先，提出一种新的𝑃-block(多项式块)来捕获多元动态。它首先通过Conv层传递输入变量，然后通过元素乘积操作将输出导数融合到其他变量，以计算更高维的微分算子。通过这种方式，可以学习目标变量的多项式组合以及其他变量和时间的任何阶导数。从理论上证明了𝑃-block的学习可以逼近任意随时间演化的连续函数。其次，提出了一种混合偏微分方程模型，该模型包含多个偏微分方程，每个偏微分方程都在历史时间序列的不同时间跨度和采样率上进行训练。提出一种元学习控制器，根据当前序列模式对混合PDE模型的超参数进行优化。这将允许元控制器检测和反映时间序列中顺序动态的变化。 

METHODOLOGY