filling the g ap s: multivariate time series imputation by graph neural networks

filling the g ap s: multivariate time series imputation by graph neural networks

在处理来自真实应用程序的数据时，处理缺失的值和不完整的时间序列是一项劳动密集型、乏味且不可避免的任务。有效的时空表征将允许imputation方法通过利用来自不同位置传感器的信息来重建缺失的时间数据。然而，标准方法在捕捉相互连接的传感器网络中存在的非线性时间和空间依赖性方面存在不足，而且不能充分利用可用的和通常很强的关系信息。值得注意的是，大多数基于深度学习的最先进的imputation方法都没有显式地建模关系方面，而且在任何情况下都没有利用能够充分表示结构化时空数据的处理框架。相反，图神经网络作为一种具有表达性和可扩展性的工具，最近在处理具有关系归纳偏见的顺序数据方面变得越来越流行。在这项工作中，我们提出了第一个评估图神经网络在多元时间序列归算的背景下。特别地，我们介绍了一种新的图神经网络结构，名为GRIN，旨在通过信息传递学习时空表征，重建多元时间序列不同通道的缺失数据。实证结果表明，我们的模型在相关的真实世界基准上的imputation任务优于最先进的方法，平均绝对误差改进通常高于20%。 

背景问题：完全忽略可用的关系信息，或者依赖于标准神经结构的简化修改（已有方法存在对不相关位置关系的忽视）

方案：

在这项工作中，我们将输入的多元时间序列建模为图形序列，其中边表示不同通道之间的关系。我们提出了图神经网络(GNNs) 作为一种用于多元时间序列imputation (MTSI)的新型双向递归神经网络的构建模块。我们的方法名为图递归Imputation Network (GRIN)，其核心是一个递归神经网络cell，其中门由消息传递神经网络(mpnn;Gilmer et al.， 2017)。其中两个网络在每个节点上处理输入的多元时间序列在时间方向上的前向和后向，而隐藏状态由一个消息传递的imputation层处理，该层被限制在通过观察相邻节点来学习如何执行imputation。事实上，通过将每条边视为一个软函数依赖，约束了相应节点上观察到的值，我们认为，在图的环境中操作会引入对MTSI的正向归纳偏见。

这篇论文的创新点在于：1）利用GNN实现缺失值填补，但是文中没有详细描述出这个图的构造过程2）文中考虑了时间和空间上的相关性，实现时空信息结合过程（这里的空间指在图中不同节点之间的相互关系），该过程中使用了双向的图卷积，但是为什么使用这种双向图卷积的好处，已经在归咎上贡献程度，在实验部分没有详细的说明。

框架：

1)实现目标：给定一个多元时间序列X[t,t+ t]和掩模M[t,t+ t]，我们的目标是通过结合来自时间和空间维度的信息来重建输入序列中的缺失值

2)我们提出了我们的方法，图递归Imputation网络(GRIN)，一个基于图的，用于MTSI的递归神经结构。模型的主要结构是设计了一种新的双向图递归神经网络，它通过对每个方向进行两个阶段的归算，在时间上逐步地向前和向后处理输入序列。前馈网络将前向模型和后向模型学习到的表示作为输入，并对图的每个节点和序列的每个步骤进行最终的精化估算。更准确地说，最终的imputation取决于两个GRIN模块的输出，它们的学习表征最终由最后解码的多层感知器(MLP)处理(空间和时间方面)。

Unidirectional model

每个GRIN模块由时空编码器和空间解码器两个模块组成，分两个阶段对输入的图形序列进行处理。

1）时空编码器

其实是将图的序列过程转化成embedding

2）空间解码器

空间解码器利用学习到的表示来执行连续两轮的imputation。A first-stage imputation 是由线性读出的表示法得到的 。the second one在时间步t利用可用的关系、空间和信息

Spatio-temporal Encoder

1）we consider the general class of MPNNs

2）我们使用mpnn作为我们的时空特征提取器的构建模块。我们通过依赖上面定义的消息传递层来实现GRU门。在节点级别，消息传递GRU (MPGRU)的元素可以描述为

Spatial Decoder

1）作为第一个解码步骤，我们通过线性读出的方式，从MPGRU的隐藏表示生成提前一步的预测

2）然后定义填充操作符

3）对需要归咎的节点学习表征

the imputation representations仅依赖于从相邻节点接收到的消息和上一步的表示，Afterward，我们将赋值表示法St与隐式表示法Ht−1连接起来，并通过使用第二个线性读出和应用填充算子生成第二阶段的赋值

Bidirectional Model

第一个模块将以正向的方式处理序列(从序列的开始到结束)，而第二个模块则以相反的方式处理序列。然后利用两个模块提取的MLP聚合表示获得最终的imputation

where fwd and bwd denote the forward and backward modules。The final output can

5 EMPIRICAL EVALUATION

我们通过考虑两种不同的设置来模拟缺失数据的存在:1)块缺失；2)点失踪

结论

我们提出了一种利用现代图神经网络实现MTSI的新方法——GRIN。我们的方法通过利用关系信息来描述传感器的底层网络和它们之间的功能依赖关系来估算缺失的数据。与最先进的基线相比，我们的框架提供了更高的灵活性，并在所有考虑的场景中实现了更好的重建精度。未来的工作有几个可能的方向。从理论的角度来看，研究能够保证精确重建的属性是很有趣的。此外，未来的工作应该研究能够处理非平稳环境的扩展，并进一步评估GRIN在虚拟和主动传感中的应用。