GeoMAN: Multi-level Attention Networks for Geo-sensory Time Series Prediction

GeoMAN: Multi-level Attention Networks for Geo-sensory Time Series Prediction

大量的传感器被部署在不同的地理空间位置，以持续和协作地监测周围环境，如空气质量。这些传感器产生多个地理感知时间序列，其读数之间具有空间相关性。地感时间序列的预测具有重要的意义和挑战性，因为它受动态时空相关性和外部因素等复杂因素的影响。在本文中，我们通过使用多级注意力循环神经网络来预测未来几个小时内地球传感器的读数，该网络考虑了多个传感器读数、气象数据和空间数据。更具体地说，我们的模型包括两个主要部分:1)多层次的注意机制来模拟动态的时空依赖性。2)通用融合模块，融合来自不同领域的外部因素。在两种真实世界的数据集上的实验，即空气质量数据和水质量数据，表明我们的方法优于9种基线方法

背景：

一组传感器共同监测一个空间区域的环境，其读数之间的空间相关性。我们称这种传感器的读数为地球感应时间序列。此外，一个传感器在同时监测不同目标条件时，通常会产生多种地感时间序列。然而，地感时间序列的预测具有很大的挑战性，受以下两个复杂因素的影响:

1) Dynamic spatio-temporal correlations

1.1复杂的inter-sensor相关性。图1(c)显示了不同传感器时间序列之间的空间相关性是高度动态的，随时间变化。此外，地感时间序列随位置非线性变化。

1.2动态intra-sensor相关性。首先，地感时间序列通常遵循周期性模式(如图1(c)中的S1)，该模式随着时间和地理位置的变化而变化[Zhang等人，2017]。其次，传感器的读数有时会发生巨大的波动，并突然发生变化，迅速降低其之前值的影响。因此，如何选择相关的前期时间间隔进行预测仍然是一个挑战

2) External factors.

传感器的读数也会受到周围环境的影响，如气象(如强风)，一天的时间(如高峰时间)和土地使用。

方案：我们提出了一个多级注意网络(GeoMAN)来预测未来几个小时内地球传感器的读数

1.1）Multi-level attention mechanism。具体而言，在第一级，我们提出了一种新的注意机制，包括局部空间注意和全局空间注意，以捕获不同传感器时间序列之间的复杂空间相关性(即传感器间相关性)。在第二个层次中，时间注意被应用于一个时间序列中不同时间间隔之间的动态时间相关性(即传感器内相关性)建模

1.2)External factor fusion module 我们设计了一个通用的融合模块来融合来自不同领域的外部因素。习得的潜在表征被输入到多层次注意网络中，以增强这些外部因素的重要性。

目标：

假设有Ng个传感器，每个传感器产生Nl种时间序列。其中，我们指定一个时间序列作为预测的目标序列，而使用其他类型的序列作为特征

Multi-level Attention Networks

我们采用两个独立的lstm ，一个用于编码输入序列，即历史地感时间序列，另一个用于预测输出序列ˆyi。我们的模型GeoMAN由以下两个主要部分组成:1)多层次注意机制。它由具有两种空间注意机制的编码器和具有时间注意机制的解码器组成。在编码器中，我们发展了两种不同的注意机制，即局部空间注意和全局空间注意，它可以通过编码器之前的隐藏状态、传感器之前的值以及空间信息(即传感器网络)来捕捉每个时隙复杂的传感器之间的相关性。在解码器中，我们使用时间注意自适应选择相关的前一时间间隔进行预测。2)外部因素融合。该模块用于处理外部因素的影响，其输出作为其输入的一部分提供给解码器。

Spatial Attention

我们首先介绍局部空间注意机制。对于某一传感器，其局部时间序列之间存在复杂的相关性。例如，一个空气质量监测站报告不同的时间序列，如PM2.5(特殊物质)，NO和SO2。实际上，PM2.5的浓度通常受到其他时间序列的影响，包括其他空气污染物和当地的天气条件[Wang et al.， 2005]。为了解决这个问题，给定第i个传感器的第k个局部特征向量。我们采用一种注意机制，自适应捕捉目标序列和每个局部特征之间的动态相关性

这个分数在语义上代表了每个局部贡献特征的重要性。一旦得到注意权值，计算时间步长t时局部空间注意的输出向量

Global Spatial Attention

对于一个传感器所报告的目标序列，其他传感器的目标序列会对其产生直接影响。然而，影响度是高度动态的，随着时间的推移而变化。由于可能存在许多不相关的序列，直接使用各种时间序列作为编码器输入来捕捉不同传感器之间的相关性，会导致很高的计算成本，降低性能。注意，这种影响权重受其他传感器的局部条件影响。例如，当风从遥远的地方吹来时，某个地区的空气质量受到这些地方的影响比过去更大。受此启发，我们开发了一种新的注意力机制来捕捉不同传感器之间的动态关联，我们计算它们之间的注意权重(即影响权重)如下

请注意，空间因素也有助于不同传感器之间的相关性

Temporal Attention

由于编码器-解码器架构的性能会随着编码器长度的增加而迅速下降[Cho等人，2014a]，一个重要的扩展是通过添加一个时间注意机制，它可以自适应选择编码器的相关隐藏状态来产生输出序列，即建立目标序列中不同时间间隔之间的动态时间相关性模型。具体来说，计算每个输出时间t对编码器每个隐藏状态的注意向量

External Factor Fusion

地感时间序列与poi、传感器网络等空间因子具有较强的相关性。在形式上，这些因素共同构成了一个区域的功能。此外，影响传感器读数的时间因素很多，如气象、时间等。着眼于外部因素在时空应用中的影响，我们设计了一个简单而有效的组件来处理这些因素。

我们首先纳入时间因素，包括时间特征、气象特征和指定目标传感器的SensorID。由于未来时段的天气情况是未知的，我们使用天气预报来提高我们的表现。注意，这些因素大多是分类的，不能直接输入到神经网络中，我们将每个分类属性转换为一个低维向量，分别输入到不同的嵌入层中。在空间因素方面，我们采用不同类别的POIs密度作为POIs特征。由于传感器网络的性质取决于具体的情况，我们只使用网络的结构特征，如邻居数量和交叉口的数量。最后，我们将得到的嵌入向量与空间特征连接起来作为该模块的输出

Encoder-decoder & Model Training

在编码器中，我们将局部空间注意和全局空间注意的输出简单地聚合在一起

实验：

Variant Comparison