(3) 理解ConvLSTM

Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting：从短时降水量预测中学习ConvLSTM

1、文章信息

《Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting》。

这篇文章是香港科技大学计算机学院施行健博四的时候（2015年）发表在计算机领域的一篇会议论文（ 会议名称：Advances in Neural Information Processing Systems 28 (NIPS 2015），至今被引800多次，这篇文章也是在国际上首次提出了卷积神经网络CNN和循环神经网络LSTM的结合体-ConvLSTM。经人肉该作者，其目前在美国亚马逊工作。

2、摘要

短时降水预报的目的是在较短的时间内预测局部地区未来的降水强度。以前很少有研究从机器学习的角度来研究这个至关重要且具有挑战性的天气预报问题。本文将降水临近预报问题描述为一个时空序列预测问题，其中输入和预测目标都是时空序列。通过对全连接LSTM（fully connected LSTM, FC-LSTM）进行扩展，使其在输入到状态和状态到状态转换中都具有卷积结构，我们提出了卷积LSTM (ConvLSTM)，并利用它建立了短时降水预报模型。实验表明， ConvLSTM网络能够更好地捕捉时空相关性，并始终优于FC-LSTM。

3、简介和文献综述

文章主要目标是在相对较短的时间(例如，0-6小时)内准确和及时地预测局部地区的降雨强度，即利用以前观测到的雷达回波序列预测局部区域未来固定长度的雷达图。

短时降水预报实质上是一个以过去雷达图序列为输入，以未来雷达图的一个固定数字序列(通常大于1)为输出的时空序列预报问题。然而，由于时空序列的高维性，特别是当需要进行多步预测时，这种学习问题注定很复杂，除非数据的时空结构被预测模型很好地捕获。此外，由于大气的混沌特性，建立有效的雷达回波数据预测模型更具挑战性。

本文提出了一种用于降水临近预报的卷积LSTM (ConvLSTM)网络。我们将降水临近预报问题定义为一个时空序列预测问题，为了更好地模拟时空关系，我们将FC-LSTM的思想推广到卷积结构的ConvLSTM，它在输入到状态和状态到状态的转换中都具有卷积结构。通过叠加多个ConvLSTM层，形成一个编码预测结构，建立短时降水预报模型。为了进行评估，我们创建了一个新的现实生活中的雷达回波数据集。

1. 创新点

（1）首次提出ConvLSTM，能捕捉时空特征而非单纯时序特征。

1. 1. 预测的是多步时空预测而非单步时空预测。

5、主体内容

在实际应用中，雷达图通常每6-10分钟从天气雷达上获取一次，在接下来的1-6小时内进行短时预报，即，预测接下来的6-60帧。从机器学习的角度来看，这个问题可以看作是一个时空序列预测问题。

假设我们在一个由M行N列组成的M×N网格表示的空间区域上观察一个动力系统。在网格中的每个单元格中，有P个测量值随时间而变化。因此，任何时刻的观测都可以用张量X∈RP×M×N表示，其中R表示观测特征的域。时空序列预测问题是预测未来k个序列，该序列由之前的J次观测(包括当前的J次观测)得到:

对于短时降水预报，每个timesteps观测到的是二维2D雷达回波图。如果我们将地图分割成平铺的不重叠的patch，并将patch内的像素作为其测量值(如图所示)，那么短时预测问题自然就变成了一个时空序列预测问题。我们的时空序列预测问题不同于单步时间序列预测问题，因为我们的预测目标是一个同时包含时空结构的序列。虽然预测长度为K个序列中的自由变量数可以达到O(M KN KP K)，但在实践中，我们可以利用可能预测空间的结构来降低维数，从而使问题易于处理。

 

LSTM公式                                                       ConvLSTM公式

两者的不同点是传统LSTM是1D张量，ConvLSTM的输入是3D张量。实际上，传统FC-LSTM的输入、输出和隐藏状态也可以看作是后二维为1的三维张量。从这个意义上说，FC-LSTM实际上是ConvLSTM的一个特例，它的所有特性都位于一个单元上。

我们使用下图所示的结构，它由两个网络组成，一个编码网络和一个预测网络。预测网络的初始状态和输出是从编码网络的最后状态复制而来的。这两种网络都是通过叠加几个ConvLSTM层而形成的。由于我们的预测目标具有与输入相同的维数，我们将预测网络中的所有状态连接起来，并将它们输入到一个1×1卷积层中生成最终的预测。

这种结构也类似于LSTM预测模型，只是我们的输入和输出都是保存所有空间信息的三维张量。由于该网络具有多层叠加的ConvLSTM层，因此具有较强的表示能力，适用于短时降水预报等复杂动力系统的预报。

Experiment：

本文使用的雷达回波数据集是2011年至2013年在香港收集的三年天气雷达强度的子集。因为不是每天都下雨，我们的短时预报目标是降水，所以选择前97个雨天来形成数据集。天气雷达数据每6分钟记录一次，每天有240帧。为了得到用于训练、测试和验证的不相交子集，我们将每天的序列划分为40个不重叠的帧块，并随机分配4个训练块、1个测试块和1个验证块。数据实例使用一个20帧宽的滑动窗口从这些块中分割出来。因此，我们的雷达回波数据集包含8148个训练序列，测试序列为2037，验证序列为2037，序列长度均为20帧(输入5帧，预测15帧)。（所以每个训练块可以得到21个训练窗口，一天有4个训练块，97天，共8148个训练窗口，即8148个sequence）训练时的误差函数为15个预测的交叉熵误差。预测评价标准之一为rainfall mean squared error (Rainfall-MSE)。

FC-LSTM网络的性能不太好，这主要是由于雷达图具有很强的空间相关性，即，在局部地区，云的运动是高度一致的。全连接结构有太多冗余连接，使得优化不太可能捕捉到这些局部一致性。结果与FC-LSTM进行对比，结果毫无疑问ConvLSTM预测效果更好。

6、结论和展望

在本文中，我们成功地将机器学习方法，尤其是深度学习方法，应用到具有挑战性的短时降水预报问题中。将降水临近预报问题定义为一个时空序列预报问题，提出了一种新的LSTM扩展方法ConvLSTM。ConvLSTM层不仅保留了FC-LSTM的优点，而且由于其固有的卷积结构，也适用于时空数据。将ConvLSTM模型引入编码预测结构，建立了短时降水预报模型。

在未来的工作中，我们将研究如何将ConvLSTM应用到基于视频的动作识别中。其中一个想法是在卷积神经网络生成的空间特征图上添加ConvLSTM，利用ConvLSTM的隐藏状态进行最终分类。

 

关注微信公众号《当交通遇上机器学习》，后台回复“数据”即可获取高达175G的四个月的滴滴GPS数据和滴滴订单数据的获取方式。

公众号以交通大数据为主线，专注于人工智能、机器学习、深度学习在道路交通和轨道交通领域内的科研前沿与应用，在交通大数据与机器学习的道路上越走越远！

​