KA2M2：用于多模式需求预测的知识适应模型

1.文章信息

文章题为《A multi-task memory network with knowledge adaptation for multimodal demand forecasting》，该文章发表于Transportation Research Part C期刊，文章围绕多模交通需求预测展开，重点关注利用站点密集的交通模式的信息辅助预测站点稀疏的交通模式的未来需求。

2.摘要

旅游需求预测对旅游和服务规划都很有用，因此非常重要。现有的研究大多集中于单一模式的需求预测，而对多模式需求预测的关注较少。文章提出了一种用于多模式交通需求预测的模型，该模型可以学习和利用不同公共交通模式的信息/知识，从而提升对于站点稀疏类型的交通模式的需求预测准确度。文章重点在于借助站点密集的交通模式的信息，从而提高站点稀疏的交通模式的需求预测精度。文章提出了一种新的知识适应与注意多任务记忆网络(KA2M2)，以利用车站密集模式中密切相关的需求模式来预测车站稀疏模式的需求。具体而言，文章首先设计了一个记忆增强的循环网络，以增强获取长期和短期需求信息的能力，并存储提取的每种运输方式的时间知识。然后，文章开发并集成了一个基于注意的知识适应模块，使相关信息从站点密集的交通模式转移到站点稀疏的交通模式。文章在悉尼地区收集的涵盖四种公共交通模式(公共汽车、火车、轻轨和渡轮)的真实数据集（如下图所示），实验结果表明，所提出的方法始终优于许多基线方法和最先进的模型。文章的研究结果还表明，整合来自多模式出行记录的信息/知识可以提高站点稀疏模式的需求预测精度。

文章的主要贡献归纳如下：

1、该文章首次利用车站密集公共交通模式的需求相关特征来提高目标区域车站稀疏模式的需求预测精度。提出的模型(即KA2M2)有助于解决车站稀疏模式下低分辨率观测在空间维度上的特征捕获问题，为提高车站稀疏模式的需求预测精度指明了新的方向。

2、文章在多任务预测框架内，提出的增强记忆模块能够比传统的循环神经网络学习更广泛的历史交通数据的时间相关性。基于注意的知识适应模块能够区分从站点密集模式中提取的有用和有效的知识，用于站点稀疏模式的需求预测，从而减少噪声或不相关信息对进一步需求预测的负面影响。本研究举例说明了如何利用知识适应来加强多式联运出行需求预测，特别是车站稀疏模式，其中也可能包括私家车和其他模式，需求不一定是基于车站的(例如，可以是基于区域的)。

3、文章在大型都市圈收集的大规模真实公共交通数据集上进行了综合实验。结果表明，该模型的性能明显优于现有方法。本研究展示了利用从车站密集运输模式中提取的信息来增强车站稀疏运输模式需求预测的潜力。

3.问题定义

需求序列：对于具有个站点的交通模式D而言，其第i个站点在第t个时间步的需求定义为，因此，对于所有站点在时间t的需求可以表示为一个序列。文章记为交通模式D的需求序列。

站点级需求预测：假定表示站点密集型的交通模式R，表示站点稀疏型的交通模式P，给定两种交通模式的需求序列，文章旨在预测、对应所有站点的下一个时刻的需求值，公式化表达如下：

4.模型

模型整体框架如下图所示。模型主要包括记忆增强循环网络（MARN）以及基于注意力机制的知识适应模块（AKAM）。

多任务需求预测框架：

文章首先将站密集模式和站稀疏模式的需求数据分别送入LSTM，分析各自的时间相关性。具体而言，LSTM包含输入门，遗忘门，输出门，内部记忆单元，以及一个隐藏状态，如下式所示。

其中表示第t个时间步的输入，为Sigmoid函数。在提取每种交通模式的时空特征后，文章将提取出的特征进行串联，然后应用到输出模块(如两个完全连接层)中，从而找出站点密集型交通模式和站点稀疏型交通模式之间的关系，以便进一步进行需求预测。在提出的多任务框架的基础上，文章进一步提出了一个记忆增强循环网络（MARN），以增强时间信息的提取和长期和短期信息的存储。此外，由于提取的特征的纯拼接可能包含噪声或不必要的知识，文章提出了一个基于注意的知识适应模块（AKAM）来解决这一问题。

记忆增强循环神经网络（MARN）：

该模块主体框架与LSTM相似，文章利用外部存储器方法对多模态需求进行预测，外部存储器从需求数据中提取有用的时间信息。此外，文章提取的信息存储在增强存储器模块中，并通过知识适应模块与其他交通模式(特别是数据稀疏模式)共享，用于进一步的需求预测。整体框架如下图所示。

定义在是时间步t的额外信息模块为，其中K代表信息段的数量，S代表每个段的大小。Mt的推导过程如下。为了从记忆模块中读取有用的信息，文章首先引入LSTM在每个时间步t处输出的向量，定义如下：

进一步，文章利用两个系数对t-1时刻的额外信息模块进行操作：决定需要从t-1时刻的额外信息模块中读取那些信息，并在t时刻写入Mt中；用于描述从t-1时刻的额外信息模块中读取有效信息的操作。具体定义如下：

其中f（x，y）=cosine（x，y）用于比较x与y的余弦相似性（cosine similarity），表示转置。进一步，基于t-1时刻的额外信息模块对对Mt进行更新，引入去除向量以及增加向量，更新过程表示如下：

为了上式计算的外部增强记忆模块Mt与内部记忆单元ct结合起来，文章引入了融合策略，以避免内部存储器和外部存储器之间的冲突。隐藏层状态通过下式计算:

综上，记忆增强循环网络有助于模型更好地处理长期和短期信息，提高不同模式下进一步的需求预测精度。外部存储模块还具有存储有用知识的能力，这些知识可以被其他传输模式有效地共享。

基于注意力的知识共享模块（AKAM）：

AKAM用于将站点密集型交通模式中的有用星系适应到站点稀疏型的交通模式中。由于增强的额外记忆模块Mt易于共享，因此文章在时间步t下分别计算站点密集型交通模式和站点稀疏型交通模式的额外记忆模块和。此外，若通过拼接将调整为可能存在特征冗余的问题，因此，文章提出了一种基于注意的知识适应机制，将来自不同来源的外部记忆整合在一起，以减少噪声和不必要的任务特定特征。

基于注意力机制，文章定义第t个时间步的相关性分数，计算方法如下：

进一步，基于相关性分数将站点密集型的额外记忆模块进行变换：

最终，对t时刻站点稀疏型交通模式的额外记忆模块进行更新：

其中是超参，决定不同记忆模块的比例。

5.实验

数据集描述：文章选取悉尼的地铁、火车、轻轨以及轮渡四种交通模式进行协同预测。文章选取了2017年4月1日-2017年6月30日的所有数据，部分数据可视化如下。

下图展示了每种交通数据需求的空间分布。颜色表示需求水平，其中大约黄色→蓝色→红色表示乘客水平的增长。显然，公交的需求大于其他三种模式。同时，公交站点覆盖的区域也比其他模式更广(这也意味着，公交车模式是帮助预测其他模式需求的最理想的候选模式)。

网络结构分析：为了验证MARN和AKAM的有效性，文章总结了不同建模组件的各种组合的预测性能。结果如下表所示。其中，LSTM代表原始的LSTM模型；C-LSTM表示两种不同类型的交通模式的连接被发送到LSTM层。然后，利用两个完全连通层对得到的矩阵进行分析，进行需求预测；MT-LSTM表示基于多任务学习的基础LSTM模型；MARN-S体系结构首先采用MARN方法提取每个源的时间相关性。然后，将隐藏状态串联起来，再进行全连通层的接续，进一步进行需求预测；MARN-C该体系结构还采用了MARN来独立提取每种交通模式的知识。站点稀疏交通模式的知识自适应过程是将两个额外记忆模块拼接（concatenate）起来，然后将存储的连接矩阵发送到全连接层，构建一个新的存储模块用于站点稀疏的交通模式。

与基准模型的比对：下表展示了文章所提出模型与基准模型的比对结果。可以看到所提出模型无论在那种交通方式或是全部交通方式的预测中都取得了较好的结果。

此外文章还对模型的计算效率进行比对，如下表所示。

针对不同需求水平和站位的预测精度：为了说明所提出的模型可以对不同需求水平下的四种模式产生实际有用的预测，文章利用MAE对小时平均真实需求低于60的模式评估，利用MAPE对小时平均真实需求高于240的模式评估了。结果汇总如下表所示。可以看出，文章提出的方法能够在低需求情况下产生小的MAE，在高需求情况下产生小的MAPE。

协同预测多模式需求：为了同时预测多个站点稀疏交通模式和一个站点密集交通模式的需求，文章进一步研究了所提出的模型。具体而言，文章研究了每种模式的额外增强记忆模块，并将从站密集模式(即公交)中提取的时间信息适应其他站稀疏模式。在训练过程中，目标是使所有站稀疏模式的真实需求与预测值之间的误差最小，如下所示。

预测结果如下表所示，分别包括两站稀疏模式和三站稀疏模式下的实验。结果表明，该方法可以同时处理多模式的需求预测，且该方法对参与多模式需求共预测的模式数量具有鲁棒性。

6 总结

本文提出了知识适应与注意型多任务记忆网络(KA2M2)，证明了知识/信息适应与共享能够改善多式联运系统的需求预测。该方法基于递归神经网络对多式联运需求数据进行外部记忆学习。记忆增强循环网络(MARN)增强了对时间信息的捕获能力，有效地存储了其他模式共享的有用知识。由于从站点密集型的交通模式中提取的信息往往能很好地捕捉目标区域的需求模式/特征，因此设计了基于注意的知识适应模块(AKAM)，将站点密集型交通模式的知识适应于站点稀疏型的交通模式，从而提高车站稀疏公共交通模式的预测性能。文章基于悉尼收集的真实数据集进行实验，结果表明所提出的方法能够提高车站稀疏源的预测性能，并获得比基线和列出的最新策略更准确的结果。

虽然所提出的方法已被测试并用于多种公共交通模式的需求预测，但它可以适用于更一般的多式联运系统，包括私家车、拼车等其他模式，以及基于区域而非基于站点的需求。总之，该文章为如何在多式联运需求预测中运用知识自适应提供了启示。验证了从各种共享模式中提取的知识/特征有助于提高需求预测性能。在今后的研究中，可能会研究若干条多式联运需求/交通预测研究路线。首先，对该方法的进一步改进和扩展，可以采用基于CNN/ gcn的方法，重点关注各站点/区域之间的空间相关性和时空关系。例如，可以用图卷积循环网络(GCRN)取代LSTM。此外，在GCRN中引入外部增强存储模块，以增强对各种交通方式的时空相关性的探索和存储能力。其次，通过适当的修改，所提出的模型可以扩展到纳入其他类型的地理属性(例如，兴趣点)，以表征多个站点/区域之间的关系，用于需求预测。此外，在多模式需求预测研究中，除了研究的四种公共交通模式外，还可以考虑不同的出行模式，这取决于进一步的数据可用性。

Attention

欢迎关注微信公众号《当交通遇上机器学习》！如果你和我一样是轨道交通、道路交通、城市规划相关领域的，也可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！