Pre-training Context and Time Aware Location Embeddings from Spatial-Temporal Trajectories for User

从时空轨迹中预训练位置嵌入是一个基本过程，对用户下一个位置预测非常有益。在现实世界中，一个位置在不同的环境下通常具有不同的功能。如果轨迹中某个位置的精确功能能够体现在其嵌入中，则需要提高用户下一个位置预测的准确性。然而，现有的基于轨迹预训练的位置嵌入大多基于分布式词表示，将位置的各种功能混合到一个潜在的表示向量中。为了解决这个问题，本文提出了一种上下文和时间感知的位置嵌入(Context and Time aware Location Embedding, CTLE)模型，通过考虑轨迹中特定的上下文邻居来计算位置的表示向量。通过这种方式，可以适当地处理位置的多功能属性。为了将轨迹中的时间信息纳入位置嵌入，提出了一个细微的时间编码模块和一个新的预训练目标，进一步提高了位置嵌入的质量。在两个真实的移动用户轨迹数据集上评估了所提出的模型。实验结果表明，与现有的位置嵌入方法相比，CTLE模型可以预训练出更高质量的位置嵌入，并显著提升下游用户位置预测模型的性能。

阅读者总结：文中将位置嵌入和时间嵌入结合在一起，实现对下个位置的预测。这里考虑了位置的上下文信息，这个位置具有对功能属性，即在不同的时刻参观相同的位置，具有不同的功能。本文中的新颖点在于问题本身

 

 

 

 图3说明了我们的CTLE模型的架构。该算法主要由3部分组成:1)编码层，融合时间编码向量和位置编码向量，提取相对访问时间差信息;2)双向Transformer编码器，作为计算目标位置嵌入的映射函数，给定其特定的上下文邻居;3)预训练目标，通过建模目标位置与上下文之间的共现概率以及对目标的绝对访问时间，将位置特征信息融入到它们的嵌入中。

Pre-training Bidirectional Transformer for Context-aware Location Embedding 

 

 

 

 Incorporating Temporal Information

In order to explicitly model the relative visited time differences between locations in trajectories, we propose the temporal encoding module.