TGL: A General Framework for Temporal GNN Training on Billion-Scale Graphs

TGL: A General Framework for Temporal GNN Training on Billion-Scale Graphs

许多现实世界的图包含时域信息。时序图神经网络在生成的动态节点嵌入中捕获时序信息以及结构和上下文信息。研究人员已经表明，这些嵌入在许多不同的任务中实现了最先进的性能。本文提出TGL，一种用于大规模离线时序图神经网络训练的统一框架，用户可以用简单的配置文件组成各种时序图神经网络。TGL由5个主要组件组成:一个临时采样器、一个邮箱、一个节点内存模块、一个内存更新器和一个消息传递引擎。设计了一个temporal - csr数据结构和一个并行采样器，以有效采样时序近邻以形成训练小批量。本文提出一种新的随机块调度技术，缓解了在大批量训练时节点内存过时的问题。为了解决当前tgnn仅在小规模数据集上进行评估的局限性

本文提出两个具有2亿和13亿时间边的大规模真实世界数据集。在4个使用单GPU的小规模数据集和2个使用多GPU的大型数据集上评估了tgl的性能，用于链接预测和节点分类任务。将TGL与5种方法的开源代码进行比较，TGL取得了类似或更好的精度，平均加速比为13倍。与基线算法相比，该时序并行采样算法在多核CPU上实现了平均173倍的加速。在一个4-GPU的机器上，TGL可以在1-10小时内训练一个超过10亿个时间边的epoch。据我们所知，这是第一项提出在多gpu上训练大规模时序图神经网络的通用框架的工作。