AliGraph: A Comprehensive Graph Neural Network Platform

AliGraph: A Comprehensive Graph Neural Network Platform

越来越多的机器学习任务需要处理大型图数据集，这些数据集捕捉了潜在数十亿元素之间丰富而复杂的关系。图神经网络(Graph Neural Network, GNN)通过将图数据转换到低维空间，同时最大程度地保留图的结构和属性信息，并构建一个用于训练和引用的神经网络，成为解决图学习问题的一种有效方法。然而，提供有效的图存储和计算能力以促进GNN训练并使新的GNN算法的开发具有挑战性。文中提出了一个全面的图神经网络系统AliGraph，该系统由分布式图存储、优化的采样算子和运行时间组成，有效地支持现有的流行图神经网络和一系列自主开发的适用于不同场景的图神经网络。该系统目前部署在阿里巴巴，支持多种业务场景，包括阿里巴巴电商平台上的产品推荐和个性化搜索。通过在具有4.929亿个顶点、68.2亿个边和丰富属性的真实数据集上进行广泛的实验，AliGraph在图构建方面的速度快了一个数量级(根据最先进的PowerGraph平台的报告，这一数字是5分钟vs小时)。在训练中，使用新的缓存策略后，AliGraph的运行速度提高了40%-50%，并在改进后的运行时间下提高了约12倍。此外，我们内部开发的GNN模型都展示了它们在有效性和效率方面的统计显著优势(例如，4.12%-17.19%的F1分数提升)。 

一研究背景

众所周知[13,24,5,21]，与现实世界商业场景相关的绝大多数图数据表现出4种属性，即大规模、异构、属性和动态 

The first problem is how to improve the time and space efficiencies of GNN on large-scale graphs? 

the second problem is how to elegantly integrate the heterogeneous information to be an unified embedding result? 

the third problem is how to unify them to define the information to be preserved? 

the fourth problem is how to design efficient incremental GNN methods on dynamic graphs? 

   在AliGraph的底层组件中，构建了一个支持GNN算法和应用的系统。系统架构抽象自一般GNN方法，由存储层、采样层和算子层组成。其中，存储层采用3种新颖的存储技术，即特定于结构和属性的存储技术、图划分技术和重要顶点的邻居缓存技术来存储大规模原始数据，以满足高层操作和算法的快速数据访问需求。采样层优化了GNN方法中的关键采样操作。将采样方法分为3类，即遍历采样、邻域采样和负采样，并提出了分布式环境下无锁采样方法。算子层提供了GNN算法中两种常见应用算子的优化实现，即AGGREGATE和COMBINE。采用缓存策略存储部分中间结果以加速计算过程。通过对这些组件进行协同设计和优化，使整个系统高效、可扩展 

Attributed Heterogeneous Graph 

 

 Dynamic Graph. 

 Problem Definition

给定一个输入图G(简单图或AHG)和一个嵌入维数d∈N，图的嵌入问题是将图G转换到d维空间，使图的属性尽可能保持不变。GNN是一种特殊的图嵌入方法，它通过在图上应用神经网络来学习嵌入结果。

SYSTEM

 在我们的AliGraph平台(其架构如图3所示)中，我们设计并实现了一个底层系统(蓝色方块)，以很好地支持高层GNN算法和应用。