Ada-GNN: Adapting to Local Patterns for Improving Graph Neural Networks

图神经网络(GNNs)在挖掘各种图结构数据方面表现出了强大的能力。由于真实世界的图通常具有较大的规模，训练可扩展的gnn成为近年来的研究趋势之一。现有方法只产生一个模型来服务于所有节点。然而，不同的节点可能表现出不同的属性，因此需要不同的模型，特别是当图较大时。强制所有节点共享一个统一的模型会降低模型的表达能力。更糟糕的是，一些小群体的模式由于他们的小众性而容易被模型忽略，使得这些节点不可预测，甚至其中一些提出了潜在的不公平问题

提出了一种模型无关框架Ada-GNN，为特定的节点集提供个性化的GNN模型。直观地说，每个节点有自己的模型是可取的。但考虑到框架的效率和可扩展性，我们在子组级而不是单个节点级生成具体的GNN模型。Ada-GNN首先将原始图划分为若干不重叠的子组，并为每个节点指定子组标签。在此基础上，提出了一个元适配器，使基本GNN模型快速地适应于每个子组。为了更好地实现全局到局部知识的自适应，设计了一个特征增强模块来捕捉不同子组之间的差异，以提高Ada-GNN的性能。Ada-GNN是模型无关的，适用于几乎所有现有的基于可扩展GNN的方法，如GraphSAGE、ClusterGCN、SIGN和SAGN。在2个大规模数据集上对6种常用的可扩展GNN方法进行了实验，实验结果一致验证了ada -GNN的通用性和优越性 

阅读读者总结：这篇GNN的论文，主要解决了图中节点分类问题，是一篇有趣的论文。部分内容暂时还没有理解，后续还需要补充一些图卷积的知识再读。

问题：1）虽然上述方法在大规模图上取得了良好的性能，但它们只注重使用统一的模型来表示图中的所有节点，而忽略了节点之间的多样性。

2）对于大规模图，节点很自然地形成局部社区作为子图，表示一些常见的局部模式或共享一些语义。

方法：

Ada-GNN受模型无关元学习(model - agnostic metadata learning, MAML)[3][12]框架的启发，其目标是从多种任务中训练出一个基本模型，该框架能够快速适应新任务，只需少量特定于任务的训练实例。具体而言，首先使用METIS等图划分算法将整个图划分为多个互不重叠的子图，并将每个节点对应的子图ID标记为群智标签;每个子图可以看成是一个任务，因为它包含了一组作为实例的节点。然后，设计一个元适配器模块，从所有子组中学习良好的全局模型，并适应子图中仅有少量实例的局部模型。global-to-local模式可以帮助Ada-GNN在保持全局一致性的同时学习局部差异。最后，在常规的类mml框架中，针对少数支持实例不能有效反映局部模式的情况，提出了一个特征增强模块，利用群智慧信号对原始特征进行增强，使Ada-GNN能够更容易地学习子群之间的差异。

Framework Overview

传统的GNN模型，如SGC、ClusterGCN和SIGN，在训练后生成单个模型𝑓𝜃，然后使用它对所有节点进行预测。当图规模较大时，位于图上不同区域的子图可能有自己特殊的模式，这是很直观的。例如，北京的交通地图和上海的交通地图有很大的不同，尽管它们都是中国交通地图的一部分。因此，如果我们强制大图中的所有节点共享一个统一的模型，最终模型的表达能力将受到影响。 

为了解决这一问题，提出了模型无关框架Ada-GNN，赋予GNN模型局部模式适应能力。Ada-GNN总体示意图如图2所示。Ada-GNN由节点标记、元适配器和特征增强模块3个主要组件组成。给定原始图G，首先应用图划分方法生成𝑀非重叠子群{V1,V2，…，V𝑀}，则每个节点将被标记为其所属子组的ID。这一步称为节点标记。然后，为了便于捕获子组级模式，提出了一个特征增强模块来生成额外的子组特征，这些特征记录子组之间的差异。最后，受模型无关的元学习(model - agnostic meta learning, MAML)[3][12]框架的启发，提出了一种自适应学习器meta adapter，以确保全局GNN模型能够快速适应各个子组中的局部模式，完成模型从粗到细的转换。此外，针对Ada-GNN中的子组不公平问题，设计了公平性控制器。在下面的部分中，我们将详细介绍ofAda-GNN的这些组件

 3.3 Node Tagging & Base GNN Model

首先，采用图划分算法将原始图划分为多个互不相交的子图;如何对图进行划分并不是本文的研究重点，考虑到METIS[8]在划分图时的高效性和有效性，本文选择了它。在此之后，我们不再将每个子图作为一个独立的独立的图，而是只标记每个节点对应的子组ID，而不改变原始的图结构，这与ClusterGCN[2]中的操作是不同的。其能够兼其优点是:1)该框架保留了原有的图结构，使容各种基本的GNN模型，仍然适用于图划分[2]、[26]、类初始化[15]传播等图操作;2)节点标注不会因跨子图的边未被删除而造成信息损失。

为了完整地表示一个节点的信息𝑣𝑖，GNN模型从它的邻居节点中聚合和融合特征信息，这种聚合可以重复多次，以便获取高阶邻域信息。Ada-GNN是模型不可知的，但为了更好地说明，我们以SAGN[17]为例。SAGN聚合邻居消息，不需要特征变换和非线性激活:

 为了满足不同子组的个性化需求，可能的解决方案包括:(1)为每个子组找到一个最合适的基GNN模型，例如:GraphSAGE用于子组1,SAGN用于子组2;(2)使用一个基模型，但为每个子群搜索一组最适合的超参数，如为不同的子群搜索不同的跳深𝑘;(3)采用一种基模型和一组超参数，但对每个子群采用不同的参数。参数W𝑎和最终的合并参数W𝑟

在个性化GNN模型研究中，我们认为方法(3)是最佳选择，其原因有3个方面。首先，通过在子群之间共享模型主干和超参数，使得GNN模型具有通用性，便于子群之间共享公共知识;其次，为了灵活地改变模型结构，需要使用AutoML等复杂技术，这将增加框架的计算开销。3)从理论上讲，通过适应不同模型参数实现子群体个性化;例如，如果子群#1在邻居消息有噪声时主要依赖自信息，则最终的局部模型将调整Eq.(5)中的参数W𝑟，以强调ofX对子群#1的影响。 

Meta Adapter

受MAML[3][12]中全局到局部学习框架(global-to-local learning framework，旨在训练良好的全局初始化𝜃，帮助局部模型快速适应新任务)的启发，设计了一个元适配器，为不同的子组生成个性化的模型，同时从原始图中共享公共的全局知识。图2中的Meta Adapter模块说明了整个过程。Meta adapter首先用随机参数初始化全局模型𝜃。元适配器的参数更新有两种类型，即局部自适应和全局优化。将每个子组视为一个任务，将训练实例划分为支持集和查询集。采用支持集进行局部自适应。换句话说，复制𝜃作为本地模型的初始化𝜃' 𝑖，元适配器在支持集上训练本地模型，以匹配𝑖𝑡ℎ子组的模式。局部更新后，在局部查询集上评估局部模型的质量，由查询集产生的梯度指导全局模型的更新方向，称为全局优化。更具体地说，meta adapter有以下两个过程:

Train过程。附录算法1给出了ofAda-GNN的详细训练过程。首先，将全局模型(第1行)的参数随机初始化为𝜃。然后，基于划分算法生成𝑀子组用于节点标注(第2行)，表示为{V1,V2，···，V𝑀}。之后，元适配器进入子组感知模型训练阶段(第4-11行)。在每个子组V𝑖中，训练实例(即训练集中有标记的节点)构成支持集V𝑖、𝑆和查询集V𝑖、𝑄。在支持集上，通过最小化以下损失函数

 

其中V𝑖，𝑄表示子组V𝑖中的查询集，𝑀表示子组编号，Lˆ𝑖表示子群V的评价损失𝑖，𝛾2为全局学习率。通过积累多个子组的评价损失，并将其应用于全局参数一次(第11行和第13行)，𝜃将被迫学习所有子组之间的全局一致性。通常，每个子组中的训练节点和验证节点分别表示支持集和查询集。但是，由于我们不希望在训练过程中使用验证集，这可能会造成与其他可扩展gnn的不公平比较，所以我们也重用每个子组中的训练节点作为查询集。通过全局到局部模式，meta adapter可以成功地找到所需的参数𝜃，该参数对所有子组只需𝐾步就能适应最优空间。该算法将重复上述过程，直到𝜃稳定。

测试过程。Ada-GNN的试验过程与列车的试验过程非常相似。唯一的区别是，对于全局模型𝜃不再有全局优化。局部适应后，每个局部模型将通过对应子组中的测试节点直接进行评估。注意，在训练后，不需要元适配器存储所有本地模型的参数。经过训练的全局初始化后，全局模型𝜃可以通过相应的支持集V𝑖，𝑆快速适应子组𝑖的𝜃𝑖。也就是说，给定训练好的全局参数𝜃，Ada-GNN可以快速生成所有局部模型(第3-6行)，并对每个子组进行评估(第8行)

Feature Enhancement Module

从本质上讲，经典的MAMLframework依赖于特征、标签的分布。映射，以隐式方式捕获本地任务中的特殊模式。然而，当支持集较小时(这是MAML设置的常见情况)，局部模式不能有效地反映。为了方便局部模型的自适应过程，提出了一种基于组级信息的显式局部模式描述方法。这些信号应易于获得，便于区分亚组，并能直接影响模型预测[16]。

为此，提出一种特征增强模块，提取并附加组级特征到节点属性中，以更好地区分子组。组级特征包括:1)归一化标签分布;2)一热编码子群ID。这两个辅助信息将被附加到原始节点特征中。由于类和子组的数量有限，特征增强模块只增加了很少的计算和内存开销，但却获得了更好的性能。因此，推导出子群V𝑖中节点𝑢的新特征向量为 

实验部分...............................