RAW-GNN: RAndom Walk Aggregation based Graph Neural Network

基于图卷积的方法已经成功地应用于同质图的表示学习，在同质图中，具有相同标签或相似属性的节点往往会相互连接。由于这些方法采用的是图卷积网络(GCNs)的同质性假设，因此不适用于具有不同标签或不同属性的节点往往相邻的异质图。已有几种方法试图解决这一异构性问题，但它们并没有改变GCNs的基本聚合机制，因为它们依赖求和算子从相邻节点聚合信息，隐式地服从同质性假设。在这里，我们引入了一种新的聚合机制，并开发了一种基于RAndom Walk聚合的图神经网络(RAW-GNN)方法。该方法将随机游走策略与图神经网络相结合。该方法利用宽度优先随机游走搜索获取同质性信息，利用深度优先搜索获取异质性信息。它用基于路径的邻域代替了传统的邻域，并引入了一个新的基于循环神经网络的基于路径的聚合器。这些设计使RAW-GNN同时适用于同质图和异质图。大量的实验结果表明，新方法在各种同质和异质图上都取得了最先进的性能。

主要关注与异质图的卷积过程 

阅读者总结：这篇论文很有趣，应该说在解决异质图问题上是一种新颖的做法，利用BFS和DFS方法，实现节点之间信息聚合。从整个框架上就能够很清晰的看出文中的算法思路。应该说这个论文值得借鉴

问题：

总之，这些设计在一定程度上缓解了同质性限制问题，但仍然受到求和聚合器的约束。此外，现有直接聚合高阶邻居的方法利用经典的求和聚合器，根据高阶邻居到目标节点的距离来聚合高阶邻居，并将不同距离的聚合结果连接起来。这些方法也会受到求和聚合器的限制。 

方法：

本文引入一种新的聚合机制，提出一种基于随机游走聚合的图神经网络，简称RAW-GNN。我们将随机游走采样融入到图神经网络中，并将传统的邻域扩展到基于k跳路径的邻域。随机游走形成的k跳路径保留了这k个节点的原始属性以及这些节点在随机游走序列中的原始结构连接。与传统邻域相比，基于路径的邻域能够更好地表示目标节点的邻域分布。利用广度优先搜索随机游走(BFS)捕获同质性信息，利用深度优先搜索(DFS)收集异质性信息。为了超越GCNs现有的聚合机制，充分利用基于路径的邻域信息，本文采用了一种基于顺序循环神经网络(sequential Recurrent Neural Networks, RNN)的聚合器，该聚合器可以考虑随机游走所保留的邻居节点的顺序信息 。rnn的优点是可以处理相邻节点的不同属性，满足异构网络的需要。最后，我们使用注意力机制

 

The Architecture

 

所提出方法RAW-GNN的整个框架如图2所示。与其他gcn的框架不同，我们将同质性和异质性信息编码到两个不同的通道中。具体地，使用两个随机游走生成器对k跳路径进行采样，即使用广度优先搜索随机游走(BFS)生成器对同质邻域分布进行采样，使用深度优先搜索(DFS)生成器对异质邻域分布进行采样。每种采样策略(BFS或DFS)都会对多条路径进行采样，以更准确地捕获邻域分布。

在得到BFS邻域路径和DFS邻域路径后，利用2个基于rnn的路径聚合器对路径中节点的有序属性进行聚合，形成路径嵌入。然后，使用注意力机制分别从DFS策略和BFS策略中学习不同路径的重要性，并形成两种特定策略的嵌入;最后，将来自BFS通道和DFS通道的两个嵌入连接起来，形成一个可以同时表示同质和异质信息的整体嵌入

RNN-based Path Aggregator

路径聚合器的目标是对路径上的所有节点进行编码，并考虑路径上节点的顺序，以保留更多连接节点之间的关系信息。

 

 Attention-based Intra-Strategy Combinator

 Inter-Strategy Combinator

在聚合每个策略中的路径信息之后，我们需要使用一个策略间组合层将它们组合起来。由于不同的策略集合了不同分布的路径，为了将不同策略的嵌入组合在一起而不混合，我们使用串联

 

 Classifier

我们主要研究半监督节点分类任务。我们使用一个线性层和一个softmax来计算预测的标签概率，并使用标准交叉熵作为损失