Multi-Scale Variational Graph AutoEncoder for Link Prediction

链路预测已成为深度学习中的一个重要研究问题，基于图的自编码模型是解决该问题的重要方法之一。现有的基于图的自动编码器模型只学习单一分布，无法准确表示实际图数据中的混合分布。同时，当图数据属性信息不足、拓扑信息不准确时，现有的学习模型受到了很大的限制。提出了一种新的图嵌入框架——多尺度变分图自动编码器(multi-scale variational graph autoencoder, MSVGAE)，通过图编码器学习不同维的多个低维向量集来表示原始图数据的混合概率分布，并在每个维上进行多次采样。在此基础上，提出一种自监督学习策略(即图特征重构辅助学习)，充分利用图属性信息辅助图结构学习。在真实图数据上的实验结果表明，该模型在链路预测任务中取得了较好性能。鲁棒性分析表明，MSVGAE方法在处理属性信息不足、拓扑信息不准确的图数据时具有明显优势。

方法：

提出了一种具有自监督学习功能的图表示框架——多尺度变分图自动编码器(multi-scale variational graph autoencoder, MSVGAE)。首先，我们的模型通过编码器学习不同低维向量表示的多组分布，对每组低维向量表示的分布进行采样，以表示原始复图数据。其次，选择GAT (graph attention network)[20]作为编码器;这样，当模型学习到低维向量表示的分布时，每个节点可以自适应地聚集所有的邻居节点，即根据节点特征的相似性为不同的邻居节点分配相应的权系数。最后，该模型重构邻接矩阵，生成比之前分解的邻接矩阵更完整的邻接矩阵。

同时，为了构造新的邻接矩阵，在模型中引入了自监督学习的思想，即利用图自编码器模型结合新的邻接矩阵对节点的特征矩阵进行重新表示，并将重新表示的节点特征矩阵与原始特征矩阵的差异加入到最终的损失函数中。总之，通过综合考虑图属性信息，基于图特征重构的自监督学习可以得到更好的图结构。增加的自监督损失可以帮助模型重构出更精确的拓扑结构矩阵。

用于链路预测的图自动编码器的主要目的是生成包含属性信息且拓扑信息较少的更完整的图拓扑。具体来说，模型根据给定的图特征矩阵𝑋∈R𝑁×𝐹和不完备边集E，通过编码器(大多数模型为GCN)学习节点向量的低维分布。然后通过图数据的潜在分布对其进行采样，得到新的图嵌入𝑍∈R𝑁×𝐹'。最后，通过解码器重构图的拓扑(链路预测:预测节点𝑉𝑝和节点𝑉𝑞之间连接的可能性)，得到一个新的邻接矩阵𝐴'∈R𝑁×𝑁。 

Multi-Scale Variational Graph Autoencoder

 

 1）Inference Model.

在图编码器的变分模型中，以图数据的节点特征矩阵𝑋∈R𝑁×𝐹和给定的链接集E作为输入。变分部分负责整个模型的图嵌入学习以及复杂图和高维图的降维表示。 

 

 2）Generative Model

 

 Self-Supervised Learning Task

在我们的模型中，通过编码器学习原始数据的低维表示后，加入了重新学习节点特征表示的辅助任务和重建邻接矩阵的主要学习任务(如图2所示)，当数据的特征和拓扑信息不足时，模型也能够很好地学习。学习问题可以表示为: