图表示学习-GCN 19年记录

论文题目

SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS_ICLR17

 

论文链接

https://openreview.net/pdf?id=SJU4ayYglhttps://openreview.net/pdf?id=SJU4ayYgl

论文背景

本文提出了一种图卷积网络（graph covolutional networks, GCNs），该网络是传统卷积算法在图结构数据上的一个变体，可以直接用于处理图结构数据。从本质上讲，GCN 是谱图卷积（spectral graph convolution） 的局部一阶近似（localized first-order approximation）。

GCN的另一个特点在于其模型规模会随图中边的数量的增长而线性增长。

总的来说，GCN 可以用于对局部图结构与节点特征进行编码。

G=(ν,ε)表示一个图，ν,ε分别表示相应的节点集与边集，ν 表示图中的节点， ε 表示图中的边。

A 表示图的邻接矩阵（adjacency matrix）。

D 表示图的度矩阵（degree matrix）。

L 表示图的拉普拉斯矩阵（Laplacian matrix），表示图的归一化拉普拉斯矩阵。 

 1. 谱图卷积

从本质上说，GCN是谱图卷积的一阶局部近似。

 

gθ' 是滤波器，K表示切比雪夫多项式Tk(x)的 k阶截断, 

λmax表示L的最大特征值。 通过这一近似，可以发现，谱图卷积不再依赖于整个图，而只是依赖于距离中心节点k步之内的节点（即k 阶邻居）

 2.Layer-wise线性模型(分层线性模型)

近似的谱图卷积虽然可以建立起 K阶邻居的依赖，然而，却仍然需要在上进行 K阶运算。在实际过程中，这一运算的代价也是非常大的。为了降低运算代价，本文进一步简化了该运算，即限定 K=1。

此时，谱图卷积可以近似为 的线性函数。

但是当设置K=1时，只能是1阶邻居的依赖；

为了解决这一限制，可以通过堆积多层图卷积网络建立 K阶邻居的依赖;而且，这样做的另一个优势是在建立 k 阶邻居的依赖时，不需要受到切比雪夫多项式的限制。

为了进一步简化运算，在GCN的线性模型中，本文定义 λmax = 2。此时，可以得到图谱卷积的一阶线性近似： 

然后通过对参数进行约束来避免过拟合，并进一步简化运算复杂度。例如，可以令  ，

从而得到

的特征值范围为[0,2]，这意味着，当不停地重复该操作时（网络非常深时），可能会引起梯度爆炸或梯度消失。为了减弱这一问题，本文提出了一种 renormalization trick（重整化技巧）： 

当图中每个节点的表示不是单独的标量而是一个大小为C的向量时，可以使用其变体进行处理：    

表示参数矩阵，为相应的卷积结果。此时，每个节点的节点表示被更新成了一个新的 F维向量，该 F维向量包含了相应的一阶邻居上的信息。

Model

对于一个大图（例如“文献引用网络”），有时需要对其上的节点进行分类。然而，在该图上，仅有少量的节点是有标注的。此时，需要依靠这些已标注的节点来对那些没有标注过的节点进行分类，此即半监督节点分类问题。

在这类问题中，大部分节点都没有已标注的标签，GCN通过一个简单的映射函数 f(X,A)，可以将节点的局部信息汇聚到该节点中，然后仅使用那些有标注的节点计算有监督的损失即可，从而无需使用图拉普拉斯正则。

本文使用了一个两层的GCN进行节点分类。模型结构图如下图所示

其具体流程为： （1）首先获取节点的特征表示X 并计算邻接矩阵

（2）将其输入到一个两层的GCN网络中，得到每个标签的预测结果： 

 

对于半监督分类问题，使用所有有标签节点上的期望交叉熵作为损失函数：yL代表有标签的节点集 

实验数据集

针对半监督节点分类问题，本文主要进行了两个实验：

一是在文献引用网络上的实验，二是在知识图谱上的实验（NELL）。

在文献引用网络中，边使用引用链构建，节点表示相应的文档。

本文共使用了三个引用网络数据集：Citeseer、Cora与Pubmed。其数据统计的结果如下表所示（Label rate表示有标注节点的比例）： 

 

 

 实验效果

 

总结和思考

本文提出了一种图卷积神经网络（GCN)，该网络可以被有效地用于处理图结构的数据。

图卷积神经网络具有几个特点：

(1)局部特性：GCN关注的是图中以某节点为中心，K阶邻居之内的信息;

(2)一阶特性：经过多种近似之后，GCN变成了一个一阶模型。也就是说，单层的GCN可以被用于处理图中一阶邻居上的信息；若要处理K阶邻居，可以采用多层GCN来实现；

(3)参数共享：对于每个节点，其上的滤波器参数 W 是共享的，这也是其被称作图卷积网络的原因之一。