GCN 翻译 - 3

3 SEMI-SUPERVISED NODE CLASSIFICATION

这里简单引入一个例子,利用图上信息传播的方式的一个灵活的模型f(X,A),我们来解决一个图上节点分类的半监督问题。正如在introduction里面提到的,我们应用数据X和图结构的邻接矩阵锁提出的模型f(X,A)在图结构上进行半监督的学习。我们希望能够利用这套模型能够预测临界矩阵中的不在X中的非label数据,例如引用网络中两个文本的链接或者是知识图谱中的关系。总体看,一个多层的GCN 半监督学习模型如图1所示

3.1 EXAMPLE

在接下来的讨论中,我们主要考虑一个2层的GCN网络用来做半监督的节点分类的学习。临界矩阵A(0-1或加权),我们可以在预处理里面先把\widehat{A} = \widetilde{D}^{-1/2} \widetilde{A}\widetilde{D}^{-1/2} 计算出来,我们的前向网络如下:

Z = f(X,A) = softmax(\widehat{A}ReLU(\widehat{A}XW^{(0)})W^{(1)}) \quad (9)

这里,W^{(0)} \in R^{C*H} 是输入到隐藏层的权重矩阵,隐藏层有H维特征。W^{(1)} \in R^{H*F}是隐藏到输出层的权重矩阵。这里的Softmax的激活函数定义为softmax(x_i) = \frac{1}{z} exp(x_i) , z = \sum_{i}exp(x_i) , 对于多分类的半监督任务,我们在所有的label数据上评价交叉熵的误差:

L = -\sum_{l\epsilon y_L}\sum_{f=1}^{F}Y_{lf}lnZ_{lf} \quad (10)

y_L是有label节点的集合。

神经网络的权重W^{(0)}W^{(1)}可以使用梯度下降来训练。在这个工作中,我们使用使用全量数据集的数据在在每一个迭代轮次用批梯度下降法。对于稀疏的邻接矩阵A,需要使用的内存为O(|\varepsilon |),同比于图里面边的数量。训练过程中使用dropout。未来在内存充裕的情况下,我们将尝试mini-batch的随机梯度下降法。

3.2 IMPLEMENTATION

时间中,我们使用TensorFlow在GPU上进行训练 (9)中的稀疏矩阵乘法,(9)的计算复杂度为O(|\varepsilon |CHF ),线性同比与图的边的数量。

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值