该笔记探讨了在图神经网络（GCN）中，如何通过Jumping Knowledge Networks来融合不同层次的信息。传统GCN层数增加会获取更全面信息，但可能导致过平滑问题。论文提出的方法是使用concat max-pooling和LSTM attention，通过学习各层的注意力得分来加权求和各层表示，从而得到最终的图表示。实验结果显示，这种方法在多个数据集上表现出色，但在较大的PPI数据集上，LSTM attention的效果不佳。
Jumping Knowledge Networks
论文：Representation Learning on Graphs with Jumping Knowledge Networks
1、传统GCN在不同阶数上会有不同表现
随着阶数增加，所获取的信息更加全面，也就可以解释为啥大部分论文的GCN的层数只有2层，而之后提出的randomwalk的cotraining也依旧会导致这个问题当random wallk的步数无穷时
本文融合了所有层的表示以获取不同层面的表示,融合方式为concat max-pooling以及LSTM attention(为每一层学习一个 attention score，同时，这个score代表了各个层的重要系数。attention score 的学习是将各个层的表达依次送入一个双向LSTM，这样每个层都有一个前向表达和后向表达，然后将这两个表达拼接到一起送进一个 linear 层拟合出一个score，然后将这个score进行softmax 归一化操作就得到了 attention score，最后对各层表达依据重要系数进行加权求和得到最终表达。)
最低0.47元/天 解锁文章
1554
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
