【网络表示学习】ANRL

最新推荐文章于 2022-07-05 14:50:23 发布

zjwreal

最新推荐文章于 2022-07-05 14:50:23 发布

阅读量2.2k

点赞数 1

分类专栏：网络表示学习网络表示学习文章标签：网络表示学习 Network Embedding

本文链接：https://blog.csdn.net/zjwreal/article/details/93534085

版权

ANRL是一种融合节点属性和网络结构的表示学习方法，通过自编码器和属性感知skip-gram模型进行联合优化。文章介绍了Neighbor Enhancement Autoencoder和Attribute-aware Skip-gram Model，利用自编码器中间层的表示结合二阶相似度更新，以及负采样优化的条件概率计算，以捕获节点的属性和结构信息。

摘要由CSDN通过智能技术生成

题目：ANRL: Attributed Network Representation Learning via Deep Neural Networks

作者：Zhen Zhang and Hongxia Yang and Jiajun Bu and Sheng Zhou and Pinggang Yu and Jianwei Zhang and Martin Ester and Can Wang

来源：IJCAI 2018

源码：https://github.com/cszhangzhen/ANRL

传统的基于网络结构的网络表示学习方法没有利用属性信息。结合拓扑结构和属性的表示学习方法目前仍然属于初步阶段原因：

（1）网络结构和节点属性是两种异构信息源，如何在同一个向量空间中保留他们的属性是一个问题。

（2）观察到的网络数据通常不完整甚至有噪声，难以得到有效的表示。

创新点

（1）自编码器的用法：用属性作为输入，重建的是并不是自身属性，而是邻居属性的聚合（加权平均或中位数）。这样聚合邻居特征有点类似GCN的做法，好处是聚合后的特征能够带有本地拓扑信息。所以作为中间层的表示也一定程度上考虑了本地结构信息。（但是这方面文中并没有详细解释为什么好）

（2）属性和拓扑的结合方式：用自编码器的中间层作为embedding；用embedding计算二阶相似度来更新embedding。

模型

Neighbor Enhancement Autoencoder

输入：节点 $v_i$ 的特征 $x_i$

输出：节点 $v_i$ 邻居的特征重建值，重建的目标 $T(v_i)$ 聚合了邻居的特征

自编码器loss定义
$\mathcal{L}_{a e}=\sum_{i=1}^{n}\left\|\hat{\mathbf{x}}_{i}-T\left(v_{i}\right)\right\|_{2}^{2}{\tag 2}$
其中 $T(\cdot)$ 采取以下两种方式：

Weighted Average Neighbor：

邻居特征的加权平均
$T\left(v_{i}\right)= \frac{1}{|\mathcal{N}(i)|} \sum_{j \in \mathcal{N}(i)} w_{i j} \mathbf{x}_{j}$
Elementwise Median Neighbor：

取每一维特征在邻居节点中的中位数
$T\left(v_{i}\right)=\tilde{\mathbf{x}}_{i}=\left[\tilde{x}_{1}, \tilde{x}_{2}, \cdots, \tilde{x}_{m}\right]$