题目:metapath2vec: Scalable Representation Learning for Heterogeneous Networks
作者:Yuxiao Dong, Nitesh V. Chawla and Ananthram Swami
来源:KDD 2017
当前的许多网络表示学习方法主要是针对同质网络的。本文提出一种的专门针对异质图的网络表示学习方法,能够同时捕捉不同类型节点之间的语义和结构联系。metapath2vec使用meta-path-based随机游走构建节点的异质邻居,然后使用一个异质skip-gram训练模型,建模结构上和语义上相近的节点。metapath2vec++进一步提出一种异质负采样方法,准确高效地预测一个节点的异质邻居。
核心问题
- 在异质图中如何有效地在不同类型的节点中保留上下文
- 随机游走是否可以用于异质图
- skip-gram是否可以用于异质图
模型
定义一个异质网络 G = ( V , E , T ) G=(V, E, T) G=(V,E,T),其中每个节点和边的类型由映射函数定义 ϕ ( v ) : V → T V \phi(v) : V \rightarrow T_{V} ϕ(v):V→TV , φ ( e ) : E → T E \varphi(e) : E \rightarrow T_{E} φ(e):E→TE 。 T V T_{V} TV和 T E T_{E} TE分别代表相应类型的集合。 ∣ T V ∣ + ∣ T E ∣ > 2 \left|T_{V}\right|+\left|T_{E}\right|>2 ∣TV∣+∣TE∣>2 (不只一种类型)。
Heterogeneous Skip-Gram
对于异质图 G = ( V , E , T ) G=(V, E, T) G=(V,E,T), ∣ T V ∣ > 1 |T_V|>1 ∣TV∣>1 ,metapath2vec通过skip-gram模型学习网络表示。给定一节点 v v v,最大化其异质上下文 N t ( v ) N_t(v) Nt(v), t ∈ T V t\in T_V t∈TV(节点 v v v的 t t h t^{th} tth类型邻居节点)的概率:
(2) arg max θ ∑ v ∈ V ∑ t ∈ T V ∑ c t ∈ N t ( v ) log p ( c t ∣ v ; θ ) \arg \max _{\theta} \sum_{v \in V} \sum_{t \in T_{V}} \sum_{c_{t} \in N_{t}(v)} \log p\left(c_{t} | v ; \theta\right){\tag 2} argθmaxv∈V∑t∈TV∑ct∈Nt(v)∑logp(ct∣v;θ)(2)
条件概率定义为softmax函数
p ( c t ∣ v ; θ ) = e X c l ⋅ X v ∑ u ∈ V e X u ⋅ X v p\left(c_{t} | v ; \theta\right)=\frac{e^{X_{c_{l}} \cdot X_{v}}}{\sum_{u \in V} e^{X_{u} \cdot X_{v}}} p(ct∣v;θ)=∑u∈VeXu⋅XveX