知识图谱中的知识表示学习（Representation Learning）

Word Representation

1. one-hot representation

• 长度为词典长度，每个词在词典中的位置置1，其余置0
• Curse of Dimension, 不适合太大的字典
• 互相正交，难以表示词语之间的相似性

2. distributed representation(词向量)

• 稠密、实值、低维的向量
• 便于Deep Learning
• 相似度用距离表示
• word2vec
• king-queen = man-woman
  

  ---

Knowledge Graph

基础

1. 结构
   
   • node = entity or class
   • edge = relation
2. Fact
   
   • (head, relation, tail)
   • head = subject
   • relation = predicate
   • tail = object

表示

传统使用RDF格式表示知识图谱
目标: 将知识图谱编码到向量空间
方法: Trans系列

1. TransE (translating embedding)

对每个三元组，关系表示成从head到tail的向量，relation看做从head到tail的翻译。

$$h+r=t$$

第12行是损失函数，让正例的距离趋近0，让反例的距离尽量大。使用随机梯度下降法(SGD)训练。

2. TransH (translating on hyperplanes)

TransE过于简单，很难对一对多,多对一和多对多关系建模。TransH把关系映射到另一个空间。

$$h_丄+r=t_丄$$