Few-Shot Knowledge Graph Completion

 [1911.11298] Few-Shot Knowledge Graph Completion (arxiv.org)

目录

Background

Model

Encoding Heterogeneous Neighbors

Aggregating Few-Shot Reference Set

Matching Query and Reference Set

Matching Query and Reference Set


Background

以往的KGC认为每个关系有足够的实体对可以进行学习,但在实际数据集中,关系的频率分布往往有长尾,在KG中,很大一部分关系只有很少的实体对,因此如何处理实体对有限的关系是有挑战的。

Model

FSRL模型包含三个主要的部分:(1)为每个实体编码异构邻居;(2)为每个关系聚合少量参考实体对;(3)用参考集匹配查询对进行关系预测。

Encoding Heterogeneous Neighbors

设计了一个关系感知的异构邻居编码器。

给定头实体h,定义关系邻居集为

ri和ti表示h的第i个关系和对应的尾实体;异构邻居编码器应该可以对Nh编码,通过考虑关系邻居(ri, ti)\inNh的不同影响,从而生成一个头实体h的特征表示。通过关注权αi考虑了异构关系邻居的不同影响,并利用实体ti和关系ri的嵌入来计算αi。eti eri是嵌入向量是(d,1)维的。

Aggregating Few-Shot Reference Set

对参考集中的少数镜头实例的相互作用进行建模。需要设计一个模块来有效地为每个关系r制定参考集Rr的聚合嵌入。

作者通过聚合参考集Rr中所有实体对的表示来产生Rr的的嵌入。

作者的聚合函数AG选取的是递归自编码器聚合器。实体对嵌入\mathcal E_{h_{k},t_{k}}\in R_{r}通过以下方式依次送入循环自编码器。

损失函数是重构损失函数

为了确定参考集的嵌入,将编码器的所有隐藏状态聚合起来,并通过添加残差连接和注意力权重对其进行扩展,因此参考集的嵌入计算如下:

Matching Query and Reference Set

有了异构邻居编码器fθ以及参考集聚合器f_{\epsilon},下面展示如何有效的匹配每个query实体对(hl,tl)\inQr,和参考集Rr。Qr是关系r的所有查询对的集合。

将fθ和f_{\epsilon}应用于查询实体对(h,tl)和参考集Rr,可以得到两个嵌入向量\mathcal E_{h_{l},t_{l}}=[f_{\theta}(h_{l})\oplus f_{\epsilon}(t_{l})]f_{\epsilon}(R_{r})。为了测量两个向量之间的相似性,使用循环处理器执行多步匹配,第t步处理步骤定义为:

T步处理后的最后一层的隐藏层状态gT是查询对的嵌入(h_{l},t_{l}):\mathcal E_{h_{l},t_{l}}=g_{T} 使用\mathcal E_{h_{l},t_{l}}f_{\epsilon}(R_{r})之间的内积作为后续排序优化过程的相似度得分。

Matching Query and Reference Set

最后损失函数结合实体对查询和参考集嵌入之间的相似性,以及第二步计算参考集嵌入的重构损失;并且使用正负样例之间的对比学习的技巧。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值