论文解读：A Neighborhood-Attention Fine-grained Entity Typing for Knowledge Graph Completion

摘要

知识图谱实体类型主要是推断可能的实体类型实例，是知识图谱补全(KGC)的一个重要子任务。现有的实体类型方法通常利用实体表示来对实体及其类型之间的传输进行建模，而在识别实体的语义类型时不能充分探究细粒度的实体类型。为了解决这些问题，我们提出了邻域-注意神经细粒度实体类型(AttEt)，它考虑从KGs到实体及其类型的实体的邻域信息。在本文中，AttEt首先开发了一种特定类型的注意力机制，以特定类型的权重聚合给定实体的邻域知识。这些权重有利于为不同类型的实体捕获各种特征，并进一步暗示这些细粒度类型之间的复杂相关性。然后，AttEt自适应地将聚合的邻域级表示与实体固有嵌入相结合，计算实体与其候选类型之间的匹配得分。此外，在KGs中，许多实体与其他实体之间的关系很稀疏，这使得实体输入任务更具挑战性。为了解决这一问题，我们提出了一种基于关系稀疏实体的平滑策略，以提高模型的鲁棒性。

模型

模型的大致框架如下图所示：
给定一个实体，将它的邻居按照出度和入度的分为两个组，然后分别将这些邻居实体和关系进行嵌入，并进行简单的相加。文章提出了一个基于类型的注意力机制，以探索用于预测细粒度类型标签的邻域的权重分布。将邻居实体的嵌入和实体本身嵌入进行拼接，使用解码器进行评估。

邻居嵌入

为简便起见，我们将实体ei的邻域集定义为N (ei) = {(ri1, ei1)， (ri2, ei2)，…， (rin, ein)}，其中ri j with j = 1，…， n是实体ei到ei j之间的链接关系，反之亦然，n是实体ei的邻域数。还在嵌入学习中区分实体的传入和传出两个邻域。因此，文章将以下指示函数定义为
+1表示出度，-1表示入度
计算给定实体的候选类型与给定实体的邻居的注意系数


有些数据集关系稀疏，例如有些实体没有邻居，为了解决找个问题，文章引入平滑因子，将注意力系数细化为

平滑因子是特定类型注意机制的权重和邻居平均数量的权重之间的平衡。特别地，当λ = 0时，该模型有利于关系密集的实体，当λ = 1时，该模型有利于关系稀疏的实体。直观上，对于不同稀疏度的数据集，存在不同的最优λ。第4.4节的案例研究证明了上述直觉。此外，为了约束模型的复杂性和避免过拟合，在实际中对每个实体ei∈E采用了一个偏差邻域(rb, eb)。最后，目标实体ei的邻域级表示通过其邻域与它们类型特定的权重系数α′i,j的线性组合来计算，即

三元组嵌入

从TransE训练的实体原始嵌入中提取实体级语义表示，即

W和吧是参数，σ为激活函数。

实体类型预测

为了充分挖掘实体及其邻域信息，我们首先将实体ei的邻域级和实体级表示引入神经网络，得到最终的实体表示为：

此外，文章还定义了预测函数来度量实体与其候选实体类型之间的匹配得分：

实验结果

此任务的目标是补全知识图谱中实体缺失的实体类型。表2给出了FB15kET和YAGO43kET实体类型预测的可信结果。从表2中，我们可以观察到，的模型在两个数据集上的所有指标都优于所有基线。这证明了文章提出的模型成功地利用了实体的邻域上下文来提高实体分类任务的预测性能。

为了定性地验证模型的有效性，文章构建了以下模型变体，并在HITS@1度量上报告它们的结果:
1）该模型推断实体类型时不考虑实体的邻域。与ConnectE[47]类似，它直接使用实体的实体级表示来计算实体与其候选类型之间的匹配得分。
2）该模型没有使用特定类型的注意机制来学习实体的邻域级表示，而是在每个邻域上分配等重，即注意力系数为1/n。
实验结果如图3所示：

与没有邻居的AttEt相比，AttEt在HITS@1上分别提高了2.06%和7.3%。结果表明，AttEt算法成功地融合了邻域，提高了预测性能。AttEt在FB15kET和YAGO43kET上的性能分别比AttEt- with- attention高出1.79%和1.56%，这表明在邻域上分配特定类型权重的特定类型注意机制有利于提高预测性能。

科研小白，如有不对的地方，希望大家可以指出，谢谢大家！