Matching the Blanks: Distributional Similarity for Relation Learning 论文阅读笔记

一、核心思想

基于Harris等人的分布式假说，作者认为，如果两个关系表示包含相同的实体对，那么两个关系表示应该是相似的。运用大量的无监督数据，在BERT的预训练过程中（Masked LM任务）额外添加MTB（Matching The Blanks）任务，在预训练阶段提升了关系抽取的性能。

二、问题描述

本文定义一个关系表述（relation statement）为 r =（x，s₁，s₂）。

其中 x = [x₀…x_n]，为一个句子中的token序列。x₀为[CLS]，x_n为[SEP]，分别表示开始标志和结束标志。

s₁ =（i，j），s₂ =（k，l），i，j，k，l均为整数，表示句子中实体的位置。[x_i…x_j-1]表示一个实体，[x_k…x_l-1]表示另一个实体。

目标是习得一个映射函数：
h_r是一个固定维度（d维）的向量。

三、对基于BERT的一些关系编码器的评估

这部分主要研究两个问题：
1.在BERT输入中，应该如何表示实体（主要是实体的位置信息）。
2.如何从BERT的输出中得到固定维度的表示。

对于问题1，有三种方案：
① STANDARD：标准输入，不使用实体的位置信息，即不使用s₁和s₂；
② POSITIONAL EMB：位置嵌入，在BERT的segmentation embeddings基础上，将**s₁**范围的token设为一类POSITIONAL EMB，**s