Enriching Pre-trained Language Model with Entity Information for Relation Classification 论文阅读笔记
(R-BERT关系抽取)
一、核心思想:
关系分类不仅依赖于整个句子的信息,还依赖于具体目标实体的信息。
二、方法:
1.在实体1左右两侧添加$标记,在实体2左右两侧添加#标记。在句子开头添加[CLS]标记。
2.将句子输入到BERT模块中,得到一系列隐状态H(设维度为d)。设Hi到Hj是实体1的隐状态,Hk到Hm是实体2的隐状态,依次运用平均运算、tanh激活、全连接层处理得到两个实体的最终表示H1’和H2’:
这里设置W1=W2,b1=b2。
3.设H0是[CLS]标记的隐状态,同样对其运用tanh激活、全连接层处理得到句子的最终表示H0’:
这里,作者将W0、W1、W2的维度均设置为d×d。
4.将三个最终表示H0’、H1’、H2’连接,对其运用全连接层处理、softmax分类:
W3的维度为L×3d(L是关系种类数)。
三、实验设置:
使用交叉熵损失函数,且在每次全连接层处理前使用dropout操作。
使用SemEval-2010Task8官方评分脚本评测模型。
BERT模型使用uncased basic model。
四、消融实验:
只使用句子信息,不使用实体信息,也不给实体定位:F1值81.09。
使用句子信息,使用实体信息,但不给实体定位(即计算H1’和H2’,但不使用$和#标记):F1值87.98。
使用句子信息,不使用实体信息,但给实体定位(不计算H1’和H2’,使用$和#标记):F1值87.99。
使用句子信息,使用实体信息,且给实体定位(即计算H1’和H2’,使用$和#标记,即本文的方法R-BERT):F1值89.25。