Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification(Att-BiLSTM关系分类,2015)论文阅读笔记
一、背景
SVM(2010)
CNN(2014)
RNN(Zhang and Wang,2015)–长程依赖问题
SDP-LSTM(2015)–比较复杂
BLSTM(Zhang,2015)–使用了很多复杂特征
本文的贡献:
提出了基于注意力机制的BiLSTM网络用于关系分类,它可以自动聚焦于对分类有决定性影响的词,以捕捉句子中最重要的语义信息。网络只使用word vectors 和position indicators作为特征,而不使用其他外部特征和NLP系统。(position indicators,PI:< e1 >,< /e1 >,< e2 >,< /e2 >,本文将PI作为single words输入,与其他词一起经过embedding层)
二、模型
1.Word Embeddings