Relation Classification via Recurrent Neural Network论文阅读笔记

背景：

从Zeng等提出CNN深度学习模型解决关系分类问题开始（Relation Classification via Convolutional Deep Neural Network），陆续提出了很多模型，如MW-CNN（2015），CR-CNN（2015），DepLCNN（2015）等。虽然也有一些基于其他架构的模型，如MV-RNN（2012，它是一个递归网络，并不是时序模型），FCM（2014)，SDP-LSTM(2015），总体来说，CNN模型占据主导地位。

本文的主要贡献：
1.提出了基于RNN的框架，来对长距离关系模式建模。

2.证实了在SemEval-2010task8以及KBP37（新数据集）上，该模型由于基于CNN的模型。

3.使用了Position Indicator（PI），比Zeng（2014）提出的Position Feature（PF）更具通用性。

4.实证分析了基于RNN的方法在远程模式建模方面的能力。

由于自然语言的时序性，关系学习本质上是一个时序学习任务，应当使用时序模型。

CNN模型只能学习局部模式，不适合长距离建模。简单地增大CNN卷积窗口的大小是行不通的。MW-CNN（Multiple Window-CNN）中提出的方法虽然有效，但涉及更多的计算，且调整窗口大小并不容易。