论文:Classifying Relations by Ranking with Convolutional Neural Networks(CR-CNN,2015)阅读笔记
一、背景
MV-RNN(2012)
CNN(2014)
FCM(2014)
二、模型
1.Word Embeddings(一般方法)
rw = Wwrdvw
vw是one-hot向量,Word Embeddings维度为dw。
2.Word Position Embeddings(一般方法)
Word Position Embeddings随机初始化,维度为dwpe。
wpew = [wp1,wp2]。
如果使用Word Position Embeddings,则后续卷积层的输入为
embx = {[rw1,wpew1], [rw2,wpew2], …, [rwN,wpewN]},维度为(N,dw+2*dwpe)。
如果不使用Word Position Embeddings,则后续卷积层的输入为
embx = {rw1, rw2, …, rwN},维度为(N,dw)。
3.Sentence Representation(卷积+maxpolling,一般方法)
为了方便表示,用矩阵乘法代替卷积操作。
①对于窗口大小k,在句子开始和结尾分别使用(k-1)/2的padding。
②根据窗口大小k对embx 划分窗口(每个word对应一个窗口,将每个窗口内的词的embedding连接起来。