End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF

End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
虽然说是16年的老文了但是依旧值得一读
第五周
代码
当年非常新颖的神经网络结构
使用双向 LSTM、CNN 和 CRF 的组合。
实现了端对端，不需要数据预处理或者特征工程
在POS-tagging上取得了97.55%的正确率，在NER上取得了91.21的F1值。

介绍

传统高性能模型是线性统计模型例如CRF,HMM
最近几年，出现了 分布式词表示 作为输入的非线性神经网络，也称为词嵌入。
本文提出一个神经网络结构用于序列输入。
先用CNN对字符级信息进行编码，然后结合字符级和单词级表示并将它们输入双向 LSTM 对每个上下文信息进行单词建模。在 双向 LSTM 之上，我们使用顺序CRF 为整个句子进行联合解码。

结构

CNN for Character-level Representation

CNN是一种有效的形态信息提取方法，如单词的前缀或后缀

双向 LSTM
循环神经网络 (RNN) 是一个强大的连接模型，它们通过图中的循环捕捉时间动态。RNN 能够捕获长距离
依赖关系，但是存在梯度爆炸/消失问题。
LSTM单元是 RNN 的变体，旨在应对这些梯度消失问题。

双向LSTM，基本思想是将每个序列向前和向后呈现到两个单独的隐藏状态，以分别捕获过去和未来的信息。然后将两个隐藏状态连接起来形成最终输出。
CRF
CRF和HMM 区别在于CRF没有独立编码每个标签。
创建一个输入序列z = {z1,··· ,zn}，y = {y1,··· ,yn}是通用序列
用最大条件似然估计训练CRF，最大似然训练选择参数使得对数似然 L(W,b) 最大。
但CRF模型只考虑相邻标签的关于，可以用 Viterbi algorithm解决。
主要结构：

对于每个单词，字符级表示 由CNN以字符嵌入作为输入来计算。然后将字符级表示向量与词嵌入向量连接起来，输入进 双向LSTM 网络。最后，双向LSTM 的输出向量被馈送到 CRF 层以联合解码最佳标签序列。
用dropout 层能显著改善模型,droupout用在字符级的嵌入（cnn输入前），双向LSTM 的输入和输出

模型训练

参数：dim = 30.Bias初始化为零，偏置系数初始化为1
小型批量随机梯度下降 (mini SGD算法），batch size：10， momentum ：0.9
初始学习率0.01 for POS tagging, 0.015 for NER, 衰减率0.05 gradient clipping：5
50个epoch
dropout rate 0.5
LSTM size 200
CNN, 30 filters with window length 3.

结论

这表明通过CRF联合解码标签序列可以显着提高神经网络模型的最终性能。
用随机嵌入让模型性能提升，Word2Vec 嵌入以区分大小写的方式进行训练，不包括标点符号和数字等许多常见符号。由于作者不使用任何数据预处理来处理此类常见符号或稀有词，因此使用 Word2Vec 可能会出现问题。
droupout 有效减少过拟合。
Out-of-Vocabulary(OOV).单词的错误分析：
in-vocabulary words (IV)，out-of-training-vocabulary words (OOTV),out-of-embedding-vocabulary words (OOEV)， out-of-both-vocabulary words (OOBV).
IV：出现在训练和嵌入词汇中
OOTV：不出现在训练集中，但出现在嵌入词汇中
OOEV：不出现在嵌入词汇表中，而是出现在训练集中
OOBV：不在训练词汇和嵌入词汇中都出现（至少一个词不在嵌入词汇中，其他同理）