论文笔记|Bidirectional LSTM-CRF Attention-based Model for Chinese Word Segmentation

0 Abstract

中文分词( Chinese word segmentation，CWS )是中文自然语言处理( Natural language processing，NLP )的基础。分词的质量将直接影响NLP任务的其余部分。近年来，随着人工智能技术的发展，长短期记忆( Long Short-Term Memory，LSTM )神经网络作为一种易于时序建模的神经网络，在各类NLP任务中得到了广泛的应用，并取得了较好的效果。注意力机制是解决LSTM上内存压缩问题的一种巧妙方法。进一步地，受双向LSTM模型强大的序列建模能力和CRF模型强大的解码能力的启发，本文提出了双向LSTM - CRF Attention - based模型。在PKU和MSRA基准数据集上的实验表明，我们的模型性能优于其他神经网络建模的基线方法。

1. Introduction

中文分词( Chinese word segmentation，CWS )是中文自然语言处理的一项基本任务。与英语或其他西方语言不同的是，汉语并不存在可以拆分词语的空白。因此，分词对于中文语言处理来说是一个初步且重要的预处理过程。近年来，中文分词得到了很大的发展。最流行的方法是将该任务视为序列标注问题[ 26 ] [ 21 ]。序列标注的目标是为序列中的所有单词设置正确的标签，可以用监督学习算法来处理，如隐马尔可夫模型( HMM ) [ 20 ]，最大熵( ME ) [ 1 ]和条件随机场( CRF ) [ 15 ]。然而，这些模型受到预先设计特征的限制。此外，特征的数量可能很大，而且大多数特征都是无用的。这样得到的结果模型过于庞大，不利于实际使用，并且容易在训练语料上出现过拟合现象。近年来，神经网络模型被广泛应用于各种NLP任务中。正因如此，我们不再需要手工挑选合适的特征。科洛贝尔等人[ 7 ]提出了一种用于序列标注任务的通用神经网络架构，Zheng等人[ 28 ]将该架构应用于中文分词和词性标注。在这些工作的基础上，不同类型的神经网络被应用到中文分词任务中，并取得了不错的效果。

其中，循环神经网络( Recurrent Neural Network，RNN )尤其是长短期记忆( Long Short-Term Memory，LSTM ) [ 12 ]神经网络及其改进模型取得了突出的改进。Chen等人[ 4 ]首次将LSTM神经网络用于中文分词任务。Chen等人[ 3 ]提出了一种门控递归神经网络( GRNN )，它是一种捕获长距离依赖关系的树形结构。Huang等人[ 13 ]将双向LSTM网络和CRF网络相结合，形成了Bi - LSTM - CRF网络。Pe