【面试】LSTM+CRF中LSTM和CRF各有什么作用

LSTM层

如果单用LSTM进行序列标注，那么它是比较好理解的，这就相当于对文本序列中每一个token进行分类，得到它的标注标签，之所以采用LSTM是考虑到语言的特性是前后依赖的，所以用LSTM的hidden的向量来描述当前以及之前所见到字的。大致流程如图所示：

图1 LSTM层做NER

但是光用LSTM来进行标注有一个问题，比如上图，我们发现预测的结果中一个人名后面紧接这一个组织名，这在正常的语言表达中是比较少见的，也就是概率比较低的。因此，CRF层的出现，就是为了能够让我们的模型学习到一些类似于“B-PER后面多数紧接着I-PER”，“B-PER后面很少接着I-ORG”这样的约束条件。