2021AAAI | 嵌套命名实体识别

最新推荐文章于 2024-03-06 20:04:03 发布

zmcadlf

最新推荐文章于 2024-03-06 20:04:03 发布

阅读量2.8k

点赞数 2

本文链接：https://blog.csdn.net/zmcadlf/article/details/116947427

版权

Nested Named Entity Recognition with Partially-Observed TreeCRFs

（作者：英国爱丁堡大学和阿里巴巴）

传统的序列标记的方法已经不适合用来识别嵌套实体。在这篇文章中，作者使用了partially-observed TreeCRFs(PO-TreeCRFs)，将标记的实体跨度看作树中的可见节点，将其他的看作潜在节点，与其他实体部分重叠的就reject（因为嵌套实体是完全嵌套的，不会部分重叠）。为了提高速度，作者还用了Masked Inside算法来提高速度（一些相关的就是1，无关的就是0）。然后用了一个归一为均值为0，方差为1的经验分布，用一个很小值代替0的两种正则化方法，使得nested NER在3个嵌套数据集上性能都有所提升。

嵌套实体的几个相关工作

hypergraph-based(基于超图的)

设计一个超图表示所有可能的嵌套结构。但是这个图需要精心设计避免结构虚假和结构歧义。这会导致结构构建和计算复杂。

transiton-based（基于转换的）

与shift-reduce pasers相似，对于不同形式的词设计不同的动作。通过shift/reduce/unary这些动作来处理不同的实体（A Neural Transition-based Model for Nested Mention Recognition）。或者是合并tokens and/or entities到实体中。这些方法依赖于特定的转换系统，需要领域专家，不够一般化。

span-based（基于跨度的）

计算所有的序列的跨度表示，并给出一个分数，从这些跨度中分类出可能的实体跨度。这些方法有局部依赖性。

其他的

有gap-based tagging（Labeling Gaps Between Words: Recognizing Overlapping Mentions with Mention Separators）

有sequence-to-nuggets结构方法的（Sequence-to-Nuggets: Nested Entity Mention Detection via AnchorRegion Networks）

有sequence-to-sequence结构方法的（Neural Architectures for Nested NER through Linearization）

还有当成阅读理解来做的（A Unifified MRC Framework for Named Entity Recognition）

结构与模型

TreeCRFs局限于O( $n^{3}$ )时间复杂度，但现在有并行计算和高效率的张量优化库，可以把时间复杂度降到O( $n^{2}$ )甚至O(nlogn)（如果是2分类就可以达到O(nlogn)。

用Biaffine计算实体跨度得分

（还不是要计算跨度分数，Named Entity Recognition as Dependency Parsing也是用这个biaffine来计算跨度评分的，他的思想很简单，容易理解。而且得到的性能还更高。Biaffine的具体思想我还不明白，有时间再去仔细研究一下）

跨度评分计算方法如下：

Enc(·)表示预训练编码（文章用的BERT和），FF(·)表示前馈网络。 $e_{i}$ 表示每个词 $x_{i}$ 的嵌入表示。 $U_{k}^{(1)}$ , $U_{k}^{(2)}$ , $b_{k}$ 是biaffine评分机制的参数。 $s_{ijk}$ 是区间跨度分数。每个词 $x_{i}$ 都有标签k属于可见节点的那几个标签和隐藏节点的那几个标签。