IK分词原理深度解析

**鄙人的新书《elasticsearch7完全开发指南》，欢迎订阅！**
-----
https://wenku.baidu.com/view/8ff2ce94591b6bd97f192279168884868762b8e7

 

**《kibana权威指南》**
----
https://wenku.baidu.com/view/24cfee1ce43a580216fc700abb68a98270feac21

 

导读：IK分词是一款国人开发的相对简单的中文分词器，但自2012年之后开发者就不在维护了，但在工程应用中IK算是比较流行的一款！

 

1、IK分词器也是基于正向匹配的分词算法。

2、IK分词器，基本可分为两种模式，一种为smart模式，一种为非smart模式

3、非smart模式所做的就是将能够分出来的词全部输出；smart模式下，IK分词器则会根据内在方法输出一个认为最合理的分词结果，这就涉及到了歧义判断

 

4、Lexeme 词元，compareTo(Lexeme other)这个方法决定了词元在链路中的位置

5、LexemePath词元链，分词的一种结果，根据前后顺序组成一个链式结构,其实就是由交叉的Lexeme 组成的有序集合QuickSortSet

。LexemePath也是实现Comparable接口的，用于歧义分析

实例：张三说的确实在理

根据正向匹配可能的词元链：

L1:{张三，张,三}

L2: