中文分词工具比较

在本篇文章中，将介绍9个常用的分词工具及其对比。
jieba、SnowNLP、北京大学PKUseg、清华大学THULAC、HanLP、FoolNLTK、哈工大LTP、CoreNLP、BaiduLac。
* 部分分词中有可参考的论文。如北大、清华和百度Lac，可引用

简介

中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块。不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性、句法树等模块的效果。当然分词只是一个工具，场景不同，要求也不同。

在人机自然语言交互中，成熟的中文分词算法能够达到更好的自然语言处理效果，帮助计算机理解复杂的中文语言。下面就介绍一些成熟的分词工具。

1 jieba

" 结巴"中文分词：做最好的Python中文分词组件 “Jieba”
更新时间：2020年
官网地址：jieba

特点：

• 支持三种分词模式：
  • 精确模式，试图将句子最精确地切开，适合文本分析；
  • 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义
  • 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
• 支持繁体分词
• 支持自定义词典

2 SnowNLP

SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的
更新时间：2017年
官网地址：