北大开源中文分词工具pkuseg-python，我用张小龙的3万字演讲做了统计

做过搜索的同学都知道，分词的好坏直接决定了搜索的质量，在英文中分词比中文要简单，因为英文是一个个单词通过空格来划分每个词的，而中文都一个个句子，单独一个汉字没有任何意义，必须联系前后文字才能正确表达它的意思。

因此，中文分词技术一直是nlp领域中的一大挑战。Python 中有个比较著名的分词库是结巴分词，从易用性来说对用户是非常友好的，但是准确度不怎么好。这几天发现另外一个库，pkuseg-python，看起来应该是北大的某个学生团队弄出来的，因为这方面没看到过多的介绍，pkuseg-python 的亮点是领域细分的中文分词工具，简单易用，跟现有开源工具相比提高了分词的准确率。

于是我想起用张小龙的3万字演讲做下测试，前几天在朋友圈流传了一张图，采铜统计出张小龙演讲中各个词出现的频率，不知他是怎么统计的，不过作为技术人，我们用更专业的工具来试试会是什么效果。

安装 pkuseg

pip3 install pkuseg

第一步是将演讲内容下载下来，保存到一个txt文件中，然后将内容加载到内存

content = []
with open("yanjiang.txt", encoding="utf-8") as f:
    content = f.read()

我统计了一下，文字总数是32546个。

接下来我们用pkuseg对内容进行分词处理，并统计出现频率最高的前20个词语是哪些。

import pkuseg
from collections import Counter
import pprint

content = []
with open("yanjiang.txt", encoding="utf-8") as f:
    content = f.read()

seg = pkuseg.pkuseg()
text = seg.cut(content)
counter = Counter(text)
pprint.ppr