【Python学习笔记】结巴分词

前往：我自己搭建的博客

所用版本：Python 3.6，jieba-0.42.1

分词模式

1. 精确模式：以尽可能正确的方式切分句子，适合做文本分析。
2. 全模式：扫描出句子中所有可能的词语，速度快，无法消歧义。
3. 搜索引擎模式：在精确模式的基础上，对长词再次切分。

修改词典

• 动态增删词语：add_word()，del_word()，修改会被保存，直到Python被关闭。
• 批量增加：将需要添加的词语写入一个文件（一行一个,UTF-8），然后用load_userdict()，修改的有效期同上。

停用词

• 停用词表示基本不携带有效信息的词。
• 提取非停用词：jieba.analyse.extract_tags(s,num)，参数s是文本，num是需要提取的词的数量。
• 增加停用词：jieba.analyse.set_stop_words()，与修改词典方法类似。

词性标注

• 词性标注采用和ICTCLAS兼容的标记法。
• 用jieba.posseg.lcut()得到分词结果及词性

代码

import jieba
import jieba.analyse
import jieba.posseg
s="我所研究的东西，尺度要么在十的负三十次方厘米以下，要么在一百亿光年以上，在这两个尺度上，地球和人类都微不足道。——丁仪"
a=jieba.cut(s)  #精确模式,type(a)=generator
for x in a: print(x,end='/')
print()
print('/'.join(jieba.lcut(s))) #精确模式,type(a)=list
print('/'.join(jieba.lcut(s,cut_all=True))) #全模式
print('/'.join(jieba.lcut_for_search(s))) #搜索引擎模式
jieba.add_word("地球和人类") #动态增加
print('/'.join(jieba.lcut(s))) #精确模式
jieba.del_word("地球和人类") #动态删除
jieba.load_userdict("words.txt") #批量增加 
jieba.analyse.set_stop_words("stop.txt") #增加停用词
print('/'.join(jieba.analyse.extract_tags(s))) #提取非停用词
a=jieba.posseg.lcut(s) #标注词性 
for x in a: print(x,end=' ') #list中的元素类型为jieba.posseg.pair
print()
for x in a: print(x.word,x.flag,end='/') #另一种输出方式 
print()

'''
输出结果：
我/所/研究/的/东西/，/尺度/要么/在/十/的/负/三十次/方/厘米/以下/，/要么/在/一百/亿光年/以上/，/在/这/两个/尺度/上/，/地球/和/人类/都/微不足道/。/—/—/丁仪/
我/所/研究/的/东西/，/尺度/要么/在/十/的/负/三十次/方/厘米/以下/，/要么/在/一百/亿光年/以上/，/在/这/两个/尺度/上/，/地球/和/人类/都/微不足道/。/—/—/丁仪
我/所/研究/的/东西/，/尺度/要么/在/十/的/负/三十/三十次/十次/次方/厘米/以下/，/要么/在/一百/一百亿/百亿/亿光年/光年/以上/，/在/这/两个/尺度/上/，/地球/和/人类/都/微不足道/不足/不足道/。——/丁/仪
我/所/研究/的/东西/，/尺度/要么/在/十/的/负/三十/十次/三十次/方/厘米/以下/，/要么/在/一百/光年/亿光年/以上/，/在/这/两个/尺度/上/，/地球/和/人类/都/不足/不足道/微不足道/。/—/—/丁仪
我/所/研究/的/东西/，/尺度/要么/在/十/的/负/三十次/方/厘米/以下/，/要么/在/一百/亿光年/以上/，/在/这/两个/尺度/上/，/地球和人类/都/微不足道/。/—/—/丁仪
要么/尺度/三十次/丁仪/亿光年/微不足道/一百/厘米/地球/人类/以下/东西/以上/研究/两个
我/r 所/u 研究/vn 的/uj 东西/ns ，/x 尺度/n 要么/c 在/p 十/m 的/uj 负/n 三十次/m 方/n 厘米/q 以下/f ，/x 要么/c 在/p 一百/m 亿光年/m 以上/f ，/x 在/p 这/r 两个/m 尺度/n 上/f ，/x 地球/n 和/c 人类/n 都/d 微不足道/i 。/x —/x —/x 丁仪/nr 
我 r/所 u/研究 vn/的 uj/东西 ns/， x/尺度 n/要么 c/在 p/十 m/的 uj/负 n/三十次 m/方 n/厘米 q/以下 f/， x/要么 c/在 p/一百 m/亿光年 m/以上 f/， x/在 p/这 r/两个 m/尺度 n/上 f/， x/地球 n/和 c/人类 n/都 d/微不足道 i/。 x/— x/— x/丁仪 nr/
'''