一、 基本功能:
import jieba
jieba._pcut(str), 生成的结果未做词性标注
jieba.posseg.cut(str,HMM=False)
生成的结果已做词性标注,HMM为隐马尔科夫模型,用于未登陆词(在词典中未出现过)的识别
二、词库更新
(重新加载后失效,如需永久更改,可更换词典文件或者在现有词典文件中编辑更改)
1)增加自定义词 :jieba.add_word(str,tag=” “)
若jieba默认的词典中存在自定义词语,则原词典中的词语将会替换成最新的,tag标记生效。
2)增加自定义词典:jieba.load_userdict(path)
字典内容格式如下:
真好 100 adg
香格里拉 3 n
注意:源码中自定义tag提取规则如下:re_userdict = re.compile(‘^(.+?)( [0-9]+)?( [a-z]+)?$’, re.U)
即:tag只能是小写英文,词频只能是数字
3)更改分词的主词典:jieba.set_dictionary(dict_path)
说明:词库更新操作均会改变jieba词库,词库重载后失效。jieba分词原则:采用词频统计计算得分最高者,为最终分词结果。
计算公式如下:
输入文本:S, 词典总词频:N(常量),单个词语的词频:P(A)
1)S = A+B+