昨天在处理发帖标题和内容,需要提取关键字。
首先要对句子进行分词。。。。经过一系列的查找,我决定用结巴分词来进行
介绍结巴分词
1.支持繁体
2.支持自定义词典
3.支持三种分词模式:
1:精确,适合文本分析
2:全模式,将句子所有可以成词的词语扫描出来,速度快,但不能解决句子的歧义
3:搜索引擎,在精确模式下,对长词进行再切割,使用搜索引擎分词
安装 python2.7.9
全自动安装:easy_install jieba 或 pip install jieba
半自动: 先下载http://pypi.python.org/pypi/jieba/ ,解压运行 python setup.py install
手动:将jieba放到当前目录,通过import jieba 来引用http://pan.baidu.com/s/1kVlUyhh
def jieba_seg(str):
"""对文档进行分词处理"""
seg_list = jieba.cut(str, cut_all=True)#全模式
#seg_list = jieba.cut(str, cut_all=False)#精确模式
#seg_list = jieba.cut(str)#默认是精确模式
# 对空格,换行符进行处理
result = ""
for seg in seg_list:
seg = ''.join(seg.split())
if (seg != '' and seg != "\n" and seg != "\n\n"):
result += seg + " "
return result