python 结巴分词

昨天在处理发帖标题和内容，需要提取关键字。

首先要对句子进行分词。。。。经过一系列的查找，我决定用结巴分词来进行

介绍结巴分词 

1.支持繁体

2.支持自定义词典

3.支持三种分词模式：

1：精确，适合文本分析

2：全模式，将句子所有可以成词的词语扫描出来，速度快，但不能解决句子的歧义

3：搜索引擎，在精确模式下，对长词进行再切割，使用搜索引擎分词

安装  python2.7.9

全自动安装：easy_install jieba 或 pip install jieba

半自动： 先下载http://pypi.python.org/pypi/jieba/ ，解压运行 python setup.py install

手动：将jieba放到当前目录，通过import jieba 来引用http://pan.baidu.com/s/1kVlUyhh

def jieba_seg(str):
    """对文档进行分词处理"""
    seg_list = jieba.cut(str, cut_all=True)#全模式
    #seg_list = jieba.cut(str, cut_all=False)#精确模式
    #seg_list = jieba.cut(str)#默认是精确模式
    # 对空格，换行符进行处理
    result = ""
    for seg in seg_list:
        seg = ''.join(seg.split())
        if (seg != '' and seg != "\n" and seg != "\n\n"):
            result += seg + " "
    return result