gensim 实践篇

继上篇文章了解了一些模型的基本原理以后，这里来讲讲怎么用 gensim，主要参考官方网站的 gensim: Tutorials，这篇博文也只是简单记下一点笔记。

主要有三块内容，先讲怎么把文档表示成向量空间模型（VSM，vector space model）中的稀疏向量（sparse vector）形式，然后是怎么用模型（这里叫 topic and transformations）把词袋模型（BoW，Bag of Word）的表示转化成该模型的形式。最后是怎么把结果存下来做文档的相似度检索等。

顺便提一下，安装 gensim 特别简单，直接在终端里，

pip install --upgrade gensim

Corpora and Vector Spaces

这一节讨论怎么表示文档，特别是怎么表示成 BoW 形式，并用词典统计所有的词汇。

这里约定文档的表示有三种形式，

• document，用一个字符串表示一篇文章
• text，分词后（or tokenize）的表示，这里要去停词和低频词等
• corpus，文档的 BoW 表示，写成词的 id 和对应的词频，词典记录了词汇和对应 id

---

我们用一组非常短的文档集示例，这里每篇文档只有一句话，

from gensim import corpora
from pprint import pprint

documents = ["Human machine interface for lab abc computer applications",
             "A survey of user opinion of computer system response time",
            "The EPS user interface management system",
            "System and human system engineering testing of EPS",
            "Relation of user perceived response time to error measurement",
            "The generation of random binary unordered trees",
            "The intersection graph of paths in trees",
            "Graph minors IV Widths of trees and well quasi ordering",
            "Graph minors A survey"]

print 'got', len(documents),