TF-IDF 算法

    近来写论文需要抽取文档的主题和关键词，所以研究了一些关于抽取文档关键词以及计算文本相似度的一些算法。

TF-IDF是在抽取文档关键词，文档分类等领域比较经典的算法，我在很多本书中都看到过TF-IDE得身影，比如吴军的《数学之美》。个人感觉TF-IDE是一个非常精巧的算法，简单、实用且效果优良。好的算法并不一定是复杂的，一般来说好的算法都是精巧而简单的，但正是这些精巧而简单的算法可以为我们解决复杂的问题。

TF表示文本词汇频率也就是一个词汇在一篇文章中出现的次数文档总次数之比。一般我们认为，一个词在一篇文章中出现的次数越多，说明这个词越能反映这篇文章的主题。但现在问题来了，一篇文章中出现最多的词可能是像“的”、“了”这样的词，我们称这些词为停用词。这些停用词并不能反映出文章的主题。那么如何解决这一问题呢？

IDF表示逆文本频率值。逆文档频率值得计算如下：