文本关键词算法原理总结

---

1、TF-IDF:term frequency-inverse document frequency)
概念：TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。
字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比。
词频（term frequency,TF)：某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化，以防止它偏向长的文件。
逆向文件频率（inverse document frequency,IDF)是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件除以包含该词语的文件的数目，再将得到的商取对数得到。

原理：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
不足之处：如果一个词条在一个类的文档中频繁出现，则说明该词条能够很好的代表这个类的文本的特征，这样的词条能够很好的代表这个类的文本的特征，这样的词条应该给他们赋予较高的权重，并选来作为该类文本的特征词以区分与其他文档。但是按照该算法赋予了较低的权重。

---

2、TF-IWF文档关键词自动提取算法：在TF-IDF算法的基础上，用特征项频率倒数的对数值IWF代替IDF,并且用IWF的平衡权重值对于特征频率的倚重。
该算法使用简单统计并考虑词长、位置、词性等启发性知识计算词权重，并通过文档精华、领域词典等方法提高了关键词提取的速度及准确度。对523篇学生心理健康领域文档的实验结果表明，该算法提取的文档关键词质量优于TF-IDF方法，且能在o(n)时间内完成。

---

3、基于分离模型的中文关键词提取算法研究：该算法针对关键词提取和关键词串提取这