文本关键词算法原理总结

---

1、TF-IDF:term frequency-inverse document frequency)
概念：TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。
字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比。
词频（term frequency,TF)：某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化，以防止它偏向长的文件。
逆向文件频率（inverse document frequency,IDF)是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件除以包含该词语的文件的数目，再将得到的商取对数得到。

原理：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
不足之处：如果一个词条在一个类的文档中频繁出现，则说明该词条能够很好的代表这个类的文本的特征，这样的词条能够很好的代表这个类的文本的特征，这样的词条应该给他们赋予较高的权重，并选来作为该类文本的特征词以区分与其他文档。但是按照该算法赋予了较低的权重。

---

2、TF-IWF文档关键词自动提取算法：在TF-IDF算法的基础上，用特征项频率倒数的对数值IWF代替IDF,并且用IWF的平衡权重值对于特征频率的倚重。
该算法使用简单统计并考虑词长、位置、词性等启发性知识计算词权重，并通过文档精华、领域词典等方法提高了关键词提取的速度及准确度。对523篇学生心理健康领域文档的实验结果表明，该算法提取的文档关键词质量优于TF-IDF方法，且能在o(n)时间内完成。

---

3、基于分离模型的中文关键词提取算法研究：该算法针对关键词提取和关键词串提取这里两个问题设计了不同的特征以提高提取的准确性。

---

4、基于高位聚类技术的中文关键词提取算法：通过依据小字典的快速分词、二次分词、高维聚类及关键词甄选四个步骤实现关键词的提取。

---

5、基于语义的中文文本关键词提取（SKE)算法：将词语语义特征融入关键词提取过程中，构建词语语义相似度网络并利用居间度密度度量词语语义关键度。

---

6、基于朴素贝叶斯模型的中文关键词提取算法研究：该算法首先通过训练过程获得朴素贝叶斯模型中的各个参数，然后以此为基础，在测试过程完成关键词提取。

---

参考资料
博客： (http://blog.inet198.cn/?riverflowrand/article/details/51009108)