通俗理解TF-IDF文本分析算法

TF-IDF是一种文本词频（文本特征提取）统计算法

概念：

词频（TF）：一个词语在文本中出现的频率；
文本总数（D）：所搜集的所有文本数；
含关键字文本数（Dw）：含有某个词（关键字）的文本数目；
公式：
情景假设：现搜集了D个文件，要分析某文件某关键词w的TF-IDF词频
TF(w)=某词w在所有文件中出现的次数/该文件的总词数
含有w词的文本共有Dw个，则IDF(w)=log(D/Dw+1)
TF_IDF(w)=TF(w)*IDF(w)

注：IDF处理目的：
1、降低具有"普遍性"词语的权重，提升具有"个性化"的词的频率
2、分母Dw+1是为了避免分母为0的情况

举例说明

假如一篇文件的总词语数是100个，而词语“母牛”出现了3次，那么“母牛”一词在该文件中的词频就是3/100=0.03。一个计算文件频率 (IDF) 的方法是测定有多少份文件出现过“母牛”一词，然后除以文件集里包含的文件总数。所以，如果“母牛”一词在1,000份文件出现过，而文件总数是10,000,000份的话，其逆向文件频率就是 lg(10,000,000 / 1,000)=4。最后的TF-IDF的分数为0.03 * 4=0.12

 

更多参考：https://blog.csdn.net/awj3584/article/details/18604901?_t=t