TF (term frequency)– 词语频率
定义:用于统计一词语在一文档的频率。比如一文档的总词语数是100个,而词语”公牛“出现了3次,那么”公牛”在该文档的词频则为0.03(3/100)。
DF(document frequency) – 文档频率
还是以上面的词语“公牛”为例子。计算DF的方法是计算有多少份文档出现过“公牛”这个词语,除以文档集合中的包含的文档总数。如果“公牛”一词在10份文档出现过,而文档总数是10000份的话,其文档频率为0.001(10/10000)。
IDF(inverse document frequency) – 逆文档频率
逆文档频率为,为文档频率的倒数,再求log值。公式:
IDF=
TF-IDF
某一特定文档内的高词语频率,以及该词语在整个文档集合中的低文档频率,可以产生出高权重的TF-IDF
。
理论依据
TFIDF算法是建立在这样一个假设之上的:对区别文档最有意义的词语应该是那些在文档中出现频率高,而在整个文档集合的其他文档中出现频率少的词语,所以如果特征空间坐标系取TF词频作为测度,就可以体现同类文本的特点。另外考虑到单词区别不同类别的能力,TFIDF法认为一个单词出现的文档频率越小,它区别不同类别文档的能力就越大。因此引入了逆文档频率IDF的概念,以TF和IDF的乘积作为特征空间坐标系的取值测度,并用它完成对权值TF的调整,调整权值的目的在于突出重要单词,抑制次要单词。
不足
本质上IDF是一种试图抑制噪音的加权 ,并且单纯地认为文档频率小的单词就越重要,文档频率大的单词就越无用,显然这并不是完全正确的。IDF的简单结构并不能有效地反映单词的重要程度和特征词的分布情况,使其无法很好地完成对权值调整的功能,所以TFIDF法的精度并不是很高。 此外,在TFIDF算法中并没有体现出单词的位置信息
参考:
TF-IDF — Term Frequency-Inverse Document Frequency – LearnDataSci