探究Lucene计算权重的过程

探究Lucene计算权重的过程

我们知道，影响一个词在一篇文档中的重要性主要有两个因素：

1 term frequency (tf):该词在当前文档出现了多少次，tf越大，说明越重要。

2 document frequency (df):有多少文档包含该term,该词越大说明太普通了，越不重要。

比如solr一词在文档中出现次数很多，说明这篇这篇文档主要是跟solr有关的；那比如the this it which 诸如此类的词，也很多，但重要吗，很明显不重要，为什么？因为每一篇文档可能都有很多这样的词，所以这时候就是由df来决定了。

计算权重的公式如下：

Wt,d = tft,d * log(n / dft)

Wt,d：词在文档中的权重 tft,d：词在该文档中出现的频率次数 n: 文档总数 dft：包含这个词的文档的数量

当然，不同的系统可能有自己不同的实现。

 

 

 

VSM: 向量空间模型算法

1 我们把文档看做一系列的词

2 每一个词在文档中都有自己的权重

3 不同的词根据自己在文档中的权重来影响文档打分

4 我们把文档中词的权重看做一个向量：

Document Vector = {weight1, weight2, …… ,weight N}

5 我们把Query也用向量表示

Query Vector = {weight1, weight2, …… , weight N}

6 我们把搜索出来的文档向量和query向量放在一个N维空间，每一个term是一个维度。

7 我们认为两个向量之间的夹角越小，相关性越大。所以我们计算夹角的余弦值作为相关性的打分，夹角越小，余弦值越大，打分高，相关性越大

查询语句一般是很短的，包含的词(Term)是很少的，因而查询向量的维数很小，而文档很长，包含词(Term)很多，文档向量维数很大。你的图中两者维数怎么都是N呢？在这里，既然要放到相同的向量空间，自然维数是相同的，不同时，取二者的并集，如果不含某个词(Term)时，则权重(Term Weight)为0

 

举例子：

查询语句共有3个term, 文档共有5个term

	Term1	Term2	Term3	Term4	Term5
Document1	0	0.179	0	0.66	0.345
Document2	0	0.245	0.123	0.66	0.8
Query	0.154	0	0	0.66	0.5

 

计算2篇文档跟查询语句的相关性打分分别为：

得到的结果第二个比第一个大，所以返回的结果第二个排在第一个前面