ElasticSearch的filter原理深度剖析

# 首先在倒排列表中匹配字符串，返回文档列表

# 然后为每一个匹配到的文档列表构建一个bitset。[0,1,0,0,1]等

用来标志一个文档是否对一个filter条件匹配，如果匹配就是1，否则就是0

# 接着遍历每一个过滤条件对应的bitset，优先从最稀疏的索引开始搜索，查找满足所有条件的document

所谓稀疏索引：就是0比较多1比较少的情况的索引。

一次性其实可以在一个search请求中，发出多个filter条件，每个filter条件都会对应一个bitset遍历每个filter条件对应的bitset，先从最稀疏的开始遍历。比如：

我查找Color=Red ANDOnSale=true的文档：

假设两者稀疏索引如下：

onSale: 0 0 1 0 0 0 0

red:   0 1 10 0 0 0

遍历完两个bitset之后，找到的匹配所有条件的文档

 

# Caching bitset ，跟踪query,在最近256个query中超过一定次数的过滤条件，缓存其bitset。对于小的segment，不缓存bitset

我们可以将一些频繁请求的filter在内存中缓存起来，这样下次如果有这个条件到达的时候，就不用重新扫描倒排索引，反复声称bitset，大幅度提升性能

针对比较小的segment我们可以不缓存，意义不大，第一是segment很小，计算扫描也很快；另外segment在后台会自动合并，小的segment就会很快跟其他小segment合并成大的segment,所以缓存的也没啥意义

 

# Filter在query执行之前，先尽可能过滤掉更多的数据

Query：是会计算文档对搜索条件的相关度分值，还会根据这个打分进行排序

Filter: 只是简单的过滤数据，不计算相关度分值，也不排序

 

# 如果document有新增或修改，那么cached bitset 会被自动更新

# 以后只要有相同条件filter条件的，会直接使用这个过滤条件对应的cachedlist