布隆过滤器(Bloom Filter)是一种基于 Bitmap 的概率数据结构,它用于快速判断一个元素是否在一个集合中。虽然它不能完全准确地告诉你一个元素一定在集合中,但它可以非常确定地告诉你一个元素不在集合中。换句话说,它可能会产生假阳性(认为元素在集合中,但实际上不在),但不会产生假阴性(认为元素不在集合中,但实际上在)。
工作原理
布隆过滤器使用多个哈希函数将元素映射到一个位数组(Bitmap)上。以下是具体步骤:
- 初始化位数组:初始化一个全为 0 的位数组(长度为 m)。
- 添加元素:当你想添加一个元素到布隆过滤器中时,通过 k 个不同的哈希函数来计算该元素的 k 个哈希值。每个哈希值对应位数组中的一个位置,将这些位置的值设置为 1。
- 查询元素:当你想查询一个元素是否在布隆过滤器中时,同样通过 k 个哈希函数计算该元素的 k 个哈希值。检查位数组中这 k 个位置的值,如果都为 1,则可能在集合中;如果有任何一个位置为 0,则一定不在集合中。
举例说明
假设我们有一个布隆过滤器,位数组长度为 10(m=10),并使用 3 个哈希函数(k=3)。我们想添加和查询几个元素。
添加元素
-
添加元素 “apple”:
- 通过 3 个哈希函数得到哈希值:
H1("apple") = 1
,H2("apple") = 4
,H3("apple") = 7
。 - 将位数组中第 1、4、7 位设为 1。
位数组变为:
[0, 1, 0, 0, 1, 0, 0, 1, 0, 0]
- 通过 3 个哈希函数得到哈希值:
-
添加元素 “banana”:
- 通过 3 个哈希函数得到哈希值:
H1("banana") = 2
,H2("banana") = 5
,H3("banana") = 8
。 - 将位数组中第 2、5、8 位设为 1。
位数组变为:
[0, 1, 1, 0, 1, 1, 0, 1, 1, 0]
- 通过 3 个哈希函数得到哈希值:
查询元素
-
查询元素 “apple”:
- 通过 3 个哈希函数得到哈希值:
H1("apple") = 1
,H2("apple") = 4
,H3("apple") = 7
。 - 检查位数组中第 1、4、7 位,都是 1,所以 “apple” 可能在集合中。
- 通过 3 个哈希函数得到哈希值:
-
查询元素 “banana”:
- 通过 3 个哈希函数得到哈希值:
H1("banana") = 2
,H2("banana") = 5
,H3("banana") = 8
。 - 检查位数组中第 2、5、8 位,都是 1,所以 “banana” 可能在集合中。
- 通过 3 个哈希函数得到哈希值:
-
查询元素 “cherry”:
- 通过 3 个哈希函数得到哈希值:
H1("cherry") = 0
,H2("cherry") = 3
,H3("cherry") = 6
。 - 检查位数组中第 0、3、6 位,发现第 0 位是 0,所以 “cherry” 一定不在集合中。
- 通过 3 个哈希函数得到哈希值:
布隆过滤器的特点
- 高效性:布隆过滤器占用的空间非常小,而且查询和插入操作都非常快,时间复杂度为 O(k),其中 k 是哈希函数的数量。
- 可能产生假阳性:它可能会错误地认为某个不在集合中的元素存在于集合中,但不会漏掉任何实际存在的元素。
- 不可删除元素:标准的布隆过滤器不支持删除元素,因为删除操作可能会误删其他元素的标记。
用法
布隆过滤器在需要高效地判断元素是否存在的场景中非常有用,比如:
- 数据库缓存:检查一个数据是否已经在缓存中。
- 网络黑名单:快速判断一个 IP 是否在黑名单中。