Vacuum Filters: More Space-Efficient and Faster Replacement for Bloom and Cuckoo Filters

Vacuum Filters: More Space-Efficient and Faster Replacement for Bloom and Cuckoo Filters

我们提出了真空过滤器，一种支持近似成员查询的数据结构。在所有已知的AMQ数据结构中，真空过滤器占用的空间最小，在大多数情况下提供更高的插入和查找吞吐量。因此，它们可以代替广泛使用的布卢姆过滤器和布谷鸟过滤器。与布谷鸟过滤器类似，真空过滤器也将物品指纹存储在表格中。内存效率和吞吐量的提高来自于表插入和指纹驱逐策略的创新，该策略实现了高负载系数和数据局部性，而不受表大小的任何限制。此外，我们提出了一个新的更新框架，以解决动态AMQ结构的两个难题，即重复插入和集大小调整。实验表明，真空过滤器在相同的假阳性率下，与布谷鸟过滤器相比，在平均和类似吞吐量的情况下，可以实现25%的空间减少，与布鲁姆过滤器相比，空间减少15%和10倍的吞吐量。AMQ数据结构广泛应用于计算机系统和网络的各个层，通常托管在内存有限和宝贵的平台上。因此，真空过滤器带来的改进可以被认为是显著的。

方法：

该真空过滤机具有独特的优点:1)其存储成本是现有方法中最小的;2)其查询吞吐量高于大多数其他方案，仅在极少数情况下略低于cuckoo;3)在实际应用中支持使用存储层次的实际动态。目前还没有一种方法能够同时实现所有这些功能。AMQ数据结构被广泛采用，存储效率是其最本质的特征。减少20%的空间是根本性的改进，而不是小幅度的增加。