面试官：让你写一个爬虫系统，如何对url进行去重？（布隆过滤器，亿级数据过滤算法）

最新推荐文章于 2024-07-24 14:07:28 发布
最新推荐文章于 2024-07-24 14:07:28 发布
阅读量2.9k 收藏 14
点赞数 4
分类专栏： Java面试通关100问
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzti_erlie/article/details/105329274
版权
布隆过滤器是一种空间效率极高的概率型数据结构，用于判断一个元素是否在一个集合中。在爬虫系统中，它可以用来高效地判断URL是否已经处理过，以解决URL判重问题。尽管可能会有误判（假阳性），但不会出现漏判（假阴性）。文章介绍了布隆过滤器的原理，包括使用多个hash函数和位数组减少冲突，并提供了使用Google Guava库和Redis实现布隆过滤器的方法。
摘要由CSDN通过智能技术生成

在这里插入图片描述

介绍

我们以演进的方式来逐渐认识布隆过滤器。先抛出一个问题爬虫系统中URL是怎么判重的？你可能最先想到的是将URL放到一个set中，但是当数据很多的时候，放在set中是不现实的。

这时你就可能想到用数组+hash函数来实现了。

index = hash(URL) % table.length

即求出URL的hash值对数组长度取模，得到数组的下标，然后设置table[index] = 1，当然数组刚开始的元素都为0

这样每次有新的URL来的时候，先求出index，然后看table[index]的值，当为0的时候，URL肯定不存在ÿ

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Java识堂
关注
专栏目录
订阅专栏
Redis实现布隆过滤器的方法及原理
09-08
布隆过滤器优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。本文将介绍布隆过滤器的原理以及Redis如何实现布隆过滤器，感兴趣的朋友跟随小编一起看看吧
布隆过滤器(Bloom Filter)算法的实现原理
one
06-28 969
123
【算法】布隆过滤器
最新发布
wnm23的专栏
07-24 1403
布隆过滤器是一种用来快速判断一个元素是否属于一个集合的数据结构，它通过牺牲一定的准确性来换取空间和时间的效率。
亿级数据过滤和布隆过滤器
超级博客
06-04 1015
但是布隆过滤器也不是特别不精确，只要参数设置的合理，它的精确度可以控制的相对足够精确，只会有小小的误判概率。问题是当 用户量很大，每个用户看过的短视频又很多的情况下，这种方式，推荐系统的去重工作 在性能上跟的上么？布隆过滤器有两个基本指令， bf.add 添加元素， bf.exists 查询元素是否存在，它的用法和 set 集合的 sadd 和 sismember 差不多。这么多的推荐内容要推荐给这么多的用户，它是怎么保证每个用户在看推荐内容时，保证不会出现之前已经看过的推荐视频呢？
【译】系统设计入门之面试题解答 —— 设计一个网页爬虫
weixin_34150503的博客
08-11 272
原文地址：Design a web crawler 原文作者：Donne Martin 译文出自：掘金翻译计划 译者：吃土小2叉 校对者：lsvih 设计一个网页爬虫 注意：这个文档中的链接会直接指向系统设计主题索引中的有关部分，以避免重复的内容。你可以参考链接的相关内容，来了解其总的要点、方案的权衡取舍以及可选的替代方案。 第一步：简述用例与约束条件 把所有需要的东西聚集在一起，审视问...
布隆过滤器原理和实现
Jak的博客
08-28 733
一、布隆过滤器介绍 巴顿.布隆于一九七零年提出 一个很长的二进制向量 （位数组） 一系列随机函数 (哈希) 空间效率和查询效率高 有一定的误判率（哈希表是精确匹配） 二、布隆过滤器原理 布隆过滤器（Bloom Filter）的核心实现是一个超大的位数组和几个哈希函数。假设位数组的长度为m，哈希函数的个数为k 以上图为例，具体的操作流程： 假设集合里面有3个元素{x, y, z}，哈希函数的个数为3。 首先将位数组进行初始化，将里面每个位都设置位0。 对于集合里面的每一
还有人不懂布隆过滤器吗？
weixin_45566993的博客
01-27 766
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 还有人不懂布隆过滤器吗？ 1.介绍 我们在使用缓存的时候都会不可避免的考虑到如何应对 缓存雪崩 ， 缓存穿透 和 缓存击穿 ,这里我们就来讲讲如何解决缓存穿透。 缓存穿透是指当有人非法请求不存在的数据的时候，由于数据不存在，所以缓存不会生效，请求会直接打到数据库上，当大量请求集
从面试题浅谈布隆过滤器（Bloom Filter）
Jerry 没有 Tom
01-04 1504
面试题 不安全网页的黑名单包含 100亿个黑名单网页， 每个网页的URL最多占64字节，现在想要实现一种网页过滤系统，可以根据网页的URL判断该网页是否在黑名单上， 请设计该系统。 要求该系统允许有万分之一一下的判断失误率，并且使用的额外控件不要超过30G。 分析：一般思路基本就是 将黑名单存入  哈希表 或者 数据库。但是显然与题设是不符合的。假设最差的情况， 每个URL占64个字节。  ...
布隆(Bloom Filter)过滤器——全面讲解，建议收藏
hjseo_seg的博客
06-22 2997
本文已收录于专栏??《Redis之大厂必备技能包》??欢迎各位关注、三连博主的文章及专栏，全套Redis学习资料，大厂必备技能！目录1、什么是布隆过滤器2、布隆过滤器的使用场景3、布隆过滤器的原理3.1 数据结构3.2 空间计算3.3 增加元素3.4 查询元素3.5 修改元素3.6 删除元素4、Redis集成布隆过滤器4.1 版本要求4.2 安装&编译4.3 Redis集成5、Redis中布隆过滤器指令使用5.1 bf.add5.2 bf.madd5.3 bf.exists5.3 bf.mexists6、J
如何在海量数据中查询一个值是否存在？
磊哥聊Java
10-28 811
一般面试中考察的题目通常是由三类组成的，基础面试题、进阶面试题、开放性面试题，而本文的题目则属于一个开放性的面试题，但对于 Redis 这种以数据为核心的缓存中间件来说，实现在海量数据中查询一个值是否存在还是相对比较容易的。 因为是海量数据，所以我们就无法将每个键值都存起来，然后再从结果中检索数据了，比如数据库中的 select count(1) from tablename where id='...
八、redis原理之布隆过滤器实现原理
IT蜗牛的专栏
03-10 1326
一、前言 布隆过滤器的作用是判断一个元素是否存在于一个集合中。 比如有一个集合存储了全国所有人的身份证号码，那么该集合大小有十几亿的大小，此时如果判断一个身份证是否存在于该集合中，最简单也是最笨的办法就是遍历集合，挨个判断是否和校验的身份证号码相同来判断。而布隆过滤器就是通过一个提高空间和时间效率的一种算法，来快速判断一个元素是否存在于集合中。 另外还有一个问题，如果采用遍历的方式，还有一个比较大的问题就是内存的问题，假设现有一个场景，有10亿个整数，需...
布隆过滤器的原理及实现
qq_41012446的博客
03-02 1101
一、布隆过滤器的工作原理 布隆过滤器本身是一个很长的二进制向量，既然是二进制的向量，那么显而易见的，存放的不是0，就是1。 新建一个16位的布隆过滤器，如图 有一个对象，我们通过 方式一计算他的hash值，得到hash = 2 方式二计算他的hash值，得到hash = 9 方式三计算他的hash值，得到hash = 5 通过三个方法计算得到三个数值，我们把这三个数值对应的布隆过滤器向量值改为1...
布隆过滤器（Bloom Filter）原理及实现
locahuang的博客
07-27 3756
1、什么是布隆过滤器
详解布隆过滤器的原理和实现
我心飞翔
12-09 9010
为什么需要布隆过滤器 想象一下遇到下面的场景你会如何处理： 手机号是否重复注册 用户是否参与过某秒杀活动 伪造请求大量 id 查询不存在的记录，此时缓存未命中,如何避免缓存穿透 针对以上问题常规做法是：查询数据库，数据库硬扛，如果压力并不大可以使用此方法，保持简单即可。 改进做法：用 list/set/tree 维护一个元素集合，判断元素是否在集合内，时间复杂度或空间复杂度会比较高。如果是微服务的话可以用 redis 中的 list/set 数据结构, 数据规模非常大此方案
布隆过滤器的原理
qq_66013742的博客
04-07 192
当要查询一个元素是否属于集合时，同样将这个元素传递给多个哈希函数从而得到多个哈希值，然后检查位数组中对应位置的值，如果对应位置的值都为1，那么可以判断元素可能存在集合中，如果存在一个位置为0，那么元素一定不存在集合中。布隆过滤器需要使用多个哈希函数。当一个元素要被插入时，它会被传递给多个哈希函数，得到多个哈希值，然后将位数组中对应的位置的值设置为1。这个位数组的长度取决于预计的元素数量和可接受的错误率。布隆过滤器使用一个位数组，初始化的时候全部为0。
布隆过滤器（Bloom Filter）- 原理、实现和推导
Never Limit
11-20 4908
算法背景 问题： 在开发中，经常要判断一个元素是否在一个集合中。 实现方案： 编程中通常使用集合来存储所有元素，然后通过hash值来确定元素是否存在。 如：java中的HashMap、HashSet等。 优点：快速准确 缺点：耗费存储空间 瓶颈： 当集合比较小时，这个问题不明显 当集合比较大时，散列表存储效率低的问题越明显 如：判断邮件地址是否是发送垃圾邮件的地址 采用散列表：将每一个Email地址对应成一个8字节的信息指纹，然后存入散列表，由于散列表的存储效率一般只有50%，因此一
布隆过滤器的原理和实现详细分析（全）
码农研究僧的博客
12-26 742
目录前言1. 预备知识1.1 哈希函数2. 布隆过滤器2.1 概念2.2 实现原理2.3 步骤2.4 实现 前言 数组、链表、树等数据结构会存储元素的内容，一旦数据量过大，消耗的内存也会呈现线性增长 所以布隆过滤器是为了解决数据量大的一种数据结构 讲述布隆过滤器的时候需要了解一些预备的知识点：比如哈希函数 1. 预备知识 1.1 哈希函数 哈希函数指将哈希表中元素的关键键值映射为元素存储位置的函数 一般的线性表，树中，记录在结构中的相对位置是随机的，即和记录的关键字之间不存在确定的关系，因此，在结构中查找记
数据库：布隆过滤器（Bloom Filter）【在海量数据中，用非常高的效率和性能，判断一个数据是否在集合中存在】
u013250861的博客
02-03 263
布隆过滤器
C++数据结构：布隆过滤器原理与实现
布隆过滤器是一种非常有用的数据结构，它可以用于检索一个元素是否在一个集合中。它的优点是空间效率高、查询时间快，缺点是有一定的误识别率和删除错误。但是，布隆过滤器的优点远远超过其缺点，因此它在实际应用中...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java识堂

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值