MV-Sketch

与cm-sketch

相同之处

都用哈希函数将数据映射到桶里:不将接受到的数据完整保存下来,减少数据存储的空间

不同之处

mv为可逆的sketch,即可返回重流的数据;而cm只能输入数据查询

MV-Sketch

可逆—>主选票算法(the majority vote algorithm)

在这里插入图片描述
一个桶中有三个成分:重流候选Ki,j(第i行第j个桶),一个计数器记录映射到该桶内的总数据量Vi,j,一个计数器记录重流候选的数据量Ci,j

当一个数据包x映射到桶中时,Vi,j增加新数据包的大小,如果x是当前的重流候选,则Ci,j加上该数据包的大小,反之减少(不断抵消),当C的数值减为负值时,更新重流候选,新重流候选即为当前(使C变为负值)的x,C取绝对值

如:
一串flow abc,a=1,b=5,c=2按顺序映射入一个桶中
最开始重流候选K=a,V=1,C=1
b进入,V=6, b!=K —> C=C-vb=-4 —> C=-C,K=b
c进入,V=8, c!=K —> C=C-vc=2 >0 —>K=b

  • 优点:与cm比能储存重流的数据,并且因为一个桶中只需储存一个重流的数据,根据后续数据包的情况进行不断更新,内存开销并不大
  • 存在误差:如:
    一串flow abcde,a=10,b=c=3,c=4,d=1
    当e输入时,C变成负值,K更新为d,而d的数据量是flow中最小的

插入、查询操作

插入

数据x通过r个哈希函数的映射,投射到r个桶里

查询

heavy hitter

查询每个桶,若桶中的总计数值V大于某个预设值,则该桶中存在heavy hitter(初筛):heavy hitter数据量远远大于其他数据,故原理上它所在的桶数据量大

查询上一步初筛中含有heavy hitter的桶中的重流计数器的值,若大于某个预设值,则该桶中的重流候选为一个heavy hitter

heavy changer

在这里插入图片描述

分布式数据检测

Python网络爬虫与推荐算法新闻推荐平台:网络爬虫:通过Python实现新浪新闻的爬取,可爬取新闻页面上的标题、文本、图片、视频链接(保留排版) 推荐算法:权重衰减+标签推荐+区域推荐+热点推荐.zip项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传,可轻松复刻,拿到资料包后可轻松复现出一样的项目,本人系统开发经验充足(全领域),有任何使用问题欢迎随时与我联系,我会及时为您解惑,提供帮助。 【资源内容】:包含完整源码+工程文件+说明(如有)等。答辩评审平均分达到96分,放心下载使用!可轻松复现,设计报告也可借鉴此项目,该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的。 【提供帮助】:有任何使用问题欢迎随时与我联系,我会及时解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件(如有),项目工程可直接复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值