![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式处理
文章平均质量分 81
Frank123721
CS phd在读
展开
-
Bloom Filter 系列改进之Scalable Bloom Filter
啊啊啊、翻译 2014-11-15 20:08:13 · 2545 阅读 · 0 评论 -
Bloom Filter 系列改进之Split Bloom Filter
简单的Bloom Filter中,如果原创 2014-11-15 09:57:32 · 1581 阅读 · 0 评论 -
Bloom Filter 系列改进之Multi-dimension Bloom Filter
针对多维元素的表示和查询问题,目前存在一种多维布鲁姆过滤器(MDBF)【17]解决方案。MDBF采用和元素维数相同的多个标准布鲁姆过滤器组成,直接将多维元素的表示和查询分解为单属性值子集合的表示查询,元素的维数有多少,就采用多少个标准的布鲁姆过滤器分别表示各自对应的属性。进行元素查询时,通过判断多维元素的各个属性值是否都在相应的标准布鲁姆过滤器中来判断元素是转载 2014-11-15 17:56:55 · 1273 阅读 · 0 评论 -
Bloom Filter 系列改进之Bloom Tree
bloom tree的设计: 如果对bloom filter不是很了解,请参看我之前写过的blog。 bloom tree 是一个d叉完全树,存储的是一个个(key,value)键值对,bloom tree支持近似的表格查询,当一个被查询元素的key被给出时,bloom tree会在一定的可能性下给出正确的值,一个特别的特点是bloom tree是由value构建的,不像传统的翻译 2014-11-15 23:59:47 · 2017 阅读 · 0 评论 -
Win7下IDEA搭建Spark源代码阅读环境。
一:实验环境准备:JDK: Java 语言的软件开发工具包(SDK)Scala:Spark是用Scala语言写成的,在本地编译执行需要这个包SBT:scala工程构建的工具Git:IDEA自动下载SBT插件时可能会用到的工具IDEA:有两个版本:Ultimate Edition & Community EditionSparkSource Code:Spark源码以上软件或者安装包原创 2015-10-13 11:50:37 · 2898 阅读 · 0 评论 -
spark streaming 的wordcount程序,从hdfs上读取文件中的内容并计数
首先说一下如何如何用spark-submit运行example中的NetworkWordCount 程序:自己新建一个scala文件命名为:NetworkWordCount ,包路径为com.pdl,然后将example中的NetworkWordCount中的内容拷贝到你新建的scala中,代码如下:object NetworkWordCount { def main(args:原创 2015-10-16 08:26:02 · 3396 阅读 · 0 评论 -
用idea编译spark源码出现错误 not found: type SparkFlumeProtocol...not found: type EventBatch
在使用sbt对spark源代码进行编译之后(流程请查看上一篇博客http://blog.csdn.net/zhaoyunxiang721/article/details/49096507),使用idea来build源代码时可能会出现如下错误:Error:(45, 66) not found: type SparkFlumeProtocol val transactionTimeout原创 2015-10-15 16:27:57 · 8803 阅读 · 7 评论