MapReduce框架
文章平均质量分 66
zxxapple
学生 热衷微软技术C#.net
展开
-
现阶段MapReduce框架 实现简单图的算法
刚开始接触hadoop的mapreduce并行计算的编程框架,使用的是java语言,对于一些简单的日志文档处理,相当的容易上手,但是经过一段时间的学习调研,发现用其实现一些图的算法,相当蹩脚,效率很低。。。 下面我列出下mapreduce实现图的单源最短路径的算法(伪代码)这里假设的是每个节点之间是单源节点1: class Mapper2: method Map(nid n,nod...原创 2012-02-13 22:17:42 · 233 阅读 · 0 评论 -
Mapreduce 编程测试
最近对mapreduce框架比较感兴趣,所以会去测试许多例子,hadoop自带的就有很多 但是如何编写自己的例子并在其上运行以及调试呢? 第一种方法 使用hadoop 自带的 eclipse-插件 但是许多朋友并不具备这样的条件 而且 插件的版本兼容性也有许多的问题第二种就是 自己的写好的代码 然后打成jar包 然后 放到hadoop下运行 比较笨得 原生态的方法---...原创 2012-02-13 22:32:41 · 76 阅读 · 0 评论 -
MapReduce框架中矩阵相乘的算法思路及其实现
关于在mapreduce框架中的两个矩阵相乘(A*B)的算法实现,有如下两种思路。。 第一,因为我们在学校课堂内的矩阵相乘的基本算法就是A的行与B的列相乘 当然要满足A的列的维数与B的行维数相同,才能满足相乘的条件。所以有如下基本思路:让每个map任务计算A的一行乘以B的一列,最后由reduce进行求和输出。这是最原始的实现方法: 假设A(m*n) B(n*s)map的输...原创 2012-02-14 10:36:02 · 438 阅读 · 0 评论 -
Mapreduce框架求Pi值的思路
关于在mapreduce框架上求近似Pi的值,hadoop源码包的example中源代码,在这里只是简单写写学习笔记 首先说下大概思路:这个图大家在网上肯定见都见过 正方形的面积 As = (2r)*(2r)也就是 4r*r. 内切圆形的面积 Ac = pi * r*r. pi = Ac / r*rAs = 4r*rr*r= As / 4...原创 2012-02-14 11:09:45 · 284 阅读 · 0 评论 -
MapReduce框架中全排序的算法思想--学习笔记
关于全排序的问题 Tom White的书中提出的数据取样方法 ,最近学习了一下,下面做个比较,以防后患!! 主要思想就是在要排序的所有数据中随机取出一定量的数据,这些数据取自三个部分,1.选取总得数据(键值对)数目2.选取的split数目3.每个split选取...原创 2012-02-14 14:13:34 · 174 阅读 · 0 评论 -
MapReduce框架中PageRank算法的简单实现
主要实现思想在另一篇博客中已经提到: 具体实现每次迭代包括两个Job第一个分散各个节点的PR值 第二个用于将dangling节点的PR值分散到其它节点 主要包括5个类PageRankNode:图中的节点类-代表一个页面PageRankJob:实现分散各个节点的PR值的类DistributionPRMass:实现dangling节点的PR值分散到其它节点的Jo...原创 2012-02-15 14:27:04 · 209 阅读 · 0 评论