![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
zs199112zs
这个作者很懒,什么都没留下…
展开
-
MapReduce源码分析总结
转自:http://blog.csdn.net/heyutao007/article/details/5725379参考: 1 caibinbupt的源代码分析http://caibinbupt.javaeye.com2 coderplay的avaeye http://coderplay.javaeye.com/blog/295097http://coderplay.javae原创 2012-11-26 18:15:54 · 299 阅读 · 0 评论 -
Hadoop 简单集群搭建
搭建三个节点的Hadoop环境。理论上讲,Namenode 和JobTracker都是master节点,分布在不同的机器上。我们这里把两个java的进程放在同一台机器上。然后搭建两个slave机器,每个机器上都作为Datanode和TaskTracker.1. 准备:都需要安装Linux的发行版本,一台机器作为master节点,两外两个机器作为slave节点。修改3台机器的/etc原创 2012-12-27 14:04:00 · 484 阅读 · 0 评论 -
MapReduce:详解Shuffle过程
转自:http://langyu.iteye.com/blog/992916 Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapRedu转载 2013-03-14 20:25:26 · 477 阅读 · 0 评论 -
mahout Taste 代码分析, 可运行在hadoop上的分布式版本
1. 将itemid从long型装换成int型,然后找出最小的itemindex的值,具体可以看map和reduce的代码,这里不多写。下面是这个job的代码部分。前边的代码都是一些参数的配置,略过。/* * Job 1: itemid -> itemindex */ if (shouldRunNextPhase(parsedArgs, currentPhase原创 2013-03-20 20:55:46 · 988 阅读 · 0 评论 -
MapReduce的调试方法
前几天写关于推荐的分布式实现,很难对MapReduce进行调试。最近查找了一些资料,有以下几种调试方法:1. 在eclipse中直接打log或者写System.out.print,然后在eclipse中运行,就能够看到控制台上有输出。2. 在eclipse中写好程序,打jar包,在hadoop上面运行,在mapred->local->userlogs->tasktracker中能够找到。原创 2013-04-04 21:53:56 · 579 阅读 · 0 评论 -
输入格式InputFormat
http://www.cnblogs.com/Dreama/articles/2195982.html转载 2013-03-23 10:30:45 · 776 阅读 · 0 评论 -
在Eclipse中导入hadoop
转自:http://blog.csdn.net/amaowolf/article/details/81268320. 准备(1)需要有gcc、autoconf、automake来编译安装google的protocol buffer(2)http://protobuf.googlecode.com/files/protobuf-2.4.1.tar.gz./configure原创 2013-06-08 14:05:46 · 538 阅读 · 0 评论