![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MapReduce
拱最好的白菜
这个作者很懒,什么都没留下…
展开
-
mapreduce排序和二次排序以及全排序
自己学习排序和二次排序的知识整理如下。 1.Hadoop的序列化格式介绍:Writable 2.Hadoop的key排序逻辑 3.全排序 4.如何自定义自己的Writable类型 5.如何实现二次排序 1.Hadoop的序列化格式介绍:Writable 要了解和编写MR实现排序必须要知道的第一个知识点就是Writable相关的接口和类,这些是HADOOP自己的序列转载 2014-07-19 17:43:59 · 459 阅读 · 0 评论 -
Hadoop - MapReduce MRAppMaster-剖析
一 概述 MRv1主要由编程模型(MapReduce API)、资源管理与作业控制块(由JobTracker和TaskTracker组成)和数据处理引擎(由MapTask和ReduceTask组成)三部分组成。而YARN出现之后,资源管理模块则交由YARN实现,这样为了让MapReduce框架运行在YARN上,仅需要一个ApplicationMaster组件完成作转载 2014-07-19 18:13:14 · 423 阅读 · 0 评论 -
组合式的MapReduce作业
Hadoop 组合式作业 在实际的应用中,很多的复杂任务都是不止一趟的mapreduce任务,需要查分成多个简单的mapreduce子任务去完后。 (1)迭代的计算任务。 (2)顺序组合MapReduce作业 (3)具有依赖关系的组合式mapreduce作业 (4)mapreduce前处理和后处理步骤的链式执行 迭代的计算任务: PageRank算法。 顺序组合: 多个mapre转载 2014-09-28 20:32:37 · 437 阅读 · 0 评论