大数据
文章平均质量分 52
薯片丶
这个作者很懒,什么都没留下…
展开
-
经典MapReduce任务执行流程详解
本文主要介绍hadoop运行经典MapReduce(MapReduce1)任务过程涉及的实体及其工作原理。涉及实体客户端:提交MapReduce作业;jobtracker:它协调在集群上运行的所有作业(分配给tasktracker),是java应用程序,一个集群只有一个jobtracker。tasktracker:运行tasktracker分配的任务并定时向jobtracker...原创 2019-01-13 09:51:18 · 4147 阅读 · 1 评论 -
基于YARN的mapreduce作业执行流程详解
相对于MapReduce1系统,YARN将jobtracker的职能划分为多个独立个体,从而改善经典MapReduce在扩展时面临的瓶颈。标基于YARN的mapreduce作业执行流程题YARN中的实体:1. 客户端:提交MapReduce作业;2. 资源管理器:协调集群上计算资源的分配。3. 节点管理器:负责启动和监视集群中机器上的计算容器(container)。4. 应用管...原创 2019-01-13 10:43:10 · 720 阅读 · 0 评论