Yarn学习(*****)

1、Hadoop四大组件是什么？各自的作用是什么？

1）Hadoop HDFS：一个高可靠、高吞吐量的分布式文件系统。

2）Hadoop MapReduce：一个分布式的离线并行计算框架。

3）Hadoop YARN：作业调度与集群资源管理的框架。

4）Hadoop Common：支持其他模块的工具模块。

2、Yarn介绍

Yarn的起源

在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算。

Yarn概述

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce相当于运行于操作系统之上的应用程序。

Yarn基本架构

Yarn主要由ResourceManger、Nodemanger、ApplicationMaster和Container等组件构成。

application_id是因为同一个应用里面有很多job，要有一个唯一标识job，AM的任务容错是指启动Maptask 当运行失败时，可以重新启动MapTask和ReduceTask，有个重试次数限定。

Yarn工作机制

 

工作机制详解

（0）Mr程序提交到客户端所在的节点。

（1）Yarnrunner向Resourcemanager申请一个Application。

（2）rm将该应用程序的资源路径返回给yarnrunner。

（3）该程序将运行所需资源提交到HDFS上。

（4）程序资源提交完毕后，申请运行mrAppMaster。

（5）RM将用户的请求初始化成一个task。

（6）其中一个NodeManager领取到task任务。

（7）该NodeManager创建容器Container，并产生MRAppmaster。

（8）Container从HDFS上拷贝资源到本地。

（9）MRAppmaster向RM 申请运行maptask资源。

（10）RM将运行maptask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。

（11）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，maptask对数据分区排序。

（12）MrAppMaster等待所有maptask运行完毕后，向RM申请容器，运行reduce task。

（13）reduce task向maptask获取相应分区的数据。

（14）程序运行完毕后，MR会向RM申请注销自己。

作业提交全过程

1）作业提交过程之YARN

作业提交全过程详解

（1）作业提交

第0步：client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。

第1步：client向RM申请一个作业id。

第2步：RM给client返回该job资源的提交路径和作业id。

第3步：client提交jar包、切片信息和配置文件到指定的资源提交路径。

第4步：client提交完资源后，向RM申请运行MrAppMaster。

（2）作业初始化

第5步：当RM收到client的请求后，将该job添加到容量调度器中。

第6步：某一个空闲的NM领取到该job。

第7步：该NM创建Container，并产生MRAppmaster。

第8步：下载client提交的资源到本地。

（3）任务分配

第9步：MrAppMaster向RM申请运行多个maptask任务资源。

第10步：RM将运行maptask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。

（4）任务运行

第11步：MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，maptask对数据分区排序。

第12步：MrAppMaster等待所有maptask运行完毕后，向RM申请容器，运行reduce task。

第13步：reduce task向maptask获取相应分区的数据。

第14步：程序运行完毕后，MR会向RM申请注销自己。

（5）进度和状态更新

YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。

（6）作业完成

除了向应用管理器请求作业进度外, 客户端每5分钟都会通过调用waitForCompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval来设置。作业完成之后, 应用管理器和container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。

2）作业提交过程之MapReduce

作业提交过程之读数据

作业提交过程之写数据