YARN

一、Yarn基本架构

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行在操作系统之上的应用程序。
Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。

各组件功能
1.ResourceManager(RM)主要功能：
（1）处理客户端请求
（2）监控NodeManager
（3）启动或监控ApplicationMaster
（4）资源的分配与调度。
2.NodeManager(NM)主要功能如下
（1）管理单个节点上的资源
（2）处理来自ResourceManager的命令
（3）处理来自AoolicationMaster的命令
3.ApplicationMaster(AM)作用如下：
（1）负责数据的切分·
（2）为应用程序申请资源并分配给内部的任务
（3）任务的监控与容错
4.Container
Container是yarn中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。

二、Yarn工作机制

1.MR程序提交到客户端所在的节点
2.YarnRunner向ResourceManager申请一个Application
3.RM将该应用程序的资源路径返回给YarnRunner
4.将该程序运行所需要的资源提交到HDFS上
5.程序资源提交完毕后，申请运行MRAppMaster
6.RM将用户的请求初始化成一个Task
7.其中一个NodeManager领取到Task任务
8.该NodeManager创建容器Container,并产生MRAppMaster
9.Container从HDFS上拷贝资源到本地
10.MRAppMaster向RM申请运行MapTask资源
11.RM将运行MapTask任务分配给另外两个NodeManager,另外两个NodeManager分别领取任务并创建容器。
12.MRAppMaster向两个接受到任务的NodeManager发送启动程序的脚本，这两个NM分别启动MapTask,并对MapTask进行分区排序等处理。
13.MRAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask
14.ReduceTask向MapTask获取相应分区的数据
15.程序运行完毕后，MR会向RM注销自己。

三、工作机制详解

1.作业提交
（1）Client调用job.waitForCompletion方法，向整个集群提交MR作业
（2）Client向RM申请一个作业id
（3）RM给Client返回该job资源的提交路径和作业id
（4）Client提交jar包，切片信息和配置文件到指定的资源提交路径路径
（5）Client提交完资源后，向RM申请运行MRAppMaster
2.作业初始化
（6）当RM收到Client的请求后，将该job添加到容量调度器中
（7）某一个空闲的NM领取到该job
（8）该NM创建Container，并生产MRAppMaster
（9）下载Client提交的资源到本地
3.任务分配
（10）MRAppMaster向RM申请运行多少个MapTask任务资源
（11）RM将运行MapTask任务分配给另外两个NM,另外两个NM分别领取任务并创建容器
4.任务运行
（12）MR向两个接受到任务的NM发送程序启动脚本，这两个NM分别启动MapTask，并对MapTask对数据进行分区排序
（13）MRAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask
（14）ReduceTask向MapTask获取相应分区的数据
（15）程序运行完毕后，MR会向RM申请注销自己