YARN的体系结构

YARN主要是对hadoop集群资源进行管理。跟HDFS一样，他也是基于Master/Slave　主从架构，主要包括ResourceManager，NodeManager，ApplicationMaster。

Master是ResourceManager：负责所有资源的监控，分配和管理。接收来自各个NodeManager的资源汇报信息，并把这些信息按照一定策略分配各个应用程序。它主要是由2个组件构成：scheduler(调度器) 和 ApplicationsManager应用程序管理器组成。

 

Slave是NodeManager:负责每一个节点上资源的管理。它会向定时向ResourceManager汇报本节点资源使用情况和各个Container的运行状态；另外它还接受来自ApplicationMaster的container启动停止请求等

 

ApplicationMaster:是YARN中对某个job或者叫application的抽象，相当于某个application的实例，主要就是向ResourceManager申请计算资源(Container)并且和NodeManager交互来执行和监控具体的task

 

Container:是YARN中对计算机资源的抽象，比如内存或者CPU等资源，ApplicationMaster向 ResourceManager申请资源，ResourceM

anager返回的资源便是用Container表示的。所以我们这里也可以看出，YARN中是会每一个task分配一个Container，该任务只能使用分配的Container资源。

二 请求流程

2.1用户向YARN提交应用程序

2.2Resource Manager为该应用程序分配一个Container,并找到一个Node Manager，要求NodeManager在这个Container中启动应用程序

2.3Application Master向Resource Manager注册，并将将为各个任务

申请资源，监控他的运行状态

2.4Application Master采用轮询的方式通过RPC协议向Resource Manager申请和领取资源

2.5一旦ApplicationMaster申请到资源，便与对应的NodeManager通信，要求它启动任务。

2.6Node Manager为任务设置好运行环境，包括环境变量，jar包等，将任务启动命令写入一个脚本，并通过脚本启动任务

2.7各个任务通过RPC向ApplicationMaster汇报自己的进度和状态，以让ApplicationMaster随时掌握各个任务的运行状态

2.8应用程序完成以后，ApplicationMaster向ResourceManager注销关闭自己