通俗理解YARN运行原理

1、为什么要使用YARN？

为了提升集群的利用率、资源统一管理， 使用YARN为上层应用提供统一的资源管理和调度的平台。

2、YARN的优势？
资源的统一管理和调度：
集群中所有节点的资源(内存、CPU、磁盘、网络等)抽象为Container。计算框架需要资源进行运算任务时需要向YARN申请Container， YARN按照特定的策略对资源进行调度进行Container的分配。
资源隔离：
YARN使用了轻量级资源隔离机制Cgroups进行资源隔离以避免相互干扰，一旦Container使用的资源量超过事先定义的上限值，就将其杀死。
3、YARN是如何工作的？
介绍YARN调度过程之前，解释几个专用名词：Resource Manager：全局资源管理器，一个集群只有一个RM。负责和AM(Application Master)交互，资源调度、资源分配等工作。Application Master：应用程序的管理器，类似项目经理，一个应用程序只有一个AM。负责任务开始时找RM要资源,任务完成时向RM注销自己，释放资源；与NM通信以启动/停止任务；接收NM同步的任务进度信息。Node Manager：一台机器上的管理者，类似于部门经理。管理着本机上若干小弟Containers的生命周期、监视资源和跟踪节点健康并定时上报给RM；接收并处理来自AM的Container启动/停止等各种请求。Container：一台机器上具体提供运算资源，将设备上的内存、CPU、磁盘、网络等资源封装在一起的抽象概念——“资源容器”，Container是一个动态资源分配单位，为了限定每个任务使用的资源量。

Attempt：提交到Yarn中的应用程序被称为Application，它可能会尝试运行多次，每次的尝试运行称为“Application Attempt”，如果一次尝试运行失败，则由RMApp创建另一个继续运行，直至达到失败次数的上限。

以下通俗地解释一下向YARN提交一个应用程序时的执行过程：
1、用户向YARN提交程序，以Map Reduce程序为例，Resource Manager(资源管理器)接收到客户端程序的运行请求
2、Resource Manager分配一个Container(资源)用来启动Application Master(程序管理员)，并告知Node Manager(节点管理员)，要求它在这个Container下启动Application Master
3、Application Master启动后，向Resource Manager发起注册请求
4、Application Master向Resource Manager申请资源
5、取得资源后，根据资源，向相关的Node Manager通信，要求其启动程序
6、Node Manager（多个）启动MR（每个MR任务都是一个job，可以在job日志中查看程序运行日志）
7、Node Manager不断汇报MR状态和进展给Application Master8、当MR全部完成时，Application Master向Resource Manager汇报任务完成，并注销自己
下面结合一个排错的例子来介绍日常使用：在一次提交一个MR任务之后，application失败退出。通常会第一时间看到application页面排查问题，这里第一个红框是应用程序最终状态，FAILED。错误发生立马看诊断信息有没有逻辑错误信息（程序代码自身问题），现在看诊断信息显示是task失败，排除逻辑错误。除去代码问题，应该是环境变量和job设置的问题，接下来看任务运行日志，进入 Tracking URL: History。

第二个页面，MR的job日志界面，发现是Map任务失败

第三个界面，查看具体失败的attempts情况

从Note显示的信息判断是逻辑还是系统失败，很明显是系统失败，再点开log查看详细信息。

发现是我job设置的JAVA_HOME出现问题。定位并解决~

感兴趣可以加Java架构师群获取Java工程化、高性能及分布式、高性能、深入浅出。高架构。性能调优、Spring，MyBatis，Netty源码分析和大数据等多个知识点高级进阶干货的直播免费学习权限 都是大牛带飞 让你少走很多的弯路的 群…号是：855801563 对了 小白勿进 最好是有开发经验

注：加群要求

1、具有工作经验的，面对目前流行的技术不知从何下手，需要突破技术瓶颈的可以加。

2、在公司待久了，过得很安逸，但跳槽时面试碰壁。需要在短时间内进修、跳槽拿高薪的可以加。

3、如果没有工作经验，但基础非常扎实，对java工作机制，常用设计思想，常用java开发框架掌握熟练的，可以加。

4、觉得自己很牛B，一般需求都能搞定。但是所学的知识点没有系统化，很难在技术领域继续突破的可以加。

5.阿里Java高级大牛直播讲解知识点，分享知识，多年工作经验的梳理和总结，带着大家全面、科学地建立自己的技术体系和技术认知！