Hadoop 系统架构分析（2）

最新推荐文章于 2024-07-22 02:03:54 发布

置顶

Trvo

最新推荐文章于 2024-07-22 02:03:54 发布

阅读量817

点赞数 1

分类专栏：大数据文章标签： hadoop YARN

本文链接：https://blog.csdn.net/zwlo6/article/details/52650203

版权

YARN作为Hadoop的全局资源管理器，由ResourceManager、NodeManager和ApplicationMaster组成。ResourceManager负责资源分配，调度器根据应用程序需求分配资源容器，而ApplicationMaster管理应用程序生命周期，与NodeManager协作启动和监控任务。YARN提高了集群资源利用率，降低了管理成本。

摘要由CSDN通过智能技术生成

YARN 概述

YARN 的本质是一个全局的资源管理器（ResourceManager，RM），它控制整个集群并管理基础计算资源在应用程序之间的分配。资源管理器RM 和它在各个节点的代理——节点管理器（NodeManager，NM）构成了整个数据计算的框架：由RM 最终决定各个资源部分（CPU、内存、磁盘、网络等）在系统内各程序之间的分配，而各节点的 NM 主要负责管理容器（Containers），监视这些资源的使用并将这些信息上报给RM。

资源管理器主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，AM）。调度器负责将系统中的资源分配给各个正在运行的应用程序，但是不负责具体应用程序的相关工作，比如监控或跟踪状态、重新启动失败任务等。调度器根据应用程序对资源的需求来分配资源，这种分配依据一种抽象的资源概念——“资源容器”（Resource Container，简称Container）。Container是一个动态资源分配单位，它将内存，CPU,磁盘，网络等资源封装在一起，从而限定每个任务的资源量。调度器具有可替换的特性，用户可以自行设计。YARN提供了多种直接可用的调度器，比如FairScheduler和CapacityScheduler等。

YARN 针对每个应用程序还会启动一个应用程序管理器组件。它负责与资源管理器协商以获取资源（用Container表示），然后与节点管理器分工协作启动各项任务同时监控任务状态，并在任务运行失败