YARN
中琦2513
天道酬勤
展开
-
Hadoop - MapReduce MRAppMaster-剖析
一 概述 MRv1主要由编程模型(MapReduce API)、资源管理与作业控制块(由JobTracker和TaskTracker组成)和数据处理引擎(由MapTask和ReduceTask组成)三部分组成。而YARN出现之后,资源管理模块则交由YARN实现,这样为了让MapReduce框架运行在YARN上,仅需要一个ApplicationMaster组件完成作业控制模原创 2017-09-27 17:29:30 · 45695 阅读 · 0 评论 -
Hadoop - YARN ResourceManager 剖析
一概要 YARN采用了Maser/Slave结构,其中Master实现为ResourceManager,负责整个集群的资源管理与调度; Slave实现为NodeManager,负责单个节点的资源管理与任务启动。 ResourceManager是整个YARN集群中最重要的组件之一,它的设计直接决定了系统的可扩展性、可用性和容错原创 2017-09-27 17:41:27 · 46913 阅读 · 0 评论 -
Hadoop - YARN NodeManager 剖析
一 概述 NodeManager是运行在单个节点上的代理,它管理Hadoop集群中单个计算节点,功能包括与ResourceManager保持通信,管理Container的生命周期、监控每个Container的资源使用(内存、CPU等)情况、追踪节点健康状况、管理日志和不同应用程序用到的附属服务等。 NodeManager是YARN中单个节点的代理原创 2017-09-27 17:37:41 · 45894 阅读 · 0 评论