Hadoop之YARN HA架构

YARN HA
1、hadoop001: zk rm(zkfc) nm
2、hadoop002: zk rm(zkfc) nm
3、hadoop003: zk nm

在这里插入图片描述
注意:ZKFC只作为RM进程的一个线程而非独立存在的进程存在。
RMStateStore:存储在zk的/rmstore目录下。1、activeRM会向这个目录写APP信息。2、当activeRM挂了,另外一个standby RM通过ZKFC选举成功为active,会从/rmstore读取相应的作业信息。重新构建作业的内存信息,启动内部的服务,开始接受NM的心跳

RM:1、启动的时候会向zk的目录/rmstore目录写lock文件,写成功就为Active,否则就为standby;RM节点的ZKFC会一直监控这个lock文件是否存在,假如不存在,就为active,否则就为standby;2、接收client的请求,接收和监控NM情况资源状况的汇报,负责资源调度的分配;3、启动和监控APPMASTER on NM节点的container。
applicationsmanager
applicationmaster

NM:
节点资源的管理,启动容器运行task计算,上报资源,汇报进度。

回顾面试问题:
1、ZKFC是进程还是线程?
2、/rmstore存储位置```

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值