hdfs及yarn的ha和failover

最新推荐文章于 2024-04-26 16:37:55 发布
最新推荐文章于 2024-04-26 16:37:55 发布
阅读量281 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zx605977881/article/details/106677667
版权

配置HDFS-HA集群

  1. 官方地址：http://hadoop.apache.org/
  2. 在opt目录下创建一个ha文件夹
    mkdir ha
  3. 将/opt/app/下的 hadoop-2.7.2拷贝到/opt/ha目录下
    cp -r hadoop-2.7.2/ /opt/ha/
  4. 配置hadoop-env.sh
    export JAVA_HOME=/opt/module/jdk1.8.0_144
  5. 配置core-site.xml
	<property>
		<name>fs.defaultFS</name>
    	<value>hdfs://mycluster</value>
	</property>

<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/opt/ha/hadoop-2.7.2/data/jn</value>
</property>


	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/ha/hadoop-2.7.2/data/tmp</value>
	</property>
6. 配置hdfs-site.xml dfs.nameservices mycluster 
<!-- 集群中NameNode节点都有哪些 -->
<property>
	<name>dfs.ha.namenodes.mycluster</name>
	<value>nn1,nn2</value>
</property>

<!-- nn1的RPC通信地址 -->
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn1</name>
	<value>hadoop102:9000</value>
</property>

<!-- nn2的RPC通信地址 -->
<property>
	<name>dfs.namenode.rpc-address.mycluster.nn2</name>
	<value>hadoop103:9000</value>
</property>

<!-- nn1的http通信地址 -->
<property>
	<name>dfs.namenode.http-address.mycluster.nn1</name>
	<value>hadoop102:50070</value>
</property>

<!-- nn2的http通信地址 -->
<property>
	<name>dfs.namenode.http-address.mycluster.nn2</name>
	<value>hadoop103:50070</value>
</property>

<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
<property>
	<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
</property>

<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>sshfence</value>
</property>

<!-- 使用隔离机制时需要ssh无秘钥登录-->
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/home/xxx/.ssh/id_rsa</value>
</property>


<!-- 关闭权限检查-->
<property>
	<name>dfs.permissions.enable</name>
	<value>false</value>
</property>

<!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
<property>
	<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
7. 拷贝配置好的hadoop环境到其他节点 8.3.3 启动HDFS-HA集群 1. 在各个JournalNode节点上，输入以下命令启动journalnode服务 sbin/hadoop-daemon.sh start journalnode 2. 在[nn1]上，对其进行格式化，并启动 bin/hdfs namenode -format sbin/hadoop-daemon.sh start namenode 3. 在[nn2]上，同步nn1的元数据信息 bin/hdfs namenode -bootstrapStandby 4. 启动[nn2] sbin/hadoop-daemon.sh start namenode 5. 查看web页面显示，如图3-21，3-22所示

图3-21 hadoop102(standby)

图3-22 hadoop103(standby)
6. 在[nn1]上，启动所有datanode
sbin/hadoop-daemons.sh start datanode
7. 将[nn1]切换为Active
bin/hdfs haadmin -transitionToActive nn1
5.查看是否Active
bin/hdfs haadmin -getServiceState nn1
8.4 配置HDFS-HA自动故障转移
8.4.1 工作要点
前面学习了使用命令hdfs haadmin手动进行故障转移，在该模式下，即使现役NameNode已经失效，系统也不会自动从现役NameNode转移到待机NameNode，下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。ZooKeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能：

1）故障检测：集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。
2）现役NameNode选择：ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode。
ZKFC是自动故障转移中的另一个新组件，是ZooKeeper的客户端，也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程，ZKFC负责：
1）健康监测：ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时地回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃，冻结或进入不健康状态，健康监测器标识该节点为非健康的。
2）ZooKeeper会话管理：当本地NameNode是健康的，ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对短暂节点的支持，如果会话终止，锁节点将自动删除。
3）基于ZooKeeper的选择：如果本地NameNode是健康的，且ZKFC发现没有其它的节点当前持有znode锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地NameNode为Active。故障转移进程与前面描述的手动故障转移相似，首先如果必要保护之前的现役NameNode，然后本地NameNode转换为Active状态。

图3-20 HDFS-HA故障转移机制

  1. 具体配置
    （1）在hdfs-site.xml中增加

    dfs.ha.automatic-failover.enabled
    true

    （2）在core-site.xml文件中增加

    ha.zookeeper.quorum
    hadoop102:2181,hadoop103:2181,hadoop104:2181
  2. 启动
    （1）关闭所有HDFS服务：
    sbin/stop-dfs.sh
    （2）启动Zookeeper集群：
    bin/zkServer.sh start
    （3）初始化HA在Zookeeper中状态：
    bin/hdfs zkfc -formatZK
    （4）启动HDFS服务：
    sbin/start-dfs.sh
  3. 验证
    （1）将Active NameNode进程kill
    kill -9 namenode的进程id
    （2）将Active NameNode机器断开网络
    service network stop
    8.4.2 规划集群
    表3-1
    hadoop102 hadoop103 hadoop104
    NameNode NameNode
    ZKFC ZKFC
    JournalNode JournalNode JournalNode
    DataNode DataNode DataNode
    ZK ZK ZK
    ResourceManager
    NodeManager NodeManager NodeManager
    8.4.3 配置Zookeeper集群
  4. 集群规划
    在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。
  5. 解压安装
    （1）解压Zookeeper安装包到/opt/module/目录下
    [xxx@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
    （2）在/opt/module/zookeeper-3.4.10/这个目录下创建zkData
    mkdir -p zkData
    （3）重命名/opt/module/zookeeper-3.4.10/conf这个目录下的zoo_sample.cfg为zoo.cfg
    mv zoo_sample.cfg zoo.cfg
  6. 配置zoo.cfg文件
    （1）具体配置
    dataDir=/opt/module/zookeeper-3.4.10/zkData
    增加如下配置
    #######################cluster##########################
    server.2=hadoop102:2888:3888
    server.3=hadoop103:2888:3888
    server.4=hadoop104:2888:3888
    （2）配置参数解读
    Server.A=B:C:D。
    A是一个数字，表示这个是第几号服务器；
    B是这个服务器的IP地址；
    C是这个服务器与集群中的Leader服务器交换信息的端口；
    D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
    集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。
  7. 集群操作
    （1）在/opt/module/zookeeper-3.4.10/zkData目录下创建一个myid的文件
    touch myid
    添加myid文件，注意一定要在linux里面创建，在notepad++里面很可能乱码
    （2）编辑myid文件
    vi myid
    在文件中添加与server对应的编号：如2
    （3）拷贝配置好的zookeeper到其他机器上
    scp -r zookeeper-3.4.10/ root@hadoop103.xxx.com:/opt/app/
    scp -r zookeeper-3.4.10/ root@hadoop104.xxx.com:/opt/app/
    并分别修改myid文件中内容为3、4
    （4）分别启动zookeeper
    [root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh start
    [root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh start
    [root@hadoop104 zookeeper-3.4.10]# bin/zkServer.sh start
    （5）查看状态
    [root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/…/conf/zoo.cfg
    Mode: follower
    [root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/…/conf/zoo.cfg
    Mode: leader
    [root@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
    JMX enabled by default
    Using config: /opt/module/zookeeper-3.4.10/bin/…/conf/zoo.cfg
    Mode: follower
    8.4.4 配置HDFS-HA自动故障转移
  8. 具体配置
    （1）在hdfs-site.xml中增加

    dfs.ha.automatic-failover.enabled
    true

    （2）在core-site.xml文件中增加

    ha.zookeeper.quorum
    hadoop102:2181,hadoop103:2181,hadoop104:2181
  9. 启动
    （1）关闭所有HDFS服务：
    sbin/stop-dfs.sh
    （2）启动Zookeeper集群：
    bin/zkServer.sh start
    （3）初始化HA在Zookeeper中状态：
    bin/hdfs zkfc -formatZK
    （4）启动HDFS服务：
    sbin/start-dfs.sh
  10. 验证
    （1）将Active NameNode进程kill
    kill -9 namenode的进程id
    （2）将Active NameNode机器断开网络
    service network stop

8.4 YARN-HA配置
8.4.1 YARN-HA工作机制

  1. 官方文档：
    http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html
  2. YARN-HA工作机制，如图3-23所示

图3-22 YARN-HA工作机制
8.4.2 配置YARN-HA集群

  1. 环境准备
    （1）修改IP
    （2）修改主机名及主机名和IP地址的映射
    （3）关闭防火墙
    （4）ssh免密登录
    （5）安装JDK，配置环境变量等
    （6）配置Zookeeper集群

  2. 规划集群
    表3-2
    hadoop102 hadoop103 hadoop104
    NameNode NameNode
    JournalNode JournalNode JournalNode
    DataNode DataNode DataNode
    ZK ZK ZK
    ResourceManager ResourceManager
    NodeManager NodeManager NodeManager

  3. 具体配置
    （1）yarn-site.xml

    yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id cluster-yarn1 yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 hadoop102 yarn.resourcemanager.hostname.rm2 hadoop103 yarn.resourcemanager.zk-address hadoop102:2181,hadoop103:2181,hadoop104:2181 yarn.resourcemanager.recovery.enabled true yarn.resourcemanager.store.class org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
（2）同步更新其他节点的配置信息 4. 启动hdfs[第一次启动] （1）在各个JournalNode节点上，输入以下命令启动journalnode服务： sbin/hadoop-daemon.sh start journalnode （2）在[nn1]上，对其进行格式化，并启动： bin/hdfs namenode -format sbin/hadoop-daemon.sh start namenode （3）在[nn2]上，同步nn1的元数据信息： bin/hdfs namenode -bootstrapStandby （4）启动[nn2]： sbin/hadoop-daemon.sh start namenode （5）启动所有DataNode sbin/hadoop-daemons.sh start datanode （6）将[nn1]切换为Active bin/hdfs haadmin -transitionToActive nn1 5. 启动YARN （1）在hadoop102中执行： sbin/start-yarn.sh （2）在hadoop103中执行： sbin/yarn-daemon.sh start resourcemanager （3）查看服务状态，如图3-24所示 bin/yarn rmadmin -getServiceState rm1
shesarainbow
关注
HDFS-HA的配置-----手动Failover方式
chenpingbupt的专栏
08-29 6869
转帖请注明来自本空间：http://blog.csdn.net/chenpingbupt  1、配置log的路径（可选） etc/hadoop/hadoop-env.sh export HADOOP_LOG_DIR=/home/ziang/DfsDataDir/hdpcdh4/logs export JAVA_HOME=/home/ziang/software/jd
HDFS-HA的配置-----自动Failover
chenpingbupt的专栏
08-29 1万+
转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt  1、概述 在手动FailOver的基础上，自动Failover增加了两个东西：一个是ZooKeeper集群，一个是ZKFailoverController(简称：ZKFC) ZK集群： 作为一个高可靠系统，能够为一小部分协同数据提供监控，将数据的更改随时反应给客户端。HD
TFS配置ha及failover测试
weixin_34205076的博客
09-29 178
 在配置完多台dataserver之后，就需要考虑到nameserver的单点故障问题。本文将介绍如何针对tfs的nameserver实现ha，官方推荐采用heartbeat实现，但heartbeat的实现配置同keepalive相比，复杂了许多，因而这里我们采用keepalive来实现namserver的ha和failover。 环境介绍：NS服务器1  ——&gt;  192.168.1.22...
HA，Failover
~
05-06 385
而HA则是一种设计原则或思想，强调系统必须始终保持高可用性和容错能力，不会因为单点故障而导致系统的不可用或数据丢失。HA通常是通过采用集群化的技术实现的，例如多台服务器组成的集群可以提高系统的可用性和容错能力。当其中一台服务器出现故障时，其他服务器可以接管其工作，从而保证系统的持续可用性。HA（High Availability）并不是集群的缩写，它是一种架构设计思想，旨在保证系统在遇到故障时能够快速自我恢复并保持可用性。因此，虽然HA通常是通过集群技术来实现的，但它并不是集群的缩写或代称。
YARN-Failover
qq_16236875的博客
05-24 243
失败的类型 1. 程序问题 2.进程崩溃 3. 硬件问题 失败处理 1 任务失败 1）运行时异常或者JVM 退出都会报告给ApplicationMaster 2）通过心跳来检查挂住的任务(timeout),会检查多次(可配置），才判断改任务是否失效 3). 一个作业的任务失败率超过配置，则任务改作业失败 4).失败的任务或作业都会有ApplicationMaster 重新运行 2. ApplicationMaster 失败 1). ApplicationMaster 定时发送心跳信号到
hdfs的failover失败
qq_41357897的博客
06-21 530
经过查看日志，发现： 上午9点23:06.260分 FATAL ZKFailoverController： Unable to start failover controller. Parent znode does not exist. Run with -formatZK flag to initialize ZooKeeper. zookeeper的节点没找到。 进入/opt/cloude...
HDFS和YARN HA部署
大门的博客
08-23 595
一、版本 组件名 版本 备注及下载地址 Centos 7.2 64bit lsb_release -a查看操作系统版本 file /bin/ls查看操作系统位数 JRE java version 1.8.45 jdk-8u45-linux-x64.gz Hadoop hadoop-2.6.0-cdh5.15.1 hadoop-2.6.0-cdh5.15.1.tar.gz ...
HDFS和YARN的HA集群搭建（Hadoop-2.8.1+Zookeeper-3.4.6）
muyingmiao的专栏
08-20 798
一.软件版本 组件名称 版本 备注即下载地址 Centos 7.2 (Final) 64-bit lsb_release -a 命令查看操作系统版本 file /bin/ls 命令查看操作系统位数 JRE "1.8.0_45" http://www.360sdn.com/Linux/2014/0610/3568.html Hadoop ...
Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）
12-18
在CDH5.5.0中，HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource Negotiator）是两个核心组件，它们在高可用性（HA）模式下的配置尤为重要。HDFS HA允许数据节点和名称节点的冗余，以确保即使单...
HDFS 和 YARN 的 HA 故障切换
Zephyr's Blog
01-01 1万+
一 非 HDFS HA 集群转换成 HA 集群 二 HDFS 的 HA 自动切换命令 1 获得当前 NameNode 的 active 和 standby 状态 2 NameNode 的 active 和 standby 状态切换 3 HDFS HA自动切换比手工切换多出来的步骤 三 ResourceManager 的 HA 自动切换命令 1 获得当前 RM 的 active 和 standb
java连接hdfs ha和调用mapreduce jar示例
09-04
例如`yarn.resourcemanager.address`和`yarn.resourcemanager.scheduler.address`分别指定了ResourceManager的地址，`fs.defaultFS`和前面的配置相同，用于设置HDFS的默认文件系统，其他参数如`dfs.nameservices`、`...
Hadoop－YARN Failover
热门推荐
了解➔熟悉➔掌握➔精通
03-22 3万+
分享一个大牛的人工智能教程。零基础！通俗易懂！风趣幽默！希望你也加入到人工智能的队伍中来！请点击http://www.captainbed.net 失败类型 程序问题 进程崩溃 硬件问题 失败处理 任务失败 运行时异常或者JVM退出都会报告给ApplicationMaster 通过心跳来检查挂住的任务(timeout)，会检查多次（可配置）才判断该任务是否失效 一个作业的任务失败率超过配置，则认为该作业失败 失败的任务或作业都会有ApplicationMaster重新运行 Applicat
hadoop之HDFS HA高可用---YARN-HA配置
@小刘同学nice
05-07 278
YARN-HA工作机制 官方文档： http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html YARN-HA工作机制 配置YARN-HA集群 环境准备 修改IP 修改主机名及主机名和IP地址的映射 关闭防火墙 ssh免密登录 安装JDK，配置环境变量等 配置Zookeep...
hdfs HA 故障转移
qq_40337206的博客
08-21 426
一、 查看ha中两个主节点的状态 hdfs haadmin -getServiceState nn1 hdfs haadmin -getServiceState nn2 二、当nn1挂掉时，nn2由standby 状态转为 active 手动执行故障转移 hdfs haadmin -failover nn1 nn2 启动 namemode进程 hadoop-daemon.sh start...
hdfs ha脚本邮件预警failover
cllblogs
09-16 215
1.脚本编写 #!/bin/bash NN1_HOSTNAME="" NN2_HOSTNAME="" NN1_SERVICEID="" NN2_SERVICEID="" NN1_SERVICESTATE="" NN2_SERVICESTATE="" EMAIL=503757851@qq.com #CDH_BIN_HOME=/opt/cloudera/parcels/CDH/bin CDH_B...
hadoop2.0(YARN) ResourceManager failover机制
快乐程序员的专栏
01-10 2316
YARN RM failover机制 RM(ResourceManager)每次在启动之前都会进行初始化并执行一次recovery操作，然后才启动RM，对外提供服务。 RM启动流程如下图： RM启动流程图 RM中的各种服务包括： (1)、ContainerAllocationExpirer：监控Containter是否到期。 (2)、AmLivelinessMonitor：监控A
hadoop tyarn冲突_hadoop集群启动yarn时出现的问题和解决方法
weixin_34324618的博客
01-27 415
1、问题使用start-all.sh 启动hdfs和yarn集群 ，启动后发现resourcemanager没启动，查看日志报错： 2020-06-01 09:42:21,280 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.AdminSer...
2024，了解云原生技术栈收藏这一篇就够了（附学习笔记）
最新发布
2301_79054215的博客
04-26 491
本人现在工作中负责云原生服务管理平台的研发（主要管理各类云原生基础设施，平台服务和第三方托管应用），但即便如此，常被问起云原生是什么时，我也很难简洁的向人表述清楚，导致自我也经常问一遍，云原生究竟是什么，我又在做什么。
配置Hadoop HA高可用：hdfs-site.xml详解
以上配置只是Hadoop HA集群的基本元素，实际部署中还需要配置Zookeeper以监控和管理NameNode的切换，以及其他的HDFS和YARN相关配置。此外，还需要确保网络、存储和安全方面的设置正确无误，以构建一个完整的、高度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值