Hadoop+zookeeper+yarn的高可用部署

最新推荐文章于 2023-09-18 15:07:01 发布
最新推荐文章于 2023-09-18 15:07:01 发布
阅读量385 收藏
点赞数 1
分类专栏： 高级课程 文章标签： hadoop yarn zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangyu_sing/article/details/99822831
版权

下载获取zookeeper文件，解压缩
在这里插入图片描述
拷贝并修改配置文件

cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

在这里插入图片描述
关闭服务并清空/tmp/的内容

sbin/stop-dfs.sh
sbin/stop-yarn.sh
rm /tmp/* -fr

在server2和server3和server4这三个结点上创建目录并写入myid

mkdir /tmp/zookeeper
echo 1 > /tmp/zookeeper/myid (server2)
echo 2 > /tmp/zookeeper/myid (server3)
echo 3 > /tmp/zookeeper/myid (server4)

在这里插入图片描述

在server2和server3和server4这三个结点上启动zookeeper

/home/hadoop/zookeeper-3.4.9/bin/zkServer.sh start

在这里插入图片描述
查看状态，2，4为从节点，3为主节点

/home/hadoop/zookeeper-3.4.9/bin/zkServer.sh status

server2从
在这里插入图片描述
server3主
在这里插入图片描述
server4从
在这里插入图片描述
登录查看信息

bin/zkCli.sh -server 127.0.0.1:2181

在这里插入图片描述
编辑文件添加集群信息

cd /home/hadoop/hadoop/etc/hadoop/
vim core-site.xml

编辑文件core-site.xml内容

<configuration>
<!--指定 hdfs 的 namenode 为 masters (名称可自定义) -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://masters</value>
    </property>

<!-- 指定 zookeeper 集群主机地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>172.25.33.2:2181,172.25.33.3:2181,172.25.33.4:2181</value>
</property>

</configuration>

编辑文件hdfs-site.xml

vim hdfs-site.xml

文件内容如下

<configuration>

       <property>
		<name>dfs.replication</name>
           	<value>3</value>
       </property>
       
	<!-- 指定 hdfs 的 nameservices 为 masters,和 core-site.xml 文件中的设置保持一致 -->
	<property>
	    	<name>dfs.nameservices</name>
	    	<value>masters</value>
	</property>
	
	<!-- masters 下面有两个 namenode 节点,分别是 h1 和 h2 (名称可自定义) -->
	<property>
		<name>dfs.ha.namenodes.masters</name>
		<value>h1,h2</value>
	</property>
	
	<!--指定 h1 节点的 rpci通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.masters.h1</name>
		<value>172.25.33.1:9000</value>
	</property>
	
	<!-- 指定 h1 节点的 http 通信地址 -->
	<property>
		<name>dfs.namenode.http-address.masters.h1</name>
		<value>172.25.33.1:9870</value>
	</property>
	
	<!-- 指定 h2 节点的 rpc 通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.masters.h2</name>
		<value>172.25.33.5:9000</value>
	</property>
	
	<!-- 指定 h2 节点的 http 通信地址 -->
	<property>
		<name>dfs.namenode.http-address.masters.h2</name>
		<value>172.25.33.5:9870</value>
	</property>
	
	<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://172.25.33.2:8485;172.25.33.3:8485;172.25.33.4:8485/masters</value>
	</property>
	
	<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/tmp/journaldata</value>
	</property>
	
	<!-- 开启 NameNode 失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	
	<!-- 配置失败自动切换实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.masters</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	
	<!-- 配置隔离机制方法,每个机制占用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
		sshfence
		shell(/bin/true)
		</value>
	</property>
	
	<!-- 使用 sshfence 隔离机制时需要 ssh 免密码 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>
	
	<!-- 配置 sshfence 隔离机制超时时间 -->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
</configuration>

按顺序启动hdfs集群server2/server3/server4

/home/hadoop/hadoop/bin/hdfs --daemon start journalnode

拷贝主机server1的/tmp下的信息到server5

scp -r /tmp/hadoop-hadoop 172.25.33.5:/tmp

在server1上格式化zookeeper

bin/hdfs zkfc -formatZK  ##当格式化显示的信息都为info没有error的时候证明格式化没有问题

启动hdfs集群

[hadoop@server1 hadoop]$ sbin/start-dfs.sh  ##在启动服务的时候必须保证其它节点没有datanode进行存在，保证实验环境的纯净

//启动之后分别在server1及server5上查看：
注意在查看时可能出现第一次只出现失败回切域，或者只出现namenode的节点的情况，只需要关掉服务再次启动即可,且server1和server5因为是namnode节点内存需要2G

此时查看namenode节点状态
在这里插入图片描述
在这里插入图片描述
查看journalnode的节点状态均相同
在这里插入图片描述
网页查看此时的状态
server1为主
在这里插入图片描述
server5为备
在这里插入图片描述
查看信息

/home/hadoop/zookeeper-3.4.9/bin/zkCli.sh
ls /hadoop-ha/masters/ActiveBreadCrumb
get /hadoop-ha/masters/ActiveBreadCrumb

在这里插入图片描述
在server1上尝试写入数据

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/hadoop
bin/hdfs dfs -ls
bin/hdfs dfs -put etc/hadoop/ input

网页查看
在这里插入图片描述
此时尝试杀死主机server1的nodename节点，发现server5变为主机节点，访问正常
在这里插入图片描述
访问结果
在这里插入图片描述
配置yarn的高可用
修改配置文件etc/hadoop/mapred-site.xml

    <configuration>
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
            <property>
                    <name>mapreduce.application.classpath</name>
                    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
            </property>
    </configuration>

启动服务测试后关闭

sbin/start-yarn.sh

查看结果

jps

在这里插入图片描述
修改文件etc/hadoop/yarn-site.xml内容如下

   <configuration>
    	<!-- 配置可以在 nodemanager 上运行 mapreduce 程序 -->
    	<property>
    		<name>yarn.nodemanager.aux-services</name>
    		<value>mapreduce_shuffle</value>
    	</property>
    
    	<!-- 激活 RM 高可用 -->
    	<property>
    		<name>yarn.resourcemanager.ha.enabled</name>
    		<value>true</value>
    	</property>
    
    	<!-- 指定 RM 的集群 id -->
    	<property>
    		<name>yarn.resourcemanager.cluster-id</name>
    		<value>RM_CLUSTER</value>
    	</property>
    
    	<!-- 定义 RM 的节点-->
    	<property>
    		<name>yarn.resourcemanager.ha.rm-ids</name>
    		<value>rm1,rm2</value>
    	</property>
    
    	<!-- 指定 RM1 的地址 -->
    	<property>
    		<name>yarn.resourcemanager.hostname.rm1</name>
    		<value>172.25.33.1</value>
    	</property>
    
    	<!-- 指定 RM2 的地址 -->
    	<property>
    		<name>yarn.resourcemanager.hostname.rm2</name>
    		<value>172.25.33.5</value>
    	</property>
    
    	<!-- 激活 RM 自动恢复 -->
    	<property>
    		<name>yarn.resourcemanager.recovery.enabled</name>
    		<value>true</value>
    	</property>
    
    	<!-- 配置 RM 状态信息存储方式,有 MemStore 和 ZKStore-->
    	<property>
    		<name>yarn.resourcemanager.store.class</name>
    		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    	</property>
    
    	<!-- 配置为 zookeeper 存储时,指定 zookeeper 集群的地址 -->
    	<property>
    		<name>yarn.resourcemanager.zk-address</name>
    		<value>172.25.33.2:2181,172.25.33.3:2181,172.25.33.4:2181</value>
    	</property>
    </configuration>

在主机sever1启动yarn服务，作为rm1

cd /home/hadoop/hadoop
sbin/start-yarn.sh

在这里插入图片描述
手动放开server5的yarn服务，作为rm2

sbin/yarn-daemon.sh start resourcemanager

在这里插入图片描述
查看结果
在这里插入图片描述
在zookeeper节点进行查看

sbin/yarn-daemon.sh start resourcemanager

在这里插入图片描述
可以把 RM 与 NN 分离运行,这样可以更好的保证程序的运行性能。
网页查看此时状态
在这里插入图片描述
此时尝试关闭server5节点的rm，发现服务转移至server1
在这里插入图片描述

kill -9 9339

在这里插入图片描述

Octopus_onemore
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
YARN与Zookeeper区别及联系
Chain的博客
07-20 1万+
YARN和Zookpeer都是为了解决什么问题而产生的，应用场景分别是什么，如何结合使用等等问题，估计很多人和我以前一样，有着比较深的困惑，而这些困惑，也许你自己花那么一些时间去搭建目前流行的大数据系统，可能就豁然开朗了。或许，你可以看看网上别人怎么说，看看官网的架构图及其解释，再加上自己以往的经验，也能看到它们的本质，当然，如果要使用，很多坑在等你跳，记住，跳坑是必经之路，没有人能替你完成。 ...
hadoop 分布式集群部署 一 YARN 高可用部署
CodingDemo
08-10 499
hadoop 分布式集群部署 一 YARN 高可用部署。
YARN基础+Yarn组件+Yarn架构和工作流程+Yarn三种调度器+MR流程+zookeeper
qq_43476430的博客
03-25 4413
一、YARN是什么 YARN负责Hadoop中得资源管理（包括cpu、内存、磁盘、网络IO等），以及调度运行在yarn上的任务。 二、YARN主要组件说明 YARN的主要组件：ResourceManager、NodeManager、ApplicationMaster和Container （1）ResourceManager（RM） 主要负责处理客户端请求对各NM上的资源进行统一调度和管理，给ApplicationMaster分配空闲的Container 运行并监控其运行状态。 主要由两个组件构.
zookeeper —— 分布式服务协调框架
最新发布
IT小小白的博客
09-18 1438
Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Slave管理模式Zookeeper = 文件系统 + 通知机制。
hadoop+zookeeper+yarn搭建高可用完全分布式环境详细步骤
web13618542420的博客
08-16 631
前提准备3台centos7.0虚拟机。
hadoop+hbase+zookeeper集群配置流程及文件
08-28
1. 安装Zookeeper：在所有节点上部署Zookeeper，设置`ZOOKEEPER_HOME`环境变量。 2. 修改`zoo.cfg`配置：包括数据存储路径、集群节点列表（server.1, server.2, ...）等。 3. 分配myid：在每个节点的data目录下创建`...
hadoop+zookeeper安装包
08-02
例如，Hadoop的YARN（Yet Another Resource Negotiator）资源调度器就依赖Zookeeper来管理集群资源和应用状态。 在安装Hadoop和Zookeeper时，你需要遵循以下步骤： 1. **环境准备**：确保你的系统满足Hadoop和...
Hadoop+Zookeeper+Hbase+Hive部署.doc
01-15
大数据平台搭建之 Hadoop+Zookeeper+Hbase+Hive 部署指南 大数据平台搭建是指通过集成多种大数据处理技术，构建一个功能强大、可靠、高效的数据处理平台。本文档主要介绍如何部署 Hadoop、Zookeeper、Hbase、Hive ...
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
12-26
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
spark 集群环境开发部署（hadoop，yarn，zookeeper，alluxio，idea开发环境）
10-25
个人总结的集群搭建运行事例环境文档。条理清晰。有spark standalone模式 yarn模式 zookeeper的搭建 还有分布式文件系统hdfs hadoop搭建，内存式文件系统alluxio。开发环境的搭建idea for scala 的配置 ，和打包事例
Yarn(分布式资源管理器)和Zookeeper(分布式协作服务)区别
小小良
08-20 709
Zookeeper Zookeeper是一个分布式协调服务（Coordination），一个leader，多个follower组成的集群，就是为用户的分布式应用程序提供协调服务。 Zookeeper是为别的分布式程序服务的。Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务等。 Yarn YARN的目标就是实现“一个集群多个...
企业—hadoop+zookeeper+yarn组件高可用的简介及其部署
weixin_44224288的博客
05-23 678
一.技术背景 影响HDFS集群不可用主要包括以下两种情况： 一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用； 二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内不可用。 为了解决上述问题，Hadoop给出了HDFS的高可用HA方案： HDFS通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Act...
Hadoop(五) (Hadoop+zookeeper实现hdfs及yarn的高可用)
web18534207985的博客
08-17 492
在典型的 HA 集群中,通常有两台不同的机器充当 NN。在任何时间,只有一台机器处于Active 状态;另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作;而 Standby NN 主要用于备用,它主要维持足够的状态,如果必要,可以提供快速的故障恢复。为了让 Standby NN 的状态和 Active NN 保持同步,即元数据保持一致,它们都将会和JournalNodes 守护进程通信。...
hadoop-zookeeper配置YARN-HA集群
cevent的博客
04-23 504
1.原版yarn-site.xml <?xml version="1.0"?> <!-- Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the ...
hadoop+zookeeper高可用，yarn高可用，Hbase高可用集群部署
Logbook的博客
09-03 1540
[root@server3 ~]# su - hadoop [hadoop@server3 ~]$ jps 1408 DataNode 1501 Jps [hadoop@server3 ~]$ jps 1408 DataNode 1592 Jps [hadoop@server3 ~]$ ls hadoop hadoop-2.7.3.tar.gz jdk1.7.0_79 hadoop...
hadoop集成yarn高可用HA的搭建
wyqwilliam的博客
12-22 448
1、修改配置文件; 具体的修改内容为： mapred-site.xml: &lt;configuration&gt; &lt;property&gt; &lt;name&gt;mapreduce.framework.name&lt;/name&gt; &lt;value&gt;yarn&lt;/value&gt; &lt;/property&gt;
Zookeeper 快速理解
热门推荐
colorant的专栏
12-27 1万+
作者：刘旭晖 Raymond 转载请注明出处 Email：colorant at 163.com BLOG：http://blog.csdn.net/colorant/ 更多云计算相关项目快速理解文档  http://blog.csdn.net/colorant/article/details/8255910 == 是什么 ==   目标Scope（解
大数据环境集群环境搭建.docx
10-31
"这篇文档详细介绍了在大数据环境下如何搭建一个基于CentOS6.5的集群环境，涵盖了所需的各种组件，包括JDK、Hadoop、Hive、ZooKeeper、Kafka、Spark和Flume。此外，还提供了系统配置、防火墙设置、DNS配置以及SSH免...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值