hadoop HA集群搭建

最新推荐文章于 2023-03-17 14:42:47 发布
最新推荐文章于 2023-03-17 14:42:47 发布
阅读量299 收藏 3
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyj81092211/article/details/118155978
版权

一、环境配置

1、环境介绍
操作系统：Centos 7.9
jdk版本：8u291
hadoop版本:2.10.1

2、资源划分
在这里插入图片描述

--------------hadoop节点---------------
nn01、nn02：
CPU：4核心
内存：8GB
数据盘：400G

jn01、jn02、jn03：
CPU：2核心
内存：2GB

rm01、rm02：
CPU：8核心
内存：8GB

dn01–dn05：
CPU：16核心
内存：16GB
数据盘：2T
--------------zookeeper节点---------------
zk01、zk02、zk03：
CPU：4核心
内存：8GB
数据盘：300GB

3、主机名和IP地址设置
注意：编写/etc/hosts和/etc/hostname

#zookeeper node
10.99.27.11	zk01.wtown.com
10.99.27.12	zk02.wtown.com
10.99.27.13	zk03.wtown.com
#namenode
10.99.27.21	nn01.wtown.com
10.99.27.22	nn02.wtown.com
#journalnode
10.99.27.31	jn01.wtown.com
10.99.27.32	jn02.wtown.com
10.99.27.33	jn03.wtown.com
#resourcemanager
10.99.27.41	rm01.wtown.com
10.99.27.42	rm02.wtown.com
#datanode
10.99.27.51	dn01.wtown.com
10.99.27.52	dn02.wtown.com
10.99.27.53	dn03.wtown.com
10.99.27.54	dn04.wtown.com
10.99.27.55	dn05.wtown.com

4、挂载数据盘到/data
注意：所有hadoop集群节点建立/data文件夹
https://blog.csdn.net/zyj81092211/article/details/118054000

5、安装JDK
https://blog.csdn.net/zyj81092211/article/details/118055068

6、安装zookeeper集群
https://blog.csdn.net/zyj81092211/article/details/118066724

7、添加hadoop用户并添加sudo权限（hadoop所有节点）

useradd hadoop
echo hadoop|passwd --stdin hadoop

visudo

添加如下

hadoop  ALL=(ALL)       NOPASSWD:ALL

8、配置ssh免认证(所有节点)
root用户：

ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub root@nn01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@nn02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@jn01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@jn02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@jn03.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@rm01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@rm02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@dn01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@dn02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@dn03.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@dn04.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub root@dn05.wtown.com

hadoop用户：

ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub hadoop@nn01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@nn02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@jn01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@jn02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@jn03.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@rm01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@rm02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@dn01.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@dn02.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@dn03.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@dn04.wtown.com
ssh-copy-id -i .ssh/id_rsa.pub hadoop@dn05.wtown.com

9、更改hadoop配置文件
注意：hadoop软件包配置文件目录hadoop\etc\hadoop

（1）修改hadoop-env.sh

export JAVA_HOME=/usr/local/java

（2）修改core-site.xml
配置configuration标签下添加如下内容

<configuration>
	<!-- 指定hdfs的nameservice为ns1 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1/</value>
    </property>

    <!-- 指定hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop/data</value>
    </property>

    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>zk01.wtown.com:2181,zk02.wtown.com:2181,zk03.wtown.com:2181</value>
    </property>
    <property>
        <name>ha.zookeeper.session-timeout.ms</name>
        <value>3000</value>
    </property>
</configuration>

（3）修改hdfs-site.xml
配置configuration标签下添加如下内容

<configuration>
	<!--指定hdfs的nameservice为ns1，与core-site.xml中的一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    <!-- ns1下面有两个NameNode，分别是nn01，nn02 ，多个NameNode用逗号隔开-->
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn01,nn02</value>
    </property>
    <!-- nn01的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn01</name>
        <value>nn01.wtown.com:8020</value>
    </property>
    <!-- nn01的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn01</name>
        <value>nn01.wtown.com:50070</value>
    </property>
    <!-- nn02的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn02</name>
        <value>nn02.wtown.com:8020</value>
    </property>
    <!-- nn02的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn02</name>
        <value>nn02.wtown.com:50070</value>
    </property>
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://jn01.wtown.com:8485;jn02.wtown.com:8485;jn03.wtown.com:8485/ns1</value>
    </property>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/data/hadoop/journaldata</value>
    </property>
    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔离机制方法，多个机制用换行隔开-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>
    <!-- 使用sshfence隔离机制时需要ssh免登陆，使用hadoop用户-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>       
    </property>
    <!-- 配置sshfence隔离机制超时时间 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
     <!--指定namenode名称空间的存储地址 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///data/hadoop/hdfs/name</value>
    </property>
    <!--指定datanode数据存储地址 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///data/hadoop/hdfs/data</value>
    </property>
    <!--指定数据副本数 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

（4）修改mapred-site.xml
配置configuration标签下添加如下内容

<configuration>
	<!-- 指定mr框架为yarn方式 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <!-- 配置 JobHistory Server 地址 ，默认端口10020 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>0.0.0.0:10020</value>
    </property>
    <!-- 配置 JobHistory Server web ui 地址， 默认端口19888 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>0.0.0.0:19888</value>
    </property>
</configuration>

（5）修改yarn-site.xml（配置yarn resourcemanager HA）
配置configuration标签下添加如下内容

<configuration>
    <!-- 开启RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster1</value>
    </property>
    <!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm01,rm02</value>
    </property>
    <!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm01</name>
        <value>rm01.wtown.com</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm02</name>
        <value>rm02.wtown.com</value>
    </property>
    <!-- 分别指定web访问地址 -->
    <property>
        <name>yarn.resourcemanager.webapp.address.rm01</name>
        <value>rm01.wtown.com:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm02</name>
        <value>rm02.wtown.com:8088</value>
    </property>
    <!-- 开启重启作业自动恢复 -->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!-- 将状态信息保存到zookeeper -->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <!-- ZooKeeper的领导选举时，用于存储领导信息的基本 znode 路径 -->
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>
        <value>/yarn-leader-election</value>
        <description>Optionalsetting.Thedefaultvalueis/yarn-leader-election</description>
    </property>
    <!-- 指定zookeeper集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>zk01.wtown.com:2181,zk02.wtown.com:2181,zk03.wtown.com:2181</value>
    </property>
    <!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

（6）修改slaves文件
注意：slaves文件，记录子节点，hdfs对应得子节点是datanode；yarn的resourcemanager对应的节点是nodemanager
添加如下：

dn01.wtown.com
dn02.wtown.com
dn03.wtown.com
dn04.wtown.com
dn05.wtown.com

10、创建配置文件中出现的对应文件夹

hadoop临时文件夹：hadoop/data
HDFS文件夹：hadoop/hdfs/name和hadoop/hdfs/data
journalnode数据文件：hadoop/journaldata

------------------------至此hadoop软件包准备完成------------------------

11、上传hadoop软件包到所有hadoop节点的/data目录下，并更改拥有者和拥有组为hadoop(所有hadoop节点)

 chown -R hadoop.hadoop /data/

12、创建hadoop软连接到/usr/local/hadoop(所有hadoop节点)（注意：习惯，可以不做）

ln -s /data/hadoop /usr/local/hadoop

13、设置hadoop环境变量(所有hadoop节点)

vi /etc/profile

添加如下内容：

# hadoop environment
export HADOOP_HOME=/data/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

重新加载profile

source /etc/profile

14、添加hadoop命令执行权限(所有hadoop节点)

chmod +x /data/hadoop/bin/*
chmod +x /data/hadoop/sbin/*

二、创建集群

1、集群初始化

（1）、启动zookeeper集群（zookeeper节点）

zkServer.sh start

状态：正常
在这里插入图片描述
（2）用hadoop用户分别在jn01、jn02、jn03上启动启动journalnode（journalnode节点）

hadoop-daemon.sh start journalnode

正常状态：
在这里插入图片描述
（3）使用hadoop用户，格式化HDFS，只在在nn01上进行（namenode nn01节点）

hdfs namenode -format

在这里插入图片描述
（4）使用hadoop用户，格式化zkfc（namenode节点 nn01）

hdfs zkfc -formatZK

（5）使用hadoop用户，启动hdfs（namenode节点 nn01）

start-dfs.sh

namenode nn01状态：
在这里插入图片描述
datanode节点状态：

在这里插入图片描述
（6）使用hadoop用户，复制并启动HDFS备用节点（namemode nn02节点）

hdfs namenode -bootstrapStandby

hadoop-daemon.sh start namenode

在这里插入图片描述
namemode nn02状态：
在这里插入图片描述

（7）使用hadoop用户，启动yarn主节点（resourcemanager rm01节点）

start-yarn.sh

resourcemanager rm01状态：
在这里插入图片描述
datanode节点状态：
在这里插入图片描述
（8）使用hadoop用户，启动yarn备用节点（resourcemanager rm02节点）

yarn-daemon.sh start resourcemanager

resourcemanager rm02节点状态：
在这里插入图片描述
2、所有节点运行状态
在这里插入图片描述
HDFS节点：
在这里插入图片描述
在这里插入图片描述
yarn节点：
在这里插入图片描述
在这里插入图片描述
3、故障转移测试
（1）HDFS namenode节点故障转移测试
在namenode nn01上杀死namenode进程
在这里插入图片描述

kill -9 1714

查看namenode nn02 已经变为active
在这里插入图片描述
再次启动namenode nn01节点服务

hadoop-daemon.sh start namenode

查看namenode nn01 已经变为standby
在这里插入图片描述
（2）yarn resourcemanager故障切换
在这里插入图片描述
在resourcemanager rm01上杀死resourcemanger进程

kill -9 1509

查看resourcemanager rm02已经变为active
在这里插入图片描述
再次启动resourcemanager rm01节点服务

yarn-daemon.sh start resourcemanager

查看resourcemanager rm01已经变为standby
在这里插入图片描述

水彩橘子
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hadoop3.1.3集群搭建(ha+yarn)
01-07
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 $ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys 2.服务器之间时间同步 3.安装zookeeper集群 搭建步骤： 1.下载apache hadoop3.1.3并上传至服务器解压 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/ha
Hadoop集群安装配置
dixuwu3652的博客
08-30 194
一、准备工作 1.首先准备好七台虚拟机，并确保都已经安装配置好jdk。 2.Hadoop3.2.0+jdk1.8自行到官网下载 3.修改好相称的主机名，并在hosts文件中相互添加。 　　######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等） 　　/etc/hosts里面要配置的是内网IP地址和主机名的映射关系。 4.修改好相称的I...
hadoop_HA集群搭建（详细）
qq_45798620的博客
10-22 587
hadoop_HA集群搭建修改主机名修改IP修改主机名和IP的映射关系关闭防火墙ssh免密码登陆安装JDK，配置环境变量等集群时间同步集群部署节点角色的规划（3节点）安装配置zookeeper集群安装配置hadoop集群修改core-site.xml修改hdfs-site.xml修改mapred-site.xml修改yarn-site.xml修改slaves配置免密码登陆将软件拷贝到所有节点启动zookeeper集群启动journalnode格式化namenode格式化ZKFC(在active上执行即可）启
Hadoop3 HA高可用集群搭建-hadoop3ha高可用集群搭建
最新发布
峰
03-17 732
Hadoop3高可用（HA:High Available）测试集群搭建。NameNode是整个Hadoop集群的大脑。HDFS 在非 HA 模式的集群下，NameNode 和 DataNode 是一个主从的架构。在这样的主从架构之下只有一台 NameNode。一台 NameNode 的好处是无需因为元数据的同步而考虑数据的一致性问题。但这种模式下一旦NameNode挂掉，整个集群将不可用。
Hadoop HA 集群搭建
sinat_35400668的博客
03-18 280
Hadoop HA 集群搭建1. zookeeper集群搭建2. hadoop配置3. HA Hadoop启动4. 测试NameNode active5. zookeeper信息查看6. 停止集群 模拟环境：四台虚拟机node1、node2、node3、node4 node1 node2 node3 node4 NameNode-1 NameNode-2 DataNode-1 DataNode-2 DataNode-3 Zookeeper-1 Zookeeper-2 Zook
hadoop ha集群搭建1
08-08
ha会用到fusersudo yum install psmisc -y #关闭IPv6sudo vi /etc/modprobe.d/dist.conf 
大数据hadoop ha集群搭建流程.docx
10-31
。。。
大数据hadoop ha集群搭建流程.pdf
10-31
。。。
大数据hadoop ha集群搭建流程 (2).docx
10-31
。。。
大数据hadoop ha集群搭建流程 (2).pdf
10-31
。。。
CentOS7下Hadoop3.2.1集群的安装与部署（上）
01-07
本篇文章将详细介绍如何在CentOS7服务器上安装并配置Hadoop3.2.1高可用集群。           Hadoop-HA集群的节点规划如下： IP Address Host Name Node Type User Name 172.16.250.234 DN1/JN1 DataNode/JournalNode hadoop 172.16.250.237 DN2/JN2/RM1 DataNode/JournalNode/ResourceManager hadoop 172.16.250.238 DN3/JN3/RM
Hadoop-ha集群搭建
10-09
HadoopHA集群搭建描述及指令，里面有各种注意事项。 集群部署节点角色的规划（3节点） ------------------ server01 namenode resourcemanager zkfc nodemanager datanode zookeeper journal node server02 ...
Hadoop HA集群配置.docx
08-23
总之，配置Hadoop HA集群是一个复杂的过程，涉及到多个组件的协同工作，尤其是ZooKeeper作为基石，对于整个集群的稳定性和高可用性至关重要。正确配置和管理ZooKeeper集群是实现Hadoop HA的关键步骤之一。
Hadoop2.0 HA集群搭建步骤
08-11
所谓HA，即高可用，实现高可用最关键的是消除单点故障，hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA；通过双namenode消除单点故障；通过双namenode协调工作
HadoopHA集群配置文件
11-28
配置Hadoop HA集群需要对这些文件进行精确调整，以实现命名节点的自动故障切换、保证数据的安全性和一致性，以及优化资源分配和任务调度。在实际操作中，还需要关注其他配置，比如Zookeeper的设置（用于协调NN的故障...
Hadoop 从 0 到 1 学习 ——第八章 HDFS HA高可用
dwjf321的博客
11-26 319
HDFS-HA工作机制 自动故障转移工作机制 HDFS-HA 集群配置
大数据之路-Hadoop-3-hadoop HA集群搭建
幸运的天才小驴的专栏
01-18 3593
一前期需要准备的环境 1 Mac中准备7台Centos 65 虚拟机 2 配置 Linux 主机名 - 7台机子都配置 3 配置IP - 7台机子都分别配置 4 配置主机名和IP的映射关系 5 配置 SSH 免密登录 二安装zookeeper集群 1 hadoop用户目录下创建一个 apps文件夹 2 解压 zookeeper-348targz 3 修改配置文件 zoocfg 4 z...
Hadoop生态圈（九）- HDFS High Availability（HA）高可用集群
程序园@大Null
01-19 1405
HDFS HA高可用集群搭建安装部署，HDFS NameNode单点故障问题，QJM——主备切换、脑裂问题解决，QJM——主备数据同步问题解决，HA系统设计核心问题，高可用如何实现，ZKFailoverController（zkfc），Fencing隔离机制，可用性评判标准——x个9
搭建 Hadoop-3.1.3 HA 集群
扛麻袋的少年的博客
06-16 554
二十六、搭建 Hadoop-3.1.3 HA 集群
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值