超详细的企业必备HDFS高可用性集群搭建

最新推荐文章于 2023-10-23 22:35:06 发布

张反水

最新推荐文章于 2023-10-23 22:35:06 发布

阅读量229

点赞数 1

分类专栏：大数据 # Hadoop # zookeeper 文章标签： hadoop hdfs 大数据 linux 分布式

本文链接：https://blog.csdn.net/zy13765287861/article/details/105356899

版权

大数据同时被 3 个专栏收录

34 篇文章 0 订阅

订阅专栏

Hadoop

28 篇文章 0 订阅

订阅专栏

zookeeper

2 篇文章 0 订阅

订阅专栏

HDFS高可用性集群搭建

1.环境准备

	主机	从机	从机
主机名	anshun112	anshun113	anshun114
hostname	anshun112	anshun113	anshun114
IP地址	192.168.153.112	192.168.153.113	192.168.153.114
用户名	zhangyong	zhangyong	zhangyong
内存大小	/boot 200M /swap 2048M / 剩余空间	/boot 200M /swap 2048M / 剩余空间	/boot 200M /swap 2048M / 剩余空间
防火墙	service iptables stop chkconfig iptables off（开机关闭）	service iptables stop chkconfig iptables off	service iptables stop chkconfig iptables off
网路配置	ONBOOT=yes BOOTPROTO=static IPADDR=192.168.153.112 GATEWAY=192.168.153.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 DNS2=8.8.8.8	ONBOOT=yes BOOTPROTO=static IPADDR=192.168.153.113 GATEWAY=192.168.153.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 DNS2=8.8.8.8	ONBOOT=yes BOOTPROTO=static IPADDR=192.168.153.114 GATEWAY=192.168.153.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 DNS2=8.8.8.8
免密登录	已配置	已配置	已配置

2. 集群规划表

anshun112	anshun113	anshun114
NN1	NN2
ZKFC	ZKFC
JN	JN	JN
ZK	ZK	ZK
DN	DN	DN

3. 安装软件

在一台机器上安装Java、Hadoop、zookeeper，并配置环境变量，并分发到集群其他机器
1. 拷贝安装文件到/home/software_pack，两个tar包
2. tar -zxf h"+tab" -C /home/software
3. tar -zxf j"+tab" -C /home/software
4. tar -zxf z"+tab" -C /home/software（需要配置zookeeper环境，详情查看：一篇文章搞定大数据Zookeeper，让你少走很多弯路）
5. 配置环境变量：sudo vim /etc/profile
6. 在文件末尾添加

#JAVA_HOME
export JAVA_HOME=/home/software/jdk1.8.0_144
#HADOOP_HOME
export HADOOP_HOME=/home/software/hadoop-2.9.2
#ZK_HOME
export ZK_HOME=/home/software/zookeeper-3.6.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZK_HOME/bin

source /etc/profile

3. 分发脚本

在/bin/目录下创建xsync，更改执行权限

chmod +x xsync

编辑：vim xsync

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=112; host<115; host++)); do
        echo ------------------- anshun$host --------------
        rsync -av $pdir/$fname $user@anshun$host:$pdir
done

4. 执行分发脚本

分发安装软件：

sudo xsync /home/software

分发环境变量配置

sudo xsync /etc/profile

分发的三台虚拟机分别执行

source /etc/profile

5. 配置HDFS环境

所有配置文件都在$HADOOP_HOME/etc/hadoop下

配置hadoop-env.sh

export JAVA_HOME=/home/software/jdk1.8.0_144
export HADOOP_CONF_DIR=/home/software/hadoop-2.9.2/etc/hadoop

配置core-site.xml

<configuration>
		<!--指定hdfs的nameservice，为整个集群起一个别名-->
		<property>
		 <name>fs.defaultFS</name>
		 <value>hdfs://ns</value>
		</property>
	
		<!--指定Hadoop数据存放目录-->
		<property>
		 <name>hadoop.tmp.dir</name>
		 <value>/home/software/hadoop-2.9.2/tmp</value>
		</property>
	
		<!--指定Zookeeper的地址-->
		<property>
		 <name>ha.zookeeper.quorum</name>
		 <value>anshun112:2181,anshun113:2181,anshun114:2181</value>
		</property>
	</configuration>

配置hdfs-site.xml

 <configuration>
		<!--执行HDFS的nameservice为ns，注意此处的需要和core-site.xml中的
		名称保持一致-->
		<property>
		 <name>dfs.nameservices</name>
		 <value>ns</value>
		</property>
		<!--ns集群中有两个namenode，分别为nn1，nn2-->
		<property>
		 <name>dfs.ha.namenodes.ns</name>
		 <value>nn1,nn2</value>
		</property>
		<!--配置nn1的RPC的通信地址-->
		<property>
		 <name>dfs.namenode.rpc-address.ns.nn1</name>
		 <value>anshun112:9000</value>
		</property>
		<!--配置nn1的http通信地址-->
		<property>
		 <name>dfs.namenode.http-address.ns.nn1</name>
		 <value>anshun112:50070</value>
		</property>
		<!--配置nn2的RPC的通信地址-->
		<property>
		 <name>dfs.namenode.rpc-address.ns.nn2</name>
		 <value>anshun113:9000</value>
		</property>
		<!--配置nn2的http通信地址-->
		<property>
		 <name>dfs.namenode.http-address.ns.nn2</name>
		 <value>anshun113:50070</value>
		</property>
		<!-- 指定NameNode1的元数据存放在JournalNode上面，NameNode2
		可以从JournalNode上面获取信息，从而达到热备的效果-->
		<property>
		 <name>dfs.namenode.shared.edits.dir</name>
		 <value>qjournal://anshun112:8485;anshun113:8485;anshun114:8485/ns</value>
		</property>
		<!--配置JournalNode的数据存放在本地硬盘上-->
		<property>
		 <name>dfs.journalnode.edits.dir</name>
		 <value>/home/software/hadoop-2.9.2/tmp/journal</value>
		</property>
		<!--开启NameNode在遇到故障时自动切换-->
		<property>
		 <name>dfs.ha.automatic-failover.enabled</name>
		 <value>true</value>
		</property>
		<!--配置遇到失败自动切换的实现方式-->
		<property>
		 <name>dfs.client.failover.proxy.provider.ns</name>
		 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
		</property>
		<!--配置隔离机制-->
		<property>
		 <name>dfs.ha.fencing.methods</name>
		 <value>sshfence</value>
		</property>
		<!--配置隔离机制时需要使用ssh免登录-->
		<property>
		 <name>dfs.ha.fencing.ssh.private-key-files</name>
		 <value>/root/.ssh/id_rsa</value>
		</property>
		<!--配置namenode存放的元数据目录，此项不配置也可以，如果不配置那
		么则默认存放到hadoop.tmp.dir目录下-->
		<property>
		 <name>dfs.namenode.name.dir</name>
		 <value>file:///home/software/hadoop-2.9.2/tmp/hdfs/name</value>
		</property>
		<!--配置datanode存放数据的目录，此项也可以不配置，同上！-->
		<property>
		 <name>dfs.datanode.data.dir</name>
		 <value>file:///home/software/hadoop-2.9.2/tmp/hdfs/data</value>
		</property>
		<!--配置副本的数量-->
		<property>
		 <name>dfs.replication</name>
		 <value>3</value>
		</property>
		<!--设定hdfs的用户操作权限，false则表示关闭验证，任何人都可以操
		作-->
		<property>
		 <name>dfs.permissions</name>
		 <value>false</value>
		</property>
	</configuration>

配置yarn-site.xml

<configuration>
		<!--配置yarn的高可用-->
		<property>
		 <name>yarn.resoucemanager.ha.enabled</name>
		 <value>true</value>
		</property>
		<!--指定两个resourcemanager的名称-->
		<property>
		 <name>yarn.resoucesmanager.ha.rm-ids</name>
		 <value>rm1,rm2</value>
		</property>
		<!--配置rm1的主机-->
		<property>
		 <name>yarn.resourcemanager.hostname-rm1</name>
		 <value>anshun112</value>
		</property>
		<!--配置rm2的主机-->
		<property>
		 <name>yarn.resourcemanager.hostname-rm2</name>
		 <value>anshun114</value>
		</property>
		<!--执行rm恢复机制实现类-->
		<property>
		 <name>yarn.resourcemanager.store.class</name>
		 <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
		</property>
		
		<!--配置Zookeeper的地址-->
		<property>
		 <name>yarn.resourcemanager.zk-address</name>
		 <value>anshun112:2181,anshun113:2181,anshun114:2181</value>
		</property>
		<!--给yarn集群起个别名-->
		<property>
		 <name>yarn.resoucemanager.cluster-id</name>
		 <value>ns-yarn</value>
		</property>
		<!--指定nodemanager启动时加载server的方式为shuffle server-->
		<property>
		 <name>yarn.nodemanager.aux-services</name>
		 <value>mapreduce_shuffle</value>
		</property>
		<!--指定resourcemanager地址-->
		<property>
		 <name>yarn.resourcemanager.hostname</name>
		 <value>anshun114</value>
		</property>
	</configuration>

配置mapred-site.xml

	<configuration>
		<property>
		 <name>mapreduce.framework.name</name>
		 <value>yarn</value>
		</property>
	</configuration>

配置Slaves

anshun112
anshun113
anshun114

分发配置文件

xsync /home/software/hadoop-2.7.2/etc

第一次启动集群

i. 在三台服务器中启动zk：

zkServer.sh start

ii. 在zk的leader节点上执行格式化命令

hdfs zkfc -formatZK

iii. 在三台服务器上启动journalnode

hadoop-daemon.sh start journalnode

iv. 在第一台节点上格式化NameNode

hadoop namenode -format

v. 在第一台节点上启动NameNode

hadoop-daemon.sh start namenode

vi. 在第二台节点上格式化NameNode

hdfs namenode -bootstrapStandby

vii. 在第二台节点上启动NameNode

hadoop-daemon.sh start namenode

viii. 在三台服务器上启动DataNode。

hadoop-daemon.sh start datanode

ix. 在第一和第二台节点上，启动zkfc

hadoop-daemon.sh start zkfc

x. 在第一台节点上启动yarn：

start-yarn.sh

xi. 在第三台节点上启动ResourceManager

yarn-daemon.sh start resourcemanager

以后启动和停止集群

启动：start-all.sh
	停止：stop-all.sh

如果集群出了问题

查看日志文件，查找具体错误

张反水

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
超详细的企业必备HDFS高可用性集群搭建

HDFS高可用性集群搭建1.环境准备主机从机从机主机名anshun112anshun113anshun114hostnameanshun112anshun113anshun114IP地址192.168.153.112192.168.153.113192.168.153.114用户名zhangyongzhangyongzhangy...
复制链接

扫一扫