搭建HA高可用集群
1.首先我们需要一台伪分布式虚拟机
将此虚拟机克隆三份,修改三台虚拟机的网络地址和主机名
三台机子拟定名为:hadoop001 hadoop002 hadoop003
拟定hadoop001为主节点 hadoop002 hadoop003为备用节点
主机名 | ip地址 | namenode | QuorumPeerMain | JournalNode | NodeManager | JobHistoryServer | DataNode | DFSZKFailoverController | ResourceManager |
---|---|---|---|---|---|---|---|---|---|
hadoop001 | 192.168.28.50 | √ | √ | √ | √ | √ | √ | √ | √ |
hadoop002 | 192.168.28.51 | √ | √ | √ | √ | √ | √ | √ | |
hadoop003 | 192.168.28.52 | √ | √ | √ | √ |
|
在配置之前我们需要安装配置zookeeper并同步时间 zookeeper安装配置及时间同步
在主节点hadoop001中配置core.site.xml
<!--默认节点为namenode集群-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns</value>
</property>
<!-- hdfs的临时文件的目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
<!--指定zookeeper地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
</property>
<!-- 其他机器的root用户可访问 -->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<!-- 其他root组下的用户都可以访问 -->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.native.lib</name>
<value>false</value>
<description>Should native hadoop libraries, if present, be used.
</description>
</property>
在主节点hadoop001中配置hdfs-site.xml
<!--节点数,ha中可不配置-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--指定名称服务,与core-sitexml中的一致-->
<property>
<name>dfs.nameservices</name>
<value>ns</value>
</property>
<!--指定名称下的namenode节点-->
<property>
<name>dfs.ha.namenodes.ns</name>
<value>hadoop001,hadoop002</value>
</property>
<!--rpc地址,9000端口-->
<property>
<name>dfs.namenode.rpc-address.ns.hadoop01</name>
<value>hadoop001:9000</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns.hadoop06</name>
<value>hadoop002:9000</value>
</property>
<!--http地址,50070端口,即页面地址-->
<property>
<name>dfs.namenode.http-address.ns.hadoop01</name>
<value>hadoop001:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.ns.hadoop06</name>
<value>hadoop002:50070</value>
</property>
<!--namenode在journalnode(datanode)上存放数据的端口8485-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/ns</value>
</property>
<!--开启namenode失败自动切换-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!--设置namenode自动切换方式-->
<property>
<name>dfs.client.failover.proxy.provider.ns</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--设置隔离机制,多个机制换行分隔,每个机制占用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)</value>
</property>
<!--超时设置-->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
在主节点hadoop01中配置mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.28.50:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.28.50:19888</value>
</property>
在主节点hadoop01中配置yarn-site.xml
<!--HA配置-->
<!--开启HA-->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!--指定resourcemanager集群id-->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>cluster_id</value>
</property>
<!--rm集群的名服务-->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!--指定rm映射关系-->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop001</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop002</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>hadoop001:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>hadoop002:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!-- 日志聚集功能使用 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
注意事项:
- 保证三台机器一致的状态。
- 确保集群处于关闭的状态。
- 把主节点上配置好的文件传输到另外两台机器上:
[root@hadoop001 hadoop]# scp hdfs-site.xml hadoop002:$PWD [root@hadoop001 hadoop]# scp hdfs-site.xml hadoop003:$PWD [root@hadoop001 hadoop]# scp core-site.xml hadoop002:$PWD [root@hadoop001 hadoop]# scp core-site.xml hadoop003:$PWD [root@hadoop001 hadoop]# scp yarn-site.xml hadoop002:$PWD [root@hadoop001 hadoop]# scp yarn-site.xml hadoop003:$PWD
三台机器同时删除 tmp 和logs文件夹
[root@hadoop001 hadoop]# rm -rf tmp/
[root@hadoop001 hadoop]# rm -rf logs/
启动集群
在部分电脑上需要启动journalnode
[root@hadoop001 hadoop]# hadoop-daemon.sh start journalnode
主机点格式化
[root@hadoop001 hadoop]# hdfs namenode -format
把主节点上的tmp文件夹传到备用节点的opt目录下的hadoop目录下
[root@hadoop001 hadoop]# scp -r tmp hadoop06:$PWD
三台机器同时启动zookeeper
[root@hadoop001 hadoop]# cd /opt/zkpr/
[root@hadoop001 zkpr]# zkServer.sh start
主节点启动整个hadoop集群
[root@hadoop001 zkpr]# start-all.sh
在备用节点上启动resourcemanager
[root@hadoop001 zkpr]# yarn-daemon.sh start resourcemanager
主节点格式化zkfc:
[root@hadoop001 zkpr]# hdfs zkfc -formatZK
主备节点启动zkfc:
[root@hadoop001 zkpr]# hadoop-daemon.sh start zkfc
在主节点上启动历史服务:
[root@hadoop001 zkpr]# mr-jobhistory-daemon.sh start historyserver
查看进程
主节点:
备用节点
其他节点