Hadoop高可用集群，基于Zookeeper集群详细搭建流程！

最新推荐文章于 2024-04-02 08:30:00 发布

天ヾ道℡酬勤

最新推荐文章于 2024-04-02 08:30:00 发布

阅读量2.2k

点赞数 2

分类专栏： hadoop 文章标签：分布式

本文链接：https://blog.csdn.net/zp17834994071/article/details/107189431

版权

本文介绍了如何搭建Hadoop高可用集群，包括使用Zookeeper进行集群配置，详细讲述了从集群准备到HDFS和YARN的启动，以及遇到问题的解决方法，确保了Hadoop NameNode和ResourceManager的高可用性。

摘要由CSDN通过智能技术生成

上次给大家讲过搭建hadoop高可用集群的具体思路，今天就开始正式根据思路搭建。

搭建前准备
1.官方地址：http://hadoop.apache.org/

2.HDFS 高可用集群规划，请保证 Hadoop 完全分布式和 ZooKeeper 完全分布式环境已经安装完成，以3台机为例，前面已经给大家详细说过搭建流程，可以自己取看下。
Hadoop分布式集群搭建，以及ssh互通免密登录！
详细Zookeeper分布式集群的搭建

3.先在一台机hadoop2上配置文件信息
进入文件夹下的配置文件目录下
cd /opt/soft/hadoop260/etc/hadoop/

3.在 hadoop2 配置 core-site.xml
vi core-site.xml 在configuration添加以下信息


<!-- 指定namenode的集群hdfs协议文件系统的通信地址变为mycluster -->
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://mycluster</value>
   </property>
<!-- 指定hadoop集群存储临时文件的目录 -->
   <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/soft/hadoop260/tmp</value>
   </property>
 <!-- ZooKeeper集群的地址 -->
   <property>
     <name>ha.zookeeper.quorum</name>
     <value>hadoop2:2181,hadoop3:2181,hadoop4:2181</value>
   </property>
<!-- 任意地址都可以访问  必须是root用户  -->
   <property>
     <name>hadoop.proxyuser.root.hosts</name>
     <value>*</value>
   </property>
<!-- 任意路径任一组都可以访问 必须是root用户  -->
   <property>
     <name>hadoop.proxyuser.root.groups</name>
     <value>*</value>
   </property>
   <!-- ZKFC连接到ZooKeeper超时时长 -->
   <property>
     <name>ha.zookeeper.session-timeout.ms</name>
     <value>10000</value>
   </property>

4.配置hdfs-site.xml
vi hdfs-site.xml 在configuration添加以下信息

<!-- 集群服务的逻辑名称是mycluster -->
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>

 <!-- NameNode ID列表为nn1,nn2-->
<property>
  <name>dfs