Hadoop-HA搭建流程

最新推荐文章于 2024-07-11 18:52:23 发布

Little Rain～

最新推荐文章于 2024-07-11 18:52:23 发布

阅读量276

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/zy_remarkable/article/details/81222489

版权

本文详细介绍了如何搭建Hadoop-HA高可用集群，包括创建软连接、配置XML文件、分发配置、启动JournalNodes、同步NameNodes的元数据、启动DFS以及进行HA集群的手动状态切换。关键步骤包括使用`hdfs namenode -format`和`hdfs namenode -bootstrapStandby`命令来格式化和初始化NameNode，并利用`hdfs haadmin`工具进行Active/Standby状态的转换。

摘要由CSDN通过智能技术生成

1.创建软连接：指向hadoop_cluster_HA

2.修改【hdfs-site.xml】

<property>

    <name>dfs.nameservices</name>

    <value>mycluster</value>

</property>

//指定两个namenode的唯一标识：注意一定是两个

<property>

    <name>dfs.ha.namenodes.mycluster</name>

    <value>nn1,nn2</value>

</property>

//修改namenode RPC访问端口

<property>

    <name>dfs.namenode.rpc-address.mycluster.nn1</name>

    <value>master:9000</value>

</property>

<property>

    <name>dfs.namenode.rpc-address.mycluster.nn2</name>

    <value>slave1:9000</value>

</property>

//修改http-WEBUI访问端口

<property>

    <name>dfs.namenode.http-address.mycluster.nn1</name>

    <value>master:50070</value>

</property>

<proper