hadoop----HA高可用集群搭建

 

搭建HA高可用集群

1.首先我们需要一台伪分布式虚拟机

将此虚拟机克隆三份，修改三台虚拟机的网络地址和主机名

三台机子拟定名为：hadoop001 hadoop002 hadoop003

拟定hadoop001为主节点 hadoop002 hadoop003为备用节点

主机名	ip地址	namenode	QuorumPeerMain	JournalNode	NodeManager	JobHistoryServer	DataNode	DFSZKFailoverController	ResourceManager
hadoop001	192.168.28.50	√	√	√	√	√	√	√	√
hadoop002	192.168.28.51	√	√	√	√		√	√	√
hadoop003	192.168.28.52		√	√	√		√

 在配置之前我们需要安装配置zookeeper并同步时间  zookeeper安装配置及时间同步

在主节点hadoop001中配置core.site.xml

<!--默认节点为namenode集群-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ns</value>
  </property>
<!-- hdfs的临时文件的目录  -->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
<!--指定zookeeper地址-->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
   </property>
<!-- 其他机器的root用户可访问 -->
  <property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
  </property>
<!-- 其他root组下的用户都可以访问 -->
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.
    </description>
  </property>

在主节点hadoop001中配置hdfs-site.xml

<!--节点数，ha中可不配置-->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
<!--指定名称服务，与core-sitexml中的一致-->
  <property>
    <name>dfs.nameservices</name>
    <value>ns</value>
  </property>
<!--指定名称下的namenode节点-->
  <property>
    <name>dfs.ha.namenodes.ns</name>
    <value>hadoop001,hadoop002</value>
   </property>
<!--rpc地址，9000端口-->
  <property>
    <name>dfs.namenode.rpc-address.ns.hadoop01</name>
    <value>hadoop001:9000</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.ns.hadoop06</name>
    <value>hadoop002:9000</value>
  </property>
<!--http地址,50070端口，即页面地址-->
  <property>
    <name>dfs.namenode.http-address.ns.hadoop01</name>
    <value>hadoop001:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.ns.hadoop06</name>
    <value>hadoop002:50070</value>
  </property>
<!--namenode在journalnode(datanode)上存放数据的端口8485-->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/ns</value>
  </property>
<!--开启namenode失败自动切换-->
   <property>
     <name>dfs.ha.automatic-failover.enabled</name>
     <value>true</value>
   </property>
<!--设置namenode自动切换方式-->
   <property>
     <name>dfs.client.failover.proxy.provider.ns</name>
     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
   </property>
<!--设置隔离机制，多个机制换行分隔，每个机制占用一行-->
   <property>
     <name>dfs.ha.fencing.methods</name>
     <value>
       sshfence
       shell(/bin/true)</value>
   </property>
<!--超时设置-->
   <property>
      <name>dfs.ha.fencing.ssh.connect-timeout</name>
      <value>30000</value>
   </property>
   <property>
      <name>dfs.webhdfs.enabled</name>
      <value>true</value>
   </property>

在主节点hadoop01中配置mapred-site.xml

  <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
  </property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.28.50:10020</value>
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.28.50:19888</value>
</property>

在主节点hadoop01中配置yarn-site.xml

<!--HA配置-->
<!--开启HA-->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
<!--指定resourcemanager集群id-->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>cluster_id</value>
  </property>
<!--rm集群的名服务-->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
<!--指定rm映射关系-->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>hadoop001</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>hadoop002</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>hadoop001:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>hadoop002:8088</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
<!-- 日志聚集功能使用 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
<!-- 日志保留时间设置7天 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>

注意事项：

• 保证三台机器一致的状态。
• 确保集群处于关闭的状态。
• 把主节点上配置好的文件传输到另外两台机器上：

  [root@hadoop001 hadoop]# scp hdfs-site.xml hadoop002:$PWD
  [root@hadoop001 hadoop]# scp hdfs-site.xml hadoop003:$PWD
  [root@hadoop001 hadoop]# scp core-site.xml hadoop002:$PWD
  [root@hadoop001 hadoop]# scp core-site.xml hadoop003:$PWD
  [root@hadoop001 hadoop]# scp yarn-site.xml hadoop002:$PWD
  [root@hadoop001 hadoop]# scp yarn-site.xml hadoop003:$PWD
  

  三台机器同时删除 tmp 和logs文件夹

[root@hadoop001 hadoop]# rm -rf tmp/
[root@hadoop001 hadoop]# rm -rf logs/

启动集群

在部分电脑上需要启动journalnode

[root@hadoop001 hadoop]# hadoop-daemon.sh start journalnode

主机点格式化

[root@hadoop001 hadoop]# hdfs namenode -format

把主节点上的tmp文件夹传到备用节点的opt目录下的hadoop目录下

[root@hadoop001 hadoop]# scp -r tmp hadoop06:$PWD

三台机器同时启动zookeeper

[root@hadoop001 hadoop]# cd /opt/zkpr/
[root@hadoop001 zkpr]# zkServer.sh start

主节点启动整个hadoop集群

[root@hadoop001 zkpr]# start-all.sh

在备用节点上启动resourcemanager

[root@hadoop001 zkpr]# yarn-daemon.sh start resourcemanager

主节点格式化zkfc:

[root@hadoop001 zkpr]# hdfs zkfc -formatZK

主备节点启动zkfc：

[root@hadoop001 zkpr]# hadoop-daemon.sh start zkfc

在主节点上启动历史服务:

[root@hadoop001 zkpr]# mr-jobhistory-daemon.sh start historyserver

查看进程

主节点：

 

 

备用节点

其他节点