思路超清 Hadoop 集群搭建指南

<
     
 序号步骤内容备注 
 1修改Linux相关文件  
 2安装Hadoop,并修改Hadoop的配置文件  
 3安装并启动zooKeeper集群  
 4格式化ZK和HDFS  
 5启动HDFS  
     
 步骤 0 :前言  
     
    
     
     
     
     
     
     
     
     
     
     
     
     
 步骤 1 :修改Linux相关文件  
     
  步骤1.1:修改主机名称  
     
    
     
     
    
     
     
     
  依次修改集群中其它主机的主机名称  
     
  步骤1.2:集群间做ssh免密设置  
     
  1).在cluster1上生成ssh密钥,然后ssh-copy-id到cluster1--cluster7  
  2).在cluster2上生成ssh密钥,然后ssh-copy-id到cluster1--cluster7  
     
  步骤1.3:修改host文件  
     
     
     
     
     
    
     
     
     
     
     
     
     
     
    
     
     
     
     
     
  使用scp命令将修改后的hosts文件复制到集群中的其它主机  
     
 步骤 2 :安装Hadoop,并修改Hadoop的配置文件  
     
  步骤 2.1:在cluster1上安装hadoop  
     
  解压缩到某个目录即可  
     
  步骤 2.2:修改/etc/profile  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  步骤 3.2:修改hbase-site.xml  
     
     
     
     
  将<configuration>配置项的内容设置为:  
     
     
     
     
     
  步骤 2.3:修改/hadoop-2.6.0/etc/hadoop/hadoop-env.sh  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  步骤 2.4:修改/hadoop-2.6.0/etc/hadoop/hdfs-site.xml  
     
  将文件中的<configuration>配置项替换为:  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  步骤 2.5:修改/hadoop-2.6.0/etc/hadoop/core-site.xml  
     
  将文件中的<configuration>配置项替换为:  
     
    
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  步骤 2.6:修改/hadoop-2.6.0/etc/hadoop/mapred-site.xml  
     
  将文件中的<configuration>配置项替换为:  
     
    
     
     
     
     
     
     
     
     
  步骤 2.7:修改/hadoop-2.6.0/etc/hadoop/yarn-site.xml  
     
  将文件中的<configuration>配置项替换为:  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  步骤 2.8:修改/hadoop-2.6.0/etc/hadoop/slaves.xml  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
    
    
     
     
     
    
     
     
     
     
  步骤 2.9.1:将cluster1上的hadoop安装目录复制到cluster2--cluster7  
     
     
     
     
     
     
     
     
     
     
     
  步骤 2.9.2:将hadoop的运行目录【hadoop.tmp.dir】复制到cluster2--cluster7  
     
  步骤 2.9.3:补充操作  
     
     
     
     
     
     
     
     
     
 步骤 3 :安装并启动zooKeeper集群  
     
  步骤 3.1:搭建zooKeeper集群  
     
  在cluster1, cluster2, cluster3上面搭建zooKeeper集群  
  详细搭建过程请参照【\开发指南\Hadoop\08. ZooKeeper集群-搭建指南\08. ZooKeeper集群-搭建指南.xlsx】  
     
  步骤 3.2:启动zooKeeper集群  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  依次启动zooKeeper集群中的其它zooKeeper  
     
  步骤 3.3:查看zooKeeper集群状态  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
 步骤 4 :格式化ZK和HDFS  
     
  步骤 4.1:在cluster1上格式化ZK  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  ……  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  步骤 4.2.1:启动journalNode  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  依次启动主机cluster4--cluster7上的journalNode  
     
     
  步骤 4.2.2:格式化NameNode  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  ……  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
 步骤 5 :进入管理页面,查看集群状态  
     
  步骤 5.1:在cluter1启动集群  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
    
     
     
     
     
     
     
     
  步骤 5.2:格式化standby nameNode  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  ……  
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  步骤 5.3:启动standby nameNode  
     
     
     
     
     
     
     
     
     
     
  步骤 5.4:查看集群其它主机上的进程  
    
    
     
     
     
     
     
     
     
     
   
     
     
     
     
     
     
     
  验证标准:  

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值