【Hadoop】搭建hadoop集群

基本配置：
三台机器名分别是zhangkai,zhangkai2,zhangkai3,并且都是在zzxb普通用户下进行搭建。
hadoop-2.7.4、jdk8

步骤：
1.在各个节点opt目录下创建app目录，用来存放集群相关的软件。

$ sudo mkdir /opt/app

赋予zzxb用户对app目录的读权限。

sudo chown -R zzxb:skhadoop app

2.将hadoop安装包解压缩到app目录

$ tar -zxf hadoop-2.7.4.tar.gz -C /opt/app/

3.将原有的hadoop配置文件目录，拷贝到app/hadoop-2.7.4/etc目录下并备份原有目录

$ cd /opt/app/hadoop-2.7.4/etc/
$ mv ./hadoop/ ./hadoop_bak/

拷贝目录

$ cp -R /opt/modules/hadoop-2.7.4/etc/hadoop/ ./

*4.修改相关文件
1）core-site.xml

$ vi etc/hadoop/core-site.xml

创建/data/temp并增加如下代码：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://zhangkai:9000</value>
</property>
<property>
  <name>hadoop.temp.dir</name>
  <value>/opt/app/hadoop-2.7.4/data/temp</value>
</property>

2）hdfs-site.xml

$ vi etc/hadoop/hdfs-site.xml

增加如下代码：

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>zhangkai3:50090</value>
</property>

3)slaves文件

$ vi etc/hadoop/slaves

修改内容：

zhangkai
zhangkai2
zhangkai3

4)master文件

$ vi etc/hadoop/master

修改内容：

zhangkai

5)yarn-site.xml

$ vi etc/hadoop/yarn-site.xml

修改内容如下：

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>zhangkai2</value>
</property>

5.分发配置到其他节点上
1）配置zzxb免密钥SSH登录

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

2）配置各个节点的无密钥SSH登录

$ cd
$ cd .ssh/
$ ssh-copy-id zhangkai2   
$ ssh-copy-id zhangkai3

6.分发前删除没用的目录share/doc

$ rm -rf /opt/app/hadoop-2.7.4/share/doc

7.分发

$ scp -r ./hadoop-2.7.4/ zzxb@zhangkai2:/opt/app/
$ scp -r ./hadoop-2.7.4/ zzxb@zhangkai3:/opt/app/

*8.配置zhangkai,zhangkai2,zhangkai3这三台机器的无密钥登录
1）先配置zhangkai

rm -rf .ssh/
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

$ cd .ssh/
$ ssh-copy-id zhangkai2
$ ssh-copy-id zhangkai3

2）接着配置zhangkai2

rm -rf .ssh/
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

$ cd .ssh/
$ ssh-copy-id zhangkai
$ ssh-copy-id zhangkai3

3）最后配置zhangkai3

rm -rf .ssh/
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

$ cd .ssh/
$ ssh-copy-id zhangkai
$ ssh-copy-id zhangkai2

这样就实现了三台机器的免密登录

---

*启动hadoop集群服务
zhangkai(主)：NameNode,DataNode,NodeManager.
zhangkai2：DataNode,NodeManager,ResourceManager
zhangkai3：DataNode,SecondaryNameNode,NodeManager

1.在主机zhangkai中格式化HDFS系统

$ bin/hdfs namenode -format

2.在主机zhangkai中启动namenode服务

$ sbin/start-dfs.sh

3.在zhangkai2中启动yarn服务

$ sbin/start-yarn.sh 

4.使用jps命令查看服务的启动情况