基本配置:
三台机器名分别是zhangkai,zhangkai2,zhangkai3,并且都是在zzxb普通用户下进行搭建。
hadoop-2.7.4、jdk8
步骤:
1.在各个节点opt目录下创建app目录,用来存放集群相关的软件。
$ sudo mkdir /opt/app
赋予zzxb用户对app目录的读权限。
sudo chown -R zzxb:skhadoop app
2.将hadoop安装包解压缩到app目录
$ tar -zxf hadoop-2.7.4.tar.gz -C /opt/app/
3.将原有的hadoop配置文件目录,拷贝到app/hadoop-2.7.4/etc目录下并备份原有目录
$ cd /opt/app/hadoop-2.7.4/etc/
$ mv ./hadoop/ ./hadoop_bak/
拷贝目录
$ cp -R /opt/modules/hadoop-2.7.4/etc/hadoop/ ./
*4.修改相关文件
1)core-site.xml
$ vi etc/hadoop/core-site.xml
创建/data/temp并增加如下代码:
<property>
<name>fs.defaultFS</name>
<value>hdfs://zhangkai:9000</value>
</property>
<property>
<name>hadoop.temp.dir</name>
<value>/opt/app/hadoop-2.7.4/data/temp</value>
</property>
2)hdfs-site.xml
$ vi etc/hadoop/hdfs-site.xml
增加如下代码:
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>zhangkai3:50090</value>
</property>
3)slaves文件
$ vi etc/hadoop/slaves
修改内容:
zhangkai
zhangkai2
zhangkai3
4)master文件
$ vi etc/hadoop/master
修改内容:
zhangkai
5)yarn-site.xml
$ vi etc/hadoop/yarn-site.xml
修改内容如下:
<property>
<name>yarn.resourcemanager.hostname</name>
<value>zhangkai2</value>
</property>
5.分发配置到其他节点上
1)配置zzxb免密钥SSH登录
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
2)配置各个节点的无密钥SSH登录
$ cd
$ cd .ssh/
$ ssh-copy-id zhangkai2
$ ssh-copy-id zhangkai3
6.分发前删除没用的目录share/doc
$ rm -rf /opt/app/hadoop-2.7.4/share/doc
7.分发
$ scp -r ./hadoop-2.7.4/ zzxb@zhangkai2:/opt/app/
$ scp -r ./hadoop-2.7.4/ zzxb@zhangkai3:/opt/app/
*8.配置zhangkai,zhangkai2,zhangkai3这三台机器的无密钥登录
1)先配置zhangkai
rm -rf .ssh/
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
$ cd .ssh/
$ ssh-copy-id zhangkai2
$ ssh-copy-id zhangkai3
2)接着配置zhangkai2
rm -rf .ssh/
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
$ cd .ssh/
$ ssh-copy-id zhangkai
$ ssh-copy-id zhangkai3
3)最后配置zhangkai3
rm -rf .ssh/
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
$ cd .ssh/
$ ssh-copy-id zhangkai
$ ssh-copy-id zhangkai2
这样就实现了三台机器的免密登录
*启动hadoop集群服务
zhangkai(主):NameNode,DataNode,NodeManager.
zhangkai2:DataNode,NodeManager,ResourceManager
zhangkai3:DataNode,SecondaryNameNode,NodeManager
1.在主机zhangkai中格式化HDFS系统
$ bin/hdfs namenode -format
2.在主机zhangkai中启动namenode服务
$ sbin/start-dfs.sh
3.在zhangkai2中启动yarn服务
$ sbin/start-yarn.sh
4.使用jps命令查看服务的启动情况