centos下hadoop2.6.0集群搭建详细过程

最新推荐文章于 2021-07-27 01:00:14 发布

zsw_2015

最新推荐文章于 2021-07-27 01:00:14 发布

阅读量1.2k

点赞数

分类专栏：云计算 hadoop 文章标签： hadoop centos 集群 ssh

本文链接：https://blog.csdn.net/zsw_2015/article/details/51406644

版权

一、centos集群环境配置
1.创建一个namenode节点，5个datanode节点

主机名	IP
namenodezsw	192.168.129.158
datanode1zsw	192.168.129.159
datanode2zsw	192.168.129.160
datanode3zsw	192.168.129.161
datanode4zsw	192.168.129.162
datanode5zsw	192.168.129.163

2.关闭防火墙，设置selinux为disabled
#service iptables stop
#chkconfig iptables off

设置selinux为disabled,如下图所示
#vim /etc/selinux/config
设置selinux为disabled
重启后生效，建议全部配置完成后再全部重启。
3.配置hosts文件
将各节点对应的主机名与IP地址记录在hosts文件中
vi /etc/hosts
hosts文件配置
4.配置java环境
本文所用java安装包为jdk-7u25-linux-x64.tar.gz(百度上各种版本的都有)
解压到/opt目录下
修改环境变量：
#vi /etc/profile
在文件末尾添加以下内容
export JAVA_HOME=/opt/jdk1.7.0_25
export JAR_HOME=/opt/jdk1.7.0_25/jre
export ClASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAR_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
保存后退出，执行
#source /etc/profile
查看java版本:
#java -version

显示上图结果说明配置成功
注意：使用source \etc\profile命令尽在本终端有效，重启后才全部生效
提示：namenode节点和datanode节点上述配置都相同
二、设置各节点间SSH无密码通信
在一个节点namenodezsw上操作
1.生成密钥对
#ssh-keygen -t rsa
按三次回车，结果如下图
生成SSH密钥
2.将各个节点生成的公有密钥添加到authorized_keys
#cat .ssh/id_rsa.pub > .ssh/authorized_keys

#ssh 192.168.129.159 ssh-keygen -t rsa
#ssh 192.168.129.159 cat ~/.ssh/id_rsa.pub >>.ssh/authorized_keys
#ssh 192.168.129.160 ssh-keygen -t rsa
#ssh 192.168.129.160 cat ~/.ssh/id_rsa.pub >>.ssh/authorized_keys
#ssh 192.168.129.161 ssh-keygen -t rsa
#ssh 192.168.129.161 cat ~/.ssh/id_rsa.pub >>.ssh/authorized_keys
#ssh 192.168.129.162 ssh-keygen -t rsa
#ssh 192.168.129.162 cat ~/.ssh/id_rsa.pub >>.ssh/authorized_keys
#ssh 192.168.129.163 ssh-keygen -t rsa
#ssh 192.168.129.163 cat ~/.ssh/id_rsa.pub >>.ssh/authorized_keys

3.将authorized_keys文件传到各个节点
#scp /root/.ssh/authorized_keys root@192.168.129.159:/root/.ssh/authorized_keys
#scp /root/.ssh/authorized_keys root@192.168.129.160:/root/.ssh/authorized_keys
#scp /root/.ssh/authorized_keys root@192.168.129.161:/root/.ssh/authorized_keys
#scp /root/.ssh/authorized_keys root@192.168.129.162:/root/.ssh/authorized_keys
#scp /root/.ssh/authorized_keys root@192.168.129.163:/root/.ssh/authorized_keys

4.测试
#ssh 192.168.129.159 date
#ssh datanode1zsw date
1个namenode节点，5个datanode节点以此类推
两次ssh命令：
第一遍都需要输入yes，然后显示时间
第二遍则直接显示时间，说明配置