ps:最近有一些学习之外的事情,在实验室大部分时间都在整理可用的电脑,用来搭建一个完全分布式的hadoop。
1,hadoop完全集群搭建
- 从实验室若干台淘汰机器中找出7台可用的闲置台式机,安装视频切换器,连接网线,安装ubuntu系统
- 建立统一用户名,设置密码,重启选择新建统一用户名登陆
sudo useradd -m -G sudo zs passwd zs
- 修改主机名,位于/etc/hostname,如master,node1...node6
- 修改hosts,位于/etc/hosts,首先使用ifconfig命令查看主机ip,之后将所有节点主机ip与主机名对应填入hosts中
- 配置ssh无密码登录
- 所有主机上获取ssh密钥
ssh-keygen -t rsa
- 在master上获取authorized_keys
sudo cat id_rsa.pub >> authorized_keys
- 将master上的authorized_keys放到其他节点上,确保已经安装了openssh-server,可使用sshd测试
sudo scp authorized_keys zs@node1:~/.ssh
- 测试是否成功,ssh node1
- 所有主机上获取ssh密钥
- 所有节点安装jdk,参照上篇文章
- master上安装hadoop,本文安装版本是2.6.0
- 下载和解压和配置等参照上篇文章
- 修改slaves文件,填入node1...node6
- 复制hadoop到其他节点
scp -r hadoop-2.6.0 zs@node1:/home/zs/workspace
- 测试运行,start-all.sh,可通过http://master:50070/ 和 http://master:8088/ 查看运行