环境:Linux, 8G 内存,60G 硬盘 , Hadoop 2.2.0
为了构建基于Yarn体系的Spark集群,先要安装Hadoop集群,为了以后查阅方便记录了我本次安装的具体步骤。
事前准备
1. 机器准备
三台主机,#后面说明了用途
- 192.168.1.1 #hadoop1 : master
- 192.168.1.2 #hadoop2 : datanode1
- 192.168.1.3 #hadoop3: datanode2
在hadoop1上, vi /etc/sysconfig/network,修改HOSTNAME=hadoop1
在hadoop2上, vi /etc/sysconfig/network,修改HOSTNAME=hadoop2
在hadoop3上, vi /etc/sysconfig/network,修改HOSTNAME=hadoop3
在三台机器上,在/etc/hosts末尾添加
- 192.168.1.1 hadoop1
- 192.168.1.2 hadoop2
- 192.168.1.3 hadoop3
在hadoop1上, 运行 hostname hadoop1
在hadoop2上, 运行 hostname hadoop2
在hadoop3上, 运行 hostname hadoop3
exit重连之后,hostname 就会变成hadoop[1-3],这样做的好处是ssh hadoop2 会自动解析连接192.168.1.2,方便以后使用。这也是短域名实现的方式。