快速搭建Hadoop集群
1.环境准备
主机 | 从机 | 从机 | |
---|---|---|---|
主机名 | hadoop201 | hadoop202 | hadoop203 |
hostname | hadoop201 | hadoop202 | hadoop203 |
IP地址 | 192.168.153.201 | 192.168.153.202 | 192.168.153.203 |
用户名 | zhangyong | zhangyong | zhangyong |
内存大小 | /boot 200M /swap 2048M / 剩余空间 |
/boot 200M /swap 2048M / 剩余空间 |
/boot 200M /swap 2048M / 剩余空间 |
防火墙 | service iptables stop chkconfig iptables off(开机关闭) |
service iptables stop chkconfig iptables off |
service iptables stop chkconfig iptables off |
网路配置 | ONBOOT=yes BOOTPROTO=static IPADDR=192.168.153.201 GATEWAY=192.168.153.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 DNS2=8.8.8.8 |
ONBOOT=yes BOOTPROTO=static IPADDR=192.168.153.202 GATEWAY=192.168.153.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 DNS2=8.8.8.8 |
ONBOOT=yes BOOTPROTO=static IPADDR=192.168.153.202 GATEWAY=192.168.153.2 NETMASK=255.255.255.0 DNS1=114.114.114.114 DNS2=8.8.8.8 |
2.配置基本信息
- 配置/etc/hosts
vim /etc/hosts
192.168.153.201 hadoop201
192.168.153.202 hadoop202
192.168.153.203 hadoop203
- 配置这个用户为sudoers
vim /etc/sudoers
在root ALL=(ALL) ALL
添加zhangyong ALL=(ALL) NOPASSWD:ALL
保存时wq!强制保存
- 在/opt目录下创建两个文件夹module和software,并把所有权赋给zhangyong
mkdir /opt/module /opt/software
chown zhangyong:zhangyong /opt/module /opt/software
- 文件分发脚本xsync
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P