01-hadoop学习环境准备

一、准备虚拟机

第一台hadoop01的虚拟机ip地址改为：192.168.65.101

第二台hadoop02的虚拟机ip地址改为：192.168.65.102

第三台hadoop03的虚拟机ip地址改为：192.168.65.103

hadoop01、hadoop02、hadoop03均为NAT模式，其中hadoop01内存设置为1G（16G内存以上建议设置为2G），hadoop02和hadoop03为512M，CPU核数都设置2核

cd /etc/sysconfig/network-scripts   #进入网络配置目录
dir ifcfg*                         #找到网卡配置文件
ifcfg-ens33                         #找到版本最新的文件并修改
vim ifcfg-ens33
或者
vim /etc/sysconfig/network-scripts/ifcfg-ens33

二、 配置文件内容

TYPE=Ethernet
BOOTPROTO=static                            #改成static，针对NAT
NAME=eno16777736
UUID=4cc9c89b-cf9e-4847-b9ea-ac713baf4cc8
DEVICE=eno16777736
DNS1=114.114.114.114     #和网关相同
ONBOOT=yes               #开机启动此网卡
IPADDR=192.168.65.101    #固定IP地址
NETMASK=255.255.255.0    #子网掩码
GATEWAY=192.168.65.2     #网关和NAT自动配置的相同，不同则无法登录

三、 重启网络

## 重载配置文件
sudo nmcli c reload
## 重启网络服务
nmcli c up ens33

ens33 是网卡名称，虚拟机默认应该是这个，但物理机可能是常见的 eth0

四、关闭防火墙

systemctl stop firewalld.service        #关闭防火墙服务
systemctl disable firewalld.service     #禁止防火墙开启启动

systemctl restart firewalld.service      #重启防火墙使配置生效
systemctl enable firewalld.service       #设置防火墙开机启动

firewall-cmd --state   #查看防护墙状态

五、修改主机名

vi /etc/hostname

依次修改三台主机名分别为hadoop01，hadoop02,hadoop03

六、修改hosts文件

vi /etc/hosts

在三台主机配置文件中依次增加ip地址映射

192.168.65.101 hadoop01
192.168.65.102 hadoop02
192.168.65.103 hadoop03

七、三台机器重启

reboot

在192.168.65.101机器上执行 ping hadoop02

八、设置免密登录

1 三台机器生成公钥与私钥

三台机器都生成公钥与私钥，都执行 ssh-keygen
执行该命令之后，按下三个回车即可

2 拷贝公钥到同一台机器

三台机器执行命令： ssh-copy-id hadoop01 将三台机器的公钥拷贝到hadoop01 这个节点上

3 复制第一台机器的认证到其他机器

将第一台机器的公钥拷贝到其他机器上

在第一台机器上面执行以下命令

scp /root/.ssh/authorized_keys hadoop02:/root/.ssh
scp /root/.ssh/authorized_keys hadoop03:/root/.ssh

4 远程登录测试

ssh hadoop02

不需要输入密码直接进入说明成功，exit退出

九、三台机器时钟同步

通过网络进行时钟同步
通过网络连接外网进行时钟同步,必须保证虚拟机连上外网

阿里云时钟同步服务器 ntpdate ntp4.aliyun.com

如果报错
-bash: ntpdate: 未找到命令
依次执行

#添加wlnmp的yum源
rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm   
#安装时间同步软件
yum install wntp

依次三台机器配置定时任务命令，直接与阿里云服务器进行时钟同步

crontab -e

# *号依次表示每分钟同步一次、小时、天、周几、月份
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

十、三台机器安装jdk

查看自带的openjdk rpm -qa | grep java
如果有，请卸载系统自带的openjdk

三台机器创建目录

所有软件的安装路径 mkdir -p /opt/servers
所有软件压缩包的存放路径 mkdir -p /opt/softwares

上传jdk到/opt/softwares路径下去，并解压 tar -xvzf jdk-8u65-linux-x64.tar.gz -C ../servers/ # -C 指定文件路径

jdk下载地址：
链接：https://pan.baidu.com/s/1b0l0HsVVEnCvfXHPcjgmYg
提取码：1bre

配置环境变量 vim /etc/profile

按”“O”,跳到文件末尾，在文件末尾添加下面两行

export JAVA_HOME=/opt/servers/jdk1.8.0_65
export PATH=$JAVA_HOME/bin:$PATH

配置文件生效，执行 source /etc/profile
测试 java -version

发送文件到hadoop02和hadoop03

# -r 指递归
scp -r /opt/servers/jdk1.8.0_65/ hadoop02:/opt/servers/
scp -r /opt/servers/jdk1.8.0_65/ hadoop03:/opt/servers/

scp /etc/profile  hadoop02:/etc/
scp /etc/profile  hadoop03:/etc/

发生完在每个节点上执行source /etc/profile 使配置文件生效
测试 java -version

十一、修改windows中的hosts文件

在windows中的hosts文件里添加如下映射

192.168.65.101 hadoop01
192.168.65.102 hadoop02
192.168.65.103 hadoop03

更改完dos窗口执行命令 ping hadoop01 测试