hadoop集群

克隆虚拟机

关闭已经安装和配置好的hadoop虚拟机。

右击虚拟机，选择管理，选择克隆

更改设置

把三台虚拟机都开启。

使用root用户登录。

vi /etc/sysconfig/network-scripts/ifcfg-ens33
systemctl restart network
systemctl disable firewalld
#第一台克隆机
hostnamectl set-hostname hodoop06
#第二台克隆机
hostnamectl set-hostname hodoop07
vi /etc/hosts

配置免密登录（三台虚拟机都要进行）

使用Moba连接虚拟机。

生成密钥

[root@hadoop01 ~]# ssh-keygen
[root@hadoop01 ~]# cat .ssh/id_rsa.pub > .ssh/authorized_keys
[root@hadoop01 ~]# sh-copy-id -i .ssh/id_rsa.pub -p22 root@主机名或ip地址
[root@hadoop01 ~]# ssh root@主机名或ip地址

修改hadoop配置文件

进入根目录下的opt目录下的hadoop目录下的etc目录下的hadoop目录下

[root@hadoop01 ~]# cd /opt/hadoop/etc/hadoop
[root@hadoop01 hadoop]# vi hdfs-site.xml

要配置n台hadoop集群，就要更改为n

[root@hadoop01 hadoop]# vi slaves

把配置好的文件发送到其他机器上

[root@hadoop01 hadoop]# scp etc/hadoop/*.xml root@主机名或ip地址:$PWD/etc/hadoop
[root@hadoop01 hadoop]# scp etc/hadoop/slaves root@主机名或ip地址:$PWD/etc/hadoop

删除opt目录下的hadoop目录下的tmp文件夹和logs文件夹：

[root@hadoop01 hadoop]# rm -rf tmp
[root@hadoop01 hadoop]# rm -rf logs

搭建hadoop集群的注意事项：

• 克隆主机一定要克隆完整的主机
• 克隆出来的虚拟机的网络适配器一定要重新生成mac地址。
• ip地址一定要更改。
• 一定要重启网络。
• 关闭防火墙。
• 主机列表一定要添加所有的参与集群的IP地址和主机名。
• 免密登录一定要搭建。
• 每台机器都要做免密搭建。
• 配置文件一定要修改集群机器的书目。
• 配置文件一定要添加所有参与集群的主机名。
• 发送所有配置好的文件到参与集群的机器上。
• 格式化之前一定删除tmp文件和logs目录。