hadoop 单机/伪分布式/集群、分布式/Ha高可用搭建环境配置

1、完成目标：


一.node1 hadoop用户可以ssh免密登陆node2、node3、node4、node5 


二.node2 hadoop用户可以ssh免密登陆node1、node3、node4、node5  


三.机器情况

主机	系统	IP	作用
node1	centos7	192.168.31.136	NameNode1
node2	centos7	192.168.31.137	NameNode2
node3	centos7	192.168.31.138	DataNode2
node4	centos7	192.168.31.139	DataNode2
node5	centos7	192.168.31.140	DataNode3

2、 详细配置可参照博客： 安装VMware及新建虚拟机和 VMware中安装centons7


3、详细配置可参照笔者博客： 网络设置（静态IP）

 一、查看本机网卡名字命令

 ll /etc/sysconfig/network-scripts/ | grep ifcfg-en

二、修改网卡配置命令

vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改命令 注：eth0是自己的网卡名字

进入后按i输入，编辑完后按esc，然后wq，回车即可。

三、查看网卡配置命令

cat /etc/sysconfig/network-scripts/ifcfg-eth0 查看命令

修改前：

修改后：

查看修改的内容:

三、重启网络

systemctl restart network

四、ping刚刚修改的IP

ping 192.168.31.136

4、ip和主机名映射配置

 一、修改主机名命令

 vi /etc/hostname

 进入按i输入后按esc然后:wq 即可

修改主机名后ping主机名

 二、修改主机和ip映射配置命令

  vi /etc/hosts

5、新建hadoop用户 

创建用户

 useradd -m hadoop -G root -s /bin/bash
 -m 创建主体目录
 -G 追加到一个组中
 -s 便是登陆后使用的shell

设置密码命令
 passwd hadoop 

6、配置ssh免密登陆

 此处我们用node1的hadoop用户免密登陆到node2到hadoop用户并拷贝文件

 一、在node1、node2、node3、node4、node5中使用hadoop用户执行此命令

 ssh localhost

 二、依次执行如下命令

  ssh-keygen -t rsa

  cat id_rsa.pub >> authorized_keys

  chmod 600 authorized_keys

三、配置免密登陆

 scp authorized_keys hadoop@node2:~/.ssh/

 

 未设置ssh免密登陆前后

 

 

7、详细配置可参照笔者博客：JDK安装及环境变量配置

8、详细配置可参照笔者博客：apache版本hadoop安装配置