Hadoop分布式集群安装配置教程

环境准备：

Hadoop 集群的安装配置大致为如下流程:

• 选定一台机器作为 master 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
• 在 Master 节点上安装 Hadoop，并完成配置
• 在其他 Node 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
• 将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Node 节点上
• 在 Master 节点上开启 Hadoop
• 版本：

[hadoop@master ~]$ hadoop version
Hadoop 2.7.2
.....

节点对应IP：
- 172.16.151.10 master
- 172.16.151.20 node1

• a) 配置网络连接、主机名、修改/et c/hosts
• b) 禁用SElinux - SELINUX=disabled
• c) 关闭防火墙
• d) 测试网络连接

[hadoop@master ~]$ ping node1 -c 2
[hadoop@node1 ~]$ ping master -c 2

---

配置SSH无密登陆节点

这个操作是要让 master 节点可以无密码 SSH 登陆到各个 node 节点上
[hadoop@master hadoop]$ cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
[hadoop@master hadoop]$ rm ./id_rsa*            # 删除之前生成的公匙（如果有）
[hadoop@master hadoop]$ ssh-keygen -t rsa       # 一直按回车就可以
[hadoop@master hadoop]$ cat ./id_rsa.pub >> ./authorized_keys
完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）
接着在 Master 节点将上公匙传输到 Node1 节点：
[hadoop@master hadoop]$ scp ~/.ssh/id_rsa.pub hadoop@Node1:/home/hadoop/
接着在 Node1 节点上，将 ssh 公匙加入授权：
[hadoop@node1 ~]$ mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
[hadoop@node1 ~]$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@node1 ~]$ rm ~/id_rsa.pub    # 用完就可以删掉了

配置环境变量：

将Hadoop安装目录加入 PATH 变量中，这样就可以在任意目录中直接使用hadoo、hdfs 等命令了,需要在 Master 节点上进行配置。

[hadoop@master ]$ vim ~/.bashrc，加入一行：
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
[hadoop@master hadoop]$ source ~/.bashrc

配置集群/分布式模式

[hadoop@master hadoop]$ cd
/usr/local/hadoop/etc/hadoop

文件slaves，将作为 Dat