hadoop多台机器集群的配置

以前也配置过hadoop集群，但是很久没有重新去倒腾配置的细节，导致这次走了不少弯路。为了让后来的人少走弯路，也给我自己留个提醒，于是就有了这篇文章。

首先配置这个集群主要包括三个部分。三个部分各自都有自己的milestone，可以在配置完之后运行相关的测试来校验是否配置成功。

1.准备工作

这之前最好是预先有了几台相同用户名（要特别注意，对于用户名不同的话ssh的时候还需要用户名的信息。）的VM或者主机。我用的三台VM用户名都是hzm 机器的ip分别为192.168.28.130，192.168.28.132，192.168.28.133. 为了省去每次都输入IP的烦恼，可以先把一台机器的/etc/hosts文件添加以下几行：

192.168.28.130 master

192.168.28.132 slave1

192.168.28.133 slave2

添加完之后，把这个文件scp到其余的两台机器的/etc/目录下。这样从ip到机器名的映射就可以了。这里简单说下scp命令。scp命令是用来在多台机器之间传送文件的，主要是从本地传文件到远程机器。用法如下：

scp filename username@ip：~/   注，ip之后的目录接着的是远程的目录(例：scp test.txt hzm@192.168.28.130:~ 是把text.txt 从本地传输到远程的主目录)  如果要传输目录到远程，则用scp -r foldername username@ip：~/  .   这样准备工作就做好了。

2.配置java

配置java的过程比较简单。而且每台机器的配置都一样，可以只配一台机器，之后scp到其他的机器即可。先在网上下载对应的java压缩包，用tar -xzvf jre***.tar 解压缩到一个目录（我是解压到home目录）。解压之后还需要配置下/etc/profile 文件，是为了系统能够找到你所配置的java。

在/etc/profile的文件开始处添加以下三行

export JAVA_HOME=/home/hzm/jre1.7.0_17