hadoop集群安装手记

俗话说，好记性不如烂笔头！在公司初次接触hadoop，搭建时所记。比较基础，看者勿喷！

以192.168.197.81~83 三台服务器为例

一、配置hosts

编辑/etc/hosts：

192.168.197.81 hadoop-zl-master.360buy.com

192.168.197.82 hadoop-zl-sl001.360buy.com

192.168.197.83 oozie-zl.360buy.com

二、更新服务器主机名

编辑/etc/sysconfig/network：

NETWORKING=yes

NETWORKING_IPV6=no

HOSTNAME=hadoop-zl-sl001.360buy.com

GATEWAY=192.168.232.1

三、上传程序包

1、可以使用从网络传，命令：

scp  /usr/local/java/  [email protected]:/usr/local/java/

2、如果无法使用scp命令，用rz命令上传至服务器

四、安装jdk

1、安装JDK

找到下载的JDK文件,先更改文件访问权限,如果没有root权限,sudo一下.

chmod 755 jdk-6u31-linux-x64-rpm.bin

./jdk-6u31-linux-x64-rpm.bin

当提示按回车键执行下一步时，会看到done字样,说明安装成功了。

安装完成后会在jdk-6u31-linux-x64-rpm.bin的当前目录下面发现几个*.rpm的包,没什么实际用处，可以使用rm–rf *.rpm 命令删除。

安装的java可以在/usr/java/这个目录里边找到。

2、配置环境变量

在/etc/profile文件后面加上下面内容

JAVA_HOME=/usr/java/jdk1.6.0_31

JRE_HOME=/usr/java/jdk1.6.0_31/jre

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

CLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

export JAVA_HOME JRE_HOME PATH CLASSPATH

添加完成后Esc一下,按:wq保存退出，执行重载环境变量命令source /etc/profile.

3、检查安装版本

查看javac版本：javac-version,就能看到已经是当前安装的版本的了.

再看一下java的版本：java-version,这里有可能还是旧版本,旧版本没删除,或 者删除的时候没删成功.这个也好办,将/usr/bin/java重新链接到/usr/java/jdk1.6.0_31/下的java上：

ln -fs /usr/java/jdk1.6.0_31/bin/java /usr/bin/java

-f表示强制 -s表示符号链接,有的也叫软连接.

可以使用 ll /usr/bin/java查看是否链接到指定文件上.

也可以先删除/usr/bin/java 文件,然后

ln -s /usr/java/jdk1.6.0_31/bin/java/usr/bin/java

上诉步骤执行完成之后,查看java版本发现java -version也显示了当前安装的版本号.

到这里linux下的java环境就搭建好了

五、安装yum

CentOS-Media.repo配置文件存放在/etc/yum.repos.d

CentOS-Media.repo配置文件中指定到公司内部安装文件的地址：

[base]

name=CentOS-$releasever - Base

baseurl=http://192.168.232.250/centos63/

#baseurl=http://mirror.centos.org/centos/$releasever/os/$basearch/

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

 

执行 yum install redhat-lsb 命令

将自动完成安装yum过程

 

六、hadoop安装配置（hadoop-cdh3u6版）

安装包一般存放在/usr/local/java目录下。一般情况