机群搭建简版

1.使用centos6.5

三台虚拟机：主节点：hadoop1 从节点:hadoop2 hadoop3

2.虚拟机创建：

分布式的搭建

1.关闭防火墙：

永久关闭：chkconfig iptables off

验证：chkconfig –list | grep iptables

2.设置静态Ip DNS均可在图形界面设置.

重启网卡：service network restart

验证：cmd ping +ip

配置hosts

在hosts中添加:

192.168.253.113 hadoop1

192.168.253.114.hadoop2

192.168.253.115hadoop3

3。安装：JDK

在usr下建java文件夹

mkdir –p usr /java

chmod u+x jdk-6u45-linux-x64.bin

设置环境变量：vi /etc/profile

增加内容如下：

export JAVA_HOME=/usr/java/jdk

export PATH=$JAVA_HOME/bin:$PATH

使注册表；立即生效：source /etc/profile

Java –version 验证

4.添加用户组和用户

/usr/sbin/groupadd hadoop

/usr/sbin/useradd hadoop –g hadoop

修改密码：passwd hadoop (可选)

创建统一的代码目录：

mkdir –p /opt/hadoop/

设置文件权限：chown –R hadoop:hadoop /opt/hadoop/

5.设置ssh免登录

在hadoop账户下进行执行

cd /home/hadoop

ssh-keygen (一路回车)

cat id_rsa.pud >> authorized_keys

本机登录不成功就是权限问题：改为chmod 600 authorized_keys 即可实现本机的免登陆

scp/home/hadoop/.ssh/id_rsa.pub hadoop@hadoop3doop/.ssh/hadoops1_pudkey

scp/home/hadoop/.ssh/id_rsa.pud hadoop@hadoop2/home/hadoop/.ssh/hadoops2_pudkey

上传完公钥后，合成

cp id_rsa.pub authorized_keys

cat hadoops1_pudkey >> authorized_keys

cat hadoops2_pudkey >> authorized_keys

上传到其投节点

scp authorized_keys hadoops1:/home/hadoop/.ssh/

scp authorized_keys hadoops2:/home/hadoop/.ssh/

设置权限验证即可。

如果不可以就不断的修改文件权限 ：chmod 700 authorized chmod 600 authorized

6.安装hadoop

(1) 将hadoop压缩包上传到opt/hadoop/目录下

tar –zxvf hadoop -C /opt/hadoop

(2)对文件重命名：mv hadoop-1.1.2 hadoop

(3)修改文件的用户权限：chown –R hadoop:hadoop hadoop

(4)修改java环境变量（加入hadoop路径）

代码如下：export HADOOP_HOME=/opt/hadoop/hadoop

export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

export HADOOP_HOME_WARN_SUPPRESS=1

(5)立即生效：source /etc/profile

(6)配置：hadoop-env.sh

加入：export JAVA_HOME=/usr/java/jdk1.6.0_45/(JDK路径)

(7)配置：core-site.xml

fs.default.name

hdfs://hadoop1:9000

hadoop.tmp.dir

/home/${user.name}/temp

(8)配置：hdfs-site.xml

dfs.replication

2

dfs.name.id

/home/${user.name}/dfs/name

dfs.data.dir

/home/${user.name}/dfs/data

(9)配置：mapred-site.xml

mapred.job.tracker

hadoop1:9001

mapred.system.dir

             /home/${user.name}/mapred/system

        

mapred.local.dir

/home/${user.name}/mapred/local

(10)配置：master

hadoop1

(11)配置：slaves

hadoop2

hadoop3

(12)格式化hadoop

在bin目录下执行：hadoop namenode –format

(13) 单机测试

启动namenode:./hadoop-daemon.sh start namenode

启动：jobtracker: ./hadoop-daemon.sh start jobtracker

启动：secondarynamenode: ./hadoop-daemon.sh start secondarynamenode

启动：DataNode &&TaskTracker：./hadoop-daemon.sh start datanode ./hadoop-daemon.sh start tasktracker

查看进程jps 5个进程

网络查看：hadoop1:50030 hadoop1:50070

(14)将hadoop 复制到其他节点中

scp –r /opt/hadoop/hadoop/ hadoop2:/opt/

scp –r /opt/hadoop/hadoop/ hadoop3:/opt/

(15)按照上步修改环境变量

（16）：格式化hadoop。在主节点启动hadoop，./start-all.sh

查看进程：主节点:3个 从节点：2个