Centos 6.5 搭建hadoop…

搭建伪分布：

准备：Centos 6.5 hadoop1.1.2 xsell winsp vm

1.设置静态IP，关闭防火墙 设置DNS

网络连接模式：选择仅与主机共享，默认是网卡 VMnet1

关闭防火墙

永久关闭： chkconfig iptables off

验证：chkconfig --list | grep iptables

查看IP：ifconfig

进入后设置为静态，网关 还有DNS，详细见图，

重启网卡：service network restart 

网关进Cmd,ipconfig 查看

 DNS Sever可以不设置

 

ping 192.168.253.131

 

2.添加用户组和用户hadoop

3.hosts设置：

Vi /etc/hosts

在文件中添加：192.168.53.132 masier (解析网址)

Vi /etc/sysconfig/network

更改network中HOSTNAME=master 或者hostsname master 改为master

4.设置ssh无密码登录(hadoop账户下)

ssh-keygen -t rsa -p '' -f ~/.ssh/id_rsa

cat id_rsa.pub >> authorized_keys

设置权限：chmod 600 authorized_keys

验证：ssh

Ssh master

4.安装JDK （若是安装包直接解压安装即可）

新建java 上传JDK 赋予权限 安装

建立软连接：（便于今后的配置）（重命名也可以）

代码：ln -s jdk1.6.0_45/ jdk

 

进入环境变量设置：

vi /etc/profile 添加

export JAVA_HOME=/usr/java/jdk

export PATH=.:$PATH:$JAVA_HOME/bin

重启表：source /etc/profile java -version

安装hadoop

 

1.解压：tar –zxvf hadoop-1.1.2.tar.gz –C /opt/

2.对hadoop 进行重命名

mv hadoop-1.1.2/ hadoop

chown -R hadoop:hadoop hadoop/

进行文件配置：

对hadoop-env.sh进行配置

 

export JAVA_HOME=/usr/java/jdk

export HADOOP_PID_DIR=/home/$USER/pids

对core-site.xml进行配置

加入：

fs.default.name

hdfs://master:9000

hadoop.tmp.dir

/home/${user.name}/tmp

对hdfs-site.xml进行配置

dfs.replication

1

dfs.name.id

/home/${user.name}/dfs/name

dfs.data.dir

/home/${user.name}/dfs/data

对mapred-site.xml进行设置

添加

mapred.job.tracker

master:9001

mapred.system.dir

/home/${user.name}/mapred/system

mapred.local.dir

/home/${user.name}/mapred/local

对masters slaves进行设置

改为master

对hadoop进行格式化

在hadoop/bin/目录下

代码：./hadoop namenode -format

用jps查看：

 

从网络上查看 如果查看不了，重启一次虚拟机，再启动hadoop
http://192.168.253.131:50030

http:192.168.253.131:50070