第一个hadoop配置过程

软件环境：
OS：RHEL 6
JDK：openjdk
eclipse：kepler



1.安装JDK
    1.配置环境变量，打开/etc/profile，添加下列代码：
    export JAVA_HOME=/usr/lib/jvm/java-openjdk
    export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$PATH:$JAVA_HOME/bin

2.安装hadoop
    1.下载hadoop-2.2.0.tar.gz，解压到/hadoop
    2.配置环境变量，打开/etc/environment，添加下列代码：
    export HADOOP_HOME=/hadoop
    export PATH=/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/sbin:/sbin:/usr/local/bin:/usr/bin:/bin:/root/bin:/hadoop/bin:/hadoop/sbin

3.写入两批环境变量
# source /etc/profile
# source /etc/environment

4.查看是否安装hadoop成功
# hadoop version

5.安装hadoop-eclipse插件
    1.下载hadoop-eclipse-kepler-plugin-2.2.0.jar  （必须和安装的hadoop是同一版本）
    2.拷贝到kepler-eclipse的plugins文件夹下

6.修改hadoop下的配置文件
core-site.xml修改为：

<configuration>
    <property> 
        <name>fs.default.name</name> 
        <value>hdfs://localhost:9000</value> 
    </property> 
</configuration>

 

hdfs-site.xml修改为:

<configuration>
    <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
</configuration>

 

mapred-site.xml修改为：

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:8021</value>
    </property>
</configuration>

 

hadoop-env.sh修改JAVA_HOME为：

export JAVA_HOME=/usr/lib/jvm/java-openjdk

7.配置SSH的localhost免密码登录
# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/autorized_keys

8.格式化hdfs文件系统
# hadoop namenode -format

9.启动守护进程
# start-all.sh
（关闭守护进程：# stop-all.sh）

10.配置eclipse里面的DFS Location
(1)打开Window-->Preferens，会发现Hadoop Map/Reduce选项，在这个选项里需要填写Hadoop安装目录。
(2)在Window-->Show View中打开Map/Reduce Locations。
(3)在Map/Reduce Locations中新建一个Hadoop Location。在这个View中，右键-->New Hadoop Location。

(4)随意命名location name

(5)Map/Reduce master的配置按照mapred-site.xml的配置

(6)DFS master 的配置按照hdfs-site.xml的配置

(7)project explore 下的DFS loacations 下的DFS能打开，即可。

11.新建map/reduce项目
...