hadoop2.6.3配置

Hadoop2和Hadoop1的安装前序步骤基本一致，只是在配置文件上稍有变动。可以参考之前的一篇关于Hadoop1的安装文档，操作系统安装、SSH安装、关闭Linux防火墙、安装JDK以及启动Hadoop这些都是一样的，没有区别。只是在Hadoop的安装有所差异，本文档主要将差异之处指出。

hadoop1.2.1安装文档

注：本文档所用的Hadoop2为2.6.3版本。

hadoop2安装

下载并解压hadoop2.6.3，cd到hadoop解压目录下的etc/hadoop目录下，修改如下的文件：

1.core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:///usr/hadoop/tmp</value>       #hadoop临时文件位置，可以先新建一个文件夹/usr/hadoop/tmp
  </property>
  <property>
    <name>hadoop.proxyuser.u0.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.u0.groups</name>
    <value>*</value>
  </property>
</configuration>

2.hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:9001</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///usr/hadoop/dfs/name</value>  #hadoop namenode
    文件位置，可以先新建一个文件夹/usr/hadoop/dfs/name
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///usr/hadoop/dfs/data</value>  #hadoop 存放数据的
    文件位置，可以先新建一个文件夹/usr/hadoop/dfs/data
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
</configuration>

3.mapred-site.xml

<configuration>
  <property>                                                              
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>
</configuration>                                                                                                 

4.yarn-site.xml

<configuration>
  <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
         <name>yarn.resourcemanager.address</name>
         <value>master:8032</value>
  </property>
  <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>master:8030</value>
  </property>
  <property>
     <name>yarn.resourcemanager.resource-tracker.address</name>
     <value>master:8031</value>
  </property>
  <property>
      <name>yarn.resourcemanager.admin.address</name>
      <value>master:8033</value>
  </property>
  <property>
       <name>yarn.resourcemanager.webapp.address</name>
       <value>master:8088</value>
  </property>
</configuration>

5.hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79

6.yarn-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_79

7.slaves

master
slave1
slave2

利用scp命令将hadoop的所有文件复制到其他机器的相同目录下。

之后在master上格式化namenode

cd /usr/local/hadoop/hadoop-1.2.1/bin/
./hadoop namenode -format

输入Y完成格式化.然后启动Hadoop即可。