hadoop 2.9.0 在Ubuntu安装教程

一、安装准备

1、java 1.8环境，

2、Hadoop2.9.0安装文件，下载页面

 

二、安装步骤

1、配置文件

首先配置Hadoop的环境变量，在/etc/profile文件中加上，source /etc/profile使配置文件生效

HADOOP_HOME=/home/hadoop-2.9.0
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

Hadoop的配置文件修改，Hadoop的配置文件都在$HADOOP_HOME/etc/hadoop下

1）配置core-site.xml 

<configuration>
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://10.1.204.22:9000</value>
<description>hdfs的访问路径</description>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/mobvoi/workspace/workspace/hadoop-2.9.0/tmp</value>
<description>运行临时文件的主目录</description>
</property>
</configuration>

2）配置hdfs-site.xml 

<configuration>
<!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
<!--
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
-->
</configuration>

备注：配置文件修改说明： 
Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。 
此外，伪分布式虽然只需要配置 fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。 刚开始为了简单可以不用配置这两个参数，后面需要了可以再加。

2、格式化namenode

./bin/hdfs namenode –format 

成功会提示 ：  

18/01/06 16:16:41 INFO common.Storage: Storage directory /home/mobvoi/workspace/workspace/hadoop-2.9.0/tmp/dfs/name has been successfully formatted.

3、开启namenode和datanode进程

./sbin/start-dfs.sh 
启动过程会需要密码，输入三次密码就启动了namenode、datanode和SecondaryNameNode了
启动完之后用jps命令验证启动结果，会看到启动的进程list

21938 Jps
21414 SecondaryNameNode
21193 DataNode
21007 NameNode

可以通过浏览器访问http://localhost:50070 查看结果。看到如下结果就说明启动成功了。

4、配置mapred-site.xml

这个文件时没有的，但是Hadoop源文件中已经提供了一个mapred-site.xml.template，可以直接重命名一下就可以了

<configuration>
<!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

 

5、配置yarn文件yarn-site.xml

<configuration>

    <!-- Site specific YARN configuration properties -->
    <!-- 指定YARN的老大（ResourceManager）的地址 -->
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>10.1.204.22</value>
    </property>
    <!-- reducer获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

</configuration>

配置好了以后启动yarn

./sbin/start-yarn.sh

通过jps可以查看启动的进程又多了俩

22962 ResourceManager
23542 Jps
21414 SecondaryNameNode
21193 DataNode
23293 NodeManager
21007 NameNodeResourceManager
23542 Jps
21414 SecondaryNameNode
21193 DataNode
23293 NodeManager
21007 NameNode

可以通过浏览器访问http://10.1.204.22:8088/cluster看yarn的管理页面

参考：

http://blog.csdn.net/jkxqj/article/details/78739784