Ubuntu下面安装单节点hadoop

由于电脑资源有限，自己又想玩玩hadoop，所以就在ubuntu上安装一个单节点的，没安装过以为难度挺大，安装完后其实还是蛮简单的，网上有现成的例子可以参照。但是我还是把我自己的安装过程给记录一下，以供后面自己复习。

step1: 去官网下载hadoop的mirror，解压即可。下载path: http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3/，我下载的是hadoop最新版本hadoop-2.7.3.tar.gz，可根据自己的需求选择不同的版本。

step2: 下载好hadoop的mirror后用tar -xzvf hadoop-2.7.3.tar.gz解压到/home/cindy下，然后重命名为hadoop。

step3: 下载jdk安装包，并且解压到/home/cindy/jdk目录下。下载path:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html，我下载的是jdk-8u111-linux-x64.tar.gz版本。

step4: 执行 $sudo apt-get install ssh  和$sudo apt-get install rsync

step5: 配置JAVA环境，使用vi /etc/profile(需要通过root权限操作)，在最后添加如下内容，添加完成后编译一下 . /etc/profile：

可用java -version来查看安装的版本：

 step6:Hadoop配置

a. 修改/home/cindy/hadoop/etc/hadoop/hadoop-env.sh

b.修改/home/cindy/hadoop/etc/hadoop/core-site.xml

c.修改/home/cindy/hadoop/etc/hadoop/hdfs-site.xml

d.修改/home/cindy/hadoop/etc/hadoop/mapred-site.xml

 

step7. 设置ssh无密钥连接

a. 使用ssh-keygen创建公钥和私钥，如提示要输入密码只需按回车即默认空密码

b. cat $HOME/.ssh/id_dsa.pub >> $HOME/.ssh/authorized_keys

step 8. 到$HADOOP_HOME/bin下执行./hdfs namenode -format

step8. 在$HADOOP_HOME/sbin目录下执行./start-dfs.sh来启动NameNode

.

 

经过上述的步骤，已经建立好了一个单节点的hadoop，如果要使用hive的话还需另外安装。