Ubuntu-16.04 下 Hadoop-2.8.0环境搭建

学习如何在Linux上部署Hadoop集群

---

第一步：在Ubuntu16.04下部署JDK环境

Hadoop的前提是需要有Java环境。
建议安装JDK1.6以上的版本以供使用。 JDK下载地址 ：我这里使用的是1.8 Linux-64的。 注意：结尾是tar.gz结尾的！

下载完成之后把包考入Ubuntu系统：

sudo tar -zxcf /home/Desttop/jdk-8u131-linux-x64.tar.gz -C /usr/local/java

通过命令把JDK解压到指定的文件夹（看不懂命令的建议看下基础Linux）。

解压完成之后：

vim /etc/profile

修改配置文件，需要vim ,需要root权限 （root权限只需要 su root 再输入密码就可以）。

在配置文件末尾加上：

export JAVA_HOME=/usr/java/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH  
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

注意: 第一行的”/usr/java/jdk1.8.0_131”是我的JDK地址，各自的可能不同，留意。

安装完成之后测试一下：

root@ubuntu:/usr# java -version

java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

可以看到搞定了，甚至你还可以敲代码试试:

javac filename.java #预编译
java  filename      #输出

---

第二步：安装SSH

在安装hadoop之前必须要要配置ssh
这个简单:

sudo apt-get install openssh-server
sudo apt-get install openssh-client

接着设置无密码登录：

exit                           # 退出刚才的 ssh localhost
cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa              # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

测试一下：

ssh localhost

返回结果可看。

---

第三步：搭建Hadoop2.8.0

首先你需要下载对应版本的Hadoop包：Hadoop下载地址
同JDK一样把包安装的对应的位置：

sudo tar -zxcf /home/Public/hadoop-2.8.0.tar.gz -C /usr/local/

完成之后在local文件夹下有一个对应的文件夹，修改它的名字：

rm hadoop-2.8.0 hadoop

同样的，我们需要在/etc/profile中修改环境变量：

export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL

保存，执行命令：

source /etc/profile

就是执行配置的意思：

hadoop -version
Hadoop 2.8.0
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 91f2b7a13d1e97be65db92ddabc627cc29ac0009
Compiled by jdu on 2017-03-17T04:12Z
Compiled with protoc 2.5.0
From source with checksum 60125541c2b3e266cbf3becc5bda666
This command was run using /usr/local/hadoop-2.8.0/share/hadoop/common/hadoop-common-2.8.0.jar

啦啦啦啦啦,完成了！ 未完待续。。。
参考文献：Hadoop安装教程

---

7.21更新：在Hadoop集群之上搭建了Hive，关于如何搭建Hive也是巨坑之路。。。我实在是懒得写博客了。。。贴一篇别人的吧：Hive2.1.1搭建教程