Linux环境Hadoop的下载安装

准备工作：JDK1.8的安装   和   SSH免密登录

1. Hadoop的下载

windows在Apache官网下载2.7.6的binary文件，通过FTP传输到centOS虚拟机。

 

2. 解压安装：tar xzvf hadoop-2.7.6.tar.gz -C /usr/local/hadoop

 

3. 查看安装的版本是多少位的

先切换到目录hadoop下的lib/native目录

cd /usr/local/hadoop/lib/native

file libhadoop.so.1.0.0 发现已经是64位的。Apache官网目前已经提供了一些64位的数据文件，不用再自己编译。

 

4. Hadoop安装包的目录结构

 

5. Hadoop配置文件的修改

Hadoop安装主要就是配置文件的修改，一般在主节点进行修改，完毕后使用scp命令下发给其他各个从节点机器。

切换目录cd /usr/local/hadoop/etc/hadoop，所有配置都是在此目录下进行。

（1）配置hadoop-env.sh   (此步骤必不可少）

执行命令vim hadoop-env.sh

设置JAVA_HOME:  export JAVA_HOME=/usr/local/jdk

(2) 配置core-site.xml： vim core-site.xml

（3）配置hdfs-site.xml

 

（4）配置mapred-site.xml

（5）配置yarn-site.xml

（6）配置slave文件

 

 

6. 将Hadoop添加到环境变量中：vim /etc/profile

在最后加上export HADOOP_HOME=/usr/local/hadoop

                 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存之后，source /etc/profile使此配置立即生效.

 

7. 以上都是中centos-hadoop-node-01主节点上面进行的配置，从节点不用分别进行复杂的配置，可以使用scp命令将Hadoop安装包从主节点拷贝到从节点虚拟机上面。

scp -r /usr/local/hadoop/ root@centos-hadoop-node-02:/usr/local

scp -r /usr/local/hadoop/ root@centos-hadoop-node-03:/usr/local

scp -r /usr/local/hadoop/ root@centos-hadoop-node-04:/usr/local

 

8. 配置文件注意事项

Apache官网文档中可以查看默认的配置和已经过时的配置