Hadoop运行环境搭建（开发重点）

1、虚拟机环境准备

环境搭建第一步（克隆虚拟机，修改主机名，修改ip地址，重启，修改用户权限）

用xshell、filezilla软件辅助（安装解压JDK、hadoop压缩包）

1、xshell使用：（指令在xshell中敲）

新建会话------> 名称（填主机名：hadoop101）------->主机（该虚拟机的ip地址：192.168.3.101）------>连接 ------->一次性接受

------->zlp------->记住用户名------->enter------>点击hadoop101------>输入密码并记住密码------->确定

2、filezilla使用（用于上传压缩包，这里用hadoop-2.7.3.tar.gz  和 jdk-8u211_linux-x64.tar.gz）

主机（ip地址：192.168.3.101）------>用户名（zlp）------->密码（.............）------->端口（22）------>连接------>总是信任该主机（弹窗）------>确定

3、在/opt目录下创建文件夹

cd /opt----->ll------->(删除rh,只留下"总用量 0”）sudo rm -rf rh------->sudo mkdir  module----->sudo  mkdir  software------>ll  

4、修改module、software文件夹的所有者

[zlp@hadoop101 opt]$sudo chown zlp:zlp module/ software/------->ll

5、把两个压缩包拖进 /opt/software 目录下

6、安装JDK

解压JDK到/opt/module目录下

[zlp@hadoop101 software]$ tar -zxvf jdk-8u211-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量

（1）先获取JDK路径(要切换到这个目录：cd /opt/module/jdk1.8.0_211/)

[zlp@hadoop101 jdk1.8.0_211]$ pwd    (这个的结果就是环境变量）

/opt/module/jdk1.8.0_211

（2）打开/etc/profile文件(切换目录：cd /opt/software/)

[zlp@hadoop101 software]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_211

export PATH=$PATH:$JAVA_HOME/bin

（3）保存后退出

:wq

（4）让修改后的文件生效

[zlp@hadoop101 jdk1.8.0_211]$ source /etc/profile

测试JDK是否安装成功

[zlp@hadoop101 jdk1.8.0_211]# java -version

java version "1.8.0_65"

7、安装Hadoop

进入到Hadoop安装包路径下

[zlp@hadoop101 ~]$ cd /opt/software/

3.解压安装文件到/opt/module下面

[zlp@hadoop101 software]$ tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module/

4.查看是否解压成功

[zlp@hadoop101 software]$ ls /opt/module/

hadoop-2.7.3

5. 将Hadoop添加到环境变量

（1）获取Hadoop安装路径

[zlp@hadoop101 hadoop-2.7.3]$ pwd

/opt/module/hadoop-2.7.3

（2）打开/etc/profile文件

[zlp@hadoop101 hadoop-2.7.3]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径：（shitf+g）

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出

:wq

（4）让修改后的文件生效

[zlp@hadoop101 hadoop-2.7.3]$ source /etc/profile

6. 测试是否安装成功

[zlp@hadoop101 hadoop-2.7.3]$ hadoop version

Hadoop 2.7.3

Hadoop目录结构

查看Hadoop目录结构

[zlp@hadoop101 hadoop-2.7.3]$ ll

重要目录

（1）bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例