搭建hadoop伪分布式环境

前提准备

1. 在CentOS中安装JDK，配置Java环境变量

JAVA_HOME=/usr/local/src/jdk1.8.0_181
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH

2. 在Apache官网下载hadoop-2.8.4.tar.gz安装包

---

一、安装hadoop

解压hadoop安装包

tar -zxvf hadoop-2.8.4.tar.gz -C /root/training

配置hadoop环境变量

HADOOP_HOME=/root/training/hadoop-2.8.4
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

hadoop的目录结构

---

三、配置hadoop运行参数

需要配置的文件有五个
1.hadoop-env.sh（hadoop运行环境）

export JAVA_HOME=/usr/local/src/jdk1.8.0_181

2.core.site.xml(核心配置文件)

<configuration>
        <!-- 配置HDFS的NameNode -->
        <property>
           <name>fs.defaultFS</name>
           <value>hdfs://192.168.163.134:9000</value>
        </property>
        <!-- 配置临时目录 -->
        <property>
           <name>hadoop.tmp.dir</name>
           <value>/root/training/hadoop-2.8.4/tmp</value>
        </property>
</configuration>

3.hdfs-site.xml（配置hdfs文件系统）

<configuration>
        <!-- 配置文件的冗余度  -->
        <property>
           <name>dfs.replication</name>
           <value>1</value>
        </property>
        <!-- 配置是否检查权限 -->
        <property>
           <name>dfs.permissions</name>
           <value>false</value>
        </property>
</configuration>

4.mapred-site.xml (配置MR)

<configuration>
        <!-- 配置MR运行的框架  -->
        <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
        </property>
</configuration>

5.yarn-site.xml（配置yarn）

<configuration>
        <!-- 配置ResourceManager的地址  -->
        <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>192.168.163.134</value>
        </property>
        <!-- 配置NodeManager执行任务的方式  -->
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
</configuration>

四、运行Hadoop

注意：第一次打开HDFS时，它必须被格式化。将一个新的分布式文件系统格式化为hdfs：

hdfs namenode -format 

输出日志：

 Storage directory /root/training/hadoop-2.8.4/tmp/dfs/name has been successfully formatted. 格式化成功

start-all.sh

1.启动hdfs，存储数据
2.启动yarn，执行计算

执行jps命令查看本机jvm进程

五、在web界面查看hadoop

查看NameNode：http://192.168.163.134:50070

查看看ResourceManager： http://192.168.163.134:8088

hadoop搭建成功！

---