CentOS7 hadoop的伪分布式配置与测试

实验环境

我使用的是centos7 +jdk1.7.0_80

hadoop安装包可以通过VMware-Tools,直接复制到系统中。复制结束时注意压缩包的大小，防止出现错误。

如果出现压缩包大小出现错误，此时可以使用共享文件夹来进行安装包的使用。

此时在虚拟机中输入如下命令（我的共享就在/mnt/hgfs文件下）：

cd /mnt/hgfs

ls

cd 共享文件夹的名字

 

安装包的解压

在找到安装包路径后解压缩(我是安装在根目录的simple目录下，要提前创建)

tar -zxvf hadoop-2.6.4.tar.gz -C /simple

配置hadoop文件（在进行配置时，注意路径信息的修改，以本机路径为准！！！）

1.进入hadoop目录并查看

cd /simple/hadoop-2.6.4/etc/hadoop

ls

在此目录下执行以下命令

1.vim hadoop-env.sh 配置java环境变量

2.vim core-site.xml

<property>
    <name>fs.default.name</name>
    <value>hdfs://simple:9000</value> 
 </property>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://simple:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/simple/hadoop-2.4.1/tmp</value>
</property>

   

 

3.vim hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
     <name>dfs.name.dir</name>
     <value>/simple/Hadoop-2.4.1/hdfs/name</value>
</property>
<property>
     <name>dfs.data.dir</name>
    <value>/simple/hadoop-2.4.1/hdfs/data</value>
</property>

4.vim mapred-site.xml

#目录下默认情况下没有该文件，可通过执行如下命令：mv mapred-site.xml.template mapred-site.xml修改一个文件的命名，然后执行编辑文件命令

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

5. vim yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>simple</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

配置完成后执行 vim /etc/profile进行hadoop的环境变量配置

然后使配置生效

source /etc/profile

格式化 namenode（此时如果出现hdfs不可用，就是前面路径信息出错，我第一次安装的时候出现过）

hdfs namenode -format(hadoop namenode -format)

启动hadoop

启动hadoop

start-dfs.sh

启动yarn

start-yarn.sh

启动之后，执行jps查看进程是否正常启动（基本六个输出）

测试hdfs和yarn,

1 在浏览器中输入http://172.16.0.101:50070进入hdfs管理界面

2 输入http://172.16.0.101:8088进入MR管理界面