一、Hadoop 2.5.2伪分布式环境搭建

一、环境准备

1. 新建或克隆一台新的centos服务器虚拟机。
2. 修改ip和hosts，关闭防火墙iptables和selinux。
3. 新建hadoop用户，并赋予相应的sudoers权限。
4. 建立互信，免登陆。
5. 安装jdk1.7，并配置环境变量。

二、开始安装

1. 上传hadoop2.5.2安装包，并解压到相应的目录下。
2. 修改hadoop环境配置文件的的环境变量hadoop-env.sh

  3.修改HDFS的配置文件core-site.xml，设置fs.defaultFS与hadoop.tmp.dir

   4.修改hdfs-site.xml，配置副本数，与secondnamenode地址

        5.Hdfs配置完成后，进行格式化

 

   6.启动hdfs，并使用jps查看启动情况。

  7.查看namenode的web页面。

        8.Hdfs上传文件，查看文件。

   

   9.YARN 配置，yarn-site.xml

   

    10. YARN  启动、 webui 界面

         11.MapReduce 配置、案例 WordCount 测试运行、如何提交 Job 、查看运行结果。

    

          12.运行mapreduce的案例

            $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /input/yahoo /out02

            

           13.查看运行结果，bin/hdfs dfs -text /out02/*