windows下安装hadoop-3.0.0

一、准备软件

jre，jdk，hadoop-3.0.0下载，以及winutil tools
由于hadoop不支持windows系统。所以需要安装这些组件。
下载文件都在列表中

二、先安装jre，默认安装即可

再安装jdk，注意jdk的安装路径不要有空格（其实也可以，只是避免麻烦），安装在C:\jdk1_8_0路径下。
解压hadoop-3.0.0直接解压至 c盘目录下。

三、配置并启动 hadoop

添加环境变量 C:\jdk1_8_0\bin 和 C:\hadoop-3.0.0\bin
添加系统环境变量（HADOOP_HOME）值为：C:\hadoop-3.0.0

四、修改完成后，测试下

用管理员账号进入cmd。输入 javac和 hadoop version

如图则初步配置成功。

五、接下来该配置文件

Hadoop配置 ：

1、修改c:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:

<configuration>
    <property>
       <name>fs.default.name</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

2、修改c:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

3、在c:/hadoop-3.0.0目录下创建data目录，作为数据存储路径：

在c:/hadoop-3.0.0/data目录下创建datanode目录；
在c:/hadoop-3.0.0/data目录下创建namenode目录；

4、修改D:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/c:/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/c:/hadoop-3.0.0/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/c:/hadoop-3.0.0/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/c:/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

5、修改c:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
          <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

6、修改c:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置

找到"set JAVA_HOME=%JAVA_HOME%“替换为"set JAVA_HOME=c:\jdk1_8_0”

7、bin目录替换

解压winutils，并替换到bin目录下。
这样就配置完了，接着就初始化 ，启动服务

初始化：
c:\hadoop-3.0.0\bin> hdfs namenode -format

8、通过start-all.cmd启动服务

服务启动完成。

附录：
创建用户：hadoop fs -mkdir hdfs://localhost:9000/user
上传文件：hadoop fs -put C:\Users\songhaifeng\Desktop\11.txt hdfs://localhost:9000/user/