Hadoop2.7.6在Windows7单机部署

在win7中部署hadoop有好多坑，费了我好大功夫才部署好的，赶紧写一下，万一以后用到少走弯路。 我的渣渣win7环境：

windows7-64位
hadoop2.7.6
python-2.7.3
部署Hadoop2.7.6需要以下步骤：

1.配置jdk1.8 不要安装在空格的目录中，你会发现hadoop和spark不支持有空格的目录配置(敲黑板！！)所以我自己新建了一个文件夹安装jdk

jdk下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 

 确认一下，点击下载就行。下载后自定义安装一下就行。 安装后如下：

 

然后在系统属性-环境变量里面添加环境变量

JAVA_HOME：C:\java\jdk1.8.0_171
PATH里面添加上：;%JAVA_HOME%\bin

 

此时，你在cmd命令窗口上，敲上：javac 如果出现下面的情况那到这里jdk就算安装好了。

2下载hadoop-2.7.6下载地址：http://archive.apache.org/dist/hadoop/core/ 

3下载hadoop2.7.6-binaries（下面有下载链接） 后面用到。也可以自己下载Hadoop 2.7.6 Windows 64位 自己编译bin。 下载地址：https://download.csdn.net/download/zhongjunlang/10499563

4 安装hadoop，解压G:\hadoop\hadoop276

5 配置hadoop环境变量

HADOOP_HOME:D:\Soft\hadoop-2.7.6
PATH里面添加上：;%HADOOP_HOME%\bin;

 

6 检查hadoop环境 hadoop version

7 配置hadoop的配置文件 (namenode,datanode运行读取) 配置文件目录:G:\hadoop\hadoop276\etc\hadoop

1) core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/Soft/hadoop-2.7.6/workplace/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI，文件系统://namenode标识:端口号</description>
</property>
</configuration>

2)hdfs-site.xml

<configuration>
<!-- 这个参数设置为1，因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数，配置默认是3,应小于datanode机器数量</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/Soft/hadoop-2.7.6/workplace/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/Soft/hadoop-2.7.6/workplace/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
</configuration>

3)mapred-site.xml

没有就将mapred-site.xml.template重命名为mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>

4)yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

8 配置hadoop-env.cmd

G:\hadoop\hadoop276\etc\hadoop\hadoop-env.cmd 设置jdk的路径，不然会报错jdk路径找不到 @rem set JAVA_HOME=%JAVA_HOME% @rem 防止java环境变量名称不统一直接写路径 set JAVA_HOME=C:\java\jdk1.8.0_171

9 替换bin目录文件

G:\hadoop\hadoop276\bin 将hadoop276中bin目录文件直接替换掉，用那个替换呢，就是步骤3让你下载的那个辣，再粘一下下载地址：https://download.csdn.net/download/zhongjunlang/10499563

10 运行cmd窗口，执行“hdfs namenode -format”

因为之前执行过，所以，我的是这样的，让我输入Y或者N来reformat,第一次执行肯定不会这样，第一次只有没有错误就行。

11 启动hadoop ，切换到hadoop的sbin目录，执行“start-all.cmd” 启动4个进程

注意哈，出现这4个进程才行，不然以后会出现错误，如果有进程没有启动的话，你看一下那个步骤7步骤10是不是真的弄好了。（默默地点支蜡） 如果四个进程都OK了，那hadoop环境搭建完毕，恭喜了，中午该加鸡腿辣，或者晚上来杯可乐。

12 web控制台资源管理GUI 
http://localhost:8088/

13 web控制台节点管理GUI 
http://localhost:50070/

要是12、13还是没有问题，那么就再恭喜一次，你怎么能跟我一样优秀呢（咳咳，脸红了），这时候你得花光蚂蚁花呗的额度了来庆祝一下了。

下一篇还有配置spark的哈 我累了，改天再BB