hadoop安装

参考：https://www.jianshu.com/p/aa8cfaa26790

参考：https://www.cnblogs.com/happyliusiyi/p/11076188.html

下载：https://hadoop.apache.org/releases.html

java1.8

hadoop 3.1.2:  https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

 下载windows专用二进制文件和工具类依赖库:

https://github.com/cdarlint/winutils  下载3.1.2下的bin。 之后把bin中所有文件放到解压后的hadoop-3.1.2\bin中，整合到一起。

 

配置hadoop，主要是配置以下三个配置文件（在%HADOOP_HOME%\etc\hadoop\下面）：
core-site.xml, -- 是全局配置
hdfs-site.xml, --hdfs的局部配置。
mapred-site.xml -- mapred的局部配置。

 

core-site.xml下的配置：

添加

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>

 

hdfs-site.xml下的配置:

添加

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

然后在Hadoop3.1.2的安装目录下建个目录/data，再在这个目录下建两个目录，一个叫namenode，一个叫datanode，把两个目录的路径添加到这个配置文件里：

<property>
<name>dfs.namenode.name.dir</name>
<value>/D:/MyFolder/Hadoop/hadoop-3.1.2/data/namenode</value> 
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/D:/MyFolder/Hadoop/hadoop-3.1.2/data/datanode</value> 
</property>

 

yarn-site.xml下的配置:

添加

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

 

 

最后启动：在windows下找到Hadoop的安装目录，进入sbin目录，找到一个文件start-all.cmd

 

访问管理GUI

 记得先不要关闭那几个cmd窗口，如果启动成功，还可以在浏览器输入

http://localhost:8088 ——查看应用管理界面ResourceManager

http://localhost:9870 ——NameNode界面