win10安装单机版hadoop+spark

说明

由于本地测试需要，特安装单机版hadoop进行部分功能测试，
为便于记忆安装过程及踩过的坑，特此记录win 10环境下安装
并配置hadoop+spark。

Java安装与配置

可参考Java安装与配置

Hadoop安装

安装过程中借鉴hadoop安装
非常详细，若有问题，可参考bug提示解决。

测试过程中提示：

All specified directories are not accessible or do not exist.

解决方案：
配置Hadoop时core-site.xml和hdfs-site.xml文件中路径时D盘（C:/E:/）前一定要加 / ，同时文章中\改成 /
如：/D:/Software/hadoop/hadoop-2.7.7/data/tmpdir

#例：core-site.xml
<configuration>
    <property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop/hadoop-2.7.7/data/tmpdir</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/hadoop/hadoop-2.7.7/data/dfsdir</value>
    </property>
</configuration>

没有hadoop.dll/winutils.exe 下载winutils-master复制对应的文件进hadoop/bin

安装好后

cd D:\hadoop\hadoop-2.7.7\sbin
D:\Software\hadoop\hadoop-2.7.7\sbin>start-all

弹出四个对话框，且对话框中均不报错，则启动成功

测试：在hdfs上新建一个user文件夹

D:\hadoop\hadoop-2.7.7\sbin>hadoop fs -mkdir hdfs://localhost:9000/user/

测试：查看文件列表

D:\hadoop\hadoop-2.7.7\sbin>hdfs dfs -ls /

通过http://localhost:50070/ 可以查看hdfs各节点信息
通过http://localhost:8088/ 查看资源管理GUI
Hadoop安装结束。

安装spark

需要下载对应hadoop版本的spark
国内下载链接
个人hadoop版本为hadoop2.7.7，因此下载spark-2.4.5-bin-hadoop2.7.tgz

下载完后解压，新增系统变量
name:SPARK_HOME
value:D:\hadoop\spark-2.4.5-bin-hadoop2.7
新增path变量
D:\hadoop\spark-2.4.5-bin-hadoop2.7\bin

安装Scala

下载的为免安装版，解压即可。
scala下载地址
拖到最下面根据系统选择

测试spark

spark-shell

进入spark即成功！