1.下载安装Scala2.10.5
2.下载安装Intellij DEAR14
3.下载安装scala-intellij-bin-1.5.2(Scala插件),当然网速好的话,可以使用Intellij DEAR14安装Scala插件
这里我们使用手动下载,下载完成后,解压到Intellij IDEA 安装目录中的plugins里面去
4.下载spark-1.4.0-bin-hadoop2.6.tgz,将lib下的spark-assembly-1.4.1-hadoop2.6.0.jar,配置到依赖包中
5.下载 hadoop-2.6.0.tar.gz ,解压后,设置环境变量,在path中添加路径,%HADOOP_HOME%\bin\
6.下载winutils.exe,将winutils.exe拷贝到hadoop根目录的bin目录下,下载地址:http://files.cnblogs.com/files/yjmyzz/hadoop2.6%28x64%29V0.2.zip
到这里大家注意一下,若是没有步骤5和6的话,spark本地运行时会出现“ERROR Shell: Failed to locate the winutils binary in the hadoop binary path...."这样的错误,spark-1.4.0-bin-hadoop2.6.tgz这个版本会出现这种错误的,低版本的不需要步骤5和6,当然也不会出现我说的这样的错误的。
7.下面就是建立项目编程了,我就不多说了