Windows 上使用Intellij DEAR14 搭建Spark14编程环境总结

4 篇文章 0 订阅
2 篇文章 0 订阅

1.下载安装Scala2.10.5

2.下载安装Intellij DEAR14

3.下载安装scala-intellij-bin-1.5.2(Scala插件),当然网速好的话,可以使用Intellij DEAR14安装Scala插件

这里我们使用手动下载,下载完成后,解压到Intellij IDEA 安装目录中的plugins里面去

4.下载spark-1.4.0-bin-hadoop2.6.tgz,将lib下的spark-assembly-1.4.1-hadoop2.6.0.jar,配置到依赖包中

5.下载 hadoop-2.6.0.tar.gz ,解压后,设置环境变量,在path中添加路径,%HADOOP_HOME%\bin\

6.下载winutils.exe,将winutils.exe拷贝到hadoop根目录的bin目录下,下载地址:http://files.cnblogs.com/files/yjmyzz/hadoop2.6%28x64%29V0.2.zip

到这里大家注意一下,若是没有步骤5和6的话,spark本地运行时会出现“ERROR Shell: Failed to locate the winutils binary in the hadoop binary path...."这样的错误,spark-1.4.0-bin-hadoop2.6.tgz这个版本会出现这种错误的,低版本的不需要步骤5和6,当然也不会出现我说的这样的错误的。

7.下面就是建立项目编程了,我就不多说了

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值