spark
文章平均质量分 88
macalzheng
这个作者很懒,什么都没留下…
展开
-
oozie调度总结(一)
重点介绍oozie调度中 MapReduce 、Spark、Hive workflow的构建以及构建过程中遇到的问题原创 2020-04-26 20:28:39 · 704 阅读 · 0 评论 -
Windows 上使用Intellij DEAR14 搭建Spark14编程环境总结
1.下载安装Scala2.10.52.下载安装Intellij DEAR143.下载安装scala-intellij-bin-1.5.2(Scala插件),当然网速好的话,可以使用Intellij DEAR14安装Scala插件这里我们使用手动下载,下载完成后,解压到Intellij IDEA 安装目录中的plugins里面去4.下载spark-1.4.0-bin-hadoop2.原创 2015-09-12 17:26:33 · 558 阅读 · 0 评论 -
docker1.7 搭建spark1.4.0-hadoop2.6集群
1 概述 现在国内的资料很少,即使你看到了,资料也不是很全,每个人都为中国在这方面做点贡献,也是为了相互学习。作为学习Spark中的一个重要环节--搭建Spark集群,此次搭建环境使用了Docker1.7,Spark1.4-hadoop2.6,搭建的集群环境,操作系统为CentOS6.5,内存4G2 升级Linux内核 具体的什么是Docker,以及Docker的基本原创 2015-09-14 21:35:26 · 1323 阅读 · 0 评论 -
Intellij IDEA搭建Spark源码阅读环境
环境:win7 JDK1.7 Maven3.31.下载安装Scala环境,按默认设置即可,配置环境变量,在命令行下输入Scala,会出现交互界面。2.下载安装git,配置环境变量,在命令行下输入git,会出现参数选项。注意:这里为什么要下载git,因为sbt生成eclipse项目的时候会用到git去下载依赖包。3.从 Github 导入 Spark 工程原创 2016-01-07 11:05:36 · 894 阅读 · 0 评论