Spark2.2.0源码编译打包

最新推荐文章于 2024-09-02 23:42:39 发布

就问你吃不吃药

最新推荐文章于 2024-09-02 23:42:39 发布

阅读量937

点赞数

分类专栏：大数据学习

本文链接：https://blog.csdn.net/zhao897426182/article/details/79657614

版权

大数据学习专栏收录该内容

13 篇文章 0 订阅

订阅专栏

下载Spark2.2.0源码

在Spark官网下载源码，选着Source Code下载即可（也可以git clone spark源码），下载之后的tar包传入机器对应位置解压即可。
这里写图片描述

安装Maven并配置

在环境变量里设置maven内存大小
这里写图片描述

开始编译

由于Hadoop版本使用的是2.7.3，并且需要hive支持，所以编译时需要指定版本

不需要打安装包编译命令

./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Phive -Phive-thriftserver -Dscala-2.11 -DskipTests clean package

需要打安装包编译命令

./dev/make-distribution.sh --name gosunSpark --tgz -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Phive -Phive-thriftserver -Dscala-2.11

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

就问你吃不吃药

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

[Spark版本升级]-- spark-2.2.0发行说明

欢迎来到我的博客，一起探索代码里的世界！

07-18

6565

Spark-2.2.0版本发行时间：2017-7-11 一、Jira说明： https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12338275 子任务 [ SPARK-1267 ] - 添加PySpark的pip安装程序 [ SPARK-3249 ] - ...

Spark-基础-Spark编译与部署--Hadoop编译安装

阿里Darker

05-24

660

1、编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.0.5的二进制包，下载地址如下 http://mirror.bit.edu.cn/apache/maven/maven-3/ 2. 使用ssh工具把maven包上传到/home/hadoop/upload目录 3. 解压缩

参与评论您还未登录，请先登录后发表或查看评论

spark2.2.0源码------

04-24

spark2.2.0源码我们很高兴地宣布Spark 2.2.3的可用性！请访问发行说明以了解有关新功能的信息，或立即下载该发行版。

[Spark] Spark-2.2.0 源码编译

Cindy的博客

07-09

1225

环境：操作系统：CentOS7.3Maven：maven-3.5.4JDK：jdk-1.8.0_45Scala：2.11.12备注：本文编译和安装spark全过程使用hadoop用户，除标注了切换root用户的地方以外，其他均是hadoop用户操作。1. 下载Spark源码进入spark官网，选择最新版本的spark，包类型选择source code，右键复制链接地址后去服务器上下载。# 下载sp...

编译安装spark2.2.0

leofionn的博客

03-06

492

环境：centos6.8软件准备：spark-2.2.0.tgz源码 jdk-8u144-linux-x64.tar.gz JDK1.8以上 apache-maven-3.3.9-bin.tar.gz scala-2.11.8.tgz hadoop...

spark-2.2.0源码

11-26

spark-2.2.0源码，在Windows和Linux上都可以安装，直接解压即可

Spark源码包（编译完成）

07-18

Spark1.6.1源码包，maven工程导入

Spark源码的下载和编译

BornZhu的博客

11-15

6683

1.spark的下载打开网址spark.apache.org，点击download，选择想要下载的版本，我这里选择了最新的2.2.0版本在choose a package type 中选择source code，获取spark2.2.0的下载镜像，即可完成下载。（官网有时候版本切换会有问题，可以在download spark下方的signatures and checksums中选择想

[Hive]五、Hive 源码编译

最新发布

weixin_44428807的博客

09-02

1100

G:\Bigdata\2.hive\大数据技术之Hive源码编译。

spark源码阅读二-spark application运行过程

David的专栏

08-02

1167

本篇文章主要讲述一个application的运行过程。大体分为三部分：（1）SparkConf创建；（2）SparkContext创建；（3）任务执行。

spark-2.2.0 源码

02-12

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

spark源码包

11-18

spark2.0版本的源码，此版本为当前的稳定版本，而且此源码带有注释的

spark-2.2.0.tgz源码

02-20

spark源码，官网下载慢的可以来这里哦

spark-2.3.1源码包

07-05

spark2.3.1源码包官网给了两种编译方式，个人喜欢打包的方式，因为打包完成后可以根据自己的需要去部署spark环境，所以也推荐打包编译方式

spark2.1.1的源码包

06-17

spark的底层源码，版本2.1.1,可以解压后直接使用idea打开，特别注意：里面包含大量的maven依赖，初始加载时，时间较长。

编译安装spark-2.2.0

chen_1122的博客

09-11

4749

编译安装spark，来指定自己的hadoop的版本

Linux-centos下 Spark2.X环境准备、编译部署及运行

xl.zhang的博客

05-03

2211

1. Spark概述 Spark 是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark 扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。在处理大规模数据集时，速度是非常重要的。速度快就意味着我们可以进行交互式的数据操作，否则我们每次操作就需要等待数分钟甚至数小时。 Spark 的一个主要特点就是能够在内存中进行计...

spark2.2.0编译及遇到的问题

gfzdgd的博客

07-23

430

环境 1）java8 2）hadoop2.7.3 3）scala2.11.2 4）R3.4.4（如果不需要sparkR的话R可以不用）修改spark目录下的dev/make-distribution.sh脚本文件把对应代码的改成自己对应的版本（可以加快编译速度不用脚本自行寻找版本）编译之前需要安装一些依赖： sudo apt install pandoc pip install pypan...

spark-2.2.0-rc1 编译

wuzhilon88的专栏

05-02

1298

我们采用mvn编译：Apache Maven 3.3.9 Java version: 1.7.0_79 执行命令:mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -Phive -Phive-thriftserver -DskipTests clean package 出现如下异常：Failed to execute goal net.alc

CM5.12.1安装Spark2.2.0 Cloudera步骤详解：附详细图文教程

本文档详细介绍了如何在CM5.12.1环境中安装Spark2.2.0 Cloudera Distribution的步骤，包括了必要的系统准备以及安装过程中的一些注意事项。首先，安装前需要确保满足以下要求： 1. **Scala版本**: Spark 2.2.0需要...