Spark 学习笔记（一）使用Intellij Idea编写Spark应用程序（Scala+SBT）

最新推荐文章于 2024-09-20 16:35:52 发布
最新推荐文章于 2024-09-20 16:35:52 发布
阅读量1.3k 收藏 2
点赞数 1
分类专栏： Spark 学习笔记 文章标签： 云主机 ecs spark scala sbt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaoaiqq/article/details/81320054
版权
本文介绍了如何在阿里云Linux主机上，使用IntelliJ IDEA 2018和Scala插件搭建Spark 2.3.1开发环境。详细步骤包括安装Scala插件，创建基于SBT的Scala项目，选择正确的Scala版本，以及通过SBT添加Spark核心依赖。文章还强调了在选择Scala版本和配置build.sbt时需要注意的事项。
摘要由CSDN通过智能技术生成

本文基于踩了无数坑和这篇本地部署的基础上写成。
本文适用于云主机搭建的spark环境下运行spark程序。

运行环境

阿里云主机 Linux部署 Spark 2.3.1
本地JDK 1.8
Intellij Idea (Version 2018)

安装Scala插件

安装Scala插件,该Scala插件自带SBT工具。如果已经安装Scala插件，即可跳过此步骤
这里写图片描述
点击Install,即可安装Scala插件。安装好后如图：
这里写图片描述

构建基于SBT的Scala项目

如下图，按顺序执行如下操作:
新建项目->选择Scala—>SBT

这里写图片描述
设置项目名：

最低0.47元/天 解锁文章
安之_a
关注
专栏目录
使用IntelliJ Idea开发Spark应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-05 5564
掌握使用IntelliJ Idea开发Spark应用程序的过程。1、使用IntelliJ Idea开发本地Spark应用程序。   2、部署分布式Spark应用程序。首先创建Spark应用程序，在本地运行并测试；然后修改Spark应用程序，访问分布式文件系统HDFS；最后将项目打为jar包，部署到Spark集群上执行。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2.3.2，Hadoop-2.7.3，IntelliJ Idea1、启动IntelliJ Idea。在终
[Spark版本更新]--2.3.0发行说明
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
使用IntelliJ IDEA开发Spark1.0.0应用程序
热门推荐
mmicky的hadoop、Spark世界
05-13 1万+
之所以写本篇是因为后面很多博客需要例程来解析或说明。本篇是Spark1.0.0 开发环境快速搭建中关于客户端IDE部分的内容，将具体描述：
spark-scala使用与安装（一）
最新发布
qq_43710593的博客
09-20 1040
Scala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。
利用开发工具IntelliJ IDEA编写Spark应用程序（Scala+Maven）
Stay Focused And Work Hard !!!
06-22 734
注：转自： 利用开发工具IntelliJ IDEA编写Spark应用程序（Scala+Maven）   1.安装IntelliJ IDEA 本次运行系统为Ubuntu16.04。 我们可以访问官网下载安装包。文件较大，一般需要20分钟左右。有两种下载选择，我们选择下载正版，教程将使用试用版的idea。 下载后，我们把压缩包解压并且改名。   cd ~/下载 sudo tar -z...
Spark编程工具：使用IDEA
一顿吃不饱的博客
11-11 2365
Spark编程工具：使用IDEA 1、实验描述 准备Spark编程所需的环境及安装集成开发环境IDEA，及为它安装scala插件，配置maven相关属性 实验时长： 45分钟 主要步骤： 解压安装IDEA 配置IDEA scala 插件 重启IDEA 2、实验环境 虚拟机数量：1 系统版本：Centos 7.5 JDK 版本: 1.8.0_131 Scala版本： scala2.11.11 Scala IDEA版本：ideaIC-2017.2.7 3、相关技能 Spark集成开发环境I
使用IntelliJ Idea开发Spark Streaming流应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-05 1248
掌握IntelliJ Idea创建Spark Streaming流应用程序的过程。   熟悉在spark上提交运行Spark Streaming作业的方式。1、使用IntelliJ Idea创建Spark Streaming流应用程序。   2、打包Spark Streaming流应用程序并提交执行。Spark Streaming内部的基本工作原理如下：接收实时输入数据流，然后将数据拆分成多个batch，比如每收集1秒的数据封装为一个batch，然后将每个batch交给Spark的计算引擎进行处理，最后会生
掌握IDEA导入Spark源码和Scala编译技巧
资源摘要信息: "在本读书笔记中，我们将详细介绍如何在IntelliJ IDEA集成开发环境中导入Apache Spark源码，并进行阅读与编译Scala程序的步骤。由于Apache Spark是一个用Scala编写的开源大数据处理框架，因此，对于想...
蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验
cafuc46wingw的专栏
04-14 7310
所遇问题：由于在IDEA下可以方便快捷地运行scala程序，所以先前并没有在终端下使用spark-submit提交打包好的jar任务包的习惯，但是其只能在local下执行，在网上搜了好多帖子都不能启动spark集群，由于实验任务紧急只能暂时作罢IDEA下任务提交，改由终端下使用spark-submit提交打包好的jar任务。
第97讲：使用SBT开发Akka第一个案例环境搭建详解学习笔记
slq1023的博客
09-10 1801
第97讲：使用SBT开发Akka第一个案例环境搭建详解学习笔记 使用IDEA搭建scala SBT开发环境 1.下载IDEA. Windows版：http://download-cf.jetbrains.com/idea/ideaIC-14.1.4.exe2.IDEA默认没有安装SBT，所以需要安装SBT。打开IDEA,选择File->Settings 选择Plugins,在搜索栏打入S
IDEA开发Spark应用实战(Scala)
程序员欣宸的博客
02-17 1万+
实战IDEA开发Scala版的Spark应用
使用IDEA开发Spark程序
weixin_30537391的博客
07-24 363
　　一、分布式估算圆周率 　　1.计算原理 　　假设正方形的面积S等于x²，而正方形的内切圆的面积C等于Pi×(x/2)²，因此圆面积与正方形面积之比C/S就为Pi/4，于是就有Pi=4×C/S。 　　可以利用计算机随机产生大量位于正方形内部的点，通过点的数量去近似表示面积。假设位于正方形中点的数量为Ps，落在圆内的点的数量为Pc，则随机点的数量趋近于无穷时，4×Pc/Ps将逼近于...
[Spark] 使用IDEA构建Spark应用程序
Cindy的博客
07-12 463
1. IDEA新建一个maven+scala的project点击Finish之后静待项目初始化完成2. 修改pom.xml配置文件2.1 修改<properties>标签 <properties> <scala.version>2.11.8</scala.version> # Scala默认版本为2.7.0，修改为2.11.8 ...
IntelliJ Idea开发spark程序及运行
专注大规模数据处理
08-25 5911
版本：spark-1.6.01.利用创建一个SBT项目参考步骤：http://blog.csdn.net/jameshadoop/article/details/522992502.编写简单代码package com.james.scala /* SimpleApp.scala */ import org.apache.spark.SparkContext import org.apache.spa
使用Intellij Idea编写Spark应用程序（Scala+SBT）
技术成就梦想，梦想成就未来。If you try hard enough, it can be.
07-04 4849
spark使用scala语言开发的，进行spark开发优先考虑scala语言了。而进行scala程序开发，我们自然得考虑一款好用的IDE，这里推荐IntelliJ IDEA。 本次安装环境：win7 64位系统。 1、安装jdk 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-213315...
【二】使用IDEA+Maven构建Spark(使用Scala语言)开发环境
Sid小杰的博客
07-16 648
这里用的scala的模板，因为后面spark编程会继续使用这个项目 选择本地maven的settings.xml文件。点击完成。 文件目录如下 删除掉不用的文件后 在src/main中添加一个java目录。点击project structure. 点击Modules，选择java文件目录，点击Sources，保存 在java目录下创建包 最后文件目录如...
java基于SSM房屋租赁管理系统(1)
shenliba的博客
04-15 834
各位读者，由于本篇幅度过长，为了避免影响阅读体验，下面我就大概概括了整理了《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
20-多对一的处理
2401_84814410的博客
05-13 507
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。深知大多数Java工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
spark开发环境搭建intellij+Scala+sbt
u013842516的专栏
06-15 2032
作为一个新手，看了网上五花八门的配置教程，表示照着他们做，花了好几天才弄好。所以现在写个博客，希望对新手有所帮助 1，Java jdk安装 2，Scala安装 3，intellij下载。我用的是community版 4，intellij安装Scala插件 5，创建一个Scala sbt工程，然后在file-》project structure-》libraries里添加jdk库，选择sp
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值