大学生重生之救赎（linux配置Spark与Scala）小白超实用、超简单

一、Scala下载原装

Scala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。

Scala下载地址：安装包（本文使用的是scala-2.12.15.)

linux下载文件后缀为.tgz

将下载好的scala-2.12.15用xftp放到虚拟机中opt文件夹中

解压缩scala-2.12.15

[root@master ~]# tar -zxvf /opt/scala-2.12.15.tgz -C /opt/module/

二、配置Scala环境变量

修改/etc/profile文

vim /etc/profile

配置scala环境变量

export SCALA_HOME=/opt/module/scala-2.12.12

export PATH=$PATH:${SCALA_HOME}/bin

刷新环境配置

source /etc/profile		#生效环境变量
scala -version			#查看scala是否安装成功

三、Spark下载及安装

Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

Spark下载地址：安装包（本文使用的是Spark-3.1.1-bin-hadoop3.2.tgz）

将下载好的Spark-3.1.1-bin-hadoop3.2.tgz用xftp放到虚拟机中opt文件夹中

解压缩spark 

tar -zxvf /opt/spark.tgz -C /opt/

修改文件名

mv spark-3.1.1-bin-hadoop3.2 spark

配置环境变量 

vim /etc/profile

export SPARK_HOME=/opt/module/spark
export PATH=$PATH:${SPARK_HOME}/bin
export PATH=$PATH:${SPARK_HOME}/sbin

刷新环境配置

source /etc/profile		#生效环境变量

配置文件spark-env.sh

进入spark配置文件夹conf，将spark-env.sh.template文件拷贝一份命名为spark-env.sh，spark在启动时会找这个文件作为默认配置文件。

[root@master ~]# cd /opt/module/spark/conf/
[root@master conf]# cp spark-env.sh.template spark-env.sh

 在spark下的conf目录打开spark-env.sh文件配置如下：（在master执行）

vim spark-env.sh

文件末尾添加如下代码： 

export SCALA_HOME=/opt/module/scala
export JAVA_HOME=/opt/module/java 
export SPARK_MASTER_IP=master
export SPARK_WOKER_CORES=2
export SPARK_WOKER_MEMORY=2g
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop

在文件夹./start-all.sh启动集群

./start-all.sh

jps

有如下集群代表正确

进入hadoop文件夹中的sbin目录

cd /opt/module/hadoop/sbin/

 使用  ./start-all.sh出现以下类似登录信息

最后一步检查spark

以上操作就是安装Spark与Scala的过程