Linux中安装配置Scala和Spark

一、Linux下安装Scala

1.Linux下安装Scala和Windows下安装类似,步骤如下:

首先访问下载链接:http://www.scala-lang.org/download/默认这里下载的是Windows版本,这时点击上面的All downloads进入所有的版本下载页面:
 在这里插入图片描述
2.然后选择最新版本,Scala 2.11.8进入
在这里插入图片描述
3.进入后拉到页面下方,选择Mac OSX,Unix版本的二进制包下载即可
在这里插入图片描述
4.下载之后上传到moba中,准备安装(在这之前安装配置好jdk、Hadoop)
5.将其放在opt目录下
6.在opt目录下进行解压并修改目录名:
输入命令:tar -xvzf scala-2.11.8.tgz && mv scala-2.11.8/ scala
执行结果如下:
在这里插入图片描述
7.接着进行配置环境变量,vi /etc/profile进入,在最后添加这两行,如下所示:
在这里插入图片描述
8.配置好之后保存并退出,记得执行source /etc/profile命令,是环境变量配置生效
9.执行scala -version ,如果返回版本信息,则环境变量配置成功
在这里插入图片描述

二、Linux下安装Spark

1.本人在scala基础下安装(可以不安装scala直接安装spark)

2.下载安装包,直接访问:
添加链接描述
a.如需历史版本下载请访问:https://archive.apache.org/dist/spark/

b.如果已经有Hadoop集群或HDFS,建议下载对应版本的Spark,我们这里安装2.2.0版本

3.下载完成后放在/opt目录下,进行解压和修改目录名
执行:tar -zvxf spark-2.2.0-bin-hadoop2.7.tgz && mv spark-2.2.0-bin-hadoop2.7 / spark
在这里插入图片描述
4.配置环境变量,执行:vi /etc/profile
在最后面添加这两行:
在这里插入图片描述
5.保存退出,执行:source /etc/profile,使环境变量生效

6.配置文件修改
(1)执行:cd /opt/spark/

(2)复制文件并改名:cp ./conf/spark-env.sh.template ./conf/spark-env.sh

(3)进入文件进行修改:vi ./conf/spark-env.sh
在这里插入图片描述

 注:上面的192.168.133.120 改成自己的主机名即可
     spark运行在yarn上,必配,否则连不上YARN,并访问不了HDFS,前提HADOOP环境变量已正确配置

(4)修改配置文件slaves(单台可以不配置,也可以按下面方式配置),先把slaves.template重命名为slaves
执行:mv slaves.template slaves
进入:vi slaves
在这里插入图片描述
7.在spark目录下,启动执行: ./sbin/start-all.sh ,结果如图:
在这里插入图片描述
8.查看是否有Master和Worker 进程
在这里插入图片描述
9.spark-shell
在这里插入图片描述

10.启动spark-shell 测试scala交互式环境:
spark-shell --master spark://192.168.133.120:7077
在这里插入图片描述

 注:--master用于指定Spark的Master节点的地址,默认运行在7077端口,启动成功后,可以访问 http://master_ip:8080 页面

在这里插入图片描述

11.测试Spark on YARN(提前启动yarn)
在这里插入图片描述

©️2020 CSDN 皮肤主题: 1024 设计师:上身试试 返回首页