在公司一直使用ambari+hdp安装的spark2,但是这两天他们软件搬家,用不了,于是在自己的虚拟机上安装了一套用于测试一些小数据,之前安装的spark是standalone模式,所以想安装一套on yarn模式的,但是网上全都在乱写,明明master+worker是standalone的还一本正经说是 spark on yarn
安装scala
这是我安装的(忽略掉已经装好的spark,它是standalone模式的)
毕竟都到安装spark了,所以相信之前的都已经装好了,所以直接从安装scala开始
下载https://www.scala-lang.org/download/2.11.8.html
解压:tar -zxvf scala-2.11.8.tgz -C /opt/module
配置环境变量:vim ~/.bashrc
export SCALA_HOME=/opt/module/scala
export PATH=
S
C
A
L
A
H
O
M
E
/
b
i
n
:
SCALA_HOME/bin:
SCALAHOME/bin:PATH
生效:source ~/.brashrc
Spark下载
下载:http://spark.apache.org/downloads.html
解压:tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz
重命名:mv spark-2.4.4-bin-hadoop2.7 spark2
配置环境变量:vim ~/.bashrc
生效:source ~/.bashrc
进入spark的conf目录下 cp spark-env.sh.template spark-env.sh
vim spark-env.sh
export HADOOP_HOME=
H
A
D
O
O
P
H
O
M
E
:
−
/
o
p
t
/
m
o
d
u
l
e
/
h
a
d
o
o
p
e
x
p
o
r
t
H
A
D
O
O
P
C
O
N
F
D
I
R
=
{HADOOP_HOME:-/opt/module/hadoop} export HADOOP_CONF_DIR=
HADOOPHOME:−/opt/module/hadoopexportHADOOPCONFDIR={HADOOP_CONF_DIR:-/opt/module/etc/hadoop}
export JAVA_HOME=/opt/module/jdk
因为是运行在yarn上的安装一台客户端就够了
启动hadoop相关
输入spark-shell --master yarn-client
出现以下就成功了
Welcome to
____ __
/ / ___ / /
\ / _ / _ `/ __/ '/
// .__/_,// //_\ version 2.4.4
//
Using Scala version 2.11.8 (Java HotSpot™ 64-Bit Server VM, Java 1.8.0_112)
Type in expressions to have them evaluated.
Type :help for more information.