安装spark3.0.0

在这之前已经在本地安装了hadoop和hive，参考大数据相关整理​​​​​​​

目录

1、下载

2、设置环境变量

3、修改配置

4 、启动

5、确认启动成功

6、执行spark-shell启动&启动遇到的一些问题

---

1、下载

#下载,地址失效就从官网下载 http://spark.apache.org/downloads.html
$ wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz

#解压，路径为/Users/zheng/spark/spark-3.0.0
$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz

#重命名
$ cp spark-3.0.0-bin-hadoop3.2.tgz spark-3.0.0

#修改权限，这里不修改权限，最后启动spark的时候会报一些文件找不到
$ chmod -R 755 /spark-3.0.0

2、设置环境变量

#设置环境变量
$ vim /etc/profile

#增加一下配置：
export SPARK_HOME=/Users/zheng/spark/spark-3.0.0
export PATH=$PATH:$SPARK_HOME/bin

#保存退出后生效
$ source /etc/profile

3、修改配置

#进入/spark-3.0.0/conf复制以下几个文件
$ mv spark-defaults.conf.template spark-defaults.conf
$ mv slaves.template slaves
$ mv spark-env.sh.template spark-env.sh


#修改spark-defaults.conf启用yarn模式
spark.master     yarn

4 、启动

#进入/spark-3.0.0/sbin,启动spark,start-all.sh表示启动所有
$ ./start-all.sh

5、确认启动成功

浏览器访问spark master默认地址：http://localhost:8080/

6、执行spark-shell启动&启动遇到的一些问题

启动的时候遇到了一些问题，详情参看启动spark-shell遇到的一些问题