在这之前已经在本地安装了hadoop和hive,参考大数据相关整理
目录
1、下载
#下载,地址失效就从官网下载 http://spark.apache.org/downloads.html
$ wget https://mirror.bit.edu.cn/apache/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz
#解压,路径为/Users/zheng/spark/spark-3.0.0
$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz
#重命名
$ cp spark-3.0.0-bin-hadoop3.2.tgz spark-3.0.0
#修改权限,这里不修改权限,最后启动spark的时候会报一些文件找不到
$ chmod -R 755 /spark-3.0.0
2、设置环境变量
#设置环境变量
$ vim /etc/profile
#增加一下配置:
export SPARK_HOME=/Users/zheng/spark/spark-3.0.0
export PATH=$PATH:$SPARK_HOME/bin
#保存退出后生效
$ source /etc/profile
3、修改配置
#进入/spark-3.0.0/conf复制以下几个文件
$ mv spark-defaults.conf.template spark-defaults.conf
$ mv slaves.template slaves
$ mv spark-env.sh.template spark-env.sh
#修改spark-defaults.conf启用yarn模式
spark.master yarn
4 、启动
#进入/spark-3.0.0/sbin,启动spark,start-all.sh表示启动所有
$ ./start-all.sh
5、确认启动成功
浏览器访问spark master默认地址:http://localhost:8080/
6、执行spark-shell启动&启动遇到的一些问题
启动的时候遇到了一些问题,详情参看启动spark-shell遇到的一些问题