Hadoop集群--(4)spark搭建

准备

需要hadoop集群，如不会搭建的请参考Hadoop集群–(1)搭建

1. scala安装

scala官网下载地址

移到网页最下面，选择自己的版本下载，然后上传到服务器

或直接下载

wget https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.tgz

解压

tar zxf scala-2.12.8.tgz -C /root/apps/

配置环境变量

vim /etc/profile

export SCALA_HOME=/root/apps/scala-2.12.8
export PATH=$PATH:$SCALA_HOME/bin

刷新环境变量

source /etc/profile

2. spark安装及配置

2.1 安装

spark官网下载地址

或直接下载

wget https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz

解压

tar zxf spark-2.4.3-bin-hadoop2.7.tgz -C apps/

配置环境变量

vim /etc/profile

export SPARK_HOME=/root/apps/spark-2.4.3-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

刷新环境变量

source /etc/profile

2.2 配置

进入Spark的conf目录，进行配置

[root@node-1 ~]# cd /root/apps/spark-2.4.3-bin-hadoop2.7/conf/
[root@node-1 conf]# cp spark-env.sh.template spark-env.sh

编辑/spark-env.sh

[root@node-1 conf]# vim spark-env.sh

export SCALA_HOME=/root/apps/scala-2.12.8
export JAVA_HOME=/root/apps/jdk1.8.0_211
export SPARK_MASTER_IP=node-1
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/root/apps/hadoop-2.8.5/etc/hadoop

下发配置文件
环境变量

[root@node-1 apps]# scp /etc/profile node-2:/etc/
[root@node-1 apps]# scp /etc/profile node-3:/etc/

文件

[root@node-1 apps]# scp -r scala-2.12.8/ spark-2.4.3-bin-hadoop2.7/ node-2:/root/apps/
[root@node-1 apps]# scp -r scala-2.12.8/ spark-2.4.3-bin-hadoop2.7/ node-3:/root/apps/

3. 运行spark

进入spark目录

[root@node-1 ~]# cd /root/apps/spark-2.4.3-bin-hadoop2.7/

启动命令 ./sbin/start-all.sh

[root@node-1 spark-2.4.3-bin-hadoop2.7]# ./sbin/start-all.sh

停止命令 ./sbin/stop-all.sh

[root@node-1 spark-2.4.3-bin-hadoop2.7]# ./sbin/stop-all.sh

正常启动查询
主节点上

其它机器上

---

本人的经验分享，希望可以帮助到你们,如何不对的地方，可以评论留言，帮我指正一下，如果帮助了你，请给我点个赞吧