Spark2.1集群环境搭建小结（2）

4 Standalone模式部署

（1）在主机的$SPARK_HOME/conf目录下创建一下名为salves的文件。该文件需要包含所有将要启动Spark Workers机器的hostname，每行一个hostname:

vim slaves

node01

node02

node03

...

（2）配置主机及Spark Workers机器的/etc/hostname，修改主机名；

配置主机及Spark Workers机器的/etc/hosts文件，建立主机名和IP地址的映射关系；

（3）使用scp命令发送配置文件到所有的Workers节点，以node01为例：

scp $SPARK_HOME/conf/spark-env.sh  node01:$SPARK_HOME/conf

scp $SPARK_HOME/conf/slaves  node01:$SPARK_HOME/conf

发送时需要输入接收端机器的密码；

（4）使用openssh配置Master无密钥登录Slaves节点：

sudo apt-get install openssh-server //每台机器上安装

//master上安装

ssh-keygen -t rsa -P "" 

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

sudo /etc/init.d/ssh reload

ssh localhost  //master上验证SSH配置

scp $HOME/.ssh/authorized_keys node01:$HOME/.ssh/

node01上登陆验证SSH配置

(5)Master脚本启动集群

sbin/start-master.sh    //在脚本运行的机器上启动一个Master实例

sbin/start-slaves.sh    //conf/slaves中指定了机器名的机器上启动一个Slave实例

sbin/start-all.sh          //包括上述两个命令

sbin/stop-master.sh

sbin/stop-slaves.sh

sbin/stop-all.sh

jps查看当前机器正在运行的Spark相关进程

Master浏览器输入http://master:8080/，查看Workers登录信息；若登录失败：

(6)单独启动各节点

${SPARK_HOME}/sbin/start-slave.sh spark://$SPARK_MASTER_HOST:$SPARK_MASTER_PORT

如./start-slave.sh spark://master:7077

vim spark-au-org.apache.spark.deploy.worker.Worker-1-slave01.out

最后一行显示INFO Worker: Successfully registered with master spark://master:7077，则启动成功