Spark3 Standalone模式高可用分布式集群搭建(HA模式)

搭建Spark3 Standalone模式(非高可用模式)参考下面这篇博客：
Spark3 Standalone模式分布式集群搭建

安装部署Spark3 on Yarn分布式集群(YARN模式)参考下面这篇博客：
Spark3 on Yarn分布式集群安装部署(YARN模式)

Spark Standalone集群是Master-Slaves架构的集群模式，当Worker调度出现问题的时候会自动弹性容错，可以将出错的Task调度到其他Worker执行，但存在着Master单点故障的问题。
这里基于zookeeper的Standby Masters（Standby Master with zookeeper）实现高可用。基本原理是通过zookeeper来选举一个Master，其他的Master处于Standby状态。将spark集群连接到同一个Zookeeper实例并启动多个Master，利用zookeeper提供的选举和状态保存功能，使一个Master被选举为active状态，其他Master处于Standby状态。如果现任Master死去，另一个Master会通过选举产生，并恢复到旧的Master状态，然后恢复调度，整个过程可能要1-2分钟。

一、修改配置文件

在Spark Standalone配置的基础上，修改/moudle/spark-3.0.1/conf/spark-env.sh配置文件，