Flink on Yarn高可用集群的安装部署

Flink local模式、Standalone模式、Standalone 高可用(HA)模式的安装部署参考下面这篇博客：
Flink local模式、Standalone模式、Standalone 高可用(HA)模式的安装部署

Flink on Yarn模式的原理是依靠YARN来调度Flink任务，这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行MapReduce和Spark任务，还可以执行Flink任务等。

Flink on Yarn模式在使用的时候可以分为两种：

• Flink Yarn-session模式：在YARN中提前初始化一个Flink集群，开辟指定的资源，以后Flink任务都提交到这来。这个Flink集群会常驻在YARN集群中，除非手工停止。这种方式创建的Flink集群会独占资源，不管有没有Flink任务在执行，YARN上面的任务都无法使用这些资源。
• Flink Pre-Job模式：每次提交Flink任务都会创建一个新的Flink集群，每个Flink任务之间相互独立、互不影响，管理方便。任务执行完成后创建的Flink集群也会消失，不会额外占用资源，按需使用，这使资源利用率达到最大，推荐使用这种方式。

一、Flink on Yarn集群的安装和配置

Flink on Yarn的HA需要用到ZooKeeper和HDFS，主要是因为Flink on Yarn的HA依赖YARN的任务恢复机制，Flink任务在恢