Flink四种集群模式原理

Flink的集群安装模式

1. Local——本地单机模式，学习测试使用
2. Standlone——独立集群模式，flink自带集群，学习测试使用
3. standloneHA——独立集群的高可用模式，flink自带集群，开发测试使用
4. On Yarn——计算机资源同意由Hadoop Yarn管理，生产模式使用

1. Local——本地单机模式

 
 

2.Standalone——独立集群模式

 
 

3.StandloneHA——独立集群高可用模式

 
 

4. On Yarn模式

4.1 On Yarn模式下Yarn集群执行流程

1.Client上传jar包和配置文件到HDFS集群上

2.Client向Yarn ResourceManager提交任务并申请资源

3.ResourceManager分配Container资源并启动ApplicationMaster,然后AppMaster加载Flink的Jar包和配置构建环境,启动JobManager

4.ApplicationMaster向ResourceManager申请工作资源,NodeManager加载Flink的Jar包和配置构建环境并启动TaskManager

5.TaskManager启动后向JobManager发送心跳包，并等待JobManager向其分配任务
 
 

4.2 On Yarn模式的优点

1. 资源按需使用分配
   Yarn的资源可以按需使用，提高集群的资源（CPU,内存……）使用率
2. 支持优先级和多种调度策略
   Yarn的任务有优先级，根据优先级运行作业和灵活的调度策略。
   Yarn的三种调度策略：FIFO调度算法、Capcity调度算法、Fair调度算法
3. 自带容错机制，实现高可用
   基于Yarn调度系统，能够自动化地处理各个角色地Failover(容错)
   • JobManager进程和TaskManager进程都由Yarn NodeManager监控
   • 如果TaskManager进程异常退出，JobManager会受到消息并重新向Yarn ResourceManager申请资源，重新启动TaskManager

4.3OnYarn 的两种模式

• sesion会话模式——适合小任务
  过程：多个Client在一套Flink集群上去执行。
  优点:可以重复使用在Yarn上开启的Flink集群。
  缺点:适合小任务,不适合大任务。
  +job分离模式——适合大任务
  过程：每个Client任务单独开启一套Flink集群。
  优点:每个任务单独在Yarn上启动一套Flink集群,适合大任务。
  缺点:需要频繁的在Yarn上开启Flink集群。