Flink On Yarn模式:两种使用模式Yarn-session模式和Pre-Job模式的区别
![在这里插入图片描述](https://img-blog.csdnimg.cn/2021063013493774.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3poZW5nemFpZmVpZGVsdXNoYW5n,size_16,color_FFFFFF,t_70)
Flink on Yarn模式在使用的时候可以分为两种:
- Flink Yarn-session模式:在YARN中提前初始化一个Flink集群,开辟指定的资源,以后Flink任务都提交到这来。这个Flink集群会常驻在YARN集群中,除非手工停止。这种方式创建的Flink集群会独占资源,不管有没有Flink任务在执行,YARN上面的任务都无法使用这些资源。
- Flink Pre-Job模式:每次提交Flink任务都会创建一个新的Flink集群,每个Flink任务之间相互独立、互不影响,管理方便。任务执行完成后创建的Flink集群也会消失,不会额外占用资源,按需使用,这使资源利用率达到最大,推荐使用这种方式。
一、Flink Yarn-session模式
Yarn-session模式可以启动多个yarn session,一个yarn session模式对应一个JobManager,同一个Session中可以提交多个Flink作业。
一个yarn session在Yarn上启动一个Flink集群,并重复使用该集群,提交的Flink任务都是提交给该集群,资源会被一直占用,除非手动关闭该集群,适用于大