背景
Flink-operator极大的方便了我们管理 Flink 集群及其作业,我们只需要自定义yaml文件就可以做到。
Flink 官方还未给出 flink-operator 方案,不过 GoogleCloudPlatform 提供了一种基于 kubebuilder 构建的 flink-operator方案。
接下来,将介绍 flink-operator 的安装方式和详细步骤。
Flink-operator环境搭建完毕之后,这个operator服务作为flink的控制器,打通了flink和k8s的界限,我们可以使用k8s的命令行进行 flink集群和资源的管理 和 任务创建提交了。
在使用层面,我们可以在有operator的基础上 创建flink session集群或者 flink job集群,operator 会自动检测到资源需求然后 实际进行 flink 任务集群的创建。
至于session集群和 job集群的区别,我们已经在上一篇文章 flink on k8s部署方案调研 中进行了说明。
Session 模式下,Flink 集群处于长期运行状态,当集群的Master组件接收到客户端提交的任务后,对任务进行分析并处理。
job集群 当任务被提