flink on k8s部署方案实践--详细步骤

本文介绍了如何使用Flink Operator在Kubernetes(k8s)上部署和管理Flink集群及作业。详细步骤包括环境准备、安装Flink Operator、创建和运行Flink Job及Session集群,并解决常见问题。Flink Operator简化了Flink在K8s的管理和任务提交。
摘要由CSDN通过智能技术生成

背景

Flink-operator极大的方便了我们管理 Flink 集群及其作业,我们只需要自定义yaml文件就可以做到。

Flink 官方还未给出 flink-operator 方案,不过 GoogleCloudPlatform 提供了一种基于 kubebuilder 构建的 flink-operator方案。

接下来,将介绍 flink-operator 的安装方式和详细步骤。

Flink-operator环境搭建完毕之后,这个operator服务作为flink的控制器,打通了flink和k8s的界限,我们可以使用k8s的命令行进行 flink集群和资源的管理 和 任务创建提交了。

在使用层面,我们可以在有operator的基础上 创建flink session集群或者 flink job集群,operator 会自动检测到资源需求然后 实际进行 flink 任务集群的创建。

至于session集群和 job集群的区别,我们已经在上一篇文章 flink on k8s部署方案调研 中进行了说明。

Session 模式下,Flink 集群处于长期运行状态,当集群的Master组件接收到客户端提交的任务后,对任务进行分析并处理。

job集群 当任务被提

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

张小凡vip

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值