背景
flink是目前最常用的大数据流计算处理引擎,一共有local,standalone,yarn,kubernetes四种安装部署机构方案。通常使用yarn进行管理,随着k8s云计算体系越来越成熟, 把flink部署在k8s中,是一种很好的趋势。
Flink 选择 Kubernetes 作为其底层资源管理平台,原因包括两个方面:
1)Flink 特性:流式服务一般是常驻进程,经常用于电信网质量监控、商业数据即席分析、实时风控和实时推荐等对稳定性要求比较高的场景;
2)Kubernetes 优势:为在线业务提供了更好的发布、管理机制,并保证其稳定运行,同时 Kubernetes 具有很好的生态优势,能很方便的和各种运维工具集成,如 prometheus 监控,主流的日志采集工具等;同时 K8S 在资源弹性方面提供了很好的扩缩容机制,很大程度上提高了资源利用率。 yarn是一台node为最小部署单位,而k8s则可以 使用pod,资源利用更精确。