张伯毅的专栏

-------------------------一 .什么是 Metrics？1.1. Metric Types1.2. Metric Group二 . 怎么用Metrics？2.1. System Metrics2.2. User-defined Metrics2.3. User-defined Metrics Example2.4. 获取 Metrics2.5. Metric Reporter三 .实战: 利用Metrics监控3.1. 自动化运维3.2. 性能分析四 .实战：“我的任务慢，怎么办”4

-------------------------一 .网络流控的概念与背景1.1. 为什么需要网络流控1.2. 网络流控的实现：静态限速1.3. 网络流控的实现：动态反馈/自动反压1.3.1.案例一：Storm 反压实现1.3.2.1.3.3.疑问：为什么 Flink（before V1.5）里没有用类似的方式实现 feedback 机制？二 .TCP的流控机制2.1. TCP 流控：滑动窗口三 .Flink TCP-based 反压机制（before V1.5）3.1. 示例：WindowWordCou

-------------------------一 .Flink 四层转化流程1.1. Program 到 StreamGraph 的转化1.2. StreamGraph 到 JobGraph 的转化1.3. JobGraph 到 ExexcutionGraph 以及物理执行计划二 .Flink Job 执行流程2.1. Flink On Yarn 模式2.1.1.Fink on Yarn 的缺陷2.1.2.引入 Dispatcher 的原因:2.2. 资源调度模型重构下的 Flink On Yarn 模

-------------------------一 .为 Flink 量身定制的序列化框架1.1. 为什么定制?1.2. Flink 的数据类型1.3. TypeInformation1.4. Flink 的序列化过程二 .Flink 序列化的最佳实践2.1. 最常见的场景2.2. 实践–类型声明2.2.1. 对于非泛型类，直接传入 class 对象即可。2.2.2. 对于泛型类，需要通过 TypeHint 来保存泛型类型信息。2.2.3. 预定义常量。2.2.4. 自定义 TypeInfo 和 Typ

-------------------------------一 .Checkpoint 与 state 的关系二 .什么是 state2.1. 什么是 keyed state2.2. 什么是 operator state三 .如何在 Flink 中使用 state四 .Checkpoint 的执行机制4.1. Statebackend 的分类4.2. Checkpoint 执行机制详解4.3. Checkpoint 的 EXACTLY_ONCE 语义4.4. 基于RocksDB的增量checkpoin

一 .前言Flink 的 API 大体上可以划分为三个层次：处于最底层的 ProcessFunction、中间一层的 DataStream API 和最上层的 SQL/Table API ，这三层中的每一层都非常依赖于时间属性。时间属性是流处理中最重要的一个方面，是流处理系统的基石之一，贯穿这三层 API。在 DataStream API 这一层中因为封装方面的原因，我们能够接触到时间的地方不是很多，所以我们将重点放在底层的 ProcessFunction 和最上层的 SQL/Table API。

一 .综述本文主要介绍 Flink Runtime 的作业执行的核心机制。本文将首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程，然后介绍在这个过程，Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后，本文还将简要介绍 Flink Runtime 层当前正在进行的一些工作。二 .Flink Runtime 整体架构Flink 是可以运行在多种不同的环境中的，例如，它可以通过单进程多线程的方式直接运行，从而提供调试的能力。它也可以运行在 Yarn 或者 K8S 这种