Checkpoint
Flink 容错机制的核心就是持续创建分布式数据流及其状态的一致快照。Flink的checkpoint 是通过分布式快照实现的,所以在flink中这两个词是一个意思。
checkpoint机制需要一个可靠的可以回放数据的数据源(kafka,RabbitMQ,HDFS…)和一个存放state的持久存储(HDFS,S3…)。
1,checkpointConfig
通过调用StreamExecutionEnvironment.enableCheckpointing(internal,mode)启用checkpoint。 internal默认是-1,表示checkpoint不开启,mode默认是EXACTLY_ONCE模式。
可设置checkpoint timeout,超过这个时间checkpoint没有成功,checkpoint终止。默认10分钟。
可设置checkpoint失败任务是否也失败,默认是true。
可设置同时进行的checkpoint数量,默认为1。
2,barrier
将barrier插入到数据流中,作为数据流的一部分和数据一起向下流动。Barrier 不会干扰正常数据,数据流严格有序。一个 barrier 把数据流分割成两部分:一部分进入到当前快照,另一部分进入下一个快照。每一个 barrier 都带有快照 ID,并且 barrier 之前的数据都进入了此快照。Barrier 不会干扰数据流处理,所以非常轻量。多个不同快照的多个 barrier 会在流中同时出现,即多个快照可能同时创建。
Barrier 在数据源端插入,当 snapshot n 的 barrier 插入后,系统会记录当前 snapshot 位置值 n (用Sn表示)。例如,在 Apache Kafka 中,这个变量