张伯毅的专栏

.一 .概念1.1. 什么是有状态的计算？1.2. 传统的流计算系统缺少对于程序状态的有效支持1.3. Flink丰富的状态访问和高效的容错机制1.4. Keyed State1.5. xxx1.6. xxx1.7. xxx二 .xxxxxx2.1. xxx2.2. xxx2.3. xxx2.4. xxx2.5. xxx2.6. xxx三 .xxxxxx3.1. xxx3.2. xxx3.3. xxx3.4. xxx3.5. xxx3.6. xxx四 .xxxxxx4.1. xxx4.2. xxx4.3.

.一 .前言二 .概念2.1. Flink 时间语义2.2. 时间的特性2.3. Timestamp 分配和 Watermark 生成2.4. Watermark 传播2.5. ProcessFunction2.6. Watermark 处理2.7.多流的Watermark三 .代码实例一 .前言二 .概念2.1. Flink 时间语义在不同的应用场景中时间语义是各不相同的，Flink 作为一个先进的分布式流处理引擎，它本身支持不同的时间语义。其核心是 Processing Time 和 Eve

.一 .前言二 .实现2.1. 窗口分类2.2. 时间窗口2.2.1. tumbling-time-window (翻滚窗口-无重叠数据)2.2.2.sliding-time-window (滑动窗口-有重叠数据)2.2.3. 小结2.3. Count-Window2.3.1. tumbling-count-window (无重叠数据)2.3.2. sliding-count-window (有重叠数据)2.4. Window Session2.4. Window Global2.6. Window

.一 .前言1.1. Flink算子分类1.2. 数据类型转换关系二 .算子清单2.1. Map2.2. FlatMap2.3. Filter2.4. KeyBy2.5. Reduce2.6. Fold [废弃]2.7. Aggregation2.8. Window2.9. WindowAll2.10. Window Apply2.11. Window reduce2.12. Window Fold [废弃]2.13. Window Aggregation2.14. Window Join2.15.Uni

.一 .前言二 .类型2.1. 基于本地集合的sink2.2. 基于文件的sink2.2.1.将数据写入本地文件2.2.2.将数据写入HDFS2.3. Kafka Sink2.4. MySQL Sink一 .前言二 .类型2.1. 基于本地集合的sink目标:基于下列数据,分别 进行打印输出,error输出,collect()(19, "zhangsan", 178.8),(17, "lisi", 168.8),(18, "wangwu", 184.8),(21, "zhaoliu", 1

.一 .前言二 .广播变量使用2.1.前言2.2. 使用三 .累加器3.1. 前言3.2. 使用四 .分布式缓存4.1. 前言4.2.使用一 .前言二 .广播变量使用2.1.前言Flink支持广播。可以将数据广播到TaskManager上，数据存储到内存中。数据存储在内存中，这样可以减缓大量的shuffle操作；比如在数据join阶段，不可避免的就是大量的shuffle操作，我们可以把其中一个dataStream广播出去，一直加载到taskManager的内存中，可以直接在内存中拿数据，避免了大量

.一 .前言二 .算子操作2.1. map2.2. flatMap2.3. mapPartition2.4. filter2.5. reduce/groupBy2.6. reduceGroup/groupBy2.7. aggregate2.8. join2.9. union2.10. rebalance2.11. hashPartition2.12. sortPartition2.13. keyBy2.14. Connect一 .前言Transformation说明map将Data

.一 .前言二 .四种读取类型2.1. 基于本地集合的source（Collection-based-source)2.2. 基于文件的source（File-based-source）2.3. 基于网络套接字的source（Socket-based-source）2.4. 自定义的source（Custom-source）2.4.1.使用MySQL作为数据源2.4.2.使用Kafka作为数据源2.4.3.自定义数据源一 .前言本文主要写Flink读取数据的方式. 只考虑DataStream API.