![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 83
缘来如此09
度,恒
展开
-
Flink学习笔记(三)任务之间数据共享机制
Broadcast是指将一个数据集广播到任务的所有并行实例中。在Flink中,可以使用Broadcast机制将小数据集分发到每个任务实例中,以便在任务的运行过程中能够快速访问。Broadcast数据集的大小应该小于可用内存的大小,以防止内存溢出。Flink提供了一个分布式缓存(Distributed Cache),类似于Hadoop,可以使用户在并行函数中很方便地读取本地文件。分布式缓存功能允许有效地在任务和作业运行之间共享数据,减少数据重复和提高性能。原创 2023-03-13 08:15:00 · 1588 阅读 · 0 评论 -
Flink学习笔记(二)Flink常用API详解
提供了对时间和状态的细粒度控制,简洁性和易用性较差,主要应用在对一些复杂事件的处理逻辑上。原创 2023-03-12 14:28:26 · 2384 阅读 · 0 评论 -
Flink学习笔记(一)概述
1.Flink是一个分布式流处理框架,它能够在大规模的数据流上进行实时计算和批处理。Flink支持丰富的API,包括DataStream API和DataSet API,可以在多种计算场景中使用,例如实时数据处理、批处理、图形计算和机器学习等。Flink还具有高可用性、低延迟、高吞吐量和高扩展性等特点,是近年来非常流行的数据处理框架之一。原创 2023-03-12 12:13:51 · 1740 阅读 · 0 评论