![](https://img-blog.csdnimg.cn/20190918135101160.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink内核解析
文章平均质量分 79
Flink内核解析
zuodaoyong
这个作者很懒,什么都没留下…
展开
-
Flink核心抽象四算子
Flink目前有两套算子体系,DataStream和DataSet,未来会用DataStream取代DataSet算子实现批流算子的统一。 一、算子行为 1、生命周期管理(StreamTask类管理算子的生命周期) (1)setup 初始化环境,时间服务,注册监控 (2)open 算子的初始化逻辑,比如状态的初始化 (3)close 所有的数据处理完毕之后关闭算子,此时需要确保将所有的缓存数据向下游发送。 (4)dispose 算子生命周期最后一步,是close之后执行,主要用于资源的释翻译 2021-12-02 23:56:40 · 252 阅读 · 0 评论 -
Flink核心抽象三数据转换
Transformation在Flink中被称为数据转换,Transformation面向Flink内核,DataStream面向开发者。 Transformation有两大类,物理Transformation和虚拟Transformation Transformation是顶层的抽象,在所有物理的Transformation都是继承PhysicalTransformation 其他的类型的Transformation均为虚拟Transformation。 Transformation包含Fl.翻译 2021-12-02 23:55:44 · 163 阅读 · 0 评论 -
Flink核心抽象二数据流元素
StreamElement在Flink中叫做据流元素。包含StreamRecord,LatencyMarker,Watermark,StreamStatus 一、StreamRecord StreamRecord表示数据流中的一条记录(一个事件) 1、数据值 2、时间戳 public StreamRecord(T value, long timestamp) { this.value = value; this.timestamp = timestamp; this.ha翻译 2021-11-27 21:59:49 · 176 阅读 · 0 评论 -
Flink核心抽象一环境对象
一、StreamExecutionEnvironment(开发时) StreamExecutionEnvironment是Flink应用开发时的概念,表示流计算作业的执行环境。 是作业开发的入口,数据源接口,生成和转换DataStream的接口,数据Sink的接口,作业配置接口,作业启动执行的入口。 1、流计算环境StreamExecutionEnvironment的体系 (1)LocalStreamEnvironment 本地执行环境,在单个JVM中使用多线程模拟Flink集群 ..翻译 2021-11-27 21:40:27 · 152 阅读 · 0 评论