![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink DataStreaming API
張萠飛
这个作者很懒,什么都没留下…
展开
-
3.6、Flink流处理(Stream API)- State & Fault Tolerance(状态和容错)之 State Backends(状态后端)
Flink提供了不同的状态后端,用于指定状态存储的方式和位置。状态可以位于Java的堆上,也可以位于堆外。根据您的状态后端,Flink 也可以管理应用程序的状态,这意味着 Flink 处理内存管理(如果必要的话可能会溢出到磁盘),以允许应用程序保存非常大的状态。默认情况下,配置文件是 flink-conf.yaml 管理所有 Flink 作业的状态后端。也可以根据每个作业重写默认状态后端,如下...翻译 2020-01-13 14:27:34 · 416 阅读 · 0 评论 -
Flink Internals - Data Streaming Fault Tolerance(数据流容错)
简介Apache Flink 提供了一种容错机制来一致地恢复数据流应用程序的状态。该机制确保即使存在故障,程序的状态最终将精确地反映数据流中的每条记录一次。注意,这里有一个开关,将担保降级到至少一次(如下所述)。容错机制连续绘制分布式流数据流的快照。对于状态小的流应用程序,这些快照非常轻量级,可以频繁地绘制,不会对性能造成很大影响。流应用程序的状态存储在一个可配置的位置(如主节点或HDFS...翻译 2020-01-10 11:38:45 · 282 阅读 · 0 评论 -
5.7、Flink流处理(Stream API)- Connectors(外部连接器)之 Hadoop FileSystem Connector
自 Flink 1.9 起,BucketingSink 已经被弃用,并将在后续版本中移除。请使用 StreamingFileSink。这个连接器提供了一个接收器,可以将分区的文件写到Hadoop文件系统支持的任何文件系统中。要使用此连接器,请在项目中添加以下依赖项:<dependency> <groupId>org.apache.flink</gro...翻译 2019-12-26 17:03:19 · 628 阅读 · 0 评论 -
3.8、Flink流处理(Stream API)- State & Fault Tolerance(状态和容错)之 Custom Serialization for Managed
目录使用自定义状态序列化器状态序列化器和模式演化TypeSerializerSnapshot 抽象Flink 如何与 TypeSerializer 和 typeseriizersnapshot 抽象交互堆外状态后端(例如rocksdbstateback后端)堆状态后端(例如 memorystateback、fsstateback )预定义的方便的TypeSeriali...翻译 2019-10-24 21:13:50 · 505 阅读 · 0 评论 -
3.7、Flink流处理(Stream API)- State & Fault Tolerance(状态和容错)之 State Schema Evolution(状态模式演化)
目录进化状态模式支持模式演化的数据类型POJO typesAvro typesApache Flink 流应用程序通常被设计为无限期或长时间运行。与所有长时间运行的服务一样,需要更新应用程序以适应不断变化的需求。应用程序所针对的数据模式也是如此;它们随着应用程序的发展而发展。这个页面提供了如何演进状态类型的数据模式的概述。当前的限制因不同类型和状态结构( ValueSta...翻译 2019-10-23 21:08:07 · 371 阅读 · 0 评论 -
3.3、Flink流处理(Stream API)- State & Fault Tolerance(状态和容错)之 The Broadcast State Pattern(广播状态模式)
目录提供的APIsBroadcastProcessFunction and KeyedBroadcastProcessFunction重要内容使用状态描述算子状态,该状态在恢复时均匀地分布在算子的并行任务中,或者统一使用整个状态来初始化恢复后的并行任务。第三种受支持的操作符状态是广播状态。广播状态被引入以支持这样的用例:来自一个流的一些数据需要广播到所有下游任务,在那里它被本地...翻译 2019-10-23 21:08:51 · 483 阅读 · 0 评论 -
2.1、Flink流处理(Stream API)- Event Time(事件时间)之 基础概览
Table of ContentsEvent Time / Processing Time / Ingestion Time设定时间特性Event Time and WatermarksWatermarks in Parallel Streams(平行流中的水印)Late Elements(末元素)Idling sources(闲置资源)调试水印算子如何处理水印...翻译 2019-10-22 21:04:15 · 937 阅读 · 0 评论 -
3.1、Flink流处理(Stream API)- State & Fault Tolerance(状态和容错)
有状态函数和操作符在各个元素/事件的处理过程中存储数据,使得状态成为任何类型的更复杂操作的关键构建块。使用案例:当应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件序列。 当以每分钟/小时/天的速度聚合事件时,状态将保存挂起的聚合。 当在数据流上训练机器学习模型时,状态保存模型参数的当前版本。 当需要管理历史数据时,状态允许有效地访问过去发生的事件。Flink需要了解状态,...翻译 2019-10-23 21:09:29 · 180 阅读 · 0 评论 -
3.5、Flink流处理(Stream API)- State & Fault Tolerance(状态和容错) 之 Queryable State Beta(可查询状态)
目录状态结构Activating Queryable State(激活可查询状态)Making State Queryable(配置状态查询)Queryable State StreamManaged Keyed StateQuerying StateExampleConfigurationState ServerProxy局限性Note:用于 q...翻译 2019-09-20 17:05:17 · 592 阅读 · 0 评论 -
3.2、Flink流处理(Stream API)- State & Fault Tolerance(状态和容错)之 State的工作原理
目录Keyed State and Operator State(两种基本State)Raw and Managed State(两个基本状态的存在形式)Using Managed Keyed State(如何使用)状态有效期(TTL)使用Managed Operator StateStateful Source Functions(带状态的Source Functions...翻译 2019-08-29 19:44:00 · 832 阅读 · 0 评论