Flink
文章平均质量分 85
大数据私房菜
这个作者很懒,什么都没留下…
展开
-
如果不是那次面试,你也许不会意识到jvm的重要性
JVM它是Java Virtual Machine 的缩写,主要是通过在实际计算机模仿各种计算机功能来实现的,组成部分包括堆、方法区、栈、本地方法栈、程序计算器等,其中方法回收堆和方法区是共享区,也就是谁都可以使用,而栈和程序计算器、本地方法栈区是归JVM的。Java能够被称为“一次编译,到处运行”的原因就是Java屏蔽了很多的操作系统平台相关信息,使得Java只需要生成在JVM虚拟机运行的目标代码也就是所说的字节码,就可以在多种平台运行。一.运行时数据区域程序计数器 ...原创 2020-06-23 17:07:53 · 916 阅读 · 2 评论 -
一文带你全方位(架构,原理及代码实现)了解Flink(3.2W字建议收藏)
注:最底部有PDF目录一 flink简介1.1 什么是flinkApache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行。1.2 flink特点 批流统一 支持高吞吐、低延迟、高性能的流处 支持带有事件...原创 2021-09-12 13:32:20 · 3277 阅读 · 7 评论 -
一文带你全方位(架构,原理及代码实现)了解Flink(3.2W字建议收藏)
注:最底部有PDF目录一 flink简介1.1 什么是flinkApache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行。1.2 flink特点 批流统一 支持高吞吐、低延迟、高性能的流处 支持带有事件...原创 2021-02-03 19:54:57 · 2669 阅读 · 0 评论 -
Flink Kafka读取数据并写入Redis实现Exactly-Once
pom.xml<!--Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements. See the NOTICE filedistributed with this work for additional informationregarding copyright ownership. The ASF licenses this fileto yo原创 2020-06-02 23:24:33 · 2108 阅读 · 0 评论 -
Flink异步IO之Mysql
<!--Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements. See the NOTICE filedistributed with this work for additional informationregarding copyright ownership. The ASF licenses this fileto you under t.原创 2020-06-01 13:49:02 · 1279 阅读 · 0 评论 -
Flink异步IO之HttpClient
官方示例:// This example implements the asynchronous request and callback with Futures that have the// interface of Java 8's futures (which is the same one followed by Flink's Future)/** * An implementation of the 'AsyncFunction' that sends request...原创 2020-05-31 23:34:36 · 2293 阅读 · 1 评论 -
使用RichMapFunction关联维度数据
package org.myorg.quickstart;public class OrderBean { public String province; public String city; public double money; public OrderBean() { } public OrderBean(String province, String city, double money) { this.province .原创 2020-05-31 21:50:39 · 1633 阅读 · 0 评论 -
flink提取时间戳并指定使用eventTime
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //指定使用eventTime env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); //1590894238,江西,高安,100 //仅提取时间字段,不改变数据样式.原创 2020-05-31 11:04:59 · 5025 阅读 · 0 评论 -
Flink task和subTask
概念:Task(任务):Task 是一个阶段多个功能相同 subTask 的集合,类似于 Spark 中的 TaskSet。 subTask(子任务):subTask 是 Flink 中任务最小执行单元,是一个 Java 类的实例,这个 Java 类中有属性和方法,完成具体的计算逻辑。 Operator Chains(算子链):没有 shuffle 的多个算子合并在一个 subTask 中,就形成了 Operator Chains,类似于 Spark 中的 Pipeline。 Slot(插槽):F原创 2020-05-31 07:36:31 · 4077 阅读 · 1 评论 -
KeyBy自定义Bean
如果数据非常复杂,Tuple25还是不能装下的话,需要自定义bean(keyBy也可以根据2个或者多个字段进行分组)package org.myorg.quickstart;public class OrderBean { public String province; public String city; public double money; public OrderBean() { } public OrderBean(String原创 2020-05-30 20:05:06 · 269 阅读 · 0 评论 -
flink checkpoint杂谈
Flink的 Checkpoint 默认是关闭的,当Flink程序的checkpoint被激活时,状态会被持久化到checkpoint,以防止数据丢失和无缝恢复。状态在内部如何组织和它们如何以及在哪持久化,依赖于所选的状态后端。 Flink默认状态是存储在 JM(JobManager)的 JVM内存中,当然也可以存储在远程文件系统如HDFS,只有将状态的快照持久化的...原创 2020-05-07 14:24:44 · 1691 阅读 · 0 评论 -
Flink初体验
https://ci.apache.org/projects/flink/flink-docs-release-1.7/1.Flink简介1.1 什么是FlinkApache Flink 是⼀个分布式⼤数据处理引擎,可对有限数据流和⽆限数据流进⾏有状态计算。可部署在各种集群环境,对各种⼤⼩的数据规模进⾏快速计算。1.2 Flink的历史早在 2008 年,Flink 的前身...原创 2019-03-06 23:11:50 · 1098 阅读 · 0 评论 -
Flink(window time watermark)
https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/stream/operators/windows.html1 Time与Window1.1 Flink中涉及的时间Event Time:是事件创建的时间。它通常由事件中的时间戳描述,例如采集的日志数据中,每⼀条⽇志都会记录⾃己的生成时间,Flink通过时间...原创 2019-04-01 17:37:55 · 1288 阅读 · 0 评论