![](https://img-blog.csdnimg.cn/20200104204401265.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。
zhangvalue
在奋进的路上,大家都是独行者!
展开
-
Flink基础之流处理架构
目录前言:1、传统架构与流处理架构2、消息传输层和流处理层3、消息传输层的理想功能3.1、兼具高性能和持久性3.2、将生产者和消费者解耦4、支持微服务架构的流数据4.1、数据流作为中心数据源4.2、欺诈检测:流处理架构用例4.3、给开发人员带来的灵活性5、不限于实时应用程序6、流的跨地域复制前言: 作为新型系统,Flink 扩展了“...原创 2020-01-04 22:24:01 · 999 阅读 · 0 评论 -
Flink基础之为什么选择Flink
目录前言:1、连续事件处理的目标2、流处理技术的演变Lambda 架构概述:优势和局限性3、初探Flink批处理与流处理4、为什么选择Flink前言:我们渴望按照流的方式处理数据,但要做好很困难;随着大规模数据在各行各业中出现,难度越来越大。这是一个属于物理学范畴的难题:在大型 分布式系统中,数据一致性和对事件发生顺序的理解必然都是有限的。伴随着方法和技术的演化...原创 2020-01-04 21:52:12 · 688 阅读 · 0 评论 -
K-means聚类算法 Flink版本
Flink K-means算法的实现关于K-means聚类算法的介绍:https://zhangvalue.blog.csdn.net/article/details/102511274代码的github地址:https://github.com/zhangvalue/LearnFlink/tree/master/src/main/java/flink/kmeans/** * @...原创 2019-12-27 11:44:56 · 1149 阅读 · 1 评论 -
Flink常见算子
DataSet APIDataStream API和DataSet API的区别为DataStream输入为一个无限的流DataStream独有的API原创 2019-12-08 22:00:29 · 1221 阅读 · 1 评论 -
Flink分布式运行环境
Flink的基本架构Flink是基于Master-Slave风格的架构Flink集群启动时,会启动一个JobManager进程,至少一个TaskManager进程Flink架构示意图JobManagerFlink系统的协调者,负责接收FlinkJob,调度组成Job的多个Task的执行收集Job的状态信息,并管理Flink集群中从结点TaskManagerTaskM...原创 2019-12-08 21:41:46 · 276 阅读 · 0 评论 -
Flink基础概念&编程模型
Flink基础概念&编程模型Flink程序的基础构建模块是流(Streams)与转换(transformations)每一个数据流起始于一个或者多个source,并终止于一个或者多个sink下面是一个由Flink程序映射为Streaming Dataflow的示意图并行数据流示意图时间窗口:流上的聚合需要由窗口来划定范围,比如,计算过去的5分钟,或者最后10...原创 2019-12-08 21:30:13 · 439 阅读 · 0 评论 -
Flink对比Spark和Storm的优势
Flink本身带有的优势①、Flink支持高吞吐、低延迟、高性能的流处理②、Flink支持高度灵活的窗口(window)操作③、Flink支持有状态计算的exactly-once语义④、Flink提供DataStreamAPI和DataSetAPIFlink对比Spark、Storm在架构、容错...原创 2019-12-08 19:32:10 · 2592 阅读 · 0 评论 -
Flink组件栈
flink的组件栈包括deployment层、runtime层、API层、libraries层Flink组件栈中的Deployment层:主要涉及flink部署模式:本地、集群(Standlone/YARN)、云(GCE/EC2)Runtime层:runtime层提供支持flink计算的全部核心实现,比如:支持分布式stream处理、JobGraph到ExecutionGr...原创 2019-12-08 19:17:02 · 1516 阅读 · 0 评论 -
Flink1.8实现wordcount
之前已经记录了在Mac上安装Flink1.8https://blog.csdn.net/zhangvalue/article/details/931668951️⃣、开始创建一个项目名为flink_begin的maven项目2️⃣、pom.xml文件添加如下dependency:<dependencies> <dependency> ...原创 2019-06-21 10:52:16 · 1552 阅读 · 0 评论 -
java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream
进行flink的Wordcount的时候出现了java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/datastream/DataStream原因:是没有导入flink 的lib下的jar包在进入到project strucure中导入jar包即可再次重新启动就OK了...原创 2019-06-21 10:18:33 · 5302 阅读 · 0 评论 -
Mac安装Flink1.8
安装前查看java的版本号,推荐使用java8+安装flinkbrew install apache-flink查看安装flink信息brew info apache-flink看到flink安装到的位置及基本信息文件还是比较大的有320M ,其中要求Java1.8及以上启动flink进入web交互界面./libexec/bin/start-c...原创 2019-06-21 10:27:26 · 1815 阅读 · 0 评论