如何在Apache Flink中管理RocksDB内存大小

原文:https://www.ververica.com/blog/manage-rocksdb-memory-size-apache-flink 翻译:zhangjun,英语水平不太好,如有问题,请大家不吝赐教 这篇博文描述了一些配置选项,可以帮助我们有效地管理Apache Flink中Rock...

2019-03-29 10:21:16

阅读数 605

评论数 0

flink源码解析之任务执行流程

LocalStreamEnvironment#execute MiniCluster#executeJobBlocking -> MiniCluster#submitJob dispatcherGateway.submitJob(jobGraph, rpcTimeout) Dispa...

2019-04-01 11:45:13

阅读数 195

评论数 0

flink源码解析系列之JobGraph的生成

flink源码解析系列之JobGraph的生成

2019-03-27 13:39:00

阅读数 44

评论数 0

flink源码解析系列之StreamGraph的生成

文章目录StreamGraph简介StreamEdgeStreamNodeStreamOperator StreamGraph简介 StreamEdge StreamNode StreamOperator

2019-03-27 13:35:13

阅读数 42

评论数 0

Kafka设计解析 - Exactly Once语义与事务机制原理

本文转发自技术世界,原文链接 http://www.jasongj.com/kafka/transaction/ 写在前面的话 本文所有Kafka原理性的描述除特殊说明外均基于Kafka 1.0.0版本。 为什么要提供事务机制 Kafka事务机制的实现主要是为了支持 Exactly O...

2019-03-11 13:55:16

阅读数 32

评论数 0

大数据开源组件图谱

转载自:https://blog.csdn.net/u010039929/article/details/70157376 文件系统 数据存储 内存技术 数据搜集 消息系统 数据处理 查询引擎 分析和报告工具 调度与管理服务 机器学习 开发平台 文件系统       HDFS Hadoop...

2019-02-27 15:18:14

阅读数 374

评论数 0

Flink 轻量级异步快照 ABS 实现原理

转载自:http://www.whitewood.me/2018/05/13/Flink-%E8%BD%BB%E9%87%8F%E7%BA%A7%E5%BC%82%E6%AD%A5%E5%BF%AB%E7%85%A7-ABS-%E5%AE%9E%E7%8E%B0%E5%8E%9F%E7%90%86...

2019-02-19 15:40:06

阅读数 228

评论数 0

Flink Exactly-Once 投递实现浅析

  转载自:http://www.whitewood.me/2018/10/16/Flink-Exactly-Once-%E6%8A%95%E9%80%92%E5%AE%9E%E7%8E%B0%E6%B5%85%E6%9E%90/ 随着近来越来越多的业务迁移到 Flink 上,对 Flink ...

2019-02-18 10:13:08

阅读数 396

评论数 0

Flink 原理与实现:架构和拓扑概览

转载自:http://wuchong.me/blog/2016/05/03/flink-internals-overview/   架构 要了解一个系统,一般都是从架构开始。我们关心的问题是:系统部署成功后各个节点都启动了哪些服务,各个服务之间又是怎么交互和协调的。下方是 Flink 集群启...

2019-02-15 14:06:16

阅读数 147

评论数 0

flink小例子之side output 、table、sql、多sink的使用

前沿 这个小例子主要介绍了flink side output 、table、sql、多sink的使用,从一个源消费流数据,然后主流数据存入hdfs,从主流数据引出side output数据,对侧输出数据进行处理,按一秒的窗口计算出pv,平均响应时间,错误率(status不等于200的占比)等,然后...

2019-02-01 10:55:57

阅读数 1350

评论数 0

flink源码解析之系统启动和job提交

文章目录前沿入口启动flink集群开始执行用户job集群接收用户job 前沿 flink on yarn 主要有两种部署方式 1.on session 2.单独任务 我们主要讲一些第二种单独提交到yarn的任务,这种方式下提交任务的流程。 具体的可参考 https://ci.apache.org/...

2019-01-26 20:00:38

阅读数 292

评论数 0

flink cep 案例之机架温度监控报警

记录下需要学习的相关知识点 1.watermark原理,设置水印的方法,分布式情况下水印的处理 2.分布式快照算法 3.window 4.自定义udf 5.sql、table 6.异步io 7.机器学习 8.流处理和批处理的api 9.checkpoint,savepoint 10.flink执行...

2018-12-04 14:55:49

阅读数 285

评论数 0

impala 源码级别优化

impala整体架构 创建分析函数 编写udaf函数 添加参数,支持over 修改源码支持参数 优化分析函数排序 整体执行流程 整体类图 执行sql 生成的执行计划: 流程分析 执行计划查询,找出瓶颈 be端执行优化,全排序改成预排序+归并排序 计算hdfs的扫描范围 具体流程 be初...

2018-05-03 15:49:14

阅读数 679

评论数 1

如何正确地写出单例模式

引用:http://wuchong.me/blog/2014/08/28/how-to-correctly-write-singleton-pattern/单例模式算是设计模式中最容易理解,也是最容易手写代码的模式了吧。但是其中的坑却不少,所以也常作为面试题来考。本文主要对几种单例写法的整理,并分...

2018-01-20 13:32:56

阅读数 172

评论数 0

最新版azkaban-3.40.0源码解析

web上传zip以及解析入库 手工执行flow 定时执行flow execserver执行流程 提交flow 具体执行逻辑 具体job的执行web上传zip以及解析入库web服务上传zip包入口:azkaban.webapp.servlet.LoginAbstractAzkabanServlet....

2018-01-18 17:55:30

阅读数 1016

评论数 0

RocketMQ与Kafka对比(18项差异)

转载 https://www.cnblogs.com/BYRans/p/6100653.html RocketMQ与Kafka对比(18项差异) RocketMQ与Kafka对比(18项差异) 原文链接:https://github.com/alibaba/Roc...

2017-10-28 12:19:04

阅读数 297

评论数 0

Kafka 0.11.0.0 是如何实现 Exactly-once 语义的

转自http://www.jianshu.com/p/5d889a67dcd3 Kafka 0.11.0.0 是如何实现 Exactly-once 语义的

2017-10-12 18:25:22

阅读数 5135

评论数 2

Java 8 特性

转自 http://ifeve.com/java-8-features-tutorial/Java 8 特性 – 终极手册 原文链接,原文作者:Andrey Redko ,译者:Justin,校对:郭蕾 1.简介 毫无疑问,Java 8是自Java  5(2004年)发布...

2017-10-12 18:19:47

阅读数 244

评论数 0

Java 8 中的 Streams API 详解

转自https://www.ibm.com/developerworks/cn/java/j-lo-java8streamapi/ Java 8 中的 Streams API 详解 Streams 的背景,以及 Java 8 中的使用详解 陈 争云, 占 宇剑, 和 司 磊 201...

2017-10-12 16:57:26

阅读数 190

评论数 0

阿里云开源离线同步工具DataX3.0介绍

文章转自 https://github.com/alibaba/DataX/wiki/DataX-Introduction 阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具,致力于实现包括关系...

2017-10-12 15:13:42

阅读数 465

评论数 0

提示
确定要删除当前文章?
取消 删除