KAFKA
玉羽凌风
这个作者很懒,什么都没留下…
展开
-
acks参数对消息持久化的影响
(0)写在前面 面试大厂时,一旦简历上写了Kafka,几乎必然会被问到一个问题:说说acks参数对消息持久化的影响? 这个acks参数在kafka的使用中,是非常核心以及关键的一个参数,决定了很多东西。 所以无论是为了面试还是实际项目使用,大家都值得看一下这篇文章对Kafka的acks参数的分析,以及背后的原理。 (1)如何保证宕机的时候数据不丢失? 如果要想理解这个acks参数的含义,首先就得搞明白kafka的高可用架构原理。 比如下面的图里就是表明了对于每一个Topi转载 2020-10-20 23:03:00 · 613 阅读 · 0 评论 -
Kafka参数调优实战
目录1、背景引入:很多同学看不懂Kafka参数2、一段Kafka生产端的示例代码3、内存缓冲的大小4、多少数据打包为一个Batch合适?5、要是一个Batch迟迟无法凑满咋办?6、最大请求大小7、重试机制8、持久化机制1、背景引入:很多同学看不懂kafka参数今天给大家聊一个很有意思的话题,大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。而在使用Kafka的客户端编写代码与服务器交互的时候,是需要对客户端设置很多的参数的。所以我就见过很多年转载 2020-10-20 23:02:08 · 457 阅读 · 0 评论 -
详细解析kafka之kafka分区和副本
本篇主要介绍kafka的分区和副本,因为这两者是有些关联的,所以就放在一起来讲了,后面顺便会给出一些对应的配置以及具体的实现代码,以供参考~1.kafka分区机制分区机制是kafka实现高吞吐的秘密武器,但这个武器用得不好的话也容易出问题,今天主要就来介绍分区的机制以及相关的部分配置。首先,从数据组织形式来说,kafka有三层形式,kafka有多个主题,每个主题有多个分区,每个分区又有多条消息。而每个分区可以分布到不同的机器上,这样一来,从服务端来说,分区可以实现高伸缩性,以及负载均衡,动态转载 2020-10-16 23:02:26 · 1971 阅读 · 1 评论 -
如何确定Kafka的分区数、key和consumer线程数
在Kafak中国社区的qq群中,这个问题被提及的比例是相当高的,这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。怎么确定分区数? “我应该选择几个分区?”——如果你在Kafka中国社区的群里,这样的问题你会经常碰到的。不过有些遗憾的是,我们似乎并没有很权威的答案能够解答这样的问题。其实这也不奇怪,毕竟这样的问题通常都是没有固定答案的。Kafka官网上标榜自己是"high-throughput distributed mes...转载 2020-10-14 09:41:16 · 1682 阅读 · 0 评论 -
windows 单机 zookeeper+kafka配置
Windows单机配置Zookeeper环境首先要确保机器已经安装好java环境,并且配置好环境变量http://apache.fayea.com/zookeeper/current/下载后,解压缩到硬盘,我这里解压到了 D:\WorkSoftware\zookeeper_3.4.9解压缩在 D:\WorkSo转载 2017-09-26 22:33:05 · 487 阅读 · 0 评论 -
Spark Streaming对Exactly Once的实现原理
Exactly Once实现的整体性首先一个很重要的道理是: 整个系统对exactly once的保证,从来都不是靠系统中某一部分来实现就能搞定的,需要整个流式系统一起努力才可以实现。对Spark Streaming来说, Exactly once的实现,需要系统中三部分的整体保证: 输入源 --> Spark Streaming计算 ---> 输出操作 "...转载 2019-01-07 22:42:06 · 568 阅读 · 0 评论 -
Spark Streaming与Kafka如何保证数据零丢失
Spark Streaming 是一种构建在 Spark 上的实时计算框架,它扩展了 Spark 处理大规模流式数据的能力。Spark Streaming 的优势在于:能运行在1000+的结点上,并达到秒级延迟。使用基于内存的 Spark 作为执行引擎,具有高效和容错的特性。能集成 Spark 的批处理和交互查询。为实现复杂的算法提供和批处理类似的简单接口。为此,Spark S...转载 2019-04-18 21:32:57 · 1259 阅读 · 0 评论 -
Optimizing Spark Streaming applications reading data from Apache Kafka
Spark Streaming is one of the most widely used frameworks for real time processing in the world with Apache Flink, Apache Storm and Kafka Streams. However, when compared to the others, Spark Streaming...转载 2019-05-24 22:50:18 · 276 阅读 · 0 评论 -
Kafka生产者发送消息的三种方式
Kafka发送消息主要有三种方式:1.发送并忘记 2.同步发送 3.异步发送+回调函数方式一:发送并忘记(不关心消息是否正常到达,对返回结果不做任何判断处理)发送并忘记的方式本质上也是一种异步的方式,只是它不会获取消息发送的返回结果,这种方式的吞吐量是最高的,但是无法保证消息的可靠性方式二:同步发送(通过get方法等待Kafka的响应,判断消息是否发送成功)以同步的方式发送消息时,一条...原创 2019-06-06 05:53:47 · 8192 阅读 · 0 评论