Kafka-心得
Kafka-心得
差池-BJ
1:高性能,高并发
2:技术原理
展开
-
Win10 telent VMware 安装的Centos7 9092端口不通
用VMware 安装CentOS7后,在win10系统里面,ping IP地址是通的,但是 telnet ip+socket 确不通,查了各种资料终于搞定,其实只需要做四件事情:第一:开放端口9092命令:firewall-cmd --zone=public --add-port=9092/tcp --permanent,第二:防火墙重新加载命令:firewall-cmd --reload一般的文章只会说上面这两个操作,但是还有两个操作非常重要,就是配置kafka的serve.propertie原创 2020-06-19 21:19:51 · 1828 阅读 · 2 评论 -
kafka可靠的数据传递---在可靠的系统里使用生产者
作为消息中间件,kafka为了保证消息传递的可靠性,做了很多工作,今天分享这几方面:可靠性保证,复制,broker配置,在可靠的系统里使用生产者。一.可靠性保证为了保证kafka整个系统的可靠性,kafka做了如下几方面的工作:1:Kafka可以保证分区消息的顺序,如果使用同一个生产者往同一个分区写入消息,而且消息B在消息A之后写入,那么Kafka可以保证消息B的偏移量比消息A的偏移量大,而且消费者先读取消费者A再读取消费者B2:只有当消息被写入分区的所有同步副本时,它才被认为是“已提交”的。3:原创 2020-05-31 20:04:51 · 149 阅读 · 0 评论 -
深入kafka(二)分区分配
本篇文章介绍kafka的物理存储、分区分配、文件管理、文件格式、索引、清理文件、删除事件和清理主题。一.物理存储分区是kafka的基本存储单元,分区无法在多个broker间进行再细分,也无法在同一个broker的多个磁盘上进行再细分。二.分区分配1:分区分配策略:broker间平均分配分区副本 ;确保每个分区的每个副本分布在不同的broker上;如果为broker指定了机架信息,那么尽可能把分区的副本分配到不同的机架的broker上;2:假设存在5个主题,复制系数为3,broker个数为原创 2020-05-24 15:16:35 · 307 阅读 · 0 评论 -
深入kafka(一)处理请求
本篇文章将深入kafka,介绍集群成员关系、控制器、复制和处理请求等相关内容。一.集群成员关系介绍集群成员关系前,我们要清楚集群包含哪些成员,所有关系都是围绕这几个成员展开的:1.成员:包含broker、zookeeper和kafka组件。2.关系:broker启动的时候,它通过创建临时节点把自己的ID注册到zookeeperkafka组件订阅zookeeper的/brokers/ids路径,当有broker加入或退出集群时,它就会收到通知kafka组件在broker服务器上安装。二.控原创 2020-05-17 18:30:12 · 300 阅读 · 0 评论 -
揭秘kafka消费者三(再均衡监控器)
本篇文章介绍:再均衡监控器,从特定偏移量处开始处理记录,退出,反序列化器,独立消费者。再均衡监控器将在如下几个方面介绍在均衡监控器:定义:监听失去分区所有权或获取分区所有权;方案:通过subscribe()方法进行监听。参数:ConsumerRebalanceListener实例;ConsumerRebalanceListener:需要实现两个方法3.1:onPartitionsRevoked:在再均衡开始之前和消费者停止读取消息之后被调用,用来提交偏移量;3.2:onPartitionsA原创 2020-05-10 17:06:41 · 224 阅读 · 0 评论 -
揭秘kafka消费者二(提交和偏移量)
提交和偏移量本文介绍kafka消费者非常重要的内容-提交和偏移量,介绍前,我们先弄清楚两个基本概念和面临的问题:一:基本概念提交:把更新分区当前位置的操作叫做提交。消费者偏移量:保存已经处理的每个分区的偏移量。二:面临的问题消息被重复处理:提交的偏移量小于客户端处理的最后一个消息的偏移量,那么处于两个偏移量之间的消息就会被重复处理。消息丢失:如果提交的偏移量大于客户端处...原创 2020-04-25 23:47:21 · 473 阅读 · 0 评论 -
揭秘kafka消费者(一)
由于消费者涉及的内容比较多,所以分成三个部分介绍,先介绍第一部分,包含:消费者概述,创建kafka消费者,订阅主题,轮询,消费者配置。消费者概述1:我们需要明确两个概念:1.1:消费者:向kafka订阅主题,并接受消息。1.2:消费者群组:消费者的逻辑分组,分组内的消费者订阅的是同一个主题,每个消费者接收主题一部分分区的消息。1.3:下面几张图片展示了消费者接收分区消息的五种情况:...原创 2020-04-12 21:29:29 · 184 阅读 · 0 评论 -
揭秘kafka生产者
本篇介绍kafka生产者。生产者概述1:生产者:向kafka写入消息。2:要明确以下定义:2.1:记录对象:包括 主题、分区、键、值等等。2.2:序列化器:将键和值序列化为字节数组。2.3:分区器:根据键来选择分区,并将记录添加到缓冲区。2.4:缓冲区:存储记录批次。2.5:发送线程:将记录批次发送到相应的broker。3:发送过程如下图所示:创建记录对象–》发送给序列化器–...原创 2020-03-29 11:36:55 · 137 阅读 · 0 评论 -
揭开kafka面纱
开门见山,从问题开始:面临的问题1:一个应用做了修改需要发布给多个应用,如下图:组织人事 做了修改,需要将消息发给多个应用,薪酬,招聘,accout,某一天还有另外一个应用还要接受消息,那么组织人事还得给那个应用发消息。这样需要额外的工作量,而且耦合性过高。解决方案1:通过发布和订阅来处理,如下图,这样 以后无论有多少个应用要接入 组织人事的消息,只需要自己订阅就可以了,如下图:k...原创 2020-03-25 22:26:34 · 108 阅读 · 0 评论