congge

kafka stream使用详解

Kafka Eagle安装与使用

kafka 分区分配及再平衡总结

kafka手动调整分区副本数

kafka 集群服役新节点

centos7搭建单机kafka集群

环境准备服务器提前安装docker以及docker-compose环境编写docker-compose.ymlversion: '3'services: zoo1: image: zookeeper:3.4.14 restart: unless-stopped hostname: zoo1 ports: - "2181:2181" c...

前言在上一篇，我们谈到了从生产者一端，kafka是基于何种策略，将消息推送到集群下topic的不同分区中，可以使用kafka自带的分区策略，也可以根据自身的业务定制消息推送的分区策略而从消费者一端来看，consumer连接到kafka集群之后，是基于什么样的分区策略进行消息消费的呢？kafka消息消费原理如上图所示，kafka的设计架构让它从开始就为分布式而生，上图是一个简单的消息消费示意图，我们知道，一个topic下可以设置多个分区，每隔分区又可以设置多个副本消费者从topic拉取消息的时候，

前言众所周知，kafka的topic具有分区的概念，生产者写入数据到kafka之后，涉及到数据到底写到哪个分区？常用的分区写入策略生产者写入消息到topic，Kafka将依据不同的策略将数据分配到不同的分区中，具体来说，kafka提供了几种常用的分区写入策略：轮询分区策略随机分区策略按key分区分配策略自定义分区策略下面就来具体看看各自分区写入策略的机制吧轮询策略kafka的默认的策略，也是使用最多的策略，可以最大限度保证所有消息平均分配到一个分区如果在生产消息时，key为nul

前言ACK机制是所有消息中间件必备的特新，kafka也不例外，ACK机制可以提醒使用者消息是否成功发送到broker我们知道，kafka的一个topic中，具体负责处理消息的是分区，一个分区可能存在多个副本，因此在producer端向broker发送消息时，ACK表示消息成功发送到分区后，broker返回给发端的一种可靠性机制producerACKs参数producer端的ACK机制和副本数量有着较为密切的关系，producer配置的acks参数了,acks参数表示当生产者生产消息的时候，写入到副

前言在使用kafka时，从消费端来说，基本上大家在使用的时候，一般是通过一个消息监听器监听具体的topic以及对应的partition，接收消息即可，但有必要深入了解一下关于kafka的offset原理kafka在设计上和其他的消息中间其中有一个不同点是，kafka中存在一个offset的概念，即偏移量，而这个偏移量是需要消费端进行记录的，即producer将消息发到broker上之后，当某个消费者订阅了这个topic之后，consumer需要自己记录每次的消费位置，以便下次知道从哪个位置开始消费消息，

前言在某些场景中，消费者组中不同的消费者需要从某个topic下的不同分区接收消息，并确保消息的有序性，或者producer端需要根据一定的业务规则对消息进行分类然后发送到不同的分区，然后不同的消费者就可以获取指定分区的消息了在上一篇中，我们讨论过如何在producer端将消息发送到指定的分区的两种实现方式，结合上面的需求，我们继续在此基础上实现消费端消费指定分区的消息代码流程说明1、创建测试topic提前在开启了kafka服务的虚拟机或服务器上创建一个名为 "zcy3"的topic，为3个分区，可

前言在使用kafka开发和运维的时候，经常需要进行一些常用的调试操作，比如创建topic，删除topic，测试从producer发消息给consumer等，这时可以使用kafka提供的常用的命令行工具进行操作，相比可视化工具某些时候可能更有效，下面将列出常用的操作操作命令方便后续运维使用时候查找1、kafka启动命令服务器上安装完zookeeper并配置好kafka的环境后，进入kafka的bin目录下可以看到，在该目录下保存了许多的以sh结尾的文件，就可以使用这些脚本文件完成对kafka的命令行

前言在实际使用中，我们可能需要对某个topic下不同的消息进行分类管理，比如确保消费的顺序性，在这种场景下，我们可以首先确保生产者发送消息到指定的分区即可本文的测试基于docker搭建的一个双节点的简单集群，有兴趣搭建的同学可参考我的另一篇博客1、创建一个名为second的topic在该topic下，有3个分区，两个副本$KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper zoo1:2181 --replication-factor 2 --pa

随着分布式，微服务越来越普遍，对开发的要求也在不断的增加，对架构的要求也提出了越来越多的要求，在那些分布式项目中，经常面临的一个问题就是，高效，解耦，举例来说，当一个小型电商网站越来越大的时候，单体架构必然满足不了日益增长的业务需求，就说当众多的流量一起涌入，你的下单接口怎么能够抗住成千上万的QPS呢？很显然，需要从架构上不断优化我们的项目结构，使用消息中间件对业务进行合理的拆分，使之模块化，不...

业务中需要使用到异步消息队列，为了快速搭建一个消息中间件，这里选了kafka，一方面是kafka搭建比较简单，而且这个中间件比较成熟，而且对于大数据量的消息支持很好，下面首先说说kafka的安装，我这里演示一下在linux上如何搭建kafka，1、首先安装zookeeper，kafka的启动需要依赖zookeeper，zookeeper安装比较简单，基本上就是上传压缩包，解压，然后启动即可，...