![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 55
我家小宝_朱朱
这个作者很懒,什么都没留下…
展开
-
Kafka消息保留机制
运行机制生产者保存到broker中的消息,会保存在本地的logs/__consumer_offsets-xx/00000000000000000000.log文件中。默认情况,这些文件不会永久保留,当超过了保留时间或体积后,kafka会对这些文件进行删除。首先,根据log.retention条件判断,以segment为单位,判断该segment是否为可删除。如果满足条件,将其标记为可删除。并且在日志文件cleaner-offset-checkpoint中记录当前清理到的位置。由组件Lo转载 2022-04-23 14:47:22 · 4009 阅读 · 0 评论 -
SpringBoot+Kafka实现单条或批量消费
配置文件# application.ymlspring: kafka: bootstrap-servers: 192.168.1.117:9092 producer: # 重试次数 retries: 3 # 批量发送的消息数量 batch-size: 16384 # 32MB的批处理缓冲区 buffer-memory转载 2021-11-24 22:52:59 · 2580 阅读 · 0 评论 -
kafka 消息过大
org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept.意思是生产者发送的消息过大,大于broker的配置查看相关资料后,发现 Broker 端对 Producer 发送过来的消息也有一定的大小限制,这个参数叫 message.max.bytes,这个参数决定了 B..转载 2021-11-22 21:07:08 · 6218 阅读 · 0 评论 -
Spring Boot 整合kafka
1. 引入kafka依赖<dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <!-- 引入 Spring-Kafka 依赖 --> <dependenc转载 2021-11-22 20:45:10 · 579 阅读 · 0 评论 -
kafka可视化客户端工具(Kafka Tool)
下载地址:http://www.kafkatool.com/download.html改成:或者:转载 2021-11-22 20:23:06 · 442 阅读 · 0 评论 -
kafka 命令执行报错汇总
kafka-topics.sh --create --zookeeper 10.x:2181,10.x:2181,10.x:2181 --replication-factor 1 --partitions 1 --topic wxdtest首先我们看错误信息“1 larger than available brokers: 0”,意思是至少有一个brokers.也就是说并没有有效的brokers可以用。所以第一步你需要检查你是否已经创建了brokers,并且保证kafka已经启动。..转载 2021-02-23 16:50:13 · 894 阅读 · 0 评论 -
kafka主要配置
下表列举了部分重要的配置参数,更多配置请参考官网broker配置参数参数 默认值 描述 broker.id -1 每一个boker都有一个唯一的id作为它们的名字。当该服务器的IP地址发生改变时,broker.id没有变化,则不会影响consumers的消息情况 port 9092 broker server服务端口 host.name ...转载 2018-10-20 11:07:11 · 162 阅读 · 0 评论 -
Kafka数据清理
https://www.cnblogs.com/moonandstar08/p/6204581.html 由于项目原因,最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用,需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志,中间关联的很多东西需要手动同时去清理,否则可能会导致删除后客户端无法消费的情况。在通过...转载 2018-10-17 11:11:18 · 1069 阅读 · 0 评论 -
springboot集成kafka发消息报Exception thrown when sending a message with key= and payload=‘1‘ to topic test
本地环境 springboot集成kafka发消息报错Exception thrown when sending a message with key='' and payload='1' to topic testorg.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for test-0 due to 30...原创 2018-10-19 17:15:03 · 6951 阅读 · 3 评论 -
kafka 常用命令
https://blog.xiaoxiaomo.com/2016/05/13/Kafka-%E5%88%86%E5%B8%83%E5%BC%8F%E6%B6%88%E6%81%AF%E9%98%9F%E5%88%97/https://www.zhangluya.com/?p=360以下命令中localhost 都建议改成ip,否则查问题查半天啊...消费者组理解:很多consum...转载 2018-10-16 19:16:11 · 1778 阅读 · 0 评论 -
kafka 集群部署
https://www.zhangluya.com/?p=360https://blog.csdn.net/congcong68/article/details/72594067kafka是一个消息队列服务器,服务称为broker, 消息发送者称为producer, 消息接收者称为consumer;通常我们部署多个broker以提供高可用性的消息服务集群.典型的是3个broker;消...转载 2018-10-16 16:54:10 · 596 阅读 · 0 评论 -
kafka-理论
https://blog.csdn.net/congcong68/article/details/71915679http://blog.jbomo.com/articles/2018/02/26/1519630193390.htmlKafka官方介绍:Kafka是一个分布式的流处理平台(0.10.x版本),在kafka0.8.x版本的时候,kafka主要是作为一个分布式的、可分区的、具有...转载 2018-10-16 16:35:44 · 162 阅读 · 0 评论