Kafka系列之：不重启kafka集群设置kafka topic数据保留时间

已于 2022-07-11 15:43:55 修改
阅读量2.1k 收藏 1
点赞数 1
分类专栏： 大数据 文章标签： Kafka系列 不重启kafka集群 kafka topic数据
于 2022-07-11 15:41:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/125722536
版权
大数据 专栏收录该内容
537 篇文章 549 订阅 ¥49.90 ¥99.00
订阅专栏
本文介绍了如何在不重启Kafka集群的情况下，通过bash命令设置Kafka topic的数据保留时间为3天，并详细阐述了查看删除日志、批量处理上千个topic的步骤，包括构建消费者、登录Kafka服务器、获取topic列表以及执行批量命令等操作。
摘要由CSDN通过智能技术生成

Kafka系列之：不重启kafka集群设置kafka topic数据保留时间

一、kafka topic数据保留3天的bash命令

/moudle/kafka/bin/kafka-configs.sh --zookeeper zk-001:2181/kafka 
--alter --entity-name debezium-prod-optics_prod_1h.optics_prod.optics-order 
--entity-type topics 
--add-config retention.ms=259200000

二、查看kafka删除数据日志

[2022-07-08 14:52:44,590] INFO Deleted time index /moudle/kafka/kafka-logs/debezium-prod-optics_prod_1h.optics_prod.insurance-2/00000000000000036299.timeindex.deleted. (kafka
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据
zhengzaifeidelushang的博客
02-08 784
Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据
配置Kafka消息保留时间
neweastsun的专栏
09-29 8315
本文探索了Apache Kafka消息基于时间的保留策略。通过创建简单的shell脚本来简化管理过程，接着我们创建了独立的消费者和生产者，以验证在保留期之后消息的过期场景。
kafka启动（使用kafka内置的Zookeeper和KRaft启动kafka）
最新发布
qq_46112274的博客
08-11 937
kafka启动（使用kafka内置的Zookeeper和KRaft启动kafka）
kafka设置某个topic的数据过期时间
热门推荐
Little_fxc的博客
08-05 2万+
kafka 单独设置某个topic的数据过期时间 kafka 默认存放7天的临时数据，如果遇到磁盘空间小，存放数据量大，可以设置缩短这个时间。 全局设置 修改 server.properties log.retention.hours=72 log.cleanup.policy=delete 单独对某一个topic设置过期时间 但如果只有某一个topic数据量过大。 想单独对这个topic的过期...
kafka修改日志保留时间参数（不用重启kafka）
天津托的博客
10-10 1万+
kafka-configs.sh –zookeeper localhost:2181 –entity-type topics –entity-name test –alter –add-config log.retention.hours=87600 kafka-configs.sh –zookeeper localhost:2181 –entity-type topics –entit
Kafka集群修改单个Topic数据保存周期
qq_32445015的博客
10-28 2351
在大数据部门经常使用Kafka集群，有的时候大数据部门可能在Kafka中的Topic数据保存时间不需要很长，一旦被消费后就不需要一直保留。默认Topic存储时间为7day，个别的Topic或者某台Kafka集群需要修改Topic数据保存的一个周期，调整为3天或者1天目前修改Topic 有两种方法以上两种方式均进行演示相关版本信息。
kafka中修改某个主题中数据的保留时间
King_S_H的博客
05-05 2124
但是有的时候我们需要对某一个主题的消息存留的时间进行变更，而不影响其他主题。且kafka集群不用重启。修改完成之后可以使用–describe查看是否修改成功。中默认消息的保留时间是7天，若想更改，需在配置文件。使得主题的留存时间保存为5天。
不停止kfaka服务的情况下修改kafka某个topic的数据保存时间
weixin_33690963的博客
05-22 334
./kafka-topics.sh --zookeeper zk1:2181 -topic topicname --alter --config retention.ms=86400 转载于:https://blog.51cto.com/haoyonghui/2119142
Kafka系列之：基于Apache Kafka Connect实现端到端topic数据字段级加密的详细方法
zhengzaifeidelushang的博客
07-09 1209
Kafka系列之：基于Apache Kafka Connect实现端到端topic数据字段级加密的详细方法
kafka系列之：使用python消费kafka Topic数据
zhengzaifeidelushang的博客
03-20 3031
kafka系列之：使用python消费kafka Topic数据一、创建kafka Consumer二、查看kafka集群所有Topic三、查看分区四、查看分区信息五、查看当前消费的Topic六、获取当前消费者可消费的偏移量七、获取当前Topic最大的偏移量八、获取当前kafka topic、分区和分区偏移量九、重置偏移量十、根据重置的偏移量消费数据十一、使用python消费kafka Topic数据完整详细注释代码 一、创建kafka Consumer kafkaBrokers = ["10.129.1
Kafka系列之：实现对Kafka集群的监控
zhengzaifeidelushang的博客
09-15 1116
Kafka系列之：实现对Kafka集群的监控
kafka修改对应topic的日志保存周期
别来沾边儿
11-17 1900
某些时候，当几个topic生产者突发产生大量消息时，会造成磁盘空间紧张，这时，除了增加磁盘，另一个方法就是修改配置文件，将日志的保存时间修改小一点，但这两种方案，都必须停机和重启kafka，显然，这在生产集群上，是不能这么处理的。修改后，新的配置会在 log.retention.check.interval.ms 时间内被检查并应用到整个集群，该值在 kafka/config/server.properties 中配置，默认为 300 秒。
kafka 命令行 生产消费数据，查看偏移量，修改偏移量，修改数据保留时间
ispringmw的博客
09-27 2万+
kafka 命令行 创建topic 查看topic详情 生产消费数据，查看偏移量，修改分区偏移量（多方法），修改分区数量 1.知识点 1）Topic相关：创建Topic、删除Topic、查看Topic列表、查看Topic详细信息 2）生产者相关：往某个Topic中生产数据 3）消费者相关：从某个Topic中消费数据 4）消费组（group）相关：查看消费者group、查看消费者消费情况（消费至那个offset/积压数据量多少） 5）修改topic下某个消费者（groupid）所有分区或某个分区的offse
【kafka-01数据保留时间设置】
笔生花的博客
01-30 667
某天突然发现我的kafka中group_id消费记录不见了，特地查了下咋回事。众所周知新版本的kafka group_id消费的offset记录已经不存储在zookeeper上了，而是存储在__consumer_offsets 这个kafka内部自己管理的topic中，这个topic有50个分区。毫无疑问估计是group_id offset存储也应该是有时间过期值的，于是专门查了查。需要两个参数结合，且最好配置的时间是一样的，下面是例子。
kafka指定topic设置消息留存时间
gaofeng的博客
05-25 2616
背景 单个主题消息量庞大，需要指定这个主题的消息留存时间缩小点 执行命令 ./bin/kafka-configs.sh --bootstrap-server node1:9092 --entity-type topics --entity-name gaofengTest --alter --add-config retention.ms=259200000 修改完等几分钟，这个主题的消息量就下来了 ...
线上Kafka集群如何调整消息存储时间
念念不忘，必有回响
11-04 1680
总的来说Kafka的配置分broker级别和Topic级别。如果我们要修改消息的存储时间，最好是通过修改Topic的存储时间来修改，因为不用重启broker。不过在部署Kafka集群的时候我们也建议设置合理的消息存储时间，避免每个Topic都要定制化配置，才能最大化利用磁盘，避免磁盘浪费其次从Kafka的这种配置设计来说，我们后续做技术设计的时候也可以采用这种优秀的方式，提供全局+局部的配置，局部配置优先级高于全局，其实如果开源软件使用的多的话，我们会发现大多开源软件的配置都采用这种设计思路。
Kafka数据保存时间
weixin_38011805的博客
09-06 5084
对所有topic起作用 log.retention.hours=72 log.cleanup.policy=delete 对指定topic起作用 ./kafka-config.sh --zookeeper localhost:2181 --alter --entity-name mytopic --entity_type topics --add-config retention.ms=86400000 手动删除指定topic的过期数据 ./kafka-topic.sh --zo.
修改kafka中某一主题的数据存留时间
lck_csdn的博客
11-16 3617
我们都知道，kafka中默认消息的保留时间是7天，若想更改，需在配置文件 server.properties里更改选项： log.retention.hours=168 但是有的时候我们需要对某一个主题的消息存留的时间进行变更，而不影响其他主题。且kafka集群不用重启 可以使用命令： ./kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name topicName --alter --add-config
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值