Debezium报错处理系列之第105篇：WARN Database schema history topic option ‘retention.bytes‘ should be ‘-1‘ but

已于 2024-06-25 17:18:35 修改
阅读量28 收藏
点赞数
分类专栏： debezium 文章标签： Debezium
于 2024-06-25 17:15:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/139964032
版权
debezium 专栏收录该内容
319 篇文章 293 订阅 ¥99.90 ¥99.00
订阅专栏

Debezium报错处理系列之第105篇：WARN Database schema history topic 'history-debezium-prod-optics_prod_realtime_prod_rt' option 'retention.bytes' should be '-1' but is '1073741824'

Debezium从入门到精通系列之：研究Debezium技术遇到的各种错误解决方法汇总：

在这里插入图片描述
更多Debezium技术请参考博主Debezium技术专栏：

一、完整报错

  • [2024-06-24 16:52:47,478] WARN Database schema history topic ‘history-debezium-prod-optics_prod_realtime_prod_rt’ option ‘retention.bytes’ should be ‘-1’ but is ‘1073741824’ (io.debezium.storage.kafka.history.KafkaSchemaHistory)

二、错误原因

  • history topic中的数据要永久报错，其实已经设置了retention.ms=-1，但是还提示要设置retention.bytes = -1

三、解决方法</

了解本专栏 订阅专栏 解锁全文
最笨的羊羊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Spring Boot入门教程(四):配置文件
人不风流枉少年
03-20 4007
配置方式 每个starter都有自己默认的配置，如果需要改变默认值，可以在其他地方配置来覆盖掉默认的值，覆盖默认的配置有多种方式，每种方式的优先级也不同，如果在多个地方配置则优先使用优先级高的值，其中命令行参数优先级最高, 其中大部分参数一般都配置在属性文件application.properties中，属性文件即可以覆盖starter中默认的值，也可以自定义值 在命令行行输入的参数 SPR...
hadoop-zookeeper-hive-flume-kafka-hbase集群，解决登录报错，Cli.sh启动失败，Error: java.lang.UnsupportedClassVersion
cevent的博客
06-29 6444
1.克隆虚拟机之前清理垃圾 [root@hadoop201 ~]# rm -rf anaconda-ks.cfg install.log install.log.syslog 2.选中“克隆虚拟机”：“右键→管理→克隆” 弹窗 操作 1 下一步 2 克隆自：虚拟机中的当前状态 3 创建完整克隆 4 虚拟机命名，选择存储位置 5 完成 3.配置IP 3.1获取地址：vi /etc/udev/rules.d/70-persistent-net.rules 删除第一个eth0，
Spring-Boot (二) application.properties配置文件内容
热门推荐
t0m的专栏
11-10 7万+
Spring-Boot官方开发指导文档 默认创建spring-boot项目后，会在resources目录下生成一个空的application.properties配置文件，springboot启动时加载该配置文件。 application.properties(或者application.yml)中包含系统属性、环境变量、命令参数这类信息。 下面简要说一部分spring-boot项目中a
##【Spring-Boot 2.3.1】 application.properties配置详解 ##
zzhongcy的专栏
08-22 2645
Spring-Boot官方开发指导文档：https://docs.spring.io/spring-boot/docs/current-SNAPSHOT/reference/htmlsingle/ 默认创建spring-boot项目后，会在resources目录下生成一个空的application.properties配置文件，springboot启动时加载该配置文件。 applicat...
SpringBoot基础篇配置信息之默认配置
weixin_33709364的博客
10-14 770
2019独角兽企业重金招聘Python工程师标准>>> ...
CDC框架之Debezium使用
w757227129的博客
11-22 3445
CDC框架之Debezium 简介 Debezium 是一组分布式服务，用于捕获数据库中的更改，以便您的应用程序可以看到这些更改并对其做出响应。Debezium 在更改事件流中记录每个数据库表中的所有行级更改，应用程序只需读取这些流以查看更改事件发生的相同顺序。 Debezium 构建在Apache Kafka之上，并提供与Kafka Connect兼容的连接器，用于监控特定的数据库管理系统。Debezium 在 Kafka 日志中记录数据更改的历史记录，从您的应用程序使用它们的位置。这使您的应用程序可以轻
spring-boot2.x Application properties属性配置
weixin_30740295的博客
07-13 287
# =================================================================== # COMMON SPRING BOOT PROPERTIES # # This sample file is provided as a guideline. Do NOT copy it in its # entirety to your ow...
WSL2-Ubuntu18.04 Linux环境下部署大数据开发测试环境
你的世界是你创造的结果
06-18 7632
目录hadoop3.2.1+Hive3.1.2+HBase2.2.4+Phoenix5.0.0+Zookeeper3.6.1+Kylin3.0.2+Kafka2.5.0+Scala2.12+Spark3.0.0+Flink1.10.1+Tez0.10.1 ...Windows子系统WSL 2 部署与应用系统设置初始化部分Mysql 安装部署配置部分WSL 下初始化服务安装部署JavaHadoop 3.2.1Hive 3.1.2HBase 2.2.4Phoenix 5.0.0Zookeeper 3.6.1Ky
Spring-boot配置文件属性大全（2.0.5版本）
一叶知春秋
09-25 2524
# =================================================================== # COMMON SPRING BOOT PROPERTIES # # This sample file is provided as a guideline. Do NOT copy it in its # entirety to your own app...
Hadoop 启动WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using
01-09
搭建hadoop 环境时遇到启动异常告警问题 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable” 上来不多说，百度收集些相关...
PythonSuperMario:python编写的SuperMarioBros游戏（支持1-1至1-4级）
05-10
支持四个级别：1-1至1-4级 支持进入管道 使用json文件存储关卡数据（例如敌人，砖块，盒子和管道的位置） 在1-3和1-4级中添加新敌人 在1-2级添加滑块 要求 Python 3.7 Python-Pygame 1.9 如何开始游戏 $ python ...
kafka调试中遇到Connection to node -1 could not be established. Broker may not be available.
10-16
主要介绍了kafka调试中遇到Connection to node -1 could not be established. Broker may not be available的解决方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
log4j:WARN No appenders could be found for logger (org.springframework.context.s
04-22
NULL 博文链接：https://wait7758521.iteye.com/blog/1933964
tomcat-juli.jar和tomcat-juli-adapters.jar
06-23
为了使这些框架能与Tomcat的JULI日志系统协同工作，`tomcat-juli-adapters.jar`提供了适配器，使得第三方日志库的输出可以被JULI捕获和处理。通过这种方式，开发者可以在不修改原有日志配置的情况下，利用Tomcat的...
Debezium报错处理系列三：Access denied； you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)
zhengzaifeidelushang的博客
12-29 5649
Debezium报错处理系列三：Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s) 一、debezium报错 Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)) 二、报错产生原因 数据库账号没有复制binlog权限 三、解决方法 数据库账号添加权限 给账号opt
debezium系列之：理解database.server.name和database.history.kafka.topic
zhengzaifeidelushang的博客
01-25 5251
debezium系列之：理解database.server.name和database.history.kafka.topic debezium捕获数据库表结构更改事件，并把这些事件写入到kafka名称为database.server.name的topic中。 topic消息包括： ddl：提供导致架构更改的 SQL CREATE、ALTER 或 DROP 语句。 databaseName：应用 DDL 语句的数据库的名称。 databaseName 的值用作消息键。 pos：语句出现在 binlog 中
Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl
zhengzaifeidelushang的博客
04-25 4033
Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl一、安装部署Kafka集群二、安装debezium三、修改kafka connect-distributed.properties四、手动启动kafka connect五、把debezium服务托管到systemctl 一、安装部署Kafka集群 CentOS7搭建Kafka2.7分布式集群 二、安装debezium Debezium下载地址：https://debezium.io/releases/
Debezium报错处理系列一：The db history topic is missing.
zhengzaifeidelushang的博客
12-21 3650
Debezium报错处理系列一：The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_RECOVERY debezium报错： The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_
023-06-11 16:34:45,697 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead 2023-06-11 16:34:45,697 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 1.8697 seconds (0 bytes/sec) 2023-06-11 16:34:45,698 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead 2023-06-11 16:34:45,698 INFO mapreduce.ExportJobBase: Exported 0 records. 2023-06-11 16:34:45,699 ERROR tool.ExportTool: Error during export: Export job failed!
最新发布
06-12
这段日志的信息表明在执行一个MapReduce任务时，任务失败了。具体而言，这个任务是一个导出作业（Export Job），它把数据从一个Hadoop集群导出到另一个集群。这个任务在执行时遇到了一些问题，导致它失败了。 另外，这段日志中还包含了一些警告信息，告诉你一些计数器（Counters）已经被弃用了，应该使用新的计数器来代替。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值