Debezium报错处理系列十二：Cannot enlarge string buffer containing 1073740820 bytes by 1704 more bytes.

已于 2022-08-16 14:04:08 修改
阅读量1.4k 收藏
点赞数 1
分类专栏： debezium 文章标签： Debezium Postgresql
于 2021-11-13 23:37:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/121312130
版权
debezium 专栏收录该内容
361 篇文章 330 订阅 ¥99.90 ¥299.90
订阅专栏
这篇博客详细介绍了在使用Debezium时遇到的'Cannot enlarge string buffer...'错误，分析了该错误是因为Postgresql逻辑复制过程中wal2json转换大量数据导致的。提供了解决方案，即通过切换到'wal2json-streaming'插件来避免此问题。
摘要由CSDN通过智能技术生成

Debezium报错处理系列十二：Cannot enlarge string buffer containing 1073740820 bytes by 1704 more bytes.\n 在位置：slot \"debezium\", output plugin \"wal2json

Debezium报错处理系列一：The db history topic is missing.
Debezium报错处理系列二：Make sure that the same history topic isn‘t shared by multiple connector instances.
Debezium报错处理系列三：Access denied； you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)
Debezium报错处理系列四：Caused by: java.net.SocketException: Connection reset

了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Debezium报错处理系列之第105篇：WARN Database schema history topic option ‘retention.bytes‘ should be ‘-1‘ but
zhengzaifeidelushang的博客
06-25 73
Debezium报错处理系列之第105篇：WARN Database schema history topic 'history-debezium-prod-optics_prod_realtime_prod_rt' option 'retention.bytes' should be '-1' but is '1073741824'
Debezium报错处理系列十：Could not find existing binlog information while attempting schema only recovery sna
zhengzaifeidelushang的博客
03-20 750
Debezium报错处理系列七:Could not find existing binlog information while attempting schema only recovery snashot一、debezium报错二、报错产生原因三、解决方法四、修改配置 一、debezium报错 Could not find existing binlog information while attempting schema only recovery snapshot 二、报错产生原因 binl
Postgresql 逻辑复制使用wal2json：out of memory Cannot enlarge string buffer containing 1073741785 bytes by
高矮
07-31 2688
out of memory Cannot enlarge string buffer containing 1073741785 bytes by 126 more bytes 逻辑复制时使用wal2json时会报如上错误，经定位，是由于逻辑复制在使用wal2json时，会将一次事物提交的所有数据转化为一条json，比如大批量删除数据，或一次提交的数据量很大，wal2json的日志格式如下： ...
String Buffer
aql4487的博客
09-15 130
StringBuffer 是可变的字符串对象，我们可以使用: String name = "zs"; StringBuffer sb = new StringBuffer(name);//字符串转为StringBuffer对象 String newStr = sb.toString();//StringBuffer对象转为String。 常用的方法： StringBuff...
Debezium系列之：基于wal2json_streaming插件实时处理postgresql数据库超大数据
zhengzaifeidelushang的博客
08-18 479
Debezium系列之：基于wal2json_streaming插件实时处理postgresql数据库超大数据
debezium报错处理系列八：DDL statement couldn‘t be parsed.
zhengzaifeidelushang的博客
01-24 2385
一、debezium报错 DDL statement couldn’t be parsed. Caused by: org.antlr.v4.runtime.NoViableAltException\n\tat org.antlr.v4.runtime.atn.ParserATNSimulator.noViableAlt 二、报错产生原因 三、报错解决方法 四、修改配置重启connector ...
Debezium报错处理系列九：“ddl“ : “# Dummy event replacing event type 160 that slave cannot handle.“
zhengzaifeidelushang的博客
02-08 1472
debezium系列之："ddl" : "# Dummy event replacing event type 160 that slave cannot handle."一、debezium报错二、报错产生原因三、报错解决方法四、具体处理步骤 一、debezium报错 database.history.kafka.topic的数据量过大，查看history kafka topic，发现包含大量数据：“ddl” : “# Dummy event replacing event type 160 that
Debezium报错处理系列之九十：使用debezium消息过滤filter报错ClassNotFoundException: io.debezium.DebeziumException
最新发布
zhengzaifeidelushang的博客
08-07 487
Debezium报错处理系列之九十：使用debezium消息过滤filter报错ClassNotFoundException: io.debezium.DebeziumException
StringBuffer内存溢出 Out Of Memory
CAT
07-31 5091
今天用线程做视频转码的时候，爆出了一个错误：java.lang.OutOfMemoryError: Java heap space 我没有懊恼，反而很开心，终于遇到你了，内存溢出！ 上图： 报错信息： 代码： @Override public void run() { StringBuffer msgBuffer = new StringBuffer(); try { if (ffmpegConfig != null &amp
Debezium报错处理系列之四十一：Debezium实际应用报错Unable to configure and start connect.storage.FileOffsetBackingStor
zhengzaifeidelushang的博客
02-11 627
Debezium报错处理系列之四十一：Unable to configure and start the 'org.apache.kafka.connect.storage.FileOffsetBac
一次String的错误使用
weixin_30929195的博客
04-22 158
今日，在写代码的过程中，程序执行一个方法居然出现了heap space溢出的异常。 从来还没有遇到这样的异常，打断点发现是做字符串拼接时出现此异常。 所以知道了是String使用的异常，因为我做的操作是要大量的拼接字符串，次数很多。 每次String拼接一次之后，都相当于是重新new了一个String,然后拼接过后的字符串赋值给了新的String对象。 最终造成了堆内存溢出。 ...
[postgreSQL,c++] PostgreSQL源码分析_StringInfo_primary_2
inuyasha1027的专栏
11-26 1498
而这篇文章主要是分析stringinfo.c ，即头文件中所声明的方法的具体实现过程。 其中多数方法并不难分析，只要仔细阅读API文档和根据方法的命名规范进行推测，即可得知该方法的功能。 不过仍旧有功能上比较复杂，并值得读者仔细分析与揣摩的两个函数： 1. appendStringInfoVA 函数原型： bool appendStringInfoVA(StringInfo str, const char *fmt, va_list args) 2.enlargeStringInfo 函数原型：
Debezium报错处理系列十三：Caused by: java.io.EOFException
zhengzaifeidelushang的博客
04-13 1752
{ "id":0, "state":"FAILED", "worker_id":"p-qcbj6-dd-hadoop-debezium-001.prod-qcloud-dd-insight.net:8083", "trace":"org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be.
Debezium报错处理系列一：The db history topic is missing.
zhengzaifeidelushang的博客
12-21 4051
Debezium报错处理系列一：The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_RECOVERY debezium报错： The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_
Spark Streaming Logging Configuration
Mrknowledge
05-18 769
======refer:http://shzhangji.com/blog/2015/05/31/spark-streaming-logging-configuration/====== Spark Streaming applications tend to run forever, so their log files should be properly handled, to
关于StringBuffer的一点小问题
qq_32590771的博客
08-19 266
关于StringBuffer的一点小问题 在写一个用ArrayStack(用数组实现的栈)实现判断指定字符串是否为“回文”字符串的过程中，由于采用的字符串类型为StringBuffer（便于将出栈后的元素加入字符串，String类的话就不可添加，所以没有选择String类） 实现原理为：先将指定字符串入栈，然后再出栈。最后比较入栈前的字符串和出栈后的字符串是否相等即可判断是否是回文。 在判断两个StringBuffer字符串的过程中，调用了equals方法，最后发现程序运行结果不对。调试查看代码后发现了
PostgreSQL WAL解析：构建WAL记录准备
caiyouyin1447的博客
09-10 349
以heap_insert为例，简述WAL的插入过程。在构建WAL日志记录的过程中主要涉及2个数据变量：static XLogRecDatardatas数组和static registered_bufferregistered_buffers数组。这两个数组分别用来保存WAL数据和管理rdatas链表。主要涉及3个重要的函数：XLogRegisterData、XLogRe...
iloc cannot enlarge its target object
06-06
在Python中，数据集通常很大，特别是当处理大型数据集时，可能会出现此类问题。iloc是用于索引和选择数据的函数之一，在选择数据时，它会尝试创建新的DataFrame对象来存储所选数据，但是如果这个新对象太大，就会...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值