canal 同步报错 Target column: id not matched

已于 2023-04-10 14:40:35 修改
阅读量713 收藏
点赞数
分类专栏： 问题记录 mysql 文章标签： jvm spring mysql
于 2023-04-10 14:36:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zll4859291/article/details/130059520
版权
在使用Canal进行数据同步时，由于配置问题导致了运行时异常。错误信息指出目标表(test001.tt9)的id列不匹配，可能的原因是数据库表结构不一致或者配置文件中targetTable设置错误。dbMapping配置显示database:test，table:tt9，但要求targetTable与目标数据库的表名一致，且不应包含实际的目标库名。
摘要由CSDN通过智能技术生成

canal版本为：1.1.5

canal 同步表数据报错：

 [pool-40-thread-1] ERROR c.a.otter.canal.adapter.launcher.loader.AdapterProcessor - java.lang.RuntimeException: java.util.concurrent.ExecutionException: java.lang.RuntimeException: java.lang.RuntimeException: Target column: id not matched
java.lang.RuntimeException: java.lang.RuntimeException: java.util.concurrent.ExecutionException: java.lang.RuntimeException: java.lang.RuntimeException: Target column: id not matched

问题分析

主要原因是目标库表不匹配，  targetTable: 项设置为test001.tt9

dataSourceKey: defaultDS
destination: canal_1221
groupId: g1
outerAdapterKey: mysql1
concurrent: true
dbMapping:
  database: test
  table: tt9
  targetTable: tt9
  targetPk:
    id:  id
  mapAll: true
#  targetColumns:
#    id:
#    name:
#    role_id:
#    c_time:
#    test1:
  etlCondition: "where c_time>={}"
  commitBatch: 3000 # 批量提交的大小

# targetTable: tb_user  #目标数据源的表名 ，这边不能设置为目标数据库.表名，目标库只能在应outerAdapter中的表示的库名

不吃稻米的熊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Canal解析数据报错：column size is not match for table xxxx 59 vs 57
qq_28834355的博客
12-23 3945
起因： 本人修改了meta.dat 文件的position，想让canal跳过中间的binlog，直接从最新位置开始同步，改完之后重启canal，接收到的新数据全都报错了 问题原因： canal接收到的event解析后有59个字段，但是本地缓存的表结构只有57个字段，导致校验不通过。 但是我已经改了position，从最新的数据开始同步，怎么会有字段不一致的情况 解决问题： 把meta.dat 的 timestamp 时间戳也改成最新时间即可。 canal启动的时候，会根据timestamp时间戳，从数据
canal消费binlog报错：CanalMetaManagerException: batchId:3 is not the firstly:1 附canal源码解析
Max的专栏
07-22 2846
起因： 在原有canal项目上做了新需求，自测的时候习惯性开启info模式的日志，发现如下错误。 ps：该错误日志级别是warn，所以之前我们默认的都是ERROR，问了问周围同事，也都完全没有发现这个报错，也不知道是什么原因。 我还是自己来吧，践行我的工作签名：每天都在找bug中进步。 太长不看： 正确地、顺序的ack这些消费过的数据，就能解决该问题。 错误日志： 2021-07-21 16:38:29.896 [Thread-12] WARN c.a.o.c.c.impl.Cluster.
canal 同步表数据提示java.lang.RuntimeException: Target column: id not matched
ty0415的专栏
08-14 2120
canal版本为：1.1.4 canal 同步表数据提示java.lang.RuntimeException: Target column: id not matched 主要原因是源主键id和目标主键id不匹配，如果我们的主键id字段名不是id，假如为xx_id，那么对于的配置应如下： dataSourceKey: defaultDS destination: example groupId: g1 outerAdapterKey: mysql1 concurrent: true dbMappin
java.langRuntimeException:Target column:__#alibaba_rds_row_id#__ not matched
雅冰石的专栏
12-09 1332
一 问题描述 配置rds到mariadb同步，canal client日志报错： 二 出错原因 该表没有建主键。AliSQL 针对用户没有建 PK 的表，默认添加一个隐含主键。示例： mysql> show create table t\G *************************** 1. row *************************** Table: t Create Table: CREATE TABLE `t` ( `id` int(1.
canal同步报错Target column: NAME not matched
雅冰石的专栏
09-15 1313
一 问题描述 我们canal有个这样的使用场景： 从多个源端同步相同的表数据到同一个目标端进行数据的统一展示。 但是发现在源端1删除字段的后，其他源端的canal client日志会报错: Target column: NAME not matched 此后，这个表的sql操作（如insert，即使不往该删除的字段插入数据）无法进行同步。 二 如何规避 在多个源端往同一目标端进行canal同步的场景下，禁止drop字段。 ...
canal同步异常：当表结构变化时，同步失败
jingleli21的博客
08-26 1994
canal同步异常：当表结构变化时，同步失败
canal-adapter同步mysql问题记录
XUEJIA2S的博客
02-28 1万+
canal-adapter同步mysql问题记录前言同步mysql问题 前言 canal-adapter目前支持rdb、es、kafka、hbase等多个目标端的同步，最近几篇我会记录一下我在使用adapter向这些目标端同步时，是如何解决es、hbase版本适配，添加部分个性化需求，以及如何处理一些我遇到各种问题。今天先来记录一下adapter同步mysql。 同步mysql applicat...
Canal报错总结
程序员朱永胜
07-21 1829
观察报错信息可以得知是配置文件中的outer2（0基，所以outer-adapter[1]实际指的是2）的properties配置有问题，我们观察配置文件，发现是properties下的mode,cluster.name等属性与properties同级了，将其如下图所示后退两字符即可。（4）因为读取的是最新的binlog。1、这个报错是ES的mapping设置的问题，确保es中有该索引，并且确认是否有部分字段没有在es中设置mapping,这个要对应之前设置的sql，以及es中的mappings来解决。
canal解析mysql binlog报错：Did not write as much data as expected.
愤怒的菜鸟
06-14 1065
canal版本：canal.deployer-1.1.3 Mysql版本：5.6.41-log 错误： 2019-06-13 10:16:08.825 [destination = bigdata_collect , address = /192.168.43.6:3306 , EventParser] WARN c.a.o.c.p.inbound.mysql.rds.RdsBinlogE...
canal.adapter 运行异常： com.alibaba.druid.pool.DruidDataSource 解决办法
04-11
将 client-adapter.es7x-1.1.5-jar-with-dependencies.jar 替换plugin下的jar可以解决druid报错问题，注意版本1.1.5，不是这个版本不一定能解决
java.util.concurrent.ExecutionException 问题解决方法
09-01
主要介绍了java.util.concurrent.ExecutionException 问题解决方法的相关资料,需要的朋友可以参考下
canal-admin启动报错：Public Key Retrieval is not allowed
11-16
这个问题是由于MySQL 8.0版本默认禁用了public key的检索，而canal-admin使用的是MySQL 8.0版本以上的驱动，所以会出现这个问题。解决方法如下： 1.在MySQL 8.0版本以上的数据库中，执行以下命令开启public key检索...
canal工具不能同步问题处理Broken pipe
03-31 2576
CanalClientException: java.io.IOException: Broken pipe
Canal-adapter简单介绍及部分源码解析
weixin_43914798的博客
03-25 2868
Canal-adapter简单介绍及部分源码解析
canal adapter同步异常：field name is null or empty
进击的小白
01-26 2889
现象 在使用批量同步数据时出现错误： curl http://127.0.0.1:8081/etl/es7/test-user/test_user.yml -X POST {"succeeded":false,"resultMessage":"导入ES 数据：666 条","errorMessage":"test_user etl failed! ==>field name is null or empty\ntest_user etl failed! ==>field name is
canal同步MySQL的binlog数据时踩了个大坑
Trouvailless的博客
12-03 2175
在同步MySQL数据到ES的场景中，选择了canal组件同步数据。在同步的时候发现canal-adapter中canal-adapter/conf/es7/product.yml 配置文件中sql 语句连表查询的时候会出现无法更新Elasticsearch 中数据的情况，而且日志没有提示异常（idea启动的时候有错误日志），令人百思不得其解。初步估计是内部解析yml的时候出错了，但具体是什么原因只能看源码调试了。GitHub地址项目结构图如下：配置文件： application.yml （## 备注代表需要
已解决java.util.concurrent.ExecutionException异常的正确解决方法，亲测有效！！！
最新发布
小明的Java问道之路
01-27 1万+
已解决java.util.concurrent.ExecutionException异常的正确解决方法，亲测有效！！！
Canal-adapter的简单配置
热门推荐
qq_29860591的博客
11-26 5万+
项目的需求是mysql到mysql 一、首先需要安装canal-server，之前的博客也简单写过，这就跳过了。 二、配置canal.adapter 下载canal.adapter 解压 https://github.com/alibaba/canal/releases 编辑application.yml server: port: 8081 spring: jackso...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值