Canal-adapt部署遇到的小坑-java.lang.IllegalArgumentException: Could not resolve placeholder ‘GROUP[1]‘ in v

最新推荐文章于 2024-04-13 13:12:39 发布
最新推荐文章于 2024-04-13 13:12:39 发布
阅读量747 收藏
点赞数
分类专栏： 数据采集 文章标签： 数据库 kafka 同步
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhang5324496/article/details/121139177
版权

背景: 使用 canal+ kafka + canal-adapt。 将 源数据库mysql0 实时同步到 目的数据库mysql2。 数据流向  Mysql0 -> canal -> kafka -> canal-adapt -> Mysql2

按照官网的demo步骤进行配置。后运行报错

2021-10-25 19:45:16.358 [Thread-2] ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: rdb failed
java.lang.IllegalArgumentException: Could not resolve placeholder 'GROUP[1]' in value "\
if [ -z "$OLD_PWD" ];then export OLD_PWD=$PWD;fi;
if [ ! -z "$LAST_CMD" ] && [ "$(history 1)" != "$LAST_CMD" ]; then
GROUP=(`history 1`)
echo "[${GROUP[1]} ${GROUP[2]}] ${GROUP[3]} ${GROUP[4]}@${GROUP[5]} ${GROUP[@]:6}" >> /var/log/loginLogs/root;
fi;
export LAST_CMD="$(history 1)";
export OLD_PWD=$PWD;"
        at org.springframework.util.PropertyPlaceholderHelper.parseStringValue(PropertyPlaceholderHelper.java:172) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.util.PropertyPlaceholderHelper.replacePlaceholders(PropertyPlaceholderHelper.java:124) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.core.env.AbstractPropertyResolver.doResolvePlaceholders(AbstractPropertyResolver.java:237) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.core.env.AbstractPropertyResolver.resolveRequiredPlaceholders(AbstractPropertyResolver.java:211) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.core.env.AbstractPropertyResolver.resolveNestedPlaceholders(AbstractPropertyResolver.java:228) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.core.env.PropertySourcesPropertyResolver.getProperty(PropertySourcesPropertyResolver.java:88) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.core.env.PropertySourcesPropertyResolver.getProperty(PropertySourcesPropertyResolver.java:62) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.core.env.AbstractEnvironment.getProperty(AbstractEnvironment.java:531) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at com.alibaba.otter.canal.adapter.launcher.loader.CanalAdapterLoader.loadAdapter(CanalAdapterLoader.java:217) [client-adapter.launcher-1.1.5.jar:na]
        at com.alibaba.otter.canal.adapter.launcher.loader.CanalAdapterLoader.init(CanalAdapterLoader.java:56) [client-adapter.launcher-1.1.5.jar:na]
        at com.alibaba.otter.canal.adapter.launcher.loader.CanalAdapterService.init(CanalAdapterService.java:60) [client-adapter.launcher-1.1.5.jar:na]
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_181]
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[na:1.8.0_181]
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.8.0_181]
        at java.lang.reflect.Method.invoke(Method.java:498) ~[na:1.8.0_181]
        at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor$LifecycleElement.invoke(InitDestroyAnnotationBeanPostProcessor.java:365) [spring-beans-5.0.5.RELEASE.jar:5.0.5.RELEASE]

看报错信息： 是在 adapt加载 目的数据库的时候失败。为了确认，先去canal-server段查看数据，发现数据已经采集放到了指定的kafka topic内。

ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: rdb failed

猜测1- 开始猜测是不是驱动不对，查看了 adapt下的lib，发现jdbc-connector 是5.1.47，而我目的mysql的版本是5.7，能对应上。看来不是这个问题

接着看报错信息， 非法字符。 无法处理占位符  GROUP[1]. 看起来那段代码像是shell 脚本。但是看错误日志栈，都是spring项目，都是java语言。

java.lang.IllegalArgumentException: Could not resolve placeholder 'GROUP[1]' in value "\
if [ -z "$OLD_PWD" ];then export OLD_PWD=$PWD;fi;
if [ ! -z "$LAST_CMD" ] && [ "$(history 1)" != "$LAST_CMD" ]; then
GROUP=(`history 1`)
echo "[${GROUP[1]} ${GROUP[2]}] ${GROUP[3]} ${GROUP[4]}@${GROUP[5]} ${GROUP[@]:6}" >> /var/log/loginLogs/root;
fi;
export LAST_CMD="$(history 1)";
export OLD_PWD=$PWD;"
at org.springframework.util.PropertyPlaceholderHelper.parseStringValue(PropertyPlaceholderHelper.java:172) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.util.PropertyPlaceholderHelper.replacePlaceholders(PropertyPlaceholderHelper.java:124) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.core.env.AbstractPropertyResolver.doResolvePlaceholders(AbstractPropertyResolver.java:237) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.core.env.AbstractPropertyResolver.resolveRequiredPlaceholders(AbstractPropertyResolver.java:211) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.core.env.AbstractPropertyResolver.resolveNestedPlaceholders(AbstractPropertyResolver.java:228) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.core.env.PropertySourcesPropertyResolver.getProperty(PropertySourcesPropertyResolver.java:88) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.core.env.PropertySourcesPropertyResolver.getProperty(PropertySourcesPropertyResolver.java:62) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at org.springframework.core.env.AbstractEnvironment.getProperty(AbstractEnvironment.java:531) ~[spring-core-5.0.5.RELEASE.jar:5.0.5.RELEASE]
        at com.alibaba.otter.canal.adapter.launcher.loader.CanalAdapterLoader.loadAdapter(CanalAdapterLoader.java:217) [client-adapter.launcher-1.1.5.jar:na]
        at com.alibaba.otter.canal.adapter.launcher.loader.CanalAdapterLoader.init(CanalAdapterLoader.java:56) [client-adapter.launcher-1.1.5.jar:na]
        at com.alibaba.otter.canal.adapter.launcher.loader.CanalAdapterService.init(CanalAdapterService.java:60) [client-adapter.launcher-1.1.5.jar:na]
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_181]
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) ~[na:1.8.0_181]
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) ~[na:1.8.0_181]
        at java.lang.reflect.Method.invoke(Method.java:498) ~[na:1.8.0_181]
        at org.springframework.beans.factory.annotation.InitDestroyAnnotationBeanPostProcessor$LifecycleElement.invoke(InitDestroyAnnotationBeanPostProcessor.java:365) [spring-beans-5.0.5.RELEASE.jar:5.0.5.RELEASE]

根据关于spring框架的报错信息去查看发现就是，加载解析发现占位符错误。但是canal-adapt的spring配置文件我都没动，canal-adapt的其他文件再三检查都没有 GROUP[1] 这东西。懵逼啊

再看错误日志有个 路径

去/var/log/loginLogs/root 路径上查看，发现是记录机子操作命令的。这就有点蹊跷了，这是机子记录命令的目录，为啥会出现在adapt上。

为了确认上述那段代码确实是本机的，env看下，看到了那段代码。

也就是canal-adpat启动加载spring的配置时，可能把环境变量也加载进来了 。

于是把env那段定义环境变量的 代码注释掉，重新运行canal-adapt。正常运行

问题解决。

至于spring为啥加载配置文件把环境变量 加载进来了，不熟悉spring。等以后有空有心情再深究吧

龟速扣代码
关注
专栏目录
starter-canal-0.0.1-SNAPSHOT.jar
07-29
starter-canal-0.0.1-SNAPSHOT.jar 畅购商城 canal依赖jar 使用方法 mvn install:install-file -DgroupId=com.xpand -DartifactId=starter-canal -Dversion=0.0.1-SNAPSHOT -Dpackaging=jar -Dfile=E:\starter-canal...
使用canal实现mysql数据同步到elasticsearch的功能
weixin_45089791的博客
10-29 1904
使用canal实现mysql数据同步到elasticsearch的功能.需要实现一个场景, 优化搜索体验, 我们使用elasticsearch, 那该如何监听mysql数据修改时,也将elasticsearch的数据进行修改呢?
Canal 1.1.5 数据库连接池报错问题解决
qq_21412285的博客
12-02 1466
Canal 1.1.5 数据库连接池报错问题解决
CanalAdapter启动异常：Load canal adapter: es failed,No data source found: defaultDS
进击的小白
01-15 4149
现象 启动adapter服务时出现如下错误 2021-01-15 11:01:55.324 [main] ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterLoader - Load canal adapter: es failed java.lang.RuntimeException: java.lang.RuntimeException: No data source found: defaultDS at com.alibaba....
Canal部署过程中的错误
weixin_43286124的博客
07-09 9683
文章目录错误一：NullPointerException错误二：MySQLNonTransientConnectionException错误三：ESConnection错误四：UnknownHostException错误五：CommunicationsException错误六：CanalClientException错误七：ClassCastException错误八：IllegalStateException错误九：65536canal程序包API 错误一：NullPointerException 日志：
canal学习-运行canal-adapter源码并记录解决报错问题(包含缺失的jar文件)（一）
后端开发
05-16 1933
本文主要是介绍运行canal-adapter源码的运行，以及解决项目中的遇到的问题。 包括但不限于： 1.Failure to find com.alibaba.otter:connector.tcp:jar:jar-with-dependencies:1.1.5问题的解决 2.com.alibaba.druid.pool.DruidDataSource cannot be cast to com.alibaba.druid.pool.DruidDataSource ps:文末有可以直接运行的修改后的源码
Invocation of init method failed； nested exception is java.lang.IllegalArgumentException: Property报错
热门推荐
soulwirter的博客
12-10 3万+
java, springboot, springcloud里的报错，有关于@MapperScan和@ComponentScan的操作，Invocation of init method failed； nested exception is java.lang.IllegalArgumentException: Property报错
canal.adapter-1.1.4.tar.gz
02-01
1. **bin** 目录：包含了Canal Deployer的启动、停止等脚本，如`canal-server.sh`，用户可以通过这些脚本来启动和管理Canal服务。 2. **conf** 目录：存放Canal的配置文件，如`canal.properties`，用户可以在此配置...
canal-adapter-v1.1.7的docker镜像
01-08
canal-adapter-v1.1.7，docker镜像，参考的制作流程：https://blog.csdn.net/qiaodaima0/article/details/125561823?spm=1001.2014.3001.5501
阿里canal组件:canal.deployer-1.1.7-SNAPSHOT.tar.gz
01-06
1. **lib**：这个目录包含了运行Canal所需的各种依赖库，包括Java类库和其他必要的二进制文件。这些库涵盖了Canal本身的核心组件，以及与MySQL通信、解析binlog、序列化和反序列化数据等所需的各种工具。 2. **bin*...
canal客户端-canal.deployer-1.1.7-SNAPSHOT.tar.gz
02-14
1. **lib目录**：这是Canal部署中的核心库文件夹，包含了运行Canal客户端所需的各种依赖JAR包。这些库涵盖了数据解析、网络通信、配置管理等多个方面，如MySQL的JDBC驱动、protobuf的Java实现、slf4j日志框架等。...
java.lang.NoClassDefFoundError: org/hibernate/service/jta/platform/spi/JtaPlatform
莫扎特不唱摇篮曲
07-20 3063
采用spring org.hibernate.engine.transaction.jta.platform.spi.JtaPlatform.class
Error creating bean with name 'regCenter': Invocation of init method failed; nested exception is com
u014594604的博客
07-18 3534
2019-07-18 21:27:30,613 main ERROR com.alibaba.dubbo.container.Main:92 :: [DUBBO] Error creating bean with name 'regCenter': Invocation of init method failed; nested exception is com.dangdang.ddframe...
【CANAL】canal 针对message过大无法写入kafka解决方案
Zsigner的博客
12-23 3014
背景：在canal.instance.log中看到message过大，无法写入kafka 报错log： [pool-348-thread-5] ERROR c.a.o.canal.connector.kafka.producer.CanalKafkaProducer - java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request includ.
Canal报错总结
程序员朱永胜
07-21 1899
观察报错信息可以得知是配置文件中的outer2（0基，所以outer-adapter[1]实际指的是2）的properties配置有问题，我们观察配置文件，发现是properties下的mode,cluster.name等属性与properties同级了，将其如下图所示后退两字符即可。（4）因为读取的是最新的binlog。1、这个报错是ES的mapping设置的问题，确保es中有该索引，并且确认是否有部分字段没有在es中设置mapping,这个要对应之前设置的sql，以及es中的mappings来解决。
canal同步MySQL的binlog数据时踩了个大坑
Trouvailless的博客
12-03 2197
在同步MySQL数据到ES的场景中，选择了canal组件同步数据。在同步的时候发现canal-adapter中canal-adapter/conf/es7/product.yml 配置文件中sql 语句连表查询的时候会出现无法更新Elasticsearch 中数据的情况，而且日志没有提示异常（idea启动的时候有错误日志），令人百思不得其解。初步估计是内部解析yml的时候出错了，但具体是什么原因只能看源码调试了。GitHub地址项目结构图如下：配置文件： application.yml （## 备注代表需要
canal同步mysql数据到elasticsearch7.15.0
TanYYF的专栏
11-05 1563
1.准备 官方网址:https://github.com/alibaba/canal/wiki/QuickStart 对于自建 MySQL , 需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下 [mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId
【开源项目】数据同步工具Canal-Adapter介绍和源码解析
秋装什么的博客
12-15 1134
【开源项目】Canal-Adapter源码解析
绝了！阿里这款开源神器，MySQL数据直接实时同步到ES，太香了！
最新发布
2301_76238237的博客
04-13 731
可想而知，有限数量的商品在同一时刻被很多倍的请求同时来减库存，减库存又分为“拍下减库存”“付款减库存”以及预扣等几种，在大并发更新的过程中都要保证数据的准确性，其难度可想而知。修改配置文件conf/application.yml，按如下配置即可，主要是修改数据源配置和canal-admin的管理账号配置，注意需要用一个有读写权限的数据库账号，比如管理账号root:root；篇幅有限，无法一个模块一个模块详细的展示（这些要点都收集在了这份《高并发秒杀顶级教程》里），麻烦各位转发一下（可以帮助更多的人看到哟！
canal报Java.lang.NumberFormatException: For input string
11-04
canal报Java.lang.NumberFormatException: For input string是因为在消费者获取队列消息时，消费者无法将非数字字符串转换为数字类型，从而导致了该异常的出现。 解决该问题的方法有两种： 1.在生产者中存入数字类型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值