Debezium系列之:debezium同步postgresql数据库数据到kafka集群
-
- 一、测试kafka集群能否连接postgresql数据库
- 二、postgresql数据库安装日志解析插件wal2json
- 三、修改postgresql配置pg_hba.conf
- 四、修改postgresql配置postgresql.conf
- 五、重启pgsql数据库使设置生效
- 六、解压debezium连接postgresql数据库插件
- 七、修改kafka配置connect-distributed.sh
- 八、修改kafka配置connect-distributed.properties
- 九、启动kafka-connector
- 十、启动pgsql数据库debezium连接器
- 十一、查看debezium连接器
- 十二、查看连接器pgsql-iris-connector状态
- 十三、kafka-manager查看Topic
- 十四、删除debezium连接器
- Debezium启动kafka-connector:https://blog.csdn.net/zhengzaifeidelushang/article/details/119153978
- debezium同步mysql数据库数据到kafka集群:
https://blog.csdn.net/zhengzaifeidelushang/article/details/119152017
一、测试kafka集群能否连接postgresql数据库
kafka集群安装postgresql客户端
- yum install -y postgresql
psql -h 10.128.128.101 -p 5432 -U optics_read -d nio_prod;
二、postgresql数据库安装日志解析插件wal2json
- debezium采集postgresql9.6版本以下的数据库数据,需要为postgresql数据库安装日志解析插件wal2json
- PostgreSQL 10+ 中自带了标准的逻辑解码输出插件pgoutput,无需额外安装wal2json插件
wal2json插件安装方法: