canal
程序员贝塔
这个作者很懒,什么都没留下…
展开
-
使用 Docker 部署 canal,并将消息推送到 RabbitMQ
上一篇已经介绍了使用 Docker 部署 canal 服务,实现 MySQL 数据库 binlog 日志解析,并且用官方提供的客户端程序成功读到了消息。但在生产环境下还不能这么用,更好的做法是将消息发送到消息队列,然后再从消息队列消费。 这里我选择的是 RabbitMQ。 原来看官方文档发现只支持 Kafka 和 RocketMQ,但好在最新版 1.1.5 也支持了 RabbitMQ,而且镜像也已经打好了。 如果使用 Docker 部署的话,直接拉取最新的镜像即可。 配置 canal 第一步拉取镜像: #原创 2020-12-20 11:35:19 · 893 阅读 · 2 评论 -
使用 Docker 部署 canal 服务,实现 MySQL 数据库 binlog 日志解析
canal 是阿里巴巴开源的一个项目,主要用途是基于 MySQL 数据库 binlog 日志解析,提供增量数据订阅和消费。 基于日志增量订阅和消费的业务包括: 数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新 带业务逻辑的增量数据处理 我这边主要在两个场景下使用: 一个是将变更数据实时同步到 Elasticsearch 和 Redis。 这里先说一下我目前的做法,一方面是全量数据定时同步,由于数据量比较大,同步时间比较长,所以数据也就不够实时。第二个方面原创 2020-12-13 16:48:08 · 879 阅读 · 4 评论