一、Canal介绍
Canal的原理就是它自己伪装成slave, 向mysql发送dump协议,MySQL master接收到dump请求之后推送binlog文件给slave, 也就是canal。
二、Canal安装
1. 下载Canal
wget https://github.com/alibaba/canal/releases/download/canal-1.0.24/canal.deployer-1.0.24.tar.gz
2. 解压到/opt/softwares/canal目录, 解压完之后如下图所示:
3. 配置instance
4. 修改canal.properties
三、Mysql 安装
1、mysql 安装
yum install mysql
yum install mysql-server
2、启动mysql
/etc/init.d/mysqld start 或者sevice mysqld start
3、设置root用户密码
mysqladmin -u root password '123456'
4、登录msyql
mysql -uroot -p123456
5、检查并开启binlog复制功能及binlog模式是否为ROW模式
参考: binlog详解
四、Canal抽取binlog
Canal只是伪装成slave抽取binlog,Canal拿到binlog之后还需要交给业务方去做响应的处理,那么怎么去交给业务方呢?一般都是Canal获取到binlog之后写到kafka里,业务方订阅kafka topic消费binlog,完成业务逻辑处理。
但是Canal不能直接写Kafka, 所以还需要有个client连接Canal,Canal获取binlog之后交给Client, Client在往Kafka里写binlog消息,Client代码如下:
import com.alibaba.otter.canal.client.CanalConnector; import com.alibaba.otter.canal.client.CanalConnectors; import