maxwell+kafka+thrift 将 mysql数据导入hbase
sqoop 导入 mysql 数据到 hbase 效率不高, 并且不能实时导入数据
这里使用 kafka-thrift 方案
原理
mysql 需要开启binlog,配置 maxwell 监听binlog,这样 mysql 任何数据变动,都会反应在 binlog 文件中,由 maxwell 解析成 json 格式,传入消息队列 kafka,然后通过自己写 python 程序作为 kafka 消费...
原创
2020-02-10 17:36:59 ·
1323 阅读 ·
0 评论