ETL
文章平均质量分 94
玉羽凌风
这个作者很懒,什么都没留下…
展开
-
Canal高可用架构部署
canal高可用架构实践转载 2023-01-29 11:53:38 · 479 阅读 · 0 评论 -
了解canal,看这个就够了
一. canal概述canal是Alibaba旗下的一款开源项目,纯Java开发.它是基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持mysql。应用场景:1.数据同步,比如:做在线、离线数据库之间的数据同步操作; 2.数据消费,比如:需要根据关注的数据库表的变化,做搜索增量; 3.数据脱敏,比如:需要将线上动态数据导入到其他地方,做数据脱敏。二. canal工作原理1. mysql主备复制实现(1) master将改变记录到二进制日志(binary .转载 2020-09-15 23:45:18 · 1023 阅读 · 1 评论 -
利用Canal投递MySQL Binlog到Kafka
Update:Canal与Camus的结合使用,见https://www.jianshu.com/p/4c4213385368。Canal是阿里开源的一个比较有名的Java中间件,主要作用是接入数据库(MySQL)的binlog日志,实现数据的增量订阅、解析与消费,即CDC(Change Data Capture)。近期我们计划将数据仓库由基于Sqoop的离线按天入库方式改为近实时入库,Canal自然是非常符合需求的。Canal的模块设计精妙,但代码质量低,阅读起来比较困难。在其GitHub Wi转载 2020-09-15 23:19:44 · 697 阅读 · 0 评论 -
canal instance区别
spring/memory-instance.xml所有的组件(parser , sink , store)都选择了内存版模式,记录位点的都选择了memory模式,重启后又会回到初始位点进行解析特点:速度最快,依赖最少(不需要zookeeper)场景:一般应用在quickstart,或者是出现问题后,进行数据分析的场景,不应该将其应用于生产环境spring/file-instance.xml所有的组件(parser , sink , store)都选择了基于file持久化模式,注意,不支原创 2020-09-09 01:20:23 · 867 阅读 · 0 评论 -
多实例 canal应用-1个server+2个instance+2个client+2个mysql
canal应用-1个server+2个instance+2个client+2个mysql原创一 canal应用架构设计组件说明:1 . linux内核版本(CentOS Linux 7):(命令:uname -a)Linux slave1 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux 2.mysql版本:(SQL命令:select version(); 或 st.转载 2020-09-09 01:15:15 · 1645 阅读 · 0 评论 -
深入解析中间件之-Canal
canal: 阿里巴巴mysql数据库binlog的增量订阅&消费组件MySQL binlogMySQL主从复制mysql服务端修改配置并重启$ vi /etc/my.cnf[mysqld]log-bin=mysql-binbinlog-format=ROWserver_id=1$ mysql -urootCREATE USER canal IDENTIFIED BY 'canal'; GRANT ALL PRIVILEGES ON *.* TO 'canal'@转载 2020-09-09 01:03:24 · 2589 阅读 · 0 评论 -
DataX Transformer 源码分析及 UDF 扩展与使用
DataX GitHub DataX Transformer目录1前言 2需求说明 3解决方案分析 4解密算法 5Hive UDF 5.1测试数据 5.2新建 Maven 项目 5.3POM 5.4UDF 5.5测试代码 5.6编译打包 5.7使用 6DataX 6.1DataX Transformer 6.2Transformer配置样例 6.3一份测试数据 6.4方法1:开发自定义的解密 Transfo...转载 2020-08-19 11:14:50 · 1593 阅读 · 0 评论