clickhouse 同步 mysql数据

小码农叔叔

已于 2022-04-10 09:37:24 修改

阅读量4.5w

点赞数 2

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： clickhouse数据同步

于 2022-02-01 12:27:58 首次发布

本文链接：https://blog.csdn.net/zhangcongyi420/article/details/122763198

大数据专栏收录该内容

23 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用Clickhouse的MaterializeMySQL引擎实现与MySQL的数据同步，包括全量和增量同步。文章详细讲解了同步原理、环境准备及搭建步骤，并展示了在MySQL中插入、删除和更新数据后，如何在Clickhouse中实时反映这些变化。

前言

通过前面的篇章，我们了解到clickhouse是一款性能很高的OLAP数据存储、数据分析型数据库引擎，主要用于在线分析处理查询（OLAP），能够使用 SQL 查询实时生成分析数据报告，基于此，在大数据领域也成为一匹新生的黑马。

既然可以作为数据分析使用，基于其本身的特性，生产中有这么一种场景，当关系型数据库，比如mysql数据量非常庞大，但这些数据更多的作用在于分析、统计、汇总等方面的业务时，将这些数据迁移到mysql是一种非常好的选择，下面来聊聊如何将clickhouse对接mysq数据从而实现数据的同步

MaterializeMySQL 引擎

ClickHouse 20.8.2.3 版本新增加了 MaterializeMySQL 的 database 引擎，通过该引擎，能够将该database 映射到MySQL中的某个database ，并自动在 ClickHouse中创建对应的ReplacingMergeTree。ClickHouse 服务做为 MySQL 副本，读取 Binlog 并执行 DDL 和 DML 请求，实现了基于 MySQL Binlog 机制的业务数据库实时同步功能。

特点：