flink写clickhouse

最新推荐文章于 2024-05-14 00:41:31 发布

zhdan~

最新推荐文章于 2024-05-14 00:41:31 发布

阅读量3.3k

点赞数

分类专栏： flink 文章标签：大数据 flink clickhouse

本文链接：https://blog.csdn.net/zhangdongan1991/article/details/111115725

版权

本文介绍了如何在团队使用 Flink 1.10 版本时，通过 JDBC 方式连接 ClickHouse 进行数据处理。由于官方未提供 ClickHouse 的 connector，作者通过 JDBCApendTableSink 类实现连接，并指出了该类的不足，即缺乏数据刷新间隔配置。为实现类似 MySQL 的 Flink SQL 支持，作者深入研究了 flink-jdbc 源码，并说明需要修改源码添加 ClickHouse 类型，最终打包替换原有 Flink JDBC 包以实现需求。

摘要由CSDN通过智能技术生成

最近团队考虑用flink + clickhouse做一些事情，然后由我负责做一些调研工作。
我们大数据平台提供的flink最新是1.10版本的，看了官网，还没有支持clickhouse的connector，但可以通过JDBC方法访问。看了一圈，flink写clickhouse可以通过JDBCAppendTableSink这个类，不能直接使用flink sql。而且这个类有一点缺陷，就是没有提供时间间隔配置flush数据。要是能像flink sql连接mysql那样就好了。基于这样的目的，就研究了flink-jdbc的源码。flink1.10并不提供其他JDBC的外部系统的扩展类，要想flink sql支持clickhouse，需要修改源码，添加clinkhouse的类型：

/**
 * Default Jdbc dialects.
 */
public final class JDBCDialects {
   

	private static final List<JDBCDialect> DIALECTS = Arrays.asList(
		new DerbyDialect()<