Flink使用Hive Metastore管理元数据

本文介绍了如何在Flink 1.10版本中利用Hive Metastore管理元数据,避免重复创建表的烦恼。通过集成Hive配置依赖,并在sql-client-defaults.yaml中指定HiveCatalog,连接到Hive Metastore,将Flink SQL的kafka表元数据存储到Hive中,实现元数据的统一管理。
摘要由CSDN通过智能技术生成

Flink sql连接kafka消费数据时,通常都要重复写create table,这就很让人烦恼。如果可以将这些DDL语句存储起来,下次直接使用就完美了。那Flink1.10版本提供了这个可能。

Hive作为大数据离线数仓的事实标准,有完善的元数据中心Hive Metastore。Flink1.10提供了HiveCatalog连接Hive Metastore,可以将kafka表元数据存储到Hive Metastore中。

  • 1、集成 Hive 配置的依赖
    因为使用SQL Client,需要将依赖的 jar 拷贝到 Flink 的 lib 目录中。
#hive版本1.2.1
flink-connector-hive_2.11-1.10.0.jar
hive-metastore-1.2.1.jar
hive-exec-1.2.1.jar
libfb303-0.9.2.jar 
  • 2、连接到Hive
    首先需要到sql-client-defaults.yaml 中指定自己所需的 Catalog。
execution:
    planner: blink
    ...
    current-catalog
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值