Flink sql连接kafka消费数据时,通常都要重复写create table,这就很让人烦恼。如果可以将这些DDL语句存储起来,下次直接使用就完美了。那Flink1.10版本提供了这个可能。
Hive作为大数据离线数仓的事实标准,有完善的元数据中心Hive Metastore。Flink1.10提供了HiveCatalog连接Hive Metastore,可以将kafka表元数据存储到Hive Metastore中。
- 1、集成 Hive 配置的依赖
因为使用SQL Client,需要将依赖的 jar 拷贝到 Flink 的 lib 目录中。
#hive版本1.2.1
flink-connector-hive_2.11-1.10.0.jar
hive-metastore-1.2.1.jar
hive-exec-1.2.1.jar
libfb303-0.9.2.jar
- 2、连接到Hive
首先需要到sql-client-defaults.yaml 中指定自己所需的 Catalog。
execution:
planner: blink
...
current-catalog