一个flink+kafka+hive示例

最新推荐文章于 2024-11-13 22:17:00 发布

dingjian1899

最新推荐文章于 2024-11-13 22:17:00 发布

阅读量2k

点赞数

文章标签： flink hive

本文链接：https://blog.csdn.net/zhangs_123/article/details/124180867

版权

本文介绍了如何使用Flink 1.13.1版本与Hive 2.1.1进行集成操作。详细步骤包括配置环境、设置版本匹配，旨在提供一个实际操作的示例。

摘要由CSDN通过智能技术生成

版本：Flink 1.13.1 ,Hive 2.1.1

进入flink解压目录

bin/yarn-session.sh -nm testFlink2Hive -d -qu root.test -jm 1024 -tm 1024
bin/sql-client.sh embedded 

SET execution.checkpointing.interval = 12h;

CREATE CATALOG myhive WITH (
    'type' = 'hive',
    'default-database' = 'flink_test',
    'hive-conf-dir' = '/etc/hive/conf/'
);

use CATALOG myhive;

CREATE