Flink-to-Hive实现

最新推荐文章于 2024-11-13 22:17:00 发布

zhdan~

最新推荐文章于 2024-11-13 22:17:00 发布

阅读量2.5k

点赞数 1

分类专栏： flink 文章标签： flink hive

本文链接：https://blog.csdn.net/zhangdongan1991/article/details/105975770

版权

本文介绍了如何使用Flink将数据实时写入Hive，重点讲解了采用StreamingFileSink的滚动策略、分桶策略和输出文件配置。通过自定义EventTimeBucketAssigner实现按事件时间分桶，设置滚动策略确保文件管理和Exactly-Once语义。数据按天写入HDFS后，通过定时任务添加Hive分区，解决小文件问题。

摘要由CSDN通过智能技术生成

之前负责flink平台的规划以及开发，这里记录flink如何写数据到hive。我们的场景都是些基于埋点数据的分析，用户活跃、用户新增之类的。用图表示大概如下：

在这里插入图片描述
原本是希望使用flink sql开发的，综合考虑后使用StreamingFileSink（点击连接查看官网），demo如下:

//前提是启用 Checkpoint，不然部分文件（part file）将永远处于 'in-progress' 或 'pending' 状态，下游系统无法安全地读取。
String outputBasePath = "hdfs://.../test/tablename/"
final StreamingFileSink<Row> sink = StreamingFileSink
				.forRowFormat(new Path(outputPath), new SimpleStringEncoder<Row>("UTF-8"))
				//.withRollingPolicy(OnCheckpointRollingPolicy.build())
				.