Flink-to-Hive实现

本文介绍了如何使用Flink将数据实时写入Hive,重点讲解了采用StreamingFileSink的滚动策略、分桶策略和输出文件配置。通过自定义EventTimeBucketAssigner实现按事件时间分桶,设置滚动策略确保文件管理和Exactly-Once语义。数据按天写入HDFS后,通过定时任务添加Hive分区,解决小文件问题。
摘要由CSDN通过智能技术生成

之前负责flink平台的规划以及开发,这里记录flink如何写数据到hive。我们的场景都是些基于埋点数据的分析,用户活跃、用户新增之类的。用图表示大概如下:

在这里插入图片描述
原本是希望使用flink sql开发的,综合考虑后使用StreamingFileSink(点击连接查看官网),demo如下:

//前提是启用 Checkpoint,不然部分文件(part file)将永远处于 'in-progress' 或 'pending' 状态,下游系统无法安全地读取。
String outputBasePath = "hdfs://.../test/tablename/"
final StreamingFileSink<Row> sink = StreamingFileSink
				.forRowFormat(new Path(outputPath), new SimpleStringEncoder<Row>("UTF-8"))
				//.withRollingPolicy(OnCheckpointRollingPolicy.build())
				.
  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值