之前负责flink平台的规划以及开发,这里记录flink如何写数据到hive。我们的场景都是些基于埋点数据的分析,用户活跃、用户新增之类的。用图表示大概如下:
原本是希望使用flink sql开发的,综合考虑后使用StreamingFileSink(点击连接查看官网),demo如下:
//前提是启用 Checkpoint,不然部分文件(part file)将永远处于 'in-progress' 或 'pending' 状态,下游系统无法安全地读取。
String outputBasePath = "hdfs://.../test/tablename/"
final StreamingFileSink<Row> sink = StreamingFileSink
.forRowFormat(new Path(outputPath), new SimpleStringEncoder<Row>("UTF-8"))
//.withRollingPolicy(OnCheckpointRollingPolicy.build())
.