![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 67
山里小龙
这个作者很懒,什么都没留下…
展开
-
Flink SQL在线调试功能的实现
本示例基于flink-connector-redis展示如何使用限流、定时关闭等功能。原创 2022-09-29 22:00:56 · 1981 阅读 · 4 评论 -
Flink SQL多字段的维表关联查询-flink-connector-redis
Flink SQL经常需要关联维表,使用redis作为维表存储介质能获得较快的响应速度,大多情况维表有多个字段,写入与维表查询时只能使用concat与table function函数处理,非常麻烦。有没有更简单的方法呢?本示例基于展示如何利用’value.data.structure’='row’写多字段并关联查询,无需定义table function函数。原创 2022-09-29 19:42:52 · 2230 阅读 · 2 评论 -
flink catalog 之 flink-catalog-in-jdbc
运行环境全面升级到jdk11后,原基于hive catalog的flink catlog不能再使用,原因是现在hive所有版本都不支持jdk11原创 2022-08-17 00:01:00 · 535 阅读 · 0 评论 -
flink维表查询redis之flink-connector-redis
相对bahir增加的内容有:Table API, 维表查询。参考了腾讯云与阿里云两家主流云产商的流计算产品,取两家之长,并增加了更丰富的功能。原创 2022-03-10 20:29:55 · 6888 阅读 · 2 评论 -
Flink内存模型
最新内存模型flink1.10对内存使用进行了调整,模型划分更详细,但使初学者感觉更复杂了,从下图taskmanager内存模型可以看出一般。flink内存按功能模块可分为taskmanager与jobmanger, 其中jobmanger不承担计算任务,所以相对简单无需过多讨论。细分内存模型后,flink提供了大量参数来设置对应区块的大小,如下:参数非常多,容易让人混乱,所以flink也提供了一个非常简单的内存设置方法,即只需设置进程总内存即可,进程总内存包括了flink.原创 2021-09-25 01:54:15 · 287 阅读 · 0 评论 -
flink1.12通过sql实时写redis
插件名称:flink-connector-redis插件地址:https://github.com/jeff-zou/flink-connector-redis.git项目介绍基于bahir-flink二次开发,使它支持SQL直接定义写入redis,用户通过DDL指定自己需要保存的字段。使用方法:命令行执行 mvn package -DskipTests=true打包后,将生成的包flink-connector-redis_2.12-1.11.1.jar引入flink lib中即可,无需原创 2021-07-07 16:59:46 · 1639 阅读 · 0 评论 -
flink 1.11 基于SQL向redis更新多维度状态(多字段)
在实时计算平台接入业务过程中,经常遇到这样一个问题: 第一个任务获得的最新状态需要提供给后续一个或者多个任务使用。解决这个问题有很多方法,将状态序列化到消息队列中或者持久化到数据库中,但这些方法要么实时性不足要么使用上有oom问题,当这些最新状态数量达到亿级或者更大时,有比较合适一点的方法来解决这个问题吗? 我的解决方案是将状态存入redis-cluster中,这样在容量上及速度上满足了业务的需求,当然容量大小还是有限制的,不过现有大部分业务需求可以完全满足,当然这个方案还是有几个关键问题的,具体...原创 2020-11-15 23:32:25 · 1362 阅读 · 2 评论