zilong00007的专栏

本示例基于flink-connector-redis展示如何使用限流、定时关闭等功能。

Flink SQL经常需要关联维表，使用redis作为维表存储介质能获得较快的响应速度，大多情况维表有多个字段,写入与维表查询时只能使用concat与table function函数处理，非常麻烦。有没有更简单的方法呢？本示例基于展示如何利用’value.data.structure’='row’写多字段并关联查询，无需定义table function函数。

运行环境全面升级到jdk11后，原基于hive catalog的flink catlog不能再使用，原因是现在hive所有版本都不支持jdk11

相对bahir增加的内容有：Table API, 维表查询。参考了腾讯云与阿里云两家主流云产商的流计算产品，取两家之长，并增加了更丰富的功能。

最新内存模型flink1.10对内存使用进行了调整，模型划分更详细，但使初学者感觉更复杂了，从下图taskmanager内存模型可以看出一般。flink内存按功能模块可分为taskmanager与jobmanger, 其中jobmanger不承担计算任务，所以相对简单无需过多讨论。细分内存模型后，flink提供了大量参数来设置对应区块的大小，如下：参数非常多，容易让人混乱，所以flink也提供了一个非常简单的内存设置方法，即只需设置进程总内存即可，进程总内存包括了flink.

插件名称：flink-connector-redis插件地址：https://github.com/jeff-zou/flink-connector-redis.git项目介绍基于bahir-flink二次开发，使它支持SQL直接定义写入redis,用户通过DDL指定自己需要保存的字段。使用方法:命令行执行 mvn package -DskipTests=true打包后，将生成的包flink-connector-redis_2.12-1.11.1.jar引入flink lib中即可，无需

在实时计算平台接入业务过程中，经常遇到这样一个问题： 第一个任务获得的最新状态需要提供给后续一个或者多个任务使用。解决这个问题有很多方法，将状态序列化到消息队列中或者持久化到数据库中，但这些方法要么实时性不足要么使用上有oom问题，当这些最新状态数量达到亿级或者更大时，有比较合适一点的方法来解决这个问题吗？ 我的解决方案是将状态存入redis-cluster中，这样在容量上及速度上满足了业务的需求，当然容量大小还是有限制的，不过现有大部分业务需求可以完全满足，当然这个方案还是有几个关键问题的，具体...