Flink维表关联之Redis(java实现)

最新推荐文章于 2024-12-05 12:02:52 发布

znmdwzy

最新推荐文章于 2024-12-05 12:02:52 发布

阅读量2.7k

点赞数 2

分类专栏： Flink 文章标签： flink redis

本文链接：https://blog.csdn.net/znmdwzy/article/details/107849188

版权

需求背景：

需要流数据与Redis数据进行关联查询。通常情况下Flink可以通过RichMapFunction来创建外部数据系统的client连接，来进行数据的写入和数据的读取。但这种同步查询和操作数据库的方式会因网络等问题影响数据处理的效率，如果想提升效率就要考虑增加算子的并行度，这会增多额外的资源开销。写这个也是网上java实现的资料太少了！

解决思路：

Flink在1.2版本中引入了Asynchronous I/O，能够支持异步的方式连接外部的存储系统，从而提升Flink系统与外部数据库交互的性能与吞吐量，但前提是数据库本身需要支持异步客户端。

解决方案：

1、引入Redis支持异步的客户端

<dependency>
            <groupId>io.lettuce</groupId>
            <artifactId>lettuce-core</artifactId>
            <version>5.0.5.RELEASE</version>
</dependency>
<dependency>
            <groupId>io.netty</groupId>
            <artifactId>netty-all</artifactId>
            <version>4.1.24.Final</version>
 </dependency>

2、构建Flink异步处理的方法

public class RedisSide extends RichAsyncFunction<String,String> {
   

    //构建Redis异步客户端
    private RedisClusterClient redisClusterClient;
    private StatefulRedisClusterConnection<String,String> connection;
    private RedisClusterCommands<String,String> async;
    private List<String> nodes;

    public RedisSide(List<String> nodes)