flink1.12使用KeySelector选择多个字段进行keyBy操作

最新推荐文章于 2024-08-03 17:58:56 发布

zhou_zhao_xu

最新推荐文章于 2024-08-03 17:58:56 发布

阅读量4.2k

点赞数

分类专栏： java Flink

本文链接：https://blog.csdn.net/zhou_zhao_xu/article/details/115622769

版权

本文详细介绍了Apache Flink 1.12版本中如何利用KeySelector实现对多个字段进行keyBy操作，以实现数据流的聚合和分组。内容涵盖KeySelector的定义、使用示例以及注意事项，帮助读者理解如何在实际场景中灵活运用。

摘要由CSDN通过智能技术生成

dataStream.keyBy(new MyKeySelector())

// 自定义 KeySelector
    public static class MyKeySelector implements KeySelector<MarketingUserBehavior,Tuple2<String,S

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zhou_zhao_xu

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【Flink】自定义keyBy的KeySelector

一杯咖啡半杯糖的博客

12-08

1689

这个对象的类型，KEY为最后返回的key的类型，我们返回的是Product对象的name值，是String类型，直接实现getKey这个类，返回Product对象的name值即可实现。来看最后的实现，通常我们不论是从哪个数据源传到flink中的数据（通常是kafka），我们会把数据转化为一个对象，红色部分就是自定义的KeySelector

Flink中keyBy多个字段的lambda写法

weixin_45003481的博客

11-26

301

flink中的keyBy算子

参与评论您还未登录，请先登录后发表或查看评论

Flink之keyBy操作

热门推荐

bao_since的博客

05-22

1万+

public class RecordSeclectId implements KeySelector<Record, String> { private static final long serialVersionUID = 4780234853172462378L; @Override public String getKey(Record value) throw...

keyBy多字段分组

勇心在馨

03-14

3394

如果keyBy时需要按照多个字段分组，该如何写？ 1、使用元组查看keyBy源码，可见当使用元组时可以传入多个索引下标 public KeyedStream<T, Tuple> keyBy(int... fields) { return !(this.getType() instanceof BasicArrayTypeInfo) && !(this....

【白话Flink进阶理论】Flink中的各种Join操作汇总(Flink1.12)

橙心橙意橙续缘的博客

12-26

1748

深入浅出Flink 12 之 Window操作

澜水清风的博客

07-14

325

Flink 11 之 Window操作1 Keyed Windows1.1 window function1.2 Trigger1.3 Evictor1.4 window增量聚合1.5 window全量聚合1.6 window join 1 Keyed Windows stream .keyBy(...) <- keyed versus non-keyed windows .window(...) <- required: "assigner" [.trigger(...)] <-

[Flink]一、Flink1.13

weixin_44428807的博客

07-01

1006

1. Flink简介1.1 Flink的起源和设计理念flink项目的核心目标：数据流上的有状态计算（Stateful Computations over Data Streams)。时间驱动：来一个事件处理一个事件；流处理的流水线；流&批数据分析具体定位是：Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。1.2 Flink的应用。

Flink基础概念及算子_flink 算子

2401_84170337的博客

04-29

397

当Flink提供的所有分区策略都不能满足用户的需求时，我们可以通过使用partitionCustom()方法来自定义分区策略。

Flink 多个keyBy 多个sink

软件开发工程师----王腾

12-23

3782

Flink 一个job , 多个keyBy , 多个sink. 最近楼主在开发flink 流程的时候，碰到了一个八哥，一个source ,多个keyBy , 多个sink.但是总是出现ClassCastException . 函数的原型大概是这样： DataStream source = env.addSource(); source.map(return AModel).fliter(Objects::nonNull).keyBy().sink(); source.map(return B..

flink消费kafka消息，自定义keyselector

fangletian1981的专栏

08-05

766

flink消费kafka消息

Flink 1.17教程：聚合算子（Aggregation）之按键分区（keyBy）

学亮编程手记

09-07

1083

但它跟之前的转换操作得到的SingleOutputStreamOperator不同，只是一个流的分区操作，并不是一个转换算子。KeyedStream可以认为是“分区流”或者“键控流”，它是对DataStream按照key的一个逻辑分区，所以泛型有两个类型：除去当前流中的元素类型外，还需要指定key的类型。在内部，是通过计算key的哈希值（hash code），对分区数进行取模运算来实现的。计算的结果不仅依赖当前数据，还跟之前的数据有关，相当于要把所有数据聚在一起进行汇总合并——这就是所谓的“聚合”（

Flink大数据实时计算系列-Flink的keyBy算子用法

段智华的博客

06-14

1242

Flink大数据实时计算系列-Flink的keyBy算子用法目录 Flink 的keyBy算子keyBy+connect算子案例实战文件数据源kakfa数据源FlinkniuKafkaRecordFlinkniuKafkaRecordSchemaCountryCodeConnectKeyByFlink系列博客 Flink 的keyBy算子 keyBy+connect算子案例实战文件数据源 111.txt AF 阿富汗 Afghanistan AL 阿尔巴尼亚 Albania AD 安道尔 Andorr

keyBy()用法 Flink

weixin_45264992的博客

10-08

3390

Flink对数据分区前言： Flink其实是不存储键值对数据的，但是我们可以人为创建key，将其分组。下面介绍如何使用map算子人为将数据分区。介绍keyBy()用法 1 按照元组的元素来分区 . //流处理环境 StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment(); DataStreamSource<String> text =

Apache Flink中keyBy三种方式指定key

wzf_winner的博客

01-23

1250

Apache Flink中keyBy三种方式指定key

Flink 使用技巧

01-09

2623

基本使用直接参照官方文档： https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/connectors/kafka.html 以下分享以下我的个性化使用方式 1.EventTime使用数据源时间，注册水印 StreamExecutionEnvironment env = StreamExecutionEnviron...

使用docker 部署flink1.12版本案例

03-02

以下是一个使用Docker部署Apache Flink 1.12的示例。 1. 首先，您需要安装Docker和Docker Compose。如果您没有安装，请参阅官方文档以获取说明。 2. 创建一个名为“flink”的新文件夹。 3. 在“flink”文件夹中创建一个名为“docker-compose.yml”的新文件，并添加以下内容： ``` version: "3.8" services: jobmanager: image: flink:1.12 expose: - "8081" command: jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager taskmanager: image: flink:1.12 depends_on: - jobmanager command: taskmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager ``` 该文件定义了两个服务：jobmanager和taskmanager。jobmanager是Flink作业管理器，taskmanager是Flink任务管理器。jobmanager暴露了端口8081，以便您可以通过Web界面查看Flink集群的状态。 4. 运行以下命令来启动Flink集群： ``` docker-compose up -d ``` 该命令会启动两个Docker容器，一个作为jobmanager，另一个作为taskmanager。 5. 在浏览器中打开以下网址，以查看Flink Web界面： ``` http://localhost:8081 ``` 您应该能够看到Flink集群的状态。 6. 现在，您可以将您的Flink作业提交到集群中。您可以使用以下命令来提交一个简单的WordCount作业： ``` docker run --rm -t flink:1.12 \ ./bin/flink run ./examples/batch/WordCount.jar \ --input file:///opt/flink/README.txt \ --output file:///opt/flink/wordcount-result.txt ``` 该命令会在一个新的Docker容器中运行WordCount作业，并将输入文件读取为本地文件系统中的文件，将输出写入到本地文件系统中的文件中。 7. 您可以使用以下命令来查看输出文件中的结果： ``` docker run --rm -it flink:1.12 cat /opt/flink/wordcount-result.txt ``` 该命令将输出WordCount作业的结果。以上是一个使用Docker部署Apache Flink 1.12的示例。请注意，您可能需要根据您的具体情况进行调整。