KeyBy操作

scan724

于 2023-06-03 10:35:25 发布

阅读量1.3k

点赞数

分类专栏： Flink实时计算文章标签： flink

本文链接：https://blog.csdn.net/zhaoyangjian724/article/details/131018553

版权

Flink实时计算专栏收录该内容

102 篇文章 1 订阅

订阅专栏

文章介绍了ApacheFlink中使用KeyByDataStream操作来逻辑划分数据流，通过哈希分区确保相同key的记录位于同一分区。示例代码展示了如何在PythonFlink环境中使用key_by函数进行键值映射，并将结果输出到控制台。此外，提到了Flink与Kafka和Elasticsearch的集成用于数据消费和存储。

摘要由CSDN通过智能技术生成

KeyBy
DataStream → KeyedStream
在逻辑上将流划分为不相交的分区。具有相同 key 的记录都分配到同一个分区。

在内部， keyBy() 是通过哈希分区实现的。有多种指定 key的方式。

[root@master pyflink]# cat flik_6.py
# -*- coding: utf-8 -*-
from pyflink.datastream import StreamExecutionEnvironment
from pyflink.datastream.functions import MapFunction, RuntimeContext, KeyedProcessFunction
from pyflink.datastream.state import MapStateDescriptor
from pyflink.datastream.connectors.kafka import FlinkKafkaConsumer
from pyflink.common.typeinfo import Types, TypeInformation
from pyflink.datastream.connectors.elasticsearch import Elasticsearch7SinkBuilder, ElasticsearchEmitter, FlushBackoffType
from pyflink.datastream.connectors import DeliveryGuarantee
from pyflink.common.serialization import SimpleStringSchema
import json
import re
env = StreamExecutionEnvironment.get_execution_environment()

data_stream = env.from_collection(collection=[(1, 'a'), (2, 'a'), (3, 'b')])
data_stream=data_stream.key_by(lambda x: x[1], key_type=Types.STRING())
# 输出到控制台
data_stream.print()

# 执行任务
env.execute('Add "aaaa" to each line')
[root@master pyflink]# python flik_6.py
3> (1, 'a')
3> (2, 'a')
3> (3, 'b')