pyflink 自定义函数

scan724

于 2023-06-02 16:04:54 发布

阅读量537

点赞数 1

分类专栏： Flink实时计算文章标签： python 开发语言

本文链接：https://blog.csdn.net/zhaoyangjian724/article/details/131009035

版权

Flink实时计算专栏收录该内容

102 篇文章 1 订阅

订阅专栏

该代码示例展示了如何在Python中使用ApacheFlink（PyFlink）进行数据流处理。首先，它创建了一个StreamExecutionEnvironment，然后定义了一个MapFunction来增加输入值。接着，从一个简单的数字列表中创建了DataStream，并应用了MapFunction，将结果打印出来。最后，执行了环境。代码还导入了Redis库，但未在示例中直接使用。

摘要由CSDN通过智能技术生成

from pyflink.datastream import StreamExecutionEnvironment
from pyflink.common.typeinfo import Types
from pyflink.datastream import StreamExecutionEnvironment
from pyflink.table import StreamTableEnvironment
from pyflink.datastream.connectors import NumberSequenceSource
from pyflink.common.typeinfo import Types
from pyflink.common.watermark_strategy import WatermarkStrategy
from pyflink.datastream import StreamExecutionEnvironment
from pyflink.datastream.functions import RuntimeContext, MapFunction,FlatMapFunction
import re
import redis

# 创建 StreamExecutionEnvironment 对象
env = StreamExecutionEnvironment.get_execution_environment()
def my_map_func(value):
return value + 1
data_stream = env.from_collection([1, 2, 3, 4, 5], type_info=Types.INT())
mapped_stream = data_stream.map(my_map_func, output_type=Types.INT())
mapped_stream.print()
env.execute()
[root@master pyflink]# python k112.py
1> 2
2> 3
4> 5
3> 4
1> 6