Flink实时计算
文章平均质量分 62
Flink实时计算
scan724
这个作者很懒,什么都没留下…
展开
-
pyflink 消费kafka
"enable.auto.commit": "false", # 关闭kafka 自动提交,此处不能传bool 类型会报错。).name(f"消费{TEST_KAFKA_TOPIC}主题数据")# 创建 StreamExecutionEnvironment 对象。原创 2024-04-27 10:54:01 · 84 阅读 · 0 评论 -
pyflink 读取excel
import sysds.print()原创 2024-04-27 08:48:44 · 40 阅读 · 0 评论 -
pyflink设置并行度
import reimport sys。原创 2024-04-26 22:26:07 · 85 阅读 · 0 评论 -
pyflink 设置流批模式
import reimport sys。原创 2024-04-24 21:55:07 · 161 阅读 · 1 评论 -
Pyflink map 使用
import reimport sysworld=Nonereturn {passdict1={}原创 2024-04-21 21:10:53 · 263 阅读 · 0 评论 -
pyflink统计单词
import reimport sysworld=Nonereturn {pass。原创 2024-04-21 15:15:17 · 389 阅读 · 0 评论 -
log4j rename方法
log4j日志切割 os.rename。原创 2023-12-23 09:38:39 · 797 阅读 · 0 评论 -
filebeat 处理日志切割问题
filebeat 当从tst.log 切换到tst.log.1的时候,还会继续采集tst.log.1。原创 2023-12-22 16:51:15 · 612 阅读 · 0 评论 -
filebeat 7.10.2 当日志切割后,老的没采集完的,还会自动采集:
filebeat 7.10.2 当日志切割后,老的没采集完的,还会自动采集:原创 2023-12-22 15:52:02 · 518 阅读 · 0 评论 -
log4j日志切割原理
[root@zz test]# cat a1.py #!/usr/bin/python# -*- coding:utf-8 -*-## ithomer.netimport loggingimport logging.handlersLOG_FILE = 'tst.log'handler = logging.handlers.RotatingFileHandler(LOG_FILE, maxBytes = 1024*1024*10, backupCount=5)fmt = '%(asctime)s原创 2023-12-22 15:21:27 · 800 阅读 · 0 评论 -
日志切割,mv到历史目录
##日志切割,mv到历史目录。原创 2023-12-21 08:41:39 · 358 阅读 · 0 评论 -
程序一直写一个文件,inode变化
Birth: -Birth: -原创 2023-12-20 18:47:13 · 388 阅读 · 0 评论 -
filebeat8版本支持文件move
3、原创 2023-12-20 12:42:38 · 453 阅读 · 0 评论 -
日志切割,如果mv elink.log 20231220/elink.log.2023120 ,filebeat不会继续采集
日志切割,如果mv elink.log 20231220/elink.log.2023120 ,filebeat不会继续采集。原创 2023-12-20 12:11:42 · 386 阅读 · 0 评论 -
filebeat日志切割后不影响
filebeat 日志切割后不影响,直接读源文件就行。原创 2023-08-10 07:49:22 · 248 阅读 · 0 评论 -
日志文件切换过程
5.mv文件 mv test.log test.log.1。logstash 不会读取 test.log.1。原创 2023-08-09 22:01:05 · 169 阅读 · 0 评论 -
pyflink中的状态ttl设置
"enable.auto.commit": "false", # 关闭kafka 自动提交,此处不能传bool 类型会报错。(\d{26}).*?).name(f"消费{TEST_KAFKA_TOPIC}主题数据")# 创建 StreamExecutionEnvironment 对象。# id表示全局流水。原创 2023-07-10 19:40:11 · 997 阅读 · 0 评论 -
pyflink get_list_state
"enable.auto.commit": "false", # 关闭kafka 自动提交,此处不能传bool 类型会报错。).name(f"消费{TEST_KAFKA_TOPIC}主题数据")# 创建 StreamExecutionEnvironment 对象。# id表示全局流水。原创 2023-06-27 17:54:52 · 1070 阅读 · 0 评论 -
pyflink get_list_state报错
in commit这行报错导致。原创 2023-06-27 15:21:29 · 153 阅读 · 0 评论 -
yield 继续往下跑
if '开始分级日志' in message:# 记录加到缓存id='0'原创 2023-06-22 15:59:11 · 302 阅读 · 0 评论 -
python yield 和return区别
-------------开始分级日志 PID:11493 PROC[MPP_SDS_F3S] DATE:20230620 TIME:200403---------------', 'index_name': 'flink-log-clpf-gaps-20230622'}原创 2023-06-22 15:42:27 · 484 阅读 · 0 评论 -
pyflink 流批结合
"enable.auto.commit": "false", # 关闭kafka 自动提交,此处不能传bool 类型会报错。).name(f"消费{TEST_KAFKA_TOPIC}主题数据")# 创建 StreamExecutionEnvironment 对象。# id表示全局流水。原创 2023-06-22 15:10:17 · 1284 阅读 · 0 评论 -
pyflink get_list_state 数组
a=''a=a+xprint(x)print(a)111111112222222233333333444444444。原创 2023-06-21 22:37:00 · 385 阅读 · 0 评论 -
pyflink get_map_state 字符串
print(a)print(b)4567None。原创 2023-06-21 19:54:25 · 253 阅读 · 0 评论 -
python lambda 对象例子
1.1.1.1。原创 2023-06-21 08:05:38 · 180 阅读 · 0 评论 -
es字段映射
,},},"id": {"_doc": {"id": {},... 1 more。原创 2023-06-17 08:13:19 · 1191 阅读 · 1 评论 -
python 算子demo
"enable.auto.commit": "false", # 关闭kafka 自动提交,此处不能传bool 类型会报错。(\d{26}).*?).name(f"消费{TEST_KAFKA_TOPIC}主题数据")# 创建 StreamExecutionEnvironment 对象。# id表示全局流水。原创 2023-06-16 16:06:54 · 863 阅读 · 0 评论 -
pylink消费kafka写入ES
"enable.auto.commit": "false", # 关闭kafka 自动提交,此处不能传bool 类型会报错。(\d{26}).*?).name(f"消费{TEST_KAFKA_TOPIC}主题数据")# 创建 StreamExecutionEnvironment 对象。# id表示全局流水。原创 2023-06-13 22:01:25 · 1435 阅读 · 1 评论 -
pyflink kafka es
"enable.auto.commit": "false", # 关闭kafka 自动提交,此处不能传bool 类型会报错。).name(f"消费{TEST_KAFKA_TOPIC}主题数据")# 创建 StreamExecutionEnvironment 对象。原创 2023-06-12 21:04:20 · 1579 阅读 · 1 评论 -
pyflink map 字典写入ES
创建 StreamExecutionEnvironment 对象。# 读取文件,创建 DataStream 对象。原创 2023-06-10 20:03:15 · 1187 阅读 · 0 评论 -
python flat_map字典写入es
创建 StreamExecutionEnvironment 对象。# 读取文件,创建 DataStream 对象。原创 2023-06-10 15:39:05 · 1459 阅读 · 0 评论 -
flink 流计算一条一条处理日志
创建 StreamExecutionEnvironment 对象。# 读取文件,创建 DataStream 对象。原创 2023-06-10 15:20:31 · 1397 阅读 · 0 评论 -
pyflink key_by操作
创建 StreamExecutionEnvironment 对象。# 读取文件,创建 DataStream 对象。# 对每行数据添加字符串 'aaaa'原创 2023-06-08 20:23:50 · 556 阅读 · 0 评论 -
pyflink 流处理 自定义函数
创建 StreamExecutionEnvironment 对象。# 读取文件,创建 DataStream 对象。原创 2023-06-08 19:49:12 · 858 阅读 · 0 评论 -
python lambda 字典例子
[root@master pyflink]# cat a5.py dict1={'bus_seq': '10402020230515094322018855', 'message': 'ES047 625978 11111111111111111', 'index_name': 'flink-test2023-06-08'}f=(lambda log: log['bus_seq'])print(f(dict1))[root@master pyflink]# python a5.py 1040202原创 2023-06-08 16:09:07 · 75 阅读 · 0 评论 -
pyflink 状态管理需要用到key_by
创建 StreamExecutionEnvironment 对象。# 读取文件,创建 DataStream 对象。# 对每行数据添加字符串 'aaaa'原创 2023-06-08 15:55:41 · 664 阅读 · 0 评论 -
pyflink flat_map
创建 StreamExecutionEnvironment 对象。# 读取文件,创建 DataStream 对象。# 对每行数据添加字符串 'aaaa'原创 2023-06-08 14:25:09 · 738 阅读 · 0 评论 -
pyflink flat_map
创建 StreamExecutionEnvironment 对象。# 读取文件,创建 DataStream 对象。# 对每行数据添加字符串 'aaaa'原创 2023-06-08 14:21:29 · 376 阅读 · 0 评论 -
python yield
[root@master pyflink]# cat a4.pyclass LogEvent: bus_seq = None message = None def __init__(self,bus_seq,message): self.bus_seq = bus_seq self.message = messagedef fun(): log_event = LogEvent('9999999999999','aaaaaaaaaaaaa原创 2023-06-08 11:02:21 · 798 阅读 · 0 评论 -
pyflink sinktoes
创建 StreamExecutionEnvironment 对象。# 读取文件,创建 DataStream 对象。# 对每行数据添加字符串 'aaaa'原创 2023-06-07 15:25:16 · 810 阅读 · 1 评论