flink
大鹏_展翅
这个作者很懒,什么都没留下…
展开
-
flink状态,对象重用,触发器,数据覆盖相关问题
遇到的问题对于以上代码,我们进行keyby之后,我们new 了对象,我们会以为里面所有的数据都是独一份,和别的key是隔离的。所以利索当然的:这个类型对象的属性:ExitLessonCountMessage有classId,lessonId,studentId 我们也会认为是独一份和别的keyby之后的数据不重用。当我们入下图我们在定时器触发的时候。用了classId,lessonId,studentId 一直不是自己想要的数据, 导致数据混乱,百思不得其解。原因分析:最后经原创 2021-04-03 17:07:40 · 1918 阅读 · 6 评论 -
Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoff
在写flink程序时报错,后来网上查了好多文章都是瞎忽悠,最后自己仔细检查代码发现,是自己的疏忽。其实核心问题是你env 设置的时间语义和你代码中使用的不一致。具体报错信息如下:Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoffTimeStrategy(maxNumberRestartAttempts=2, backoffTimeMS=20000原创 2021-02-07 18:40:12 · 19370 阅读 · 4 评论 -
Flink Caused by:org.apache.flink.streaming.connectors.kafka.internal.Handover$ClosedException
Flink程序从kafka中读取数据进行计算,FLink程序一启动就报以下错误,看到错误很懵逼。加班到9点没解决,第二天提前来半小时,把如下错误信息又看了一遍。具体错误如下:错误信息1.20/12/17 09:31:07 WARN NetworkClient: [Consumer clientId=consumer-14, groupId=qa_topic_flink_group] Error connecting to node 172.16.40.233:9092 (id: -3 rack..原创 2020-12-17 09:43:40 · 3900 阅读 · 4 评论 -
Flink中内存的分配
我们通过Flink的执行UI界面可以看到两个参数 :JVM Heap Size 和Flink Managed Memory两个内存,那我们来看一下是如何算的。JVM Heap Size:也是实际我们Task Manager实际可用的内存。那我们先算出TM可以用的总内存,包括堆内和堆外内存以我们本次测试程序为例:TM总内存:total-taskManager-memory=1536- max[600, 4096 * 0.25] = 936Mtotal-taskManager-mem..原创 2020-12-16 15:03:27 · 1610 阅读 · 3 评论 -
flink Exception in thread “main“ org.apache.flink.api.common.functions.InvalidTypesException:
我们在写flink程序的时候,我们会用到元祖(Tuple)当上游算子用到Tuple时,下游用keyby(tuple->tuple.f0)就会报如下错误:解决办法:如下图必须用匿名内部类不能用lambda方法,因为不能为自动类型提取提供足够的信息。.keyBy(new KeySelector<Tuple2<Tuple8<String,String,String,String,String,String,String,String>,String>, Tup原创 2020-12-09 17:14:54 · 998 阅读 · 1 评论