![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 78
Zsigner
这个作者很懒,什么都没留下…
展开
-
【大厂Offer】教你如何从Flink小白成为Contributor最终拿到腾讯的Offer
一开始我也是怀揣着成为一个技术大老的梦想开始的,尽管我现在已经入职腾讯三年多了有时候觉得自己还是一个菜鸡哈.....写这个文章希望可以帮助到刚刚接触大数据,并且对技术怀揣着梦想的朋友们,大家互相学习哈原创 2024-07-31 15:31:24 · 850 阅读 · 0 评论 -
【Flink】【ClickHouse】写入流式数据到ClickHouse
Flink 安装的教程就不在这里赘叙了,可以看一下以前的文章,这篇文章主要是把流式数据写入的OLAP(ClickHouse)中作查询分析Flink 1.13.2, ClickHouse22.1.3.7原创 2022-10-24 17:22:25 · 3867 阅读 · 0 评论 -
【Flink】在算子中使用Tuple出现的bug
在使用map,flatMap 算子的过程中想把pojo 转换成Tuple 类型进行输出,在编码的过程中正常,运行是出现异常原创 2022-07-06 15:12:12 · 788 阅读 · 0 评论 -
【Flink】 执行flink-python Test模块遇到的Bug
环境:Flink Version 1.15,Scala 2.11,Jdk 1.8,Maven 3.6背景,今天在测试flink-python 模块下的PythonProgramOptionsITCase.testConfigurePythonExecution方法时提示java: 程序包org.apache.flink.sql.parser.impl不存在1、run PythonProgramOptionsITCase.testConfigurePythonExecution2、执.原创 2022-04-22 14:48:09 · 2674 阅读 · 0 评论 -
【FLINK】实时流读取维表(二)Async I/O
1、aysnc i/o 的设计The following diagram illustrates how the streaming records are processed whilearriving at AsyncWaitOperator recovering from task failover snapshotting state being emitted by Emitter Thread来源:FLIP-12: Asynchronous I/O Design and Imp原创 2022-01-18 17:20:01 · 609 阅读 · 0 评论 -
【FLINK】实时流读取维表(一)Broadcast State Pattern
1、什么是广播状态What is Broadcast State?TheBroadcast Statecan be used to combine and jointly process two streams of events in a specific way. The events of the first stream are broadcasted to all parallel instances of an operator, which maintains them as s..原创 2022-01-17 19:36:16 · 2002 阅读 · 0 评论 -
【FLINK】The requested state does not exist. Check for typos in your state descriptor, or specify the
背景:Flink 1.13 ,Scala 2.11在使用Flink Broadcast State Pattern的时候,发现启动的时候的出现异常1、报错信息Caused by: java.lang.IllegalArgumentException: The requested state does not exist. Check for typos in your state descriptor, or specify the state descriptor in the da.原创 2022-01-14 20:12:15 · 1325 阅读 · 0 评论 -
【FLINK】This type (GenericType) cannot be used as key.
背景:flink 1.13.2 scala 2.11 在使用flinkKeyedProcessFunction函数时,在上一步的keyBy函数里使用fieldName,产生了上面的错误类型,说POJO类型不能做为key1、类的定义@Data@EqualsAndHashCodepublic class ClickDataEntity implements Serializable, CommonInter { private st...原创 2021-11-02 15:26:00 · 1635 阅读 · 2 评论 -
【FLINK】flink 读取Kafka数据写入Hive表中
背景:对实时的历史数据持久化保存到Hdfs中,可以使用Hive Sql 追溯历史数据给业务参考多维度指标版本信息:Flink 1.11.2,Scala 2.11,Kafka 2.12,Hive 2.3.71、引入pom.xml内容<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww...原创 2021-05-09 16:23:49 · 5625 阅读 · 26 评论 -
【FLINK】Flink 状态后端学习及如何选择合适的StateBackends
背景:其实关于flink statebackend的这篇文章我犹豫了很久要不要写,因为我觉得官网上面解释的就很详细了,最终还是落笔写下这篇文章最重要的原因是总结提取一下重要的内容给自己也给刚接触的同学吧...原创 2021-05-01 16:33:24 · 1030 阅读 · 0 评论 -
【FLINK SQL CLIENT】使用flink 1.11.2 sql client 使用HiveCatalog实践过程
版本:Apache Flink 1.11.2 for Scala 2.11 下载地址:https://mirror.bit.edu.cn/apache/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.11.tgz Hive 2.1.1 (腾讯云版本)参考官方Example链接:https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/hive/hiv...原创 2020-12-16 17:18:09 · 2019 阅读 · 5 评论 -
【FLINK】 No Executor found. Please make sure to export the HADOOP_CLASSPATH
背景:为了更好的使用flink sql&table,系统决定从flink 从1.10 升级到 1.11,然后在测试flink example的命令时出现了这个bug(不懂怎么安装的直接参考官网链接:https://ci.apache.org/projects/flink/flink-docs-release-1.11/try-flink/local_installation.html)java.lang.IllegalStateException: No Executor found.原创 2020-12-10 11:42:24 · 10614 阅读 · 16 评论 -
【FLINK】RECEIVED SIGNAL 15: SIGTERM. Shutting down as requested.
参考以下两篇博客,定位解决了问题,【备注学习】本人使用的版本是flink 1.101、Flink任务物理内存溢出问题定位问题现象一个使用10秒滚动窗口的任务在平稳运行一段时间之后出现了频繁的重启。在TaskManager日志中能看到以下文本:2019-03-17 16:05:28,854 INFO org.apache.flink.yarn.YarnTaskExecutorRunner - RECEIVED SIGNAL 15: SIGTERM..转载 2020-12-02 14:35:19 · 8603 阅读 · 0 评论 -
【FLINK】记一次savepoint 重启升级程序
详细命令可以参考官方文档:https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/state/savepoints.html1、保存savepointbin/flink savepoint :jobId [:targetDirectory] -yid :yarnAppIdeg:flink savepoint c4d233a01006c3a872ba40a9115dc7c5 hdfs://10.0.0.xx:40原创 2020-12-01 21:08:11 · 531 阅读 · 0 评论 -
【FLINK 】 Flink on YARN模式下TaskManager的内存分配
解决背景: 总的ytm分配的不变的情况下怎么划分给堆内内存JVM 一个更大的内存空间对于心急的同学来说,我们直接先给一个解决方案,后面想去了解的再往下看:原来的命令,-ytm 8192,分配给taskmanager 的JVM 有3.29Gflink run -m yarn-cluster -ynm streaming -ys 3 -p 3 -yjm 2048 -ytm 8192 -c com.xxx.mainClass /home/hadoop/xxx.jar优化后的命..原创 2020-09-15 16:21:47 · 2352 阅读 · 0 评论 -
【FLINK】Flink On Yarn 提交Job添加参数项
提交参数项 -yDflink run -d -m yarn-cluster -ynm com.xiaoe -ys 3 -p 6 -yjm 2048 -ytm 10240 -yD containerized.heap-cutoff-ratio=0.1 -yD taskmanager.memory.off-heap=true -yD taskmanager.memory.size=100m -yD heartbeat.timeout=18000000 -c com.xxx /usr/local/flin原创 2020-09-11 11:29:01 · 5736 阅读 · 0 评论 -
【奇奇怪怪的bug】今天Flink程序又又挂了,来学学Task Failure Recovery补救补救
背景:目前的yarn集群比较少,在数据量大一点,运行资源不足的情况下经常会影响到实时程序(内心os:还不如搭个flink 集群得了跑啥on yarn嘛毕竟穷是原罪。。。,现在整天都要擦屁股。。。。。)心跳容器超时,也就是在规定的时间内TaskManager 无法为task 向JobManager申请到container 网络,cores,内存都有可能引起直接查看flink的重启策略是什么:点击dashborad=》Running Job =》Configuration默认重启策略,没开启chec原创 2020-08-28 23:31:40 · 1866 阅读 · 2 评论 -
【奇奇怪怪bug】Flink 1.10 on yarn ,application 在yarn 显示Running ,webui 显示Failed
今天产品气势汹汹的跑过来跟我说,生产环境的实时程序不对啊!!!!添加数据一直看不到展示开始不可能三连:1.不可能吧,早上还好端端的 2.不可能会出问题的,可能是网络延迟 3.不可能出不来啊,是不是你没清缓存,你清缓存试试看打发了产品回去之后,立马登上去看1.排查1.1 yarn 运行的好端端的,没收到电话跟短信是正常的(ps:这里加了监控实时任务挂掉的话是会电话短信通...原创 2020-08-20 20:38:33 · 2795 阅读 · 3 评论 -
【FLINK】Flink 1.10 Run 命令详解
对于刚接触flink的小伙伴,很多都不太理解flink的参数命令,我也是,这里我记录一下,尽量通俗易懂装了flink 之后,要是不太记得参数命令可以直接敲命令flink run --helpSyntax:run[OPTIONS]<jar-file><arguments> "run"actionoptions: description 理解 -c,--class<classname> ...原创 2020-08-04 18:00:21 · 6510 阅读 · 0 评论 -
【FLINK】flink读取mysql 数据 报java.sql.SQLException: Value ‘0000-00-00 00:00:00‘ can not be represented
原因是读取mysql中Timestamp类型字段时,如果数值为空值会以0000-00-00 00:00:00 格式填充,导致格式转换错误解决方式:在jdbc后面添加?zeroDateTimeBehavior=convertToNull String driverClass = "com.mysql.jdbc.Driver"; String dbUrl = "jdbc:mysql://localhost:3306/test?zeroDateTimeBehavior=..原创 2020-08-02 23:21:01 · 484 阅读 · 0 评论 -
Flink的状态介绍和有状态的计算
推荐大家去看原文博主的文章,条理清晰阅读方便,转载是为了方便以后个人查阅https://blog.csdn.net/sghuu/article/details/1036965081 Flink的状态指的是1.1.维护的状态变量,键控状态值状态(Value state)为每个键存储一个任意类型的单个值。复杂数据结构也可以存储为值状态。列表状态(List state)为每个键存储一个值的列表。列表里的每个数据可以是任意类型。映射状态(Map state)为每个键存储一个键值映射(map.转载 2020-06-27 23:39:21 · 779 阅读 · 0 评论 -
flink 多流join 触发时机详解
https://my.oschina.net/u/2969788/blog/3082677flink 多流join 触发时机详解 flink多流join代码很简单,但是对于初学者可能会遇到window窗口计算不能触发的"假象",这往往是由于对flink window eventtime processtime理解不到位引起的,以下示例将详述join在不同时间下的触发过程.join+window+processtime代码import java.text.SimpleDateFo..转载 2020-06-21 14:45:04 · 1299 阅读 · 3 评论 -
Apache Flink:客户端操作的 5 种模式
推荐大家去看原文博主的文章,条理清晰阅读方便,转载是为了方便以后查阅https://segmentfault.com/a/1190000020300020?utm_source=tag-newest1.环境说明在前面几期的课程里面讲过了 Flink 开发环境的搭建和应用的部署以及运行,今天的课程主要是讲 Flink 的客户端操作。本次讲解以实际操作为主。这次课程是基于社区的 Flink...转载 2020-03-12 11:43:15 · 996 阅读 · 0 评论