- 博客(8)
- 收藏
- 关注
原创 flink on k8s部署--kubernetes operator方式&Application Mode方式(附构建flink镜像Dockerfile)
本次部署方案采用flink on k8s,部署方式是flink-kubernetes-operator,部署flink-kubernetes-operator需要helm。我这里使用的是jdk1.8和flink1.13,或者用docker镜像执行flink命令。我使用的是flink1.13,其他版本类似,在docker hub中查询自己所使用版本的基础镜像即可。需要kubernetes version>=1.6,flink version>=1.13。登陆数据库检查产出情况。
2023-04-17 18:01:52 1769
原创 M1芯片MacBook Pro解决snappy-java的FAILED_TO_LOAD_NATIVE_LIBRARY问题
M1芯片MacBook Pro解决snappy-java的FAILED_TO_LOAD_NATIVE_LIBRARY问题
2022-07-12 11:00:03 2592 1
原创 Flink1.13版本新背压监控指标源码详解
Flink1.13版本新背压监控指标详解背压(Back Pressured,也称为反压)是flink众多监控指标中比较重要的一个,它可以很直观的反应下游task是否能及时处理完所接收到的数据,关于背压的详细情况可以参考官网: 监控反压。注:1.13官网的背压介绍,还是基于1.12的背压计算方式。在1.12之前,flink是通过输出堆栈采样来判断是否背压的,而在1.13中,更改为使用基于任务 Mailbox 计时,并且重新实现了作业图的 UI 展示,Flink 现在在 UI 上通过颜色和数值来展示繁 忙
2021-09-03 19:54:04 1640
原创 Flink编译踩坑记录
最近因为项目需要在flink源码中更改一些内容,以支持项目开发,在修改和编译flink源码时遇到了一些问题,特此记录,以帮助其他人避免踩坑 首先要从github上clone一份源码,源码地址 将项目导入IDEA后,会发现整个flink项目巨大,包含很多module,故此可以根据自己需要将不需要的module注释掉,flink各module之间不是强耦合,只留下自己需要的module也可以顺利打包。 注释掉不需要module后,建议先打包一些,以下载所需依赖包,以及排查项目问题。
2021-08-25 17:35:27 765
原创 以计算网站pv,uv为例,详解flink sql维度表关联(Temporal Join)
本人最近在工作中遇到了一些指标需要用flink sql计算,其中就涉及到了维度表关联,开窗计算,提前输出等问题,现有网上内容(包括官网),对此方面内容并不详细,容易让新手产生一定疑惑。故此以此文章来记录所遇到的问题以及解决方案,该文章会尽可能的详细记录所遇到的问题,希望可以帮助新入坑的朋友们顺利完成相关工作。之所以选择pv和uv两个指标,一方面是这两个指标相对来说足够简单,同时也包含一定的技术点,而且也是数据工作中相对常见的指标,故此以此来作为案例讲解。本文会介绍展示基于两种时间(事件时间和处理时间)的
2021-03-08 17:44:01 3041 4
原创 spark 二次排序两种方法(scala)
排序数据:aa 34bb 24cc 83aa 53cc 12aa 47bb 35aa 21cc 64bb 73第一种方法是用spark中的sortBy方法:首先将数据处理成(“aa”,34)的格式;然后使用sortBy算子进行排序;/** * 二次排序使用sortBy */rdd.map(a => (a.split(" ")(0),a.split(" ")(1)....
2018-03-25 01:02:42 2756
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人