- 博客(11)
- 收藏
- 关注
RSS订阅原创 Flink SQL CEP详解
一、What – 什么是Flink SQL CEPCEP即Complex Event Processing复杂事件处理，它可以让你在无限事件流中检测出特定的事件模型。新版本的SQL标准支持在SQL中的模式识别（Row Pattern Recognition in SQL），它允许Flink使用MATCH_RECOGNIZE子句融合CEP和SQL API，以便在SQL中进行复杂事件处理。二、Where – 应用场景目标：从有序的简单事件流中发现一些高阶特征输入：一个或多个简单事件构成的事件流处理：
2022-01-11 16:42:07
4487
1
原创 nohup日志未重定向导致的linux服务器tmp空间泄漏
nohup结合crontab使用，如果没有对进程日志进行重定向可能导致tmp空间泄漏！详情查看《记一次/tmp空间泄露问题定位》。
2021-05-20 10:57:48
281
原创 记一次/tmp空间泄露问题定位
部分服务器在长时间运行后出现了/tmp空间告警（大约半年）磁盘空间占用过高时因为我们部署的进程占用了/tmp下已删除的文件，导致文件并没有真正释放，并且进程在持续写文件。这实际上是一种句柄泄漏。可以看到被占用的文件以及占用进程。可以确认这种文件不是进程中主动打开的文件，而是linux在某种机制下创建的临时文件。解决这个问题，最直接的办法是重启所有占用了此文件的进程，如上图的进程59613，但这种做法代价太大。根本的解决方案是优化代码，找到可能泄漏资源的地方。
2021-05-20 10:53:11
729
原创 聊聊Flink porcess算子
process算子有4个方法类，包括ProcessFunction、KeyedProcessFunction、BroadcastProcessFunction、KeyedBroadcastProcessFunction。其中KeyedProcessFunction及KeyedBroadcastProcessFunction只能处理keyedStream，ProcessFunction及BroadcastProcessFunction只能处理DataSteam。广播和普通的流数据不同的是：广播流的1条流数据
2021-04-30 16:26:29
955
1
原创 Flink DataStream API TopN实践
public KeyedBroadcastProcessFunction createThresholdKeyedBroadcastProcessFunction(MapStateDescriptor<String, JSONArray> thresholdDescriptor) { return new KeyedBroadcastProcessFunction<Tuple, FlowTuple11, CommonConfig, FlowTuple11>(){
2021-04-30 15:14:38
321
1
原创 Debian更换内核版本——通过官方快照获取指定内核版本的源
概述Q：Debian的软件列表里找不到指定的内核版本怎么办？A：更换源Q：怎么获取相应的源呢？A：通过官方快照有时候我们需要对服务器更换指定的内核版本，但是通过apt search linux-image*却搜索不到我们想要版本。这是因为历史版本已经归档，不再默认源提供了。我们可以通过去寻找归档路径，也就是快照，来获相应的源，从而进一步更换指定的内核。获取快照源1、登录 http://snapshot.debian.org/，点击debian2、获取指定内核版本的发布日期（可以搜索、或者从
2020-12-10 17:27:34
8510
原创 Python3 协程、线程、进程example & 对比
概述除了一般编程语言都具备的线程、进程，python还有一种‘轻量级’的线程——协程。进程不必赘述，和其他语言类似。线程python的线程是一个奇葩的存在，不同于其他语言。随着硬件技术的高速发展，各CPU厂商在核心频率上的比赛已经被多核所取代。为了更好的利用多核优势，随之衍生出了多线程编程，python自然也不能免俗。但是多线程带来的问题是线程间数据一致性和状态同步，最简单的就是加一把锁，于是产生了一把名叫GIL的超级锁。这把锁的存在，使得python的多线程事实上依然只是单线程，因为GIL限制了
2020-12-10 14:49:54
171
原创 Windows配置端口转发绕过samba 445端口限制共享linux磁盘
概述Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件。SMB（Server Messages Block，信息服务块）是一种在局域网上共享文件和打印机的一种通信协议，它为局域网内的不同计算机之间提供文件及打印机等资源的共享服务。SMB协议是客户机/服务器型协议，客户机通过该协议可以访问服务器上的共享文件系统、打印机及其他资源。SMB默认使用TCP 445端口。有了SMB我们可以在局域网中轻松访问各种共享文件夹或共享打印机，但也正是因为有了它，黑客们才有了可乘之机，他们能通过该端口偷偷
2020-12-09 00:11:11
8764
12
原创 Linux配置Samba服务器与Windows共享磁盘
环境Linux: Debian 、UbuntuWindows: Win10配置samba1、安装$ sudo apt install sba2、修改配置文件$ sudo vim /etc/samba/smb.conf在文件末尾添加：[debian] comment = debian path = /home/debian writable = yes说明：comment : 用户名path : 拟共享的路径3、添加samba用户smbpasswd -a d
2020-12-08 22:50:00
543
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人