Flink-CEP快速入门

Flink-CEP快速入门
更新时间：2022-09-12 10:58:28发布时间：2小时前朗读
文章目录
0. 简介 & 使用步骤
简介
使用步骤

1. 模式API（Pattern API：匹配规则）
   单个模式
   量词
   条件
   限定子类型
   简单条件（SimpleCondition）
   迭代条件（IterativeCondition）
   组合条件
   终止条件
   模式操作列举
   组合模式
   连续性
   循环模式中的近邻条件
   模式组
   匹配后跳过策略

2. 检测模式（检测满足规则的复杂事件）
   将模式应用到流上
   处理匹配事件
   匹配事件的选择提取（select）
   PatternSelectFunction
   PatternFlatSelectFunction
   匹配事件的通用处理（process）
   处理超时事件
   Maven

3. 简介 & 使用步骤 简介
   所谓 CEP，其实就是“复杂事件处理（Complex Event Processing）”的缩写；而 Flink CEP，就是 Flink 实现的一个用于复杂事件处理的库（library）
   把事件流中的一个个简单事件，通过一定的规则匹配组合起来，这就是“复杂事件”；然后基于这些满足规则的一组组复杂事件进行转换处理，得到想要的结果进行输出
   使用步骤
   复杂事件处理（CEP）的流程可以分成三个步骤：
   定义一个匹配规则
   将匹配规则应用到事件流上，检测满足规则的复杂事件
   对检测到的复杂事件进行处理，得到结果进行输出
   // 实体类
   public class LoginEvent {
   public String userId;
   public String ipAddress;
   public String eventType;
   public Long timestamp;

   public LoginEvent(String userId, String ipAddress, String eventType, Long timestamp) {
   this.userId = userId;
   this.ipAddress = ipAddress;
   this.eventType = eventType;
   this.timestamp = timestamp;
   }
   }

// CEP Demo
public class Demo003 {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

    // 获取登录事件流，并提取时间戳、生成水位线
    SingleOutputStreamOperator<loginevent> sourceData = env
            .fromElements(
                    new LoginEvent("user_1", "192.168.0.1", "fail", 2000L),
                    new LoginEvent("user_1", "192.168.0.2", "fail", 3000L),
                    new LoginEvent("user_2", "192.168.1.29", "fail", 4000L),
                    new LoginEvent("user_1", "171.56.23.10", "fail", 5000L),
                    new LoginEvent("user_2", "192.168.1.29", "success", 6000L),
                    new LoginEvent("user_2", "192.168.1.29", "fail", 7000L),
                    new LoginEvent("user_2", "192.168.1.29", "fail", 8000L)

            )
            .assignTimestampsAndWatermarks(
                    WatermarkStrategy.<loginevent>forBoundedOutOfOrderness(Duration.ZERO)
                            .withTimestampAssigner(
                                    new SerializableTimestampAssigner<loginevent>() {<!-- -->
                                        @Override
                                        public long extractTimestamp(LoginEvent loginEvent, long l) {<!-- -->
                                            return loginEvent.timestamp;
                                        }
                                    }));

    // 1. 定义一个匹配规则：定义 Pattern，连续的三个登录失败事件
    Pattern<loginevent, loginevent=""> pattern = Pattern
            .<loginevent>begin("first")  // 以第一个登录失败事件开始
            .where(new IterativeCondition<loginevent>() {<!-- -->
                @Override
                public boolean filter(LoginEvent loginEvent, Context<loginevent> context) throws Exception {<!-- -->
                    return "fail".equals(loginEvent.eventType);
                }
            })
            .next("second")  // 接着是第二个登录失败事件
            .where(new IterativeCondition<loginevent>() {<!-- -->
                @Override
                public boolean filter(LoginEvent loginEvent, Context<loginevent> context) throws Exception {<!-- -->
                    return "fail".equals(loginEvent.eventType);
                }
            })
            .next("third")  // 接着是第三个登录失败事件
            .where(new IterativeCondition<loginevent>() {<!-- -->
                @Override
                public boolean filter(LoginEvent loginEvent, Context<loginevent> context) throws Exception {<!-- -->
                    return "fail".equals(loginEvent.eventType);
                }
            });

    // 2. 将 Pattern 应用到流上，检测匹配的复杂事件，得到一个 PatternStream
    PatternStream<loginevent> cepPattern = CEP.pattern(sourceData.keyBy(loginEvent -> loginEvent.userId), pattern);

    // 3. 对检测到的复杂事件进行处理：将匹配到的复杂事件选择出来，然后包装成字符串
    SingleOutputStreamOperator<string> select = cepPattern.select(new PatternSelectFunction<loginevent,