1,用spark加载ip的规则数据,并广播到各work上.
2,加载要处理的日志文件 处理数据.
3,将日志的ip取出来,转换成long类型数值,同规则的数据中的数值,进行比较.
4,将转换好的数值,通过二分法查找在规则变量中的索引值.
5,将处理好的结果数据储存mysql数据库中,为web系统进行展示使用
1,用spark加载ip的规则数据,并广播到各work上.
2,加载要处理的日志文件 处理数据.
3,将日志的ip取出来,转换成long类型数值,同规则的数据中的数值,进行比较.
4,将转换好的数值,通过二分法查找在规则变量中的索引值.
5,将处理好的结果数据储存mysql数据库中,为web系统进行展示使用