Flume企业级案例 聚合

1、案例需求
hadoop102 上的 Flume-1 监控文件/opt/module/data/group.log，
hadoop103 上的 Flume-2 监控某一个端口的数据流，
Flume-1 与 Flume-2 将数据发送给 hadoop104 上的 Flume-3，Flume-3 将最终数据打印到控 制台。

2、需求分析

3、实现步骤:
准备工作，分发 Flume

在 hadoop102、hadoop103 以及 hadoop104 的/opt/module/flume/job 目录下创建一个 group3 文件夹。

创建 flume1-logger-flume.conf
配置 Source 用于监控 hive.log 文件，配置 Sink 输出数据到下一级 Flume。
在 hadoop102 上编辑配置文件

添加如下内容


2.创建 flume2-netcat-flume.conf
配置 Source 监控端口 44444 数据流，配置 Sink 数据到下一级 Flume:
在 hadoop103 上编辑配置文件

添加如下内容

3.创建 flume3-flume-logger.conf
配置 source 用于接收 flume1 与 flume2 发送过来的数据流，最终合并后 sink 到控制台。 在 hadoop104 上编辑配置文件

添加如下内容


4.执行配置文件
分别开启对应配置文件:flume3-flume-logger.conf，flume2-netcat-flume.conf，flume1- logger-flume.conf。

5.在 hadoop103 上向/opt/module 目录下的 group.log 追加内容

6.在 hadoop102 上向 44444 端口发送数据

7.检查 hadoop104 上数据