Flume 企业开发案例 复制和多路复用

1、案例需求
使用 Flume-1 监控文件变动，Flume-1 将变动内容传递给 Flume-2，Flume-2 负责存储 到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。 2)

2、需求分析:

3、实现步骤:
准备工作
在/opt/module/flume/job 目录下创建 group1 文件夹

在/opt/module/datas/目录下创建 flume3 文件夹

创建 flume-file-flume.conf
配置 1 个接收日志文件的 source 和两个 channel、两个 sink，分别输送给 flume-flume-hdfs 和 flume-flume-dir。

编辑配置文件

添加如下内容

2.创建 flume-flume-hdfs.conf
配置上级 Flume 输出的 Source，输出是到 HDFS 的 Sink。
编辑配置文件

添加如下内容

3.创建 flume-flume-dir.conf
配置上级 Flume 输出的 Source，输出是到本地目录的 Sink。
编辑配置文件

添加如下内容


提示:输出的本地目录必须是已经存在的目录，如果该目录不存在，并不会创建新的目录。

4.执行配置文件
分别启动对应的 flume 进程:flume-flume-dir，flume-flume-hdfs，flume-file-flume。

5.启动 Hadoop 和 Hive

6.检查 HDFS 上数据

7.检查/opt/module/datas/flume3 目录中数据