Flume 三大组件 & 逻辑结构

Flume 主要由三个重要的组件构成：
Source ：完成对日志数据的收集，分成transtion 和 even 打入到 channel 中。
Channel ：主要提供一个队列的功能，对 source 提供中的数据进行简单的缓存。
Sink：取出 channel 中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器。

简单点：
Source：收集信息
Channel：传递信息
Sink：存储信息

关于什么是 flume：http://www.aboutyun.com/thread-7949-1-1.html
关于什么是 flume 三组件：http://www.aboutyun.com/thread-7415-1-1.html

---

Flume 是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统
Flume 的逻辑结构

Flume 逻辑上分三层架构：
Agent，collector，storage

Agent
用于采集数据，agent 是 flume 中存储数据流的地方，同时 agent 会将产生的数据传输到 collector
Coolector
Collector 的作用是坚多个 agent 的数据汇总后，加载到 storage 中，多个 collector 之间遵循负载均衡规则
Storage
Storage 是存储系统，可以是一个普通 file，也可以是 HDFS，HIVE，Hbase 等。

Master
Master 是管理协调 agent 和 collector 的配置等信息，是 flume 集群的控制器。
在 flume 中，最重要的抽象是 data flow （数据