Apache Flume
来自Flume 1.6.0 User Guide
A Flume agent 包括 Source Channel Sink
source
Flume sourcec 消费外部传来的事件,根据消费的事件类型区分不同的source
- Avro source (Avro是一个基于二进制数据传输高性能的中间 http://www.open-open.com/lib/view/open1369363962228.html
- Thrift Source (FaceBook开发的远程服务调用框架 http://www.ibm.com/developerworks/cn/java/j-lo-apachethrift/
- Exec Source : Unix命令输出
- JMS Source
- Kafka Source
- HTTP Source
channel
event放在channel中 source往其中添加event,sink消费event
sink
消费channel中规定event并向外推送