Flume 官方文档翻译 Flume 1.8.0 User Guide（一）

Introduction（简述）

OverView （综述）

Apache Flume是一个分布式、高可靠和高可用的收集、集合和将大量来自不同来源的日志数据移动到一个中央数据仓库。

Apache Flume不仅局限于数据的聚集。因为数据是可定制的，所以Flume可以用于运输大量时间数据（包括但不限于网络传输数据，社交媒体产生的数据，电子邮件信息和几乎任何数据源。）

Apache Flume是Apache软件基金会的顶级项目。

目前有两个可用的发布版本，0.9.x和1.x。

我们鼓励新老用户使用1.x发布版本来提高性能和利用新结构的配置灵活性。

System Requirements（系统要求）

1. Java RunTime环境 - Java 1.8或更高版本
2. 内存——足够的内存来配置souuces，channels和sinks
3. 磁盘空间-足够的磁盘空间来配置channels或者sinks
4. 目录权限-代理所使用的目录读/写权限

Architecture（架构）

Data flow model（数据流动模型）

一个Flume event定义为拥有一个字节有效负载的一个数据流单元，同时拥有一个可选的字符串属性配置。Flume agent其实就是一个JVM进程，该JVM进程控制事件流从外部来源传输到目的地。

Flume源消耗由外部源（如Web服务器）传递给它的事件。外部源以Flume源可识别的格式向Flume发送事件。例如，Avro Source可用于从Avro客户端或其他Flume客户端接收Avro事件。使用Thrift Source可以定义类似的流程，以接收来自Thrift Sink或Flume Thrift Rpc Client的客户端事件或使用Flume Thrift协议生成的任何语言编写的Thrift客户端事件。
党Flume Source接收到事件时，会将其存储到一个或多个Channel中。Channel是被动存储，保存事件，直到它被Sink 消费掉。如File Channel，它把Event保存到本地文件系统的文件中。
Sink 负责从Channel中删除Event并将其放入HDFS之类的外部存储库，或者将其转发到下一个Flume Agent 的Source组件中。

Complex flows（复杂流）

Flume允许用户建立multi-hop流，当事件在到达最终目的地时要经过多个Agent。它也支持扇入和扇出流，上下文路由和失效hop的恢复路由。

Reliability（可靠性）

Event在每个Agent的Channel上进行缓存，随后Event将会传递到流中的下一个Agent或终端存储库（如HDFS）。只有在存储在下一个代理的通道或终端存储库中后Event才会从Channel中删除。这一步骤实现了单节点架构的可靠性。

Flume使用事务性的操作来保证Event的可靠传送。Source和Sink分别在交易中封装由Channel提供的交易中放置或提供的事件的存储/检索。这确保了该组Event在传输流程中可靠地传递。
在多层架构的情况下，来自前一层的sink和来自下一层的Source都处于运行状态，以确保数据安全地存储在下一层的Channel中。

Recoverability（可恢复性）

Event在Channel中进行缓存，提供了从失败中恢复的机制。Flume支持由本地文件系统支持的File Channel。Flume还有一个内存Channel，它将事件简单地存储在内存队列中，这个速度更快，但是当Agent死亡时,仍然留在内存通道中的任何Event都不能被恢复。

Setup（设置）

Setting up an agent（配置Agent）

Flume agent配置存储在一个本地配置文件中。这是一个跟Java 属性文件格式一样的文本文件。一个或者多个agent可以指定同一个配置文件来进行配置。配置文件包括每个source的属性，agent中的sink和channel以及它们是如何连接构成数据流。

Configuring individual components（配置单个组件）

流中的每个组件（source，sink或者channel）都有名字，类型和用来指定类型的属性集和实例化。例如，一个avro source需要一个主机名（或者IP地址）和端口来接收数据，内存channel有最大队列值（“capacity”&#