flume入门-flume安装

一、简介

flume:高可用、高可靠的分布式，一个聚合、采集、传输的日志系统

可靠性：end to end （准确的一次发送）、store on failure（接收方崩溃，先存在本地，回复后，再发送）、best effort（数据发送到接收方，不会确认）。

二、组成

组成：sorce、channel、 sink三个部分组成。

两个版本：OG、NG（1.0版本开始）两个版本。核心组件的变化：

1）OG，三中节点：agent， collector，master

2）NG，一类节点agent，包含soure（数据的收集）、channel（内部数据传输）、sink（发送第三方的系统）。

3）安装OG比较复杂，配置文件多，需要zookeper，NG只需要配置一个文件即可。

三、安装

1、jdk1.8安装：把jdk解压后，配置的系统路径中。

1）配置环境变量：打开控制台，运行$ sudo vi /etc/profile，在最后插入要配置的内容 

JAVA_HOME=/usr/local/jdk1.8.0_144
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH 

按Esc键 ，输入( :wq 保存并退出) ;

2）刷新环境变量：source /etc/profile

3）执行java -version，查看jdk是否成功。

2、配置flume

1）下载安装包：http://flume.apache.org/download.html

2）配置：参见官方文档：http://flume.apache.org/FlumeUserGuide.html

a）配置agent的名字，及连接的source、channel、sink的名称。agent source的配置、agent sink的配置、agent channel的配置：

b）具体配置内容

# Name the components on this agent
a1.sources = r1 #agent的名字a1， source的名字是r1
a1.sinks = k1 #sinks的名字是k1
a1.channels = c1 #channel的名字是c1

# Describe/configure the source
a1.sources.r1.type = netcat #数据源的类型
a1.sources.r1.bind = localhost #数据源的地址
a1.sources.r1.port = 44444 #数据源的端口

# Describe the sink
a1.sinks.k1.type = logger #输出的类型

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000 #队列缓存1000个元素，超过了就丢掉
a1.channels.c1.transactionCapacity = 100 #每次从上游拿的数量是100条，每次从flume发送到第三方的数据量也是100条

# Bind the source and sink to the channel
a1.sources.r1.channels = c1 #r1 连接到 c1
a1.sinks.k1.channel = c1 #k1 连接到 c1

3）解压文件

tar -zxvf apache-flume-1.6.0-bin.tar.gz

4)进入配置文件目录 apache-flume-1.6.0-bin/conf

5)复制配置文件

cp flume-conf.properties.template flume-conf.properties
cp flume-env.sh.template flume-env.sh

6）修改flume-env.sh

vim flume-env.sh 配置JAVA_HOME

export JAVA_HOME=/usr/local/jdk1.8.0_144

7)修改flume-conf.properties

vim flume-conf.properties

把“b）具体配置内容”拷贝进来。

3、启动flume

进入bin目录，执行如下命令

./flume-ng agent --conf ../conf --conf-file ../conf/flume-conf.properties  --name a1 -Dflume.root.logger=INFO,console

4、测试flume

telnet localhost 44444

可以在telnet中输入数据。可以看到flume的日志输出。

原文：极客学院：http://www.jikexueyuan.com/ 

flume：http://www.jikexueyuan.com/course/2630.html