一、简介
flume:高可用、高可靠的分布式,一个聚合、采集、传输的日志系统
可靠性:end to end (准确的一次发送)、store on failure(接收方崩溃,先存在本地,回复后,再发送)、best effort(数据发送到接收方,不会确认)。
二、组成
组成:sorce、channel、 sink三个部分组成。
两个版本:OG、NG(1.0版本开始)两个版本。核心组件的变化:
1)OG,三中节点:agent, collector,master
2)NG,一类节点agent,包含soure(数据的收集)、channel(内部数据传输)、sink(发送第三方的系统)。
3)安装OG比较复杂,配置文件多,需要zookeper,NG只需要配置一个文件即可。
三、安装
1、jdk1.8安装:把jdk解压后,配置的系统路径中。
1)配置环境变量:打开控制台,运行$ sudo vi /etc/profile,在最后插入要配置的内容
JAVA_HOME=/usr/local/jdk1.8.0_144
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
按Esc键 ,输入( :wq 保存并退出) ;
2)刷新环境变量:source /etc/profile
3)执行java -version,查看jdk是否成功。
2、配置flume
1)下载安装包:http://flume.apache.org/download.html
2)配置:参见官方文档:http://flume.apache.org/FlumeUserGuide.html
a)配置agent的名字,及连接的source、channel、sink的名称。agent source的配置、agent sink的配置、agent channel的配置:
b)具体配置内容
3)解压文件
tar -zxvf apache-flume-1.6.0-bin.tar.gz
4)进入配置文件目录 apache-flume-1.6.0-bin/conf
5)复制配置文件
cp flume-conf.properties.template flume-conf.properties
cp flume-env.sh.template flume-env.sh
6)修改flume-env.sh
vim flume-env.sh 配置JAVA_HOME
export JAVA_HOME=/usr/local/jdk1.8.0_144
7)修改flume-conf.properties
vim flume-conf.properties
把“b)具体配置内容”拷贝进来。
3、启动flume
进入bin目录,执行如下命令
./flume-ng agent --conf ../conf --conf-file ../conf/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console
4、测试flume
可以在telnet中输入数据。可以看到flume的日志输出。
原文:极客学院:http://www.jikexueyuan.com/
flume:http://www.jikexueyuan.com/course/2630.html