Linux系统FLUME集群搭建手册

Flume安装

注：所有节点均安装，环境变量均配置，这是为解决 Flume 瓶颈问题而铺垫

一、上传文件到Linux系统中并解压

       apache-flume-1.8.0-bin.tar.gz

[root@centos11 tools]# rz        //上传命令

       解压命令：     

[root@centos11 tools]# tar -zxvf apache-flume-1.8.0-bin.tar.gz

 

二、修改环境变量并生效     

[root@centos11 ~]# vi /etc/profile

 export FLUME_HOME=/usr/tools/apache-flume-1.8.0-bin

 export PATH=$PATH:$FLUME_HOME/bin

[root@centos11 ~]# source /etc/profile

 

三、修改配置文件flume-env.sh

注：flume-env.sh不存在，所以需要复制一份：     

[root@centos11 conf]# cp flume-env.sh.template flume-env.sh

[root@centos11 conf]# vi flume-env.sh

 # Enviroment variables can be set here. 

 export JAVA_HOME=/opt/fi_client/jdk/jdk1.8.0_141

 

四、拷贝安装目录到其他子节点相同目录中   

[root@centos11 tools]# scp -r apache-flume-1.8.0-bin root@centos12:/usr/tools/（-r表示递归）

[root@centos11 tools]# scp -r apache-flume-1.8.0-bin root@centos13:/usr/tools/（-r表示递归）

 

五、验证安装是否成功 

[root@centos11 ~]# flume-ng version

    Flume 1.8.0

    Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git

    Revision: 99f591994468633fc6f8701c5fc53e0214b6da4f

    Compiled by denes on Fri Sep 15 14:58:00 CEST 2017

    From source with checksum fbb44c8c8fb63a49be0a59e27316833d

 

六、FLUME启动

       启动命令：

              $ bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console

      或者(这里的--name a1也可以写成-n a1)

             $ bin/flume-ng agent -c conf -f example.conf --name a1

     或者(flume配置文件中可以配置参数，给参数赋值的方式暂不支持)

           a1.sources = r1

           a1.sources.r1.type = netcat

           a1.sources.r1.bind = 0.0.0.0

           a1.sources.r1.port = ${NC_PORT}

           a1.sources.r1.channels = c1

 

运行指令（给参数赋值这种方式目前暂不支持）：

NC_PORT=44444 bin/flume-ng agent –conf conf –conf-file example.conf –name a1 -Dflume.root.logger=INFO,console -DpropertiesImplementation=org.apache.flume.node.EnvVarResolverProperties