linux安装flume及问题

最新推荐文章于 2024-08-27 15:52:20 发布

玉羽凌风

最新推荐文章于 2024-08-27 15:52:20 发布

阅读量8.6k

点赞数

分类专栏： Java编程 HADOOP 文章标签： flume

本文链接：https://blog.csdn.net/zhouyan8603/article/details/48682253

版权

Java编程同时被 2 个专栏收录

55 篇文章 1 订阅

订阅专栏

HADOOP

53 篇文章 2 订阅

订阅专栏

1.安装

1）下载：wget http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz

解压tar -zxvf apache-flume-1.6.0-bin.tar.gz

创建软链接 ln -s apache-flume-1.6.0-bin flume

2）配置环境变量

vim ~/.bash_profile

加上export FLUME_HOME=/home/hadoop/flume;export PATH=$PATH:$FLUME_HOME/bin

3)验证是否安装成功

flume-ng version，若显示如下类似信息即成功了

Warning: $HADOOP_HOME is deprecated.

Warning: $HADOOP_HOME is deprecated.

Flume 1.6.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080
Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015
From source with checksum b29e416802ce9ece3269d34233baf43f

4）基本概念：

Flume由source,channel,sink三部分组成

Agent:使用JVM运行Flume,一般每台机器启动一个agent,一个agent可以包含多个sources和sinks
Client:产生数据，独立线程

Source:从Client收集数据，并将数据传输给Channel

Sink：从Channel接收数据

Channel:连接source 和sinks，缓存数据

Events:日志记录等

5）问题

如果执行flume-ng 的时候执行报错：Caused by: java.lang.ClassNotFoundException: org.apache.flume.tools.GetJavaProperty

一般来说是由于jdk版本造成的，改为JDK7版本就好了

错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty或者Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty

一般来说是由于装了HBASE等工具的原因

将hbase的hbase.env.sh的一行配置注释掉
# Extra Java CLASSPATH elements. Optional.
#export HBASE_CLASSPATH=/home/hadoop/hbase/conf
2、或者将HBASE_CLASSPATH改为JAVA_CLASSPATH,配置如下
# Extra Java CLASSPATH elements. Optional.
export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

错误参考：http://blog.csdn.net/senvil/article/details/42526947