![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Code-Flume
文章平均质量分 64
Olge
加油
展开
-
Flume-Flume简介
Flume概述Flume是一个可靠的、高可用的海量日志收集、聚合、传输系统,支持在日志系统中定制各种数据发送方,用于数据采集,同时,Flume还可以对数据进行简单处理,并且写入各种数据接收方,例如Hadoop、HBase、JDBC等等。Flume的组成Flume中的数据流是由Event组成的,Event是 Flume中数据流的基本单位,它携带日志数据和头信息,事件是由数据发送发生成的,Source接原创 2016-11-07 12:53:34 · 669 阅读 · 0 评论 -
Flume-安装Flume
Flume最初是由Cloudera开发的,后来被纳入Apache软件基金会。下载Flume下载地址 选择对于版本的Flume压缩包下载到本地安装Flume解压>tar -xvzf apache-flume-1.7.0-bin.tar.gz配置Flume运行环境>cd flume1.7.0/conf>cp flume-env.sh.template flume-evn.sh>vim fl原创 2016-11-07 13:33:21 · 250 阅读 · 0 评论 -
Flume-应用案例(一)
Flume内置的很大功能强大的Source、Channel和Sink的实现,并且这些实现可以自由组合,同时,Flume的拓扑结构也和灵活,可以根据不同的应用场景选择不同的架构,下面示例Flume常用的配置。AvroAvro是一种协议,在分布式系统中广泛用于节点之间的数据交互,Flume可以把一个具体的Avro数据端口作为数据源来收集数据。编写Avro Source配置文件avro.conf>vi原创 2016-11-07 15:02:35 · 406 阅读 · 0 评论 -
Flume-应用案例(二)
###Spool### 监测目录下的新增文件,并将文件中的内容读取出来。编写spooldir source配置文件>echo spooldir.conf>vim spooledir.conf#defined name of source/channel/sinka1.sources=r1a1.channels=c1a1.sinks=k1#configure spooldir so原创 2016-11-07 16:26:58 · 242 阅读 · 0 评论 -
Flume-应用案例(三)
JsonHandler用于处理标准json数据。编写JSONHandler source配置文件>echo >> json.conf>vim json.confa1.sources=r1a1.channels=c1a1.sinks=k1a1.sources.r1.type=org.apache.flume.source.http.HTTPSourcea1.sources.r1.port原创 2016-11-07 19:39:18 · 507 阅读 · 0 评论 -
Flume-应用案例(四)
参考:http://www.jb51.net/article/53542.htmFlume支持扇出流从一个源到多个通道,有两种模式的扇出,分别是复用和复制。在复制的情况下,流的事件被发送到所有的配置通道,而在复用的情况下,事件被发送到可用通道的一个子集。扇出流需要制定删除源及扇出的规则。Replication Channel Selector两台机器:192.168.11.129 master, 1原创 2016-11-07 21:07:27 · 865 阅读 · 0 评论