Flume Source

一 Avro Source 监听avro 端口和从外部的Avro 客户端接受event。当与其他的flumeagent内嵌的AvroSink成对时,他能创建分层集合。 1.1Required Properties channels: 绑定的channel type: 类型 avro bi...

2017-11-21 10:00:20

阅读数 439

评论数 0

Flume Sink

一 HDFS Sink 将event写入HDFS. 1.1  RequiredProperties channel:从哪一个channelpull数据 type:hdfs hdfs.path:HDFSdirectory path 比如hdfs://hadoop09-linux:8020/...

2017-11-21 09:58:29

阅读数 403

评论数 0

Flume Sink Processor

SinkGroup允许组织多个sink到一个实体上。SinkProcessors 能够提供在组内所有sink之间实现负载均衡的能力。而且在失败的情况下能够进行故障转移。 sinks: 空格分隔的多个sink processor.type:default|failover|load_balanc...

2017-11-21 09:56:53

阅读数 253

评论数 0

Flume Channel

Channels are the repositories where the eventsare staged on a agent. Source adds the events and Sink removes it 一Memory Channel events存储在内存队列 type...

2017-11-21 09:55:50

阅读数 231

评论数 0

Flume拦截器

flume拦截器可以修改或者删除事件,flume还支持连接器链,事件可以经过一系列拦截器。多个拦截器在配置文件中以空格分隔,拦截器的顺序就是事件处理的顺序,只有一个拦截器通过之后才会进行到下一个拦截器。 一 Timestamp Interceptor: 该拦截器会插入到事件头中,会在事件头中插...

2017-11-21 09:54:53

阅读数 201

评论数 0

Flume介绍安装

一Flume 概念 Flume是一个分布式的高可用的海量日志收集聚合传输系统;Flume传输数据的基本单元是event,这里面封装的就是传输的数据;Flume核心是Agent,agent是一个java进程,主要进行日志收集聚合和传输。它包含三个组件: Source:数据的源头,我们从哪儿收集日...

2017-11-21 09:54:09

阅读数 180

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭