大数据/flume
文章平均质量分 81
莫言静好、
这个作者很懒,什么都没留下…
展开
-
Flume介绍安装
一Flume 概念Flume是一个分布式的高可用的海量日志收集聚合传输系统;Flume传输数据的基本单元是event,这里面封装的就是传输的数据;Flume核心是Agent,agent是一个java进程,主要进行日志收集聚合和传输。它包含三个组件:Source:数据的源头,我们从哪儿收集日志Channel:是一个暂时存储传输的数据的event的一个临时的地方。Sink:就是even原创 2017-11-21 09:54:09 · 333 阅读 · 0 评论 -
Flume拦截器
flume拦截器可以修改或者删除事件,flume还支持连接器链,事件可以经过一系列拦截器。多个拦截器在配置文件中以空格分隔,拦截器的顺序就是事件处理的顺序,只有一个拦截器通过之后才会进行到下一个拦截器。一 Timestamp Interceptor:该拦截器会插入到事件头中,会在事件头中插入一个key是timestamp的KV对,value的值是相关的timestamp。该拦截器可以保护相原创 2017-11-21 09:54:53 · 436 阅读 · 0 评论 -
Flume Channel
Channels are the repositories where the eventsare staged on a agent. Source adds the events and Sink removes it一Memory Channelevents存储在内存队列type:memorycapacity:channel中存储的最大数量的events,默认100tra原创 2017-11-21 09:55:50 · 496 阅读 · 0 评论 -
Flume Sink Processor
SinkGroup允许组织多个sink到一个实体上。SinkProcessors 能够提供在组内所有sink之间实现负载均衡的能力。而且在失败的情况下能够进行故障转移。sinks: 空格分隔的多个sinkprocessor.type:default|failover|load_balance一 DefaultSink Processor只允许接收单个sink,不强制用户为sink创原创 2017-11-21 09:56:53 · 954 阅读 · 0 评论 -
Flume Sink
一 HDFS Sink将event写入HDFS.1.1 RequiredPropertieschannel:从哪一个channelpull数据type:hdfshdfs.path:HDFSdirectory path 比如hdfs://hadoop09-linux:8020/user/hadoop/flume/hive/log 1.2 OptionalPrope原创 2017-11-21 09:58:29 · 823 阅读 · 0 评论 -
Flume Source
一 Avro Source监听avro 端口和从外部的Avro 客户端接受event。当与其他的flumeagent内嵌的AvroSink成对时,他能创建分层集合。1.1Required Propertieschannels: 绑定的channeltype: 类型 avrobind:监听的主机名或IPport: 监听的端口 1.2Optional Propertie原创 2017-11-21 10:00:20 · 677 阅读 · 0 评论