Flume
关注
分享
扫一扫
张伯毅
某厂技术,Apache DolphinScheduler Committer.
专注于调度&实时&大数据体系~
展开
-
Flume 1.9.0开发者指南
概述架构数据流模型可靠性构建Flume获取Source编译/测试的Sink更新协议缓冲区版本开发自定义组件ClientClient SDKRPC客户端接口RPC客户端- Avro和Thrift安全RPC客户端-Thrift故障转移客户端 (Failover Client)LoadBalancing RPC客户端嵌入式代理...原创 2019-03-15 10:13:35 · 2677 阅读 · 0 评论 -
Flume 1.9.0 源码解析 : 环境配置 & 启动入口
从本文开始对Flume 1.9.0 源码进行分析, 首先从启动入手.一.源码包下载. 源码包:https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-src.tar.gz 官方用户API:https://flume.ap...原创 2019-03-15 11:05:36 · 3538 阅读 · 0 评论 -
Flume 1.9.0 源码解析 : 一篇文章弄清Flume 程序启动流程
一 .环境准备.1.配置文件: example.conf# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure t...原创 2019-03-16 15:48:53 · 4736 阅读 · 11 评论 -
Flume 1.9.0用户指南
概述系统要求架构数据流模型复杂的流程可靠性可恢复性设置设置 agent配置单个组件将各个部分连接在一起启动 agent一个简单的例子在配置文件中使用环境变量记录原始数据基于Zookeeper的配置plugins.d目录插件的目录布局数据摄取RPC网络流设置多 agent 流程多路复用流程配置定义...原创 2019-03-14 20:55:31 · 9415 阅读 · 5 评论 -
Flume 1.9.0 源码解析 : TailDirSource 全解
TailDirSource继承了AbstractSource类，而AbstractSource类中channelProcessor属性负责将Source中的Event提交给Channel组件TailDirSource类通过配置参数匹配日志文件，获取日志文件更新内容并且将已经读取的偏移量记录到特定的文件当中(position file)类图:TailDirSource 启动的...原创 2019-05-07 16:15:31 · 5292 阅读 · 5 评论