flume系列之:学会flume开发调试,查看flume event数据格式,并根据flume event数据格式开发拦截器

57 篇文章 17 订阅 ¥29.90 ¥99.00

根据不同的需求,flume可能需要采用不同类型的source、channel、sink,flume配置采取热部署,配置更新即可生效。在开发flume新功能时,直接使用source、channel、sink的类型可能无法一次性把流程跑通。因此可以基于channel类型是memory、sink类型是logger来测试开发flume新功能,logger会把flume的event打印到命令行终端,在整个流程跑通后,再把source、channel、sink类型替换为flume要实现功能的类型。

在此基础上根据flume event的数据格式,开发符合需求的拦截器,从而实现flume新功能。

下面以Kafka Source为例,channel类型选择memory,sink类型选择logger为例,来查看flume的event,并详细阐述如何根据flume的event开发拦截器。

一、声明source、channel、sink

agent-optics.sources = source1
agent-optics.channels = channel1
agent-optics.sinks = sink1

# link source to sink via channel
agent-optics.sources.source1.channels 
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值