本文介绍了如何使用Flume进行开发和调试，通过配置内存Channel和Logger Sink查看Flume event数据格式。以Kafka Source为例，详细讲解了设置source、source拦截器、channel和sink的步骤。同时，展示了如何在拦截器中打印event的header和body信息到日志，以获取完整的数据内容，实现数据分类和定制化处理。
flume系列之：学会flume开发调试，查看flume event数据格式，并根据flume event数据格式开发拦截器
根据不同的需求，flume可能需要采用不同类型的source、channel、sink，flume配置采取热部署，配置更新即可生效。在开发flume新功能时，直接使用source、channel、sink的类型可能无法一次性把流程跑通。因此可以基于channel类型是memory、sink类型是logger来测试开发flume新功能，logger会把flume的event打印到命令行终端，在整个流程跑通后，再把source、channel、sink类型替换为flume要实现功能的类型。
在此基础上根据flume event的数据格式，开发符合需求的拦截器，从而实现flume新功能。
下面以Kafka Source为例，channel类型选择memory，sink类型选择logger为例，来查看flume的event，并详细阐述如何根据flume的event开发拦截器。
一、声明source、channel、sink
agent-optics.sources = source1
agent-optics.channels = channel1
agent
订阅专栏 解锁全文
扫一扫
346
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
