Source、Channel、Sink的类型

Flume Source
Source类型 | 说明
Avro Source | 支持Avro协议(实际上是Avro RPC),内置支持
Thrift Source | 支持Thrift协议,内置支持
Exec Source | 基于Unix的command在标准输出上生产数据
JMS Source | 从JMS系统(消息、主题)中读取数据
Spooling Directory Source | 监控指定目录内数据变更
Twitter 1% firehose Source| 通过API持续下载Twitter数据,试验性质
Netcat Source | 监控某个端口,将流经端口的每一个文本行数据作为Event输入
Sequence Generator Source | 序列生成器数据源,生产序列数据
Syslog Sources | 读取syslog数据,产生Event,支持UDP和TCP两种协议
HTTP Source | 基于HTTP POST或GET方式的数据源,支持JSON、BLOB表示形式
Legacy Sources | 兼容老的Flume OG中Source(0.9.x版本)

Flume Channel
Channel类型       说明
Memory Channel                  | Event数据存储在内存中
JDBC Channel                     | Event数据存储在持久化存储中,当前Flume Channel内置支持Derby
File Channel                         | Event数据存储在磁盘文件中
Spillable Memory Channel   | Event数据存储在内存中和磁盘上,当内存队列满了,会持久化到磁盘文件
Pseudo Transaction Channel | 测试用途
Custom Channel                  | 自定义Channel实现

Flume Sink
Sink类型     说明
HDFS Sink               | 数据写入HDFS
Logger Sink              | 数据写入日志文件
Avro Sink                  | 数据被转换成Avro Event,然后发送到配置的RPC端口上
Thrift Sink                 | 数据被转换成Thrift Event,然后发送到配置的RPC端口上
IRC Sink                   | 数据在IRC上进行回放 
File Roll Sink            | 存储数据到本地文件系统
Null Sink                   | 丢弃到所有数据
HBase Sink              | 数据写入HBase数据库
Morphline Solr Sink  | 数据发送到Solr搜索服务器(集群)
ElasticSearch Sink   | 数据发送到Elastic Search搜索服务器(集群)
Kite Dataset Sink     | 写数据到Kite Dataset,试验性质的
Custom Sink           | 自定义Sink实现

作者:Jackie_ZHF
来源:CSDN
原文:https://blog.csdn.net/Jackie_ZHF/article/details/84943714
版权声明:本文为博主原创文章,转载请附上博文链接!

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值