Flume系列之：原理和Flume配置文件参数详解

最新推荐文章于 2024-07-23 08:03:31 发布
最新推荐文章于 2024-07-23 08:03:31 发布
阅读量650 收藏 1
点赞数
分类专栏： 大数据 flume 文章标签： Flume原理 Flume配置文件参数详解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/115688981
版权
大数据 同时被 2 个专栏收录
537 篇文章 546 订阅 ¥49.90 ¥99.00
订阅专栏
flume
65 篇文章 17 订阅 ¥29.90 ¥99.00
订阅专栏
本文详细介绍了Apache Flume的工作原理，包括其核心组件Source、Channel和Sink的功能。通过具体示例，讲解了Kafka Source、File Channel和HDFS、HIVE Sink的配置，以及Kafka配置文件的详细解析，展示了Flume如何高效地收集、聚合和传输日志数据。
摘要由CSDN通过智能技术生成

Flume系列之：原理和Flume配置文件参数详解

一、认识Apache Flume

Apache Flume是一个分布式，可靠且可用的系统，用于有效地收集，聚合大量日志数据并将其从许多不同的源移动到集中式数据存储中。

Apache Flume的使用不仅限于日志数据聚合。由于数据源是可定制的，因此Flume可用于传输大量事件数据，包括但不限于网络流量数据，社交媒体生成的数据，电子邮件消息以及几乎所有可能的数据源。

Flume NG 全称是 Flume (Next Generation) ，相对Flume OG (Original Genetration)而言的，Flume NG比Flume OG 要更简单、更轻量、更容易部署。

Flume NG相比Flume OG的变化

  • Flume NG 依然使用 sources 和 sinks ，使用 channel 来连接他们
  • channels 是可插拔(配置的)， in-memory channel 用于快速但非持久事件传递，file-based channel用于持久性事件传递
  • 不在区分逻辑节点和物理节点，所有节点都被称为 agent, 每个agent可以运行0个或多个 sources 和 sinks

二、Flume工作原理

了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
flume系列之：日志配置文件log4j.properties
zhengzaifeidelushang的博客
01-20 946
flume系列之：日志配置文件log4j.properties一、Log4j日志格式说明二、flume日志配置文件log4j.properties三、flume实际输出日志样式 一、Log4j日志格式说明 在配置文件中通过log4j.appender.appenderName.layout.ConversionPattern设置日志输出格式。 %d: 输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式，%d{dd MMM yyyy HH:mm:ss,SSS} ，输出类似：16 一月
Flume配置文件
weixin_43247092的博客
08-18 595
Source、Channel、Sink有哪些类型 Flume Source Source类型 | 说明 Avro Source | 支持Avro协议（实际上是Avro RPC），内置支持 Thrift Source | 支持Thrift协议，内置支持 Exec Source | 基于Unix的command在标准输出上生产数据 JMS Source | 从JMS系统（消息、主
flume配置文件
竹叶青 的专栏
11-10 9476
转载自博客园张淼的博客-- 原文地址：http://www.cnblogs.com/zhangmiao-chp/archive/2011/05/18/2050443.html Flume配置文件(flume-site.conf)   1、 watchdog watchdog.restarts.max watchdog每分钟重启的最大数???
大数据采集工具——Flume简介&安装配置&使用教程
最新发布
牧夏的个人博客
07-23 819
Flume简介&安装配置&使用教程 1、Flume简介 一：概要 Flume 是一个可配置、可靠、高可用的大数据采集工具，主要用于将大量的数据从各种数据源（如日志文件、数据库、本地磁盘等）采集到数据存储系统（主要为Hadoop HDFS）中，用来处理日志数据，并支持在数据流中可靠、高效地移动数据。 二：Flume的基础架构 详细讲解： Flume主要由三部分组成：Source，Channel，Sink。 1.Source：负责接收数据至 Flume Agent 组件中【入口】
flume配置文件说明
实践求真知
01-19 1650
一 通用配置说明 #配置agent的source agent.sources = seqGenSrc #配置agent的通道 agent.channels = memoryChannel #配置agent的sink agent.sinks = loggerSink # source agent.sources.seqGenSrc.type = seq agent.sources.seqGe
Flume配置文件（跟踪文件夹）
Struggle99的博客
10-17 781
1.将flume-1.6.0 压缩包上传到apps目录下 2.在apps目录下解压压缩包 tar -zxvf apache-flume-1.6.0-bin.tar.gz 解压完成 3.在 /apps/apahce-flume-1.6.0-bin/conf目录下对flume进行配置 配置文件内容（dir-hdfs.conf）： ````在这里插入代码片` pooldir：flume中自带的读取...
flume系列之：python读取flume配置文件，并把配置写入到zookeeper节点，再根据写入到zookeeper中的配置启动flume agent
zhengzaifeidelushang的博客
04-18 1622
flume系列之：python读取flume配置文件，并把配置写入到zookeeper节点 更多相关内容请参考博主下面几篇技术博客： flume系列之：flume配置写入zookeeper节点，根据zookeeper中flume配置启动flume agent Zookeeper入门之三：客户端命令行操作详解 python系列之：kazoo连接Zookeeper操作Zookeeper Zookeeper系列之：读取配置文件把配置写入zookeeper节点，查看zookeeper节点数据 ......
Flume1.6.0入门：安装、部署、及flume的案例
01-07
### Flume 1.6.0 入门详解：安装、部署及案例分析 #### 一、Flume 概述 Flume 是 Cloudera 开发的一款高效、可靠且易于扩展的日志收集系统，适用于大数据环境下的日志采集任务。Flume 的初始版本被称为 FlumeOG...
flume 真实案例配置文件
10-18
flume agent收集数据 一个源对于两个sink 同时输出到hdfs和kafka 的配置文件，注意其中的 source绑定channel时候 channel1 channel2 不能分开写，该配置文件已经过集群实验成功收集到数据的
Flume参数详解
04-02
consumer的配置参数、producer的配置参数、listener的配置参数详解
flume配置文件（跟踪文件夹）
lucasmaluping的专栏
10-08 1235
配置文件：配置文件的在文章中说明 配置三大组件：sources、sinks、channels sources： sinks： channels： 其中ag1为整体配置信息的名字，可以配置多个如：ag2.sources ag3..... #spooldir：flume中自带的读取目录的source，只要出现新文件就会被读走 #定义三大组件的名称 ag1.sources = sourc...
Flume配置文件简单整理
Forever_ck的博客
12-21 450
各配置文件信息如下： 一、Flume监控Hive日志信息并上传到Hdfs： # Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source a2.sources.r2.type = exec a2.sources.r2.command...
Flume入门案例的配置文件解析
qq_42533287的博客
01-28 441
监控端口数据官方案例的配置文件解析 开启flume监听端口 第一种写法： [atguigu@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console 第二种写法： [atguigu@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job
flume配置文件与启动
qq_33684555的博客
07-27 1211
客户端配置文件 a1.channels = ch1 a1.sources = exec-source1 a1.sinks = hdfs-sink1 a1.channels.ch1.type = memory a1.channels.ch1.capacity = 1000 a1.channels.ch1.transactionCapacity = 1000 a1.channels.ch1.kee...
Flume配置文件详解
香蕉牛奶棒棒槌的博客
10-29 2671
Flume配置文件详解 1.基本组成 (1)source 是flume获取数据的部分，source的类型有很多种，这里只介绍两种我们常用的。 1.Avro Source：监听节点上的某个端口，负责接收被监听端口的Avro流事件作为数据源。我们cbas的flume集群组的source类型大多是这种。 配置方式如下： xxx.sources = r1 定义一个名为r1的source xxx.channels = c1
flume配置文件详解
欢迎大神交流讨论
12-30 1561
a1.sources = r1 a1.sinks = k1 a1.channels = c1 ##注意：不能往监控目中重复丢同名文件 a1.sources.r1.type = spooldir (cdh) /exec(cdh) /taildir(apache1.7版本之后 ,监控文件和目录,断点续查) a1.sources.r1.spoolDir = /root/logs2 //监控的文件夹 a1.sources.r1.fileHeader = true a1.sinks.k1.type = hdfs.
flume的配置文件书写
weixin_69402201的博客
05-22 1371
首先进入flume官网 flume.apache.org，这里可以看到flume已经很久没有更新了最新版还是19年一月的（说明flume基本已经没啥可优化的了），以最新版为例。 1.进入flume的文档。 2.翻到官方给的样例先复制到一个文本编辑器中，照着这个改就行，这里我用sublime来写。 3.根据需求修改配置文件，这里以flume作为数据通道，将用户行为数据由Flume从Kafka直接同步到HDFS为例说明。 4.按照规划，该Flume需将Kafka中topic_log的
Apache Flume 1.5.0 教程：安装、配置与案例解析
Flume的部署相对简单，可以通过配置文件定义Source、Channel和Sink的组合，以及它们之间的连接方式。安装过程通常包括下载Apache Flume的二进制包，设置环境变量，以及根据需求编写和应用配置文件。 在实际应用中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值