大数据实战第二十七课 - flume02

最新推荐文章于 2022-07-14 17:00:41 发布
最新推荐文章于 2022-07-14 17:00:41 发布
阅读量196 收藏
点赞数
分类专栏： 高级班-Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhikanjiani/article/details/100160426
版权

第一章：上次课回顾

第二章：多agent

第一章：上次课回顾

https://blog.csdn.net/zhikanjiani/article/details/100135799

第二章：多agent

我们之前学习的都是单agent的，工作中肯定是多agent的。

  • 涉及到上下游，一个地方的输出要到另一个的输入，涉及到网络的传输多agent的采用AVRO的方式。

  • 进入如下网址：http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0/，选中Document，点击Flume User Guide，

在这里插入图片描述

解析：

假设有两台机器，分为node1和node2，机器1中是一个source、channel、sink，对于第一台机器：我们是去读文件，监控源端的日志，通过网络传输，写到hdfs上去。

Agent技术选型：

  • source --> channel --> sink --> source --> channel --> sink
  • exec memory avro avro memory logger

How to 实现？

1、第一个配置文件，文件名字：
>>>flume-avro-sink.conf

a1 --> flume-avro-sink
r1 --> exec-source
c1 --> avro-memory-channel

flume-avro-sink.sources = exec-source
flume-avro-sink.channels = avro-memory-channel
flume-avro-sink.sinks = avro-sink

flume-avro-sink.sources.exec-source.type = exec
flume-avro-sink.sources.exec-source.command = tail -F /home/hadoop/data/avro_access.data

flume-avro-sink.channels.avro-memory-channel.type = memory

flume-avro-sink.sinks.avro-sink.type = avro
flume-avro-sink.sinks.avro-sink.hostname = localhost
flume-avro-sink.sinks.avro-sink.port = 44444

flume-avro-sink.sources.exec-source.channels = avro-memory-channel
flume-avro-sink.sinks.avro-sink.channel = avro-memory-channel



2、第二个配置文件flume-avro-source.conf
flume-avro-source.sources = avro-source
flume-avro-source.channels = avro-memory-channel
flume-avro-source.sinks = logger-sink

flume-avro-source.sources.avro-source.type = avro
flume-avro-source.sources.avro-source.bind = localhost
flume-avro-source.sources.avro-source.port = 44444

flume-avro-source.channels.avro-memory-channel.type = memory

flume-avro-source.sinks.logger-sink.type = logger

flume-avro-source.sources.avro-source.channels = avro-memory-channel
flume-avro-source.sinks.logger-sink.channel = avro-memory-channel

启动的时候先启动Node2，再启动Node1：

1、第一组启动：
flume-ng agent \
--name flume-avro-sink \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf/flume-avro-sink.conf \
-Dflume.root.logger=INFO,console

2、第二组启动：
flume-ng agent \
--name flume-avro-source \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf/flume-avro-source.conf \
-Dflume.root.logger=INFO,console


3、进行验证：
[hadoop@hadoop ~]$ cd data
[hadoop@hadoop data]$ ll
total 8
-rw-rw-r-- 1 hadoop hadoop  2 Oct 20 11:03 avro_access.data
-rw-rw-r-- 1 hadoop hadoop 42 Oct 18 13:49 ruozeinput.txt
[hadoop@hadoop data]$ echo ruozedata >> avro_access.data 
[hadoop@hadoop data]$ echo ruoze >> avro_access.data 
[hadoop@hadoop data]$ echo jepson >> avro_access.data

验证下数据都过来了：
在这里插入图片描述

小结：

  • 在工作中只要把source换掉，不使用exec，把sink换成hdfs，就能通过网络的方式转换到hdfs.

  • 注意点：我们在一台机器上配置的，所以ip和port要配置成一样的；要先启动node2节点，然后再启动node1节点.

2.1 单agent多source的配置

这是一个单source，多channel、sink.

假设我们的数据在外面的一堆服务器上，生产上离线和实时采用的是同一份数据；写一份数据到HDFS上去，还有一份数据流转到Kafka上去。

引出概念：Channel Selector

If the type is not specified, then defaults to “replicating”.

  • source端的数据以复制的方式将event写到一到多个channel中去。

1、Multiplexing the flow：

  • 举例理解：source中有3条数据，channel1、channel2、channel3中各走一条数据。

2、Flume supports multiplexing the event flow to one or more deatinations. This is achieved by defining a flow multiplex that can replicate or selectively route an event to one or more channels.

  • flume支持将事件流复用到一个或多个目的地；这是通过定义一个流多路复用器来实现的，该多路复用器可以复制或选择性地将一个事件路由到一个或多个通道。
    在这里插入图片描述
1、采用的方式：
netcat --> channel  -->hdfs
	   --> channel  --> logger

> > > > channel-replicating-selector.conf
a1.sources = r1
a1.channels = c1 c2
a1.sinks = k1 k2

#定义netcat source:
a1.sources.r1.type = netcat
a1.sources.r1.bind = 172.17.0.5
a1.sources.r1.port = 44444


a1.source.r1.selector.type = replicating
a1.source.r1.channels = c1 c2

#配置channel：
a1.channels.c1.type = memory
a1.channels.c2.type = memory

#配置sink：
a1.sinks.k2.type = logger

a1.sinks.k1.channel = c1
a1.sinks.k2.channel = c2

#hdfs的sink：
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /flume/g6events/%y%m%d%H%M
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.useLocalTimeStamp = true
a1.sinks.k1.fileType = DataStream
a1.sinks.k1.writeFormat = Text

启动脚本：

flume-ng agent \
--name a1 \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf/channel-replicating-selector.conf \
-Dflume.root.logger=INFO,console

测试有无问题：

  • 图一：
    在这里插入图片描述
  • 图二：
    在这里插入图片描述
  • 图三：设置的每隔一分钟一个批次
    在这里插入图片描述
    查看是否正确：
[hadoop@hadoop apache-flume-1.6.0-cdh5.7.0-bin]$ hdfs dfs -text /flume/g6-events/1910221432/events-.1571725926033
19/10/22 14:36:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
jepson
ruoze
ruozedata

2.2 Multiplexing Channel Selector

图解：

在这里插入图片描述

  • source中进来的数据分为几种状态，US、CN、CA各一组；要求是着几个不同状态的source都写到一个channel中去，然后再写道sink中去；数据就不是复制得了，是根据条件写进来的。

  • 每一个channel中的数据是根据state来判断的，查看官网：

a1.sources = r1
a1.channels = c1 c2 c3 c4
a1.sources.r1.selector.type = multiplexing
a1.sources.r1.selector.header = state			//加一个头state
a1.sources.r1.selector.mapping.CZ = c1
a1.sources.r1.selector.mapping.US = c2 c3
a1.sources.r1.selector.default = c4

使用static interceptor即可：

  • 至少需要写4个配置文件.

生产应用场景：日志采集过来，有很多业务日志在一起，如何进行区分；不同的业务日志区分后写到不同的目录中去；后续到对应的hdfs目录中拿数据处理即可。

2.3 Colsolidation（整合）

1、A very common scenario in log collection is a large number of log producing clients sending data to a few consumer agents that are attached to the storage subsystem（存储系统）. For example, logs collected from hundreds of web servers sent to a dozen of agents that write to HDFS cluster.

  • 一个常见的场景再日志采集中是一个大量日志处理机器发送数据到一个少的消费机器上去，连接到存储系统上去。举例：从数百个web服务器收集的日志发送给十几个代理，这些代理再写到HDFS集群中去。

在这里插入图片描述

  • 多个机器上配置avro-source、avro-sink，我们只要进行启动即可；

这样会出现问题：
1、这些机器部署在客户方，不可能写到我们自己的数据平台上去；

2、10000台机器写到hdfs，hdfs是扛不住太多机器的不间断写入，吞吐量不够；

3、如果集群内部某一台机器挂了，写不过来，堵住的channel就会挂掉。

引出概念：落盘机：

  • 数据采集过来后先配置在本地channel，此时再把本地的文件通过avro-sink一并写到agent上；这一批agent机器只要具备gateway权限即可，再给他写到HDFS上。

2.4 Flume Sink Processors

1、Sink groups allow users to group multiple sinks into one entity（允许用户将多个接收器分到一个实体中）. Sink processors can be used to provide load balancing capabilities over all sinks inside the group（Sink processors能够被用来为组内所有的sink提供负载均衡功能） or to achieve fail over from one sink to another in case of temporal failure（或者是在时间失效的情况下还能做到一个sink到另一个sink的故障转移）.

Failover Sink Processor图解：

在这里插入图片描述

  • channel的数据发送到sink，假设sink3挂掉了该怎么办?还需要做一个failover，假设sink3挂掉了，能够给我们发到一个冗余的机器上去，在生产上必然是使用这种架构的。

概念：

failover sink processor maintains a prioritized list of sinks, gunrantee that so long as one is available events will be processed. （delivered）

例子：

a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1 = 5
a1.sinkgroups.g1.processor.priority.k2 = 10
a1.sinkgroups.g1.processor.maxpenalty = 10000

2.5 自定义source

1、A custom source is your own implementation of the source interface, A custom source’s class and its dependencies must be included in the agent’s classpath when starting the Flume agent. The type of the custom source is its FQCN.

  • 定义完了一个一个source，打包放到如下目录：$FLUME_HOME/lib

  • 此时就需要转到flume的开发文档：

打开IDEA，在IDEA的pom.xml中加上一个文件：

<dependency>
	<groupId>org.apache.flume</groupId>
	<artifactId>flume-ng-core</artifactId>
	<version>${flume.version}</version>
</dependency>

假设我们想要一个source去读取MySQL的数据：

source：读取mysql

configure：初始化，读一些相关信息进来的

如果让我们自己开发的话，首先去github上面找：

  • https://github.com/keedio/flume-ng-sql-source

从mysql中读取出来的数据拼接成一个event，然后再进行发送。

2.6 完整的一个流程和数据平台进行交互

在这里插入图片描述

  • 外部web server 通过agent（中继），写到离线-HDFS集群（Spark），再写到实时Kafka集群（Spark Streaming、Flink、Storm）

本次课程作业：

使用taildir source --> File channel --> Avro sink

  • Avro source --> File channel --> HDFS
  •   										--> Kafka
zhikanjiani
关注
专栏目录
大数据学习指南从入门到精通
Lansonli（蓝深李）的博客
05-21 2万+
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。
【若泽大数据实战第十六天】Hive的安装部署 + 课程一个月总结
强悍de巨人
06-02 1344
前言：Hadoop的课程已经告一段落，基本上在零基础课程里不会再出现了，接下来的课程由若总来上，第一讲Have。复习前一个月的课程内容：1、LinuxLinux： 文件(*****) 权限(*****) 压缩/解压(*****) 软件安装: JDK/MySQL/Hadoop/...(*****)2、MySQLDDL/DML(GROUP BY/JOIN:是大数据处理中的超级杀手:shuffl...
用Flume采集多台机器上的多种日志并存储于HDFS
Chenx
07-02 5654
需求：把A、B 机器中的access.log、ugcheader.log、ugctail.log 汇总到C机器上然后统一收集到hdfs中。 IP: A:155 B:156 C：162 但是在hdfs中要求的目录为： /source/access/20160101/** /source/ugcheader/20160101/** /source/ugctail/20160101/**结构
Flume实战(1)—single agent flow的实现
袭明君的专栏
07-06 838
1.理论基础 # 列出agent的 sources, sinks and channels &lt;Agent&gt;.sources = &lt;Source&gt; &lt;Agent&gt;.sinks = &lt;Sink&gt; &lt;Agent&gt;.channels = &lt;Channel1&gt; &lt;Channel2&gt; # 设置source的cha
flume使用示例
FAN15378785757的博客
05-15 199
flume的特点： flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Ev...
Flume-ng agent配置说明
LeoChen的专栏
01-16 4922
see: http://flume.apache.org/FlumeUserGuide.html Configuration As mentioned in the earlier section, Flume agent configuration is read from a file that resembles a Java property file format wit
Flume Processors
sunwenxu的博客
07-16 582
Processor概述 Processor是Flume用于实现失败恢复和负载均衡的组件。 在企业级开发中，通常有多个客户端Agent来收集数据，发送给中心服务器Agent，中心服务器Agent要承载若干客户端Agent发送的数据，负载较高，且中心服务器Agent如果只有一个，会造成单节点故障风险。 所以在企业级开发中，中心服务器Agent往往不止一个，由若干个协同工作，此时客户端Agent如何分...
大数据开发-学习记录与要点思考-第三章 MapReduce
thisisBenjamin
04-23 600
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 文章目录系列文章目录前言一、MapReduce 和 分布式计算 介绍二、MapReduce 原理三、WordCount 案例四、实现WordCount 案例五、深入了解MapReduce1. MapReduce 任务日志查看2. 停止Hadoop集群中的任务3. MR程序扩展4. Shuffle过程5. Hadoop序列化机制6. InputFormat分析7. O
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
prague6695的博客
07-14 4296
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
大数据-案例-离线数仓-电商：【MySQL(业务)-ETL(Kettle)】+【前端JS埋点-＞日志-＞Flume-＞HDFS-＞ETL(SparkRDD)】-＞Hive数仓-＞MySQL-＞可视化
u013250861的博客
01-30 2140
大数据-BI案例（二）-电商：数据仓库+OLAP【MySQL-ETL(Kettle)-＞ Hive（ODS层-数据清洗-＞DW层（DWD-统计分析-＞DWS））-导出结果-＞MySQL】-＞ 可视化
Flume应用之三——将一个服务器上的日志实时采集到另一个服务器上
BornZhu的博客
11-27 5418
条件有限，在一台机器上进行了测试 思路是这样：将一台服务器部署的flume中的sink对接到另一台服务器flume中的source。 那么，agent 1：exec source + memory channel + avro sink agent 2 : avro source + memory channel + logger sink 1.写配置文件 配置文件一 example3.
报错:（未解决）Opening socket connection to server master/192.168.52.26:2181. Will not attempt to authentic...
weixin_30307267的博客
05-21 3135
报错背景： CDH集群中，将kafka和Flume整合，将kafka的数据发送给Flume消费。 启动kafka的时候正常，但是启动Flume的时候出现了报错现象。 报错现象： DH-5.15.1-1.cdh5.15.1.p0.4/lib/hadoop/lib/native:/opt/cloudera/parcels/CDH-5.15.1-1.cdh5.15.1.p0.4/lib/...
Flume之生产正确的使用方式二(Multiple Agent+ Multiple Channel+Custom)
君永夜
06-02 535
1.多Agent使用概述 上一篇文章我们详细介绍了单Agent的生产演进过程，但是生产上是需要从多台机器上采集数据的，故更多的是多Agent的串联和并联组合使用。如下图串联的Agent 串联的Agent一定是采用Avro Sink和 Avro Source方式进行数据传输 2.两个串联Agent实现数据采集到控制台 Agent的结构：source -> channel -> si...
Flume-ng源码分析--启动脚本解析
BattleWolf_HUA的博客
03-09 896
Flume源码分析–flume-ng解析 以此篇作为研究、学习源码的起步。 Flume简介 Flume 是一个高可用的、高可靠的分布式系统，可以从不同的数据源进行日志的采集、聚合、传输，可以将采集到的日志传输到HDFS、HBase、MySQL等。数据源和接收数据的端都是可定制的。 Flume本地化调试 1、安装java JDK。 2、从FLume官网下载编译好的flume包和flume源码包，并进...
Flume 配置文件概述
ziwenCSDN的博客
10-28 554
Flume 常用配置总结
Flume
m0_56433040的博客
07-21 331
Flume简介： 1.1 大数据处理流程 数据源（RDBMS，日志文件，web数据）数据采集（sqoop，flume，kafka） ---> 数据存储（hdfs，hbase，es） ----> 数据清洗（mapreduce，hive，spark） ---> 数据分析（mapreduce，hive，spark） ---> 数据存储（mysql，oracle，sqlserver） ----> web展示 flume简介： Flume是一种分布式的，可靠的，高可用的服务，用于有效的
Flume介绍
yinbiao123456的博客
01-24 640
Flume 目录 Flume 1 Flume概述 2 Flume的核心结构 2.1 Source 2.2 Channel 2.3 Sink 3 Flume拦截器、数据流 3.1 Flume拦截器 3.2 Flume数据流 4 Flume实例 4.1 单个Flume 4.2 Flume集群 5 小结 Flume是由Cloudera软件公司提供的一个高可用的，高可靠的，分...
flume_多sources配置
天蓬元帅的博客
10-19 4313
node01 ,node02 机器分别将监控其目录下的三个文件，如果三个文件发生变化就将数据发送给node03进行hdfs保存 A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在要求： 把A、B 机器中的access.log、nginx.log、web.log 采集汇总到C机器上然后统一收集到hdfs中。 第一步：配置node01和n...
Java大数据实战：Flume收集Nginx日志到HDFS
总结来说，这个案例展示了如何利用Java大数据生态中的工具（如Flume）来处理和存储日志数据，为后续的大数据分析提供了基础。通过这样的流程，企业能够有效地管理和分析大量的服务器日志，从而优化服务性能，发现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值