Flume-应用案例（四）

最新推荐文章于 2022-10-08 14:38:03 发布
最新推荐文章于 2022-10-08 14:38:03 发布
阅读量865 收藏
点赞数
分类专栏： Code-Flume 文章标签： Flume实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangdong2012/article/details/53071513
版权

参考：http://www.jb51.net/article/53542.htm

Flume支持扇出流从一个源到多个通道，有两种模式的扇出，分别是复用和复制。

在复制的情况下，流的事件被发送到所有的配置通道，而在复用的情况下，事件被发送到可用通道的一个子集。扇出流需要制定删除源及扇出的规则。

Replication Channel Selector

两台机器：192.168.11.129 master, 192.168.11.130 hbase

  • 在hbase上编辑主配置文件replication_selector.conf
a1.sources=r1
a1.channels=c1 c2
a1.sinks=k1 k2

a1.sources.r1.type=avro
a1.sources.r1.bind=hbase
a1.sources.r1.port=5140
a1.sources.r1.selector.type=replicating
a1.sources.r1.channels=c1 c2

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
a1.channels.c2.type=memory
a1.channels.c2.capacity=1000
a1.channels.c2.transactionCapacity=100


a1.sinks.k1.type=logger
a1.sinks.k2.type=avro
a1.sinks.k2.hostname=192.168.11.129
a1.sinks.k2.port=5140
a1.sinks.k1.channel=c1
a1.sinks.k2.channel=c2
  • 在master上编辑链接sink的agent 配置文件 replication_selector.conf
a1.sources=r1
a1.channels=c1
a1.sinks=k1

a1.sources.r1.type=avro
a1.sources.r1.bind=master
a1.sources.r1.port=5140

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sinks.k1.type=logger

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1
  • 分别启动两台机器上的agent
>./flume-ng agent -f ../conf/replication_selector.conf -n a1 -Dflume.root.logger=INFO,console
>./flume-ng agent -f ../conf/replication_selector.conf -n a1 -Dflume.root.logger=INFO,console
  • 向hbase agent中发送数据
>./flume-ng avro-client -H hbase -p 5140 -F /usr/develop-fm/flume1.7.0/temp/hql.txt.COMPLETED
  • 查看两台机器的控制台输出（略）

Multiplexing Channel Selector

复用模式会基于headers中某个字段的值和具体的规则向channel中匹配数据。

  • 在hbase（主机名）上创建主配置文件multiplexing_selector.conf
a1.sources = r1
a1.channels = c1 c2
a1.sinks = k1 k2

#
a1.sources.r1.type=org.apache.flume.source.http.HTTPSource
a1.sources.r1.port=5140
a1.sources.r1.channels=c1 c2
a1.sources.r1.selector.type=multiplexing
a1.sources.r1.selector.header=type

#
a1.sources.r1.selector.mapping.baidu=c1
a1.sources.r1.selector.mapping.ali=c2
a1.sources.r1.selector.default=c1

#
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
a1.channels.c2.type=memory
a1.channels.c2.capacity=1000
a1.channels.c2.transactionCapacity=100

#
a1.sinks.k1.type=avro
a1.sinks.k1.hostname=192.168.11.129
a1.sinks.k1.port=5555
a1.sinks.k2.type=logger
#a1.sinks.k2.hostname=hbase
#a1.sinks.k2.port=5555

a1.sinks.k1.channel=c1
a1.sinks.k2.channel=c2
  • 在master（主机名）上编写avro source配置文件multiplexing_selector.conf
a1.sources=r1
a1.channels=c1
a1.sinks=k1

a1.sources.r1.type=avro
a1.sources.r1.bind=master
a1.sources.r1.port=5555
a1.sources.r1.channels = c1

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sinks.k1.type=logger

a1.sinks.k1.channel=c1
  • 分别启动两台主机上的agent
>./flume-ng agent -f ../conf/multiplexing_selector.conf -n a1 -Dflume.root.logger=INFO,console

>./flume-ng agent -f ../conf/multiplexing_selector.conf -n a1 -Dflume.root.logger=INFO,console
  • 发送type分别为 baidu和ali的两条数据
>curl -X POST -d '[{ "headers" :{"type" : "baidu"},"body" : "idoall_TEST1"}]' http://hbase:5140

>curl -X POST -d '[{ "headers" :{"type" : "ali"},"body" : "idoall_TEST1"}]' http://hbase:5140
  • 查看两台机器上的控制台
    hbase:
>16/11/07 16:52:09 INFO sink.LoggerSink: Event: { headers:{type=ali} body: 69 64 6F 61 6C 6C 5F 54 45 53 54 31             idoall_TEST1 }

master:

16/11/07 16:51:43 INFO sink.LoggerSink: Event: { headers:{type=baidu} body: 69 64 6F 61 6C 6C 5F 54 45 53 54 31             idoall_TEST1 }

与预期结果相符合。

Flume Sink Processor-Failover

Processor提供了一种机制：在channel和sink之间形成fan-out，并且可以实现在多个sink之间的failover和loadbalance。

Flume的sink processor有三种：default，failover，load_balance。其中default是单一sink时的默认设置，failover提供失效转移功能，load_balance实现在多个sink之间的负载均衡。

  • 在hbase（主机名）上编写主配置文件
a1.sources=r1
a1.channels=c1 c2
a1.sinks=k1 k2

#sink group
a1.sinkgroups = g1
a1.sinkgroups.g1.sinks=k1 k2
#type 
a1.sinkgroups.g1.processor.type=failover
#priority
a1.sinkgroups.g1.processor.priority.k1=5
a1.sinkgroups.g1.processor.priority.k2=10

a1.sinkgroups.g1.processor.maxpenalty=100000

#configure source
a1.sources.r1.type=avro
a1.sources.r1.bind=hbase
a1.sources.r1.port=5140
a1.sources.r1.channels=c1 c2
a1.sources.r1.selector.type=replicating

#configure channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
a1.channels.c2.type=memory
a1.channels.c2.capacity=1000
a1.channels.c2.transactionCapacity=100


#configure sink
a1.sinks.k1.type=logger
a1.sinks.k2.type=avro
a1.sinks.k2.hostname=192.168.11.129
a1.sinks.k2.port=5555
a1.sinks.k1.channel=c1
a1.sinks.k2.channel=c2
  • 在master上编写avro source配置文件
a1.sources=r1
a1.channels=c1
a1.sinks=k1

a1.sources.r1.type=avro
a1.sources.r1.bind=master
a1.sources.r1.port=5555
a1.sources.r1.channels=c1

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sinks.k1.type=logger
a1.sinks.k1.channel=c1
  • 分别在两台机器上启动agent
>./flume-ng agent -f ../conf/processor_failover.conf -n a1 -Dflume.root.logger=INFO,console

>./flume-ng agent -f ../conf/processor_failover.conf -n a1 -Dflume.root.logger=INFO,console
  • 向hbase中多次发送avro数据
>./flume-ng avro-client -H hbase -p 5140 -F ../temp/log.00.COMPLETED

此时，由于sink k2的优先级大于k1所以，所有消息都由k2接收。
- 停止sink k2 再重发送数据

>./flume-ng avro-client -H hbase -p 5140 -F ../temp/log.00.COMPLETED

此时，由于k2已经死掉，所以，所有数据都有k1接收，即失效转移。

Flume Sink Processor-Loadbalance

和failover一样，也需要制定一个sink分组。

load_balance的策略有两个：一个是random随机选取，一个是round_robin轮训。

  • 在hbase（主机名）中编写主配置文件
#defined name of source/channel/sink
a1.sources=r1
a1.channels=c1 c2
a1.sinks=k1 k2

#configure sink group for loadbalance
a1.sinkgroups=g1
a1.sinkgroups.g1.sinks=k1 k2
a1.sinkgroups.g1.processor.type=load_balance
a1.sinkgroups.g1.processor.backoff=true
a1.sinkgroups.g1.processor.selector=round_robin

#configure source
a1.sources.r1.type=avro
a1.sources.r1.bind=hbase
a1.sources.r1.port=5140
a1.sources.r1.channels=c1 c2

#configure channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
a1.channels.c2.type=memory
a1.channels.c2.capacity=1000
a1.channels.c2.transactionCapacity=100

#configure sink
a1.sinks.k1.type=logger
a1.sinks.k2.type=avro
a1.sinks.k2.hostname=192.168.11.129
a1.sinks.k2.port=5555
a1.sinks.k1.channel=c1
a1.sinks.k2.channel=c2
  • 在master（主机名）上编写avro source配置文件
a1.sources=r1
a1.channels=c1
a1.sinks=k1

a1.sources.r1.type=avro
a1.sources.r1.bind=master
a1.sources.r1.port=5555
a1.sources.r1.channels=c1

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

a1.sinks.k1.type=logger
a1.sinks.k1.channel=c1
  • 启动两个主机上的agent
>./flume-ng agent -f ../conf/processor_loadbalance.conf -n a1 -Dflume.root.logger=INFO,console
  • 向hbase上的avro端口发送数据
./flume-ng avro-client -H hbase -p 5140 -F ../temp/log.00.COMPLETED
  • 查看两台机器的控制台

hbase:

16/11/07 18:04:45 INFO sink.LoggerSink: Event: { headers:{} body: E2 80 9C 48 65 6C 6C 6F 20 77 6F 72 6C 64 E2 80 ...Hello world.. }
16/11/07 18:04:49 INFO sink.LoggerSink: Event: { headers:{} body: E2 80 9C 48 65 6C 6C 6F 20 77 6F 72 6C 64 E2 80 ...Hello world.. }

master:

16/11/07 18:04:33 INFO sink.LoggerSink: Event: { headers:{} body: E2 80 9C 48 65 6C 6C 6F 20 77 6F 72 6C 64 E2 80 ...Hello world.. }
16/11/07 18:04:45 INFO sink.LoggerSink: Event: { headers:{} body: E2 80 9C 48 65 6C 6C 6F 20 77 6F 72 6C 64 E2 80 ...Hello world.. }
16/11/07 18:04:45 INFO sink.LoggerSink: Event: { headers:{} body: E2 80 9C 48 65 6C 6C 6F 20 77 6F 72 6C 64 E2 80 ...Hello world.. }
16/11/07 18:04:45 INFO sink.LoggerSink: Event: { headers:{} body: E2 80 9C 48 65 6C 6C 6F 20 77 6F 72 6C 64 E2 80 ...Hello world.. }

两台机器交替获取数据。

HBase Sink

将agent接收到的数据存入hbase。

  • 启动Hadoop及Hbase
>cd /usr/develop-fm/hadoop/sbin
>./start-all.sh
>cd ../../hbase/bin
>./start-hbase.sh
  • 编写hbase sink配置文件
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#configure source
a1.sources.r1.type=syslogtcp
a1.sources.r1.port=5140
a1.sources.r1.host=hbase
a1.sources.r1.channels=c1

#describe channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100

#describe hbase sink
a1.sinks.k1.type=logger
a1.sinks.k1.type=hbase
a1.sinks.k1.table=flume_test
a1.sinks.k1.columnFamily=info
a1.sinks.k1.column=logs
a1.sinks.k1.serializer=org.apache.flume.sink.hbase.RegexHbaseEventSerializer
a1.sinks.k1.channel=c1
  • 启动agent
>./flume-ng agent -f ../conf/hbase.conf -n a1 -Dflume.root.logger=INFO,console
  • 向agent发送数据
>echo "hello flume hbase sink test" | nc hbase 5140
  • 查看hbase表中的数据
>hbase shell
hbase(main):004:0> scan 'flume_test'
ROW                                              COLUMN+CELL                                                                                                                                   
 1478574878697-i6ZKIWXYeP-0                      column=info:payload, timestamp=1478574882003, value=hello flume hbase sink test                                                               
1478574904071-i6ZKIWXYeP-1                      column=info:payload, timestamp=1478574907074, value=hello flume hbase sink test

插入数据到Hbase成功。

Olge
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flume-应用案例（一）
不瘦十斤不换名字
11-07 406
Flume内置的很大功能强大的Source、Channel和Sink的实现，并且这些实现可以自由组合，同时，Flume的拓扑结构也和灵活，可以根据不同的应用场景选择不同的架构，下面示例Flume常用的配置。AvroAvro是一种协议，在分布式系统中广泛用于节点之间的数据交互，Flume可以把一个具体的Avro数据端口作为数据源来收集数据。 编写Avro Source配置文件avro.conf >vi
flume-ng-sql-source-release-1.5.2.zip
06-26
在本案例中，我们讨论的是版本1.5.2的发布包，即"flume-ng-sql-source-release-1.5.2.zip"。这个压缩包包含了一个名为"flume-ng-sql-source-release-1.5.2.jar"的文件，这是该插件的核心组件，用于实现SQL查询以从...
Flume案例1-arvo
Allwordhuier的博客
09-23 794
案例1：Avro Avro可以通过client发送一个指定的文件给Flume，flume可以通过设置source的接受方式，监控avro发送数据的ip和端口，获取数据。 Avro Source可以定制avro-client发送一个指定的文件给Flume agent，Avro源使用Avro RPC机制，Flume主要的RPC Source也是 Avro Source，它使用Netty-Avro inter-process的通信（IPC）协议来通信，因此可以用java或JVM语言发送数据到Avro Source
搭建HTTP
weixin_46516401的博客
03-25 5120
http作业 [root@localhost ~]# mkdir /www [root@localhost ~]# echo 小胖，你怎么这么胖 > /www/index.html [root@localhost ~]# systemctl restart httpd
flume
qq_36894763的博客
10-08 239
flume
Flume-Kafka-SparkStreaming对接案例实操
Airy的博客
01-23 2269
1.准备工作 ①一个java程序，需要有一些操作能够打印特定log日志,并打成jar包； ②在linux服务器上安装flume、zookeeper、kafka； 2.案例思路 当我在jar包程序部署在linux服务器上时，每当我访问特定接口，就会产生特定日志文件，这时候flume监听该日志文件，然后并且对日志进行过滤，一些springboot应用启动日志需要过滤，然后对接到kafka，kafka对日志进行格式化清洗，最后对接SparkStreaming就可以进行相关业务处理了 3.案例流程图
Flume--常用Sink及应用案例
qq_46893497的博客
12-12 585
1、功能 负责从Channel中取出所有的数据event，将数据发送到目标地中 2、logger sink 功能：将event写入日志 应用场景：用于测试 3、hdfs sink http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.14.0/FlumeUserGuide.html#hdfs-sink 功能：将输入写入HDFS，这是工作中主要使用的 应用场景 实时采集到HDFS，提供离线架构 Flume属于数据采集层 | | HDF
Flume-应用案例（三）
不瘦十斤不换名字
11-07 507
JsonHandler用于处理标准json数据。 编写JSONHandler source配置文件 >echo >> json.conf >vim json.conf a1.sources=r1 a1.channels=c1 a1.sinks=k1a1.sources.r1.type=org.apache.flume.source.http.HTTPSource a1.sources.r1.port
【Flume-02】案例演示
山西没老板
09-17 237
数据采集Flume
Flume--常用Source及应用案例
qq_46893497的博客
12-12 1209
1、功能 Flume主要的应用是采集文件【文件、基于网络协议、Kafka】 Source就是专门实现采集的组件 根据程序中的配置，监听我们的数据源 如果数据源的数据发生变化 Source会将新的数据封装成Event发送到Channel中 2、Exce Source http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.14.0/FlumeUserGuide.html#exec-source 功能：采集文件，可以使用一条Linux的命
flume-ng-sql-source-1.4.3.jar
11-08
在本案例中，我们关注的是 Flume 的 SQL Source 插件，即 `flume-ng-sql-source-1.4.3.jar`。 **Flume SQL Source 插件详解** 1. **Flume NG 概述**：Flume NG 是 Flume 的新版本，与旧版相比，它提供了更灵活的...
04、日志收集系统Flume-flume自定义开发案例.docx
11-30
这个案例展示了如何创建一个简单的 Java 应用 `MyApp`，该应用使用自定义的 `MyRpcClientFacade` 类来与 Flume 通信。 首先，`MyApp` 类中的 `main` 方法初始化了 `MyRpcClientFacade` 对象，并设置远程 Flume 代理...
flume-1.7.0.zip
05-17
7. **实际应用案例** - 日志收集：Flume 常用于从服务器收集各种应用程序的日志数据，然后存储到 Hadoop 系统中进行分析。 - 社交媒体数据：可以从 Twitter、Facebook 等社交媒体平台收集数据，用于情感分析或其他...
flume-es5.X依赖.zip
03-23
4. Kafka：Kafka是一个分布式流处理平台，可以用于构建实时数据管道和流应用。在Flume中，Kafka可以作为数据源或Sink，实现数据的高效传输。 5. JDBC：Java Database Connectivity，用于连接数据库，Flume可以使用...
b050闲置图书分享-springboot+vue+elementui.zip（可运行源码+sql文件+文档）
07-23
本次开发的闲置图书分享平台实现了收货地址管理、字典管理、公告管理、留言板管理、图书管理、图书收藏管理、图书评价管理、图书订单管理、用户管理、管理员管理等功能。系统用到了关系型数据库中王者MySql作为系统的数据库，有效的对数据进行安全的存储，有效的备份，对数据可靠性方面得到了保证。并且程序也具备程序需求的所有功能，使得操作性还是安全性都大大提高，让闲置图书分享平台更能从理念走到现实，确确实实的让人们提升信息处理效率。 管理图书的数据，此页面主要实现图书的增加、修改、删除、查看的功能。公告信息管理页面提供的功能操作有：新增公告，修改公告，删除公告操作。公告类型管理页面显示所有公告类型，在此页面既可以让管理员添加新的公告信息类型，也能对已有的公告类型信息执行编辑更新，失效的公告类型信息也能让管理员快速删除。
《大学生职业生涯规划与就业指导》大一阶段课程作业
最新发布
07-24
《大学生职业生涯规划与就业指导》大一阶段课程作业
开题报告潮汕特产直销系统 已通过开题答辩的.doc
07-23
随着互联网的高速发展，人们的生活方式发生了翻天覆地的变化，在过去，人们想要购买很远地方的东西会非常麻烦，因为是通信和交通都不是十分的方便，而现在网络购物成为了人们日常生活中不可或缺的一部分。在这样的背景下，互联网与传统行业的融合已经成为了一种不可阻挡的趋势。对于中国特色的潮汕特产来说，这一趋势也带来了巨大的变革和发展机遇[1]。
Python性能优化：掌握性能分析工具的实战指南
07-23
Python是一种广泛使用的高级编程语言，由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。Python的设计哲学强调代码的可读性和简洁的语法（尤其是使用空格缩进来区分代码块，而不是使用大括号或关键词）。这使得Python被认为是一种易于学习的语言，同时具备强大的功能，适合初学者和经验丰富的程序员。 Python的主要特点包括： 1. **易于学习**：Python有相对较少的关键字，结构简单，和一个明确定义的语法。 2. **易于阅读**：Python代码定义的清晰度使得它像可执行伪代码。 3. **易于维护**：Python的成功在于它的源代码是相当容易维护的。 4. **广泛的标准库**：Python的标凑库很庞大，包含用于互联网通信、网络通信、数据压缩、加密、系统管理等的模块。 5. **跨平台**：Python可以在多种操作系统上运行，包括但不限于Windows、Mac OS X、Linux等。 6. **解释型语言**：Python是一种解释型语言，这意味着开发过程中没有编译步骤。 7. **动态类型系统**：Python不会在编写
江苏方天电力：Flume组件在大数据平台的应用解析
这部分可能会提供Flume在实际电力大数据平台中的应用案例，详细描述了某个具体场景，比如从多个电力设备收集日志数据，并通过Flume进行传输和处理。此外，还可能包含针对该场景的测试步骤，以验证Flume的功能和性能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值