使用Flume-KafkaSource实时采集avro格式数据

最新推荐文章于 2024-08-17 23:53:30 发布
最新推荐文章于 2024-08-17 23:53:30 发布
阅读量1.3k 收藏 5
点赞数 2
文章标签： 大数据 flume hdfs kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangyan_ican/article/details/99322878
版权
本文介绍了如何使用Flume-KafkaSource实时采集Avro格式的数据，并面临了序列化、反序列化的挑战。尝试了通过Hive外部表、API读取和KafkaConsumer参数设置等方式，最终通过自定义Source解决，将KafkaConsumer返回的record类型转换为JSON，成功实现了Avro数据的反序列化和存储。
摘要由CSDN通过智能技术生成

业务描述：

最近项目中需要实时采集业务数据库CDC数据(这里数据已被序列化为avro格式数据)，这里技术架构我们采用了Flume+Hdfs。

了解Flume的朋友都知道它的组件分为三部分：source，channel，sink。具体原理部分这里就不再赘述，可查看官网或flume技术博客，这里具体讲一下实现流程及添坑之路。

业务过来的数据放在在kafka里，所以source端采用的是kafkaSource，说白了就是kafkaConsumer，sink选用的是hdfsSink，channel这里选的是file type。

hdfsSink写入文件格式有两种一是：Text File，二是Sequence File，不管选用哪种文件格式落地到hdfs后都不能直接使用，前面说到了业务数据已被序列化为avro格式，但需求是hdfs上的数据必须是直接可用的。

考虑了几种解决方式：

1，使用hive创建外部表关联hdfs上的数据，这里就有问题了，虽然hive支持读取seq文件格式，但我们这里seq文件里（hdfsSink使用Sequence File格式存储）的数据是avro的格式，我试着建表查询了一下，结果是乱码，text File也一样，这种方式就pass掉了。其实hive可以直接读取avro格式数据指定数据的sc

最低0.47元/天 解锁文章
ican.
关注
使用Flume-KafkaSource实时采集Avro格式数据
YazIdris的博客
09-21 1247
在上面的配置文件中，我们定义了一个名为source1的KafkaSource，它会从指定的Kafka主题（your_topic）中消费Avro格式的数据。在启动Flume Agent后，它将开始从Kafka中消费Avro格式的数据，并将其传输到Sink（这里使用的是logger Sink）进行日志输出。您可以根据实际需求将Sink配置为其他类型，比如HDFS、Kafka等。请注意，在运行Flume Agent之前，确保Kafka集群正常运行，并且Kafka主题中已经有符合Avro格式的数据可供消费。
flume avro java_Flume的Avro Sink和Avro Source研究之一： Avro Source
weixin_28903391的博客
02-16 494
问题 ： Avro Source提供了怎么样RPC服务，是怎么提供的？问题 1.1 Flume Source是如何启动一个Netty Server来提供RPC服务。由GitHub上avro-rpc-quickstart知道可以通过下面这种方式启动一个NettyServer，来提供特定的RPC。那么Flume Source 是通过这种方法来提供的RPC服务吗？server = new NettySe...
整合Flume与Kafka完成实时数据采集
Tai_Park
03-03 540
1.架构 2.Flume 第一个Agent配置 -> exec-memory-avro.conf： exec-memory-avro.sources = exec-source exec-memory-avro.sinks = avro-sink exec-memory-avro.channels = memory-channel exec-memory-avro.source...
Flink 1.14.*版本kafkaSource源码
最新发布
胖墩的IT博客
08-17 584
Flin自身带的连接器kafkaSource内部源码逻辑
2020年3月3日——Flume和Kafka完成实时数据的采集
南栀子。的博客
03-03 369
#机器A上面配置flume文件exec-memory-avro.conf cd /usr/local/flume/conf/ gedit exec-memory-avro.conf ＃在此代理上命名组件 exec-memory-avro.sources = exec-source exec-memory-avro.sinks = avro-sink exec-memory-avro.channe...
Flume实战案例之整合Kafka实现日志采集
senga's blog
03-01 540
目标 将A服务器上的日志实时采集到B服务器 技术选型 配置文件 A服务器Flume配置文件：exec_memory_avro.conf exec_memory_avro.sources = exec_source exec_memory_avro.sinks = avro_sink exec_memory_avro.channels = memory_channel exec_memory_a...
flume-kafka流程
11-20
- **Kafka**：Kafka是一个分布式流处理平台，它被设计用于构建实时数据管道以及流应用，可以处理大量的实时数据。 #### 二、Flume-Kafka集成流程解析 ##### 2.1 准备环境 为了确保Flume能够顺利将数据写入Kafka，...
flume-ng-kafka-source
06-13
水槽-ng-kafka-源 注意flume-ng-kafka-source 已合并到即将发布的flume 1.6 中。 这个 repo不会在维护中。 该项目用于 与进行通信。 Kafka源码配置 agent_log.sources.kafka0.type = com.vipshop.flume.source.kafka.KafkaSource agent_log.sources.kafka0.zk.connect = 127.0.0.1:2181 agent_log.sources.kafka0.topic = all agent_log.sources.kafka0.groupid = es agent_log.sources.kafka0.channels = channel0 特别感谢 事实上，我是 Java 的新手。 我从学到了很多。 感谢 。
java实现接收kafka-avro数据
06-20
项目亲测有效，如使用发现问题，或使用中有疑问，均可咨询594274919.
flume avro java_Flume：目录到Avro - > Avro到HDFS - 转移后无效avro
weixin_36254537的博客
02-16 158
我有用户编写AVRO文件，我想使用Flume使用Flume将所有这些文件移动到HDFS中 . 所以我以后可以使用Hive或Pig来查询/分析数据 .在客户端我安装了水槽，并有一个SpoolDir源和AVRO接收器像这样：a1.sources = src1a1.sinks = sink1a1.channels = c1a1.channels.c1.type = memorya1.sources.sr...
Flume案例1-arvo
Allwordhuier的博客
09-23 870
案例1：Avro Avro可以通过client发送一个指定的文件给Flume，flume可以通过设置source的接受方式，监控avro发送数据的ip和端口，获取数据。 Avro Source可以定制avro-client发送一个指定的文件给Flume agent，Avro源使用Avro RPC机制，Flume主要的RPC Source也是 Avro Source，它使用Netty-Avro inter-process的通信（IPC）协议来通信，因此可以用java或JVM语言发送数据到Avro Source
Flume配置文件kafkaSource
08-07
Flume配置文件kafkaSource 包含Intercepter,包含正则表达式。
Flume02--1.avro source和kafka source 2. 拦截器 3. channel详解 4 sink 5 slector（选择器）6 sink processor
u012550977的博客
10-16 1095
Flume source channel sink avro
flume+kafka整合采集数据案例
fa124607857的博客
07-02 3248
一、flume简介 1.1.1 概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力， 因此，flume可以适用于大部分的日常数据采集场景 1.1.2 运行机制 Flume.
flume之kafka source
热门推荐
赶路人儿
10-17 1万+
       对于线上业务系统来说，有的时候需要对大量的数据进行统计，如果直接将数据保存到本地文件（例如使用log4j）可能会拖慢线上系统。那么，最好的方式是将大量的数据通过jms（例如：kafka）发送到消息服务器，消息中间件后面再对接flume来完成数据统计等需求。 接下来，我们来介绍一下flume 的kafka source。 一、理论：   #-------- kafkaSour...
flume、kafka、avro组成的消息系统
heccxx的博客
11-06 1134
利用apache flume和Apache kafka（依赖zookeeper）完成一个消息系统，具体消息传递：kafka-->flume A-->flume B-->kafka。将数据通过flume进程A从kafka集群中读取，通过avro sink将数据发送到flume进程B ,最后将数据kafkasink 到kafka集群中。 测试过程两端kafka可选不同topic，例...
kafka中写入avro数据
wk022的专栏
07-14 3979
import java.io.ByteArrayOutputStream; import java.util.ArrayList; import java.util.List; import java.util.Properties; import java.util.concurrent.TimeUnit; import java.util.regex.Matcher; import
整合Flume和Kafka完成实时数据采集
MOL
08-20 7941
需要注意:参考的网站要与你的kafka的版本一致,因为里面的字段会不一致 例如:http://flume.apache.org/releases/content/1.6.0/FlumeUserGuide.html#kafka-sink 这是1.6版本的,如果需要查看1.9版本的直接就将1.6.0改为1.9.0即可 # avro-memory-kafka.conf avro-memory-kafka.sources = avro-source avro-memory-kafka.sinks = kafka-.
filebeat和flume写入kafka后数据格式的不同
weixin_42473019的博客
05-13 1374
filebeat和flume都是当下非常流行的日志采集工具，flume功能更强，使用范围也更广，而filebeat相比flume更加轻量，一般跟ELK一起使用。 笔者在使用这两个工具对接kafka的过程中发现他们采集到kafka里的数据格式是不同的，这里我使用spark streaming分别消费出几条数据对比一下： spark streaming程序： def run():Unit={ val sparkConf=new SparkConf().setAppName("Test").setMast
使用avro数据源测试flume的实验原理
05-19
Flume 是一个分布式的、可靠的、高可用的海量日志采集、聚合和传输的系统，它可以帮助我们快速地将大量的日志数据从不同的源头采集到 Hadoop 生态系统中。其中，Avro 是一种数据交换格式，它支持动态的数据类型定义，数据压缩和二进制编码，使得数据传输更加高效和灵活。下面是使用 Avro 数据源测试 Flume 的实验原理： 1. 准备环境：安装 JDK、Flume 和 Avro 工具包，并在本地或者远程服务器上启动 Flume 的 Agent。 2. 配置 Flume Agent：在 Flume Agent 的配置文件中，设置 Avro Source 和其他必要的组件，如 Channel 和 Sink。同时，指定数据源的 IP 地址和端口号，以便 Flume Agent 可以从该数据源中获取数据。 3. 启动 Avro 数据源：使用 Avro 工具包中的命令行工具，启动 Avro 数据源，并将其绑定到指定的 IP 地址和端口号上。此时，Avro 数据源会监听这个端口，并等待 Flume Agent 的连接请求。 4. 模拟数据生成：使用自定义的 Python 脚本或其他工具，模拟数据生成并发送到 Avro 数据源的监听端口。这些数据可以是结构化的、半结构化的或非结构化的，如 JSON、XML、CSV 和文本等格式。 5. 数据采集和传输：Flume Agent 会从 Avro 数据源中获取数据，并将其写入到指定的 Channel 中。同时，Flume Agent 会根据配置文件中定义的 Sink，将数据传输到指定的目的地，如 HDFS、Kafka 和 Elasticsearch 等。 6. 数据处理和分析：在数据传输完成后，我们可以使用 Hive、Spark、Pig 和 Impala 等工具，对数据进行处理、分析和可视化。这些工具可以帮助我们深入了解数据的特征和规律，为业务决策提供有力的支持。 总之，使用 Avro 数据源测试 Flume 的实验原理是基于 Flume 的强大功能和 Avro 的高效性能，实现数据的快速、准确和可靠的采集和传输，为大数据应用的开发和部署提供了有力的支持。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值