Avro通过schema自动生成java代码

本文介绍了如何利用Avro的schema自动生成Java代码,并通过实例展示了如何使用生成的代码进行数据序列化和反序列化。作者详细描述了从下载Avro工具到编写并执行Avro schema文件,最后在Eclipse中创建并运行Java项目的整个过程。
摘要由CSDN通过智能技术生成

今天早上一来,leader让我研究Avro和Kafka的集成。 

我:“哦”。

Avro? 什么东西呀? Kafka?还没研究过

怎么办?

先学习Avro呗,然后我就分成了下面几个阶段来完成这个任务。

Task1: 首先用java代码来实现Avro的发消息和受消息的机制,测试通过。

Task2:考虑是消息从MSMQ发出后和Avro集成,再发到Kafka;还是消息从Kafka发出后,用Avro进行处理,再发到Storm呢?

Task3:如果是MSMQ-->Avro-->Kafka-->Storm,我得用java测试kafka怎么接收解析从Avro发过来的消息。

Task4: 如果是MSMQ-->Kafka-->Avro-->Storm.我觉得这个就可以直接在Storm程序里面改一下接收消息的格式,比较简单。


不管怎么说,先把Avro搞清楚怎么回事吧。

搜了半天,资料基本没有,于是就只能从官网的英文文档下手呢。


经过一天的学习,尝试,终于有了一点点小的收获,那就是在实现了通过定义Avro的schema来自动生成java代码。然后运行成功了。

下面总结了方法:(用Avro-1.7.7  Java版本)

1. 首先要下载:avro-1.7.7.jar, avro-tools-1.7.7.jar,core-asl,mapper-asl。 放在C:\Learn_docs\HadoopSoft\Avro

下载网址:http://www

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值