今天早上一来,leader让我研究Avro和Kafka的集成。
我:“哦”。
Avro? 什么东西呀? Kafka?还没研究过
怎么办?
先学习Avro呗,然后我就分成了下面几个阶段来完成这个任务。
Task1: 首先用java代码来实现Avro的发消息和受消息的机制,测试通过。
Task2:考虑是消息从MSMQ发出后和Avro集成,再发到Kafka;还是消息从Kafka发出后,用Avro进行处理,再发到Storm呢?
Task3:如果是MSMQ-->Avro-->Kafka-->Storm,我得用java测试kafka怎么接收解析从Avro发过来的消息。
Task4: 如果是MSMQ-->Kafka-->Avro-->Storm.我觉得这个就可以直接在Storm程序里面改一下接收消息的格式,比较简单。
不管怎么说,先把Avro搞清楚怎么回事吧。
搜了半天,资料基本没有,于是就只能从官网的英文文档下手呢。
经过一天的学习,尝试,终于有了一点点小的收获,那就是在实现了通过定义Avro的schema来自动生成java代码。然后运行成功了。
下面总结了方法:(用Avro-1.7.7 Java版本)
1. 首先要下载:avro-1.7.7.jar, avro-tools-1.7.7.jar,core-asl,mapper-asl。 放在C:\Learn_docs\HadoopSoft\Avro
下载网址:http://www