zhangyan_ican的博客

原创 使用Flume-KafkaSource实时采集avro格式数据

业务描述：最近项目中需要实时采集业务数据库CDC数据(这里数据已被序列化为avro格式数据)，这里技术架构我们采用了Flume+Hdfs。了解Flume的朋友都知道它的组件分为三部分：source，channel，sink。具体原理部分这里就不再赘述，可查看官网或flume技术博客，这里具体讲一下实现流程及添坑之路。业务过来的数据放在在kafka里，所以source端采用的是kafka...