kafka到hive的解决方案

对于那些想要把数据快速摄取到Hadoop中的企业来讲，Kafka是一个很好的选择。Kafka是什么？Kafka是一个分布式、可伸缩、可信赖的消息传递系统，利用发布-订阅模型来集成应用程序/数据流。同时，Kafka还是Hadoop技术堆栈中的关键组件，能够很好地支持实时数据分析或者货币化的物联网数据。

下面就图解Kafka是如何把数据流从RDBMS（关系数据库管理系统）导入Hive，同时借助一个实时分析用例加以说明。作为参考，本文中使用的组件版本分别为Hive 1.2.1，Flume 1.6 以及 Kafka 0.9。

Flume把kafka收集的数据存放到HDFS，通过HDFS交给Hive来处理。