Flume读取数据写入Hive、Mysql

最新推荐文章于 2022-11-14 08:39:40 发布

天ヾ道℡酬勤

最新推荐文章于 2022-11-14 08:39:40 发布

阅读量2.1k

点赞数 2

分类专栏： flume 文章标签： flume

本文链接：https://blog.csdn.net/zp17834994071/article/details/108063382

版权

本文介绍了如何使用Flume将数据流分别写入到Hive和Mysql。首先，详细阐述了配置Flume以将数据写入Hive表，包括创建Hive表、配置Flume的Hive sink，以及相关参数解释。接着，同样详细讲解了Flume写入Mysql的过程，包括创建Mysql表和配置Flume的Mysql sink。最后，通过启动Flume命令，完成数据从Flume到Hive和Mysql的传输。

摘要由CSDN通过智能技术生成

关于flume的简介以及应用在前面已经给大家详细的讲解过，今天主要就如何把flume抓取的数据写入到其它地方。
由于时间关系在这里还是使用伪数据和前面所说的一样，主要是配置flume，先说下把读取的数据写入到Hive中。

读取数据写入Hive

先创建hive表，数据库名就叫test吧，

create table tests ( id int , msg string )
   partitioned by (continent string, country string, time string)
   clustered by (id) into 5 buckets
   stored as orc;

配置hive的flume
先新建配置文件用于关联hive
还是在/opt/flumeconf下创建properties文件，并添加以下配置
cd /opt/flumeconf
vi conf_0817_hive.properties

a1.sources = s1
a1.channels = c1
a1.sinks = k1

a1.sources.s1.type=spooldir
a1.sources.s1.spoolDir=/opt/soft/datas

a1.sinks.k1.type = hive
a1.sinks.k1.channel = c1
a1.sinks.k1.hive.metastore = thrift:#127.0.0.1:9083
a1.sinks.k1.hive.database = test
a1.sinks.k1.hive.table = tests
a1.sinks.k1