Flume基本使用--mysql数据输出

智能边缘探索记

已于 2023-11-15 20:48:22 修改

阅读量2.6k

点赞数 3

分类专栏：大数据采集与预处理文章标签： 1024程序员节

于 2023-10-24 08:26:40 首次发布

本文链接：https://blog.csdn.net/zn2021220822/article/details/134001681

版权

大数据采集与预处理专栏收录该内容

6 篇文章 9 订阅

订阅专栏

MySQL数据输出

在MySQL中建立数据库school，在数据库中建立表student。SQL语句如下：

create database school;
use school;
create table student(
        id   int not null,
        name   varchar(40),
        age   int,
        grade   int,
        primary   key(id)
);

请使用Flume实时捕捉MySQL数据库中的记录更新，一旦有新的记录生成，就捕获该记录并显示到控制台。可以使用如下SQL语句模拟MySQL数据库中的记录生成操作。


insert into   student(id,name,age,grade)value(1,'Xiaoming',23,98);

insert into   student(id,name,age,grade)value(2,'Zhangsan',24,96);

insert into   student(id,name,age,grade)value(3,'Lisi',24,93);

insert into   student(id,name,age,grade)value(4,'Wangwu',21,91);

insert into   student(id,name,age,grade)value(5,'Weiliu',21,91);

要求：

（1）给出配置文件

安装好flume-ng-sql-source-1.5.2.jar以及mysql-connector-java-8.0.23.jar

#设置名称
a1.sources=r1
a1.sinks=k1
a1.channels=c1

#配置Source
a1.sources.r1.type=org.keedio.flume.source.SQLSource
a1.sources.r1.hibernate.connection.url=jdbc:mysql://localhost:3306/school
a1.sources.r1.hibernate.connection.user=root
a1.sources.r1.hibernate.connection.password=123456
a1.sources.r1.hibernate.connection.autocommit=true
a1.sources.r1.table=student
a1.sources.r1.run.query.delay=5000
a1.sources.r1.status.file.path=C:/software/apache-flume-1.9.0-bin
a1.sources.r1.status.file.name=a1.status

#配置Sink
a1.sinks.k1.type=logger

#配置channels
a1.channels.c1.type=memory

#绑定sink source到channels上
a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1