flume采集方案nginx日志到hdfs上

最新推荐文章于 2022-09-21 00:18:30 发布

zwmonk

最新推荐文章于 2022-09-21 00:18:30 发布

阅读量764

点赞数

分类专栏： hadoop 文章标签： flume mysql nginx hdfs linux

本文链接：https://blog.csdn.net/zwmonk/article/details/82944027

版权

该博客介绍了如何使用 Flume 监听 Nginx 访问日志，并将新产生的文件实时传输到 HDFS 上。配置中，Flume 源 (source) 使用 exec 类型监听 `/home/centos/logs/nginx/access.log` 文件的变化，而接收器 (sink) 设置为 HDFS，将数据写入到指定的 HDFS 路径，并以特定格式命名文件。此外，博客还提及了一个清洗脚本，用于将清洗后的数据追加到 MySQL 数据库。

摘要由CSDN通过智能技术生成

#########################################################

##主要作用是监听目录中的新增文件，采集到数据之后，输出到hdfs
#########################################################
a1.sources = r1
a1.sinks = k1
a1.channels = c1
#对于source的配置描述监听目录中的新增文件
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/centos/logs/nginx/access.log
#对于sink的配置描述使用log日志做数据的消费
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://bdha/input/data-clean/nginx/%Y/%m/%d
a1.sinks.k1.hdfs.filePrefix = nginx
a1.sinks.k1.hdfs.fileSuffix = .log
a1.sinks.k1.hdfs.inUseSuffix = .tmp
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.rollCount = 100
a1.sinks.k1.hdfs.serializer = TEXT
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.minBlockReplicas = 1
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#对于channel的配置描述使用内存缓冲区域做数据的临时缓存
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 1000
#通过channel c1将source r1和sink k1关联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

清洗完的脚本定时追加到MySQL
#!/bin/sh
###############
###############
SQOOP_BIN=/home/centos/sqoop/bin/sqoop
START_DATE=date -d "1 day ago" +%Y-%m-%d
echo “START_DATE=”