flume hbase sink配置

最新推荐文章于 2021-08-12 17:32:39 发布

zhaoxinrong123

最新推荐文章于 2021-08-12 17:32:39 发布

阅读量743

点赞数

分类专栏： flume

本文链接：https://blog.csdn.net/zhaoxinrong123/article/details/61196696

版权

本文介绍了如何使用Flume将日志数据实时地收集并存储到HBase中。配置包括source（spooldir类型，读取指定目录的日志文件），channel（使用memory类型内存通道），以及sink（hbase类型，设置HBase表、列族、序列化方式和Zookeeper连接信息）。日志格式包含时间戳、项目名、模块、级别等信息。

摘要由CSDN通过智能技术生成

使用flume收集日志到hbase，flume配置如下：

agent.sources = source1
agent.sinks = hbase1
agent.channels = channel1

agent.sources.source1.type = spooldir
agent.sources.source1.spoolDir = f:/logs/backup
agent.sources.source1.fileHeader = true

agent.sources.source1.channels = channel1
agent.sinks.hbase1.channel = channel1

# Configure Hbase Sink hbase1
agent.sinks.hbase1.type = hbase
agent.sinks.hbase1.batchSize = 5
agent.sinks.hbase1.table = log
agent.sinks.hbase1.columnFamily = info
agent.sinks.hbase1.serializer = org.apache.flume.sink.hbase.RegexHbaseEventSerializer
agent.sinks.hbase1.serializer.regex = (.*?\\s.*?) (.*?) (.*?) (.*?) (.*?) (.*?) (.*?) (.*?) (.*?) (.*?) (.*?)
agent.sinks.hbase1.serializer.colNames = log_time,project,module,level,mid,session_id,remote_ip,server_ip,location,messag