flume的使用

flume使用

实时读取目录中文件到HDFS

1在flume下创建文件夹upload：mkdir upload
2在flume下创建job文件夹用于存放配置的conf
3在job文件中创建conf：touch flume-dir-hdfs.conf
4开始配置conf：vim flume-dir-hdfs.conf

a3.sources = r3
a3.sinks = k3
a3.channels = c3

# Describe/configure the source
a3.sources.r3.type = spooldir
#监控的文件夹路径
a3.sources.r3.spoolDir = /usr/local/flume/flume/upload
#给文件添加后缀.COMPLETED用于检测已经被扫描过
a3.sources.r3.fileSuffix = .COMPLETED
a3.sources.r3.fileHeader = true
#忽略所有以.tmp结尾的文件，不上传
a3.sources.r3.ignorePattern = ([^ ]*\.tmp)

# Describe the sink
a3.sinks.k3.type = hdfs
a3.sinks.k3.hdfs.path = hdfs://vm-bw-server17:8020/flume/upload/%Y%m%d/%H
#上传文件的前缀
a3.sinks.k3.hdfs.filePrefix = upload-
#是否按照时间滚动文件夹
a3.sinks.k3.hdfs.round = true
#多少时间单位创建一个新的文件夹
a3.sinks.k3.hdfs.roundValue = 1
#重