flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE

一、完整报错

错误一：

• Error while trying to hflushOrSync!

错误二：

• Lease. Holder: DFSClient_NONMAPREDUCE_-370864028_41, pending creates: 638

二、错误原因

错误一原因：

• 每一个flume-agent配置的hdfsSink是完全一样的，每个flume-agent读取的source相同，有很大概率会出现多个flume-agent同时写同名文件，导致部分flume-agent无法继续

错误二原因：

• 多个线程中创建文件，多线程尝试写入同一文件的问题，如果第一个线程创建的文件被第二个线程覆盖，那么第一个线程将遇到上述异常。

三、解决方法

错误一解决方法：

• 确保hdfs文件名不一样：

prod1.sinks.sink1.hdfs.path = /prod/raw/kafka/%{topicname}/%{database}/%{table}/1h/%Y%m%d/%H
prod1.sinks.sink1.hdfs.filePrefix = %{hostname}-flumedata

错误二解决方法：

• 确保只接入相同的kafka topic一次