解决datax抽取hdfs文件有空文件时报错

大数据私房菜

已于 2023-04-18 16:48:54 修改

阅读量4k

点赞数 2

分类专栏： datax 文章标签： hdfs java hadoop

于 2019-06-11 20:39:49 首次发布

本文链接：https://blog.csdn.net/zuochang_liu/article/details/91464585

版权

datax 专栏收录该内容

5 篇文章

订阅专栏

抽取hdfs文件时，当目录下有空文件时，会报以下错误

修改源码如下：

// add by liuzc
                if (f.getLen() == 0) {
                    String message = String.format("code add by liuzc _文件[%s]长度为0，将会跳过不作处理！", f.getPath().toString());
                    LOG.warn(message);
                }else {
                    addSourceFileByType(f.getPath().toString());
                }

重跑任务结果：