hive小文件过多问题解决

起因

数据中台当前有一张流水类表，存在3200个分区，230w个数据文件，150亿条数据，导致该表查询起来及其麻烦，更令人糟心的是，业务人员不懂查询方式，经常有人使用select *的方式查询该表，导致hiveserver2经常炸掉，极大影响集群的使用，因此，我们决定处理掉这个问题。

我们来看下是什么原因导致这个问题

首先，文件数量和大小会影响Mapper任务的数量，所以小文件越多，mapper任务越多，每个mapper任务会启动一个JVM，所以这些任务初始化和运行会消耗大量资源。而且在NameNode中每个文件大约占150字节，小文件问题会直接带来NameNode的压力巨大，从而导致HDFS的稳定性，同时对HDFS日常的数据读写带来性能下降。

解决方法

1. 从源头解决，在日增数据的脚本中加入参数设置，约束生成的小文件数量，参数示例如下

    set mapred.max.split.size=25000000;
    set mapred.min.split.size.per.node=10000000;
    set hive.hadoop.supports.splittable.combineinputformat=true;
    set mapred.min.split.size.per.rack=10000000;
    set hive.exec.compress.output=true;
    set hive.merge.mapfiles=true;
    set hive.merge.mapredfiles=true;
    set hive.merge.size.per.task=256000000;
    set hive.merge.smallfiles.avgsize=16000000;
    set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
   

附赠一份从其他地方copy过来的参数说明

参数	说明
-----	设置Map输入合并小文件的相关参数
set mapred.max.split.size=256000000	每个Map最大输入大小（这个值决定了合并后文件的数量）
set mapred.min.split.size.per.node=100000000	一个节点上split的至少的大小（这个值决定了多个DataNode上的文件是否需要合并）
set mapred.min.split.size.per.rack=100000000	一个交换机下split至少的大小（这个值决定了多个交换机上的文件是否需要合并）
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;	执行Map前进行小文件合并
-----	设置Map输出和Reduce输出进行合并的相关参数
set hive.merge.mapfiles = true	设置map端输出进行合并，默认为true
set hive.merge.mapredfiles = true	设置reduce端输出进行合并，默认为false
set hive.merge.size.per.task = 25610001000	设置合并文件的大小
set hive.merge.smallfiles.avgsize=16000000	当输出文件的平均大小小于该值时，启动一个独立的MapReduce任务进行文件的Merge
-----	设置
set parquet.compression=GZIP	parquet格式的压缩格式
set hive.exec.reducers.bytes.per.reducer=115000000	设置运行时Reduce的数量
set hive.exec.reducers.max=120000000;	设置运行时Reduce的最大数量

2. 合并hdfs中已有的小文件，这也是本文的重点

   合并小文件有两种思路。一是使用hive的原生工具concatenate来合并小文件，sql示例如下

alter table app.example_orc partition (dt=“20200202”) concatenate;

但是，concatenate只支持RCFile和ORC格式的表，在其他如parquet格式中不适用，因此，如果是新的数仓，可以直接规定所有表使用orc格式来支持这个工具，这样小文件过多可以使用hive自带命令 concatenate 快速合并。

Tips：
1、concatenate 命令只支持 RCFILE 和 ORC 文件类型。
2、使用concatenate命令合并小文件时不能指定合并后的文件数量，但可以多次执行该命令。
3、当多次使用concatenate后文件数量不在变化，这个跟参数 mapreduce.input.fileinputformat.split.minsize=256mb 的设置有关，可设定每个文件的最小size。
4、只能针对分区使用concatenate命令。

另一种方法就显得比较繁琐和笨重，那就是通过新建临时表，将现有分区中的表导入临时表再回写的方法来解决该问题，因为我们系统中该表只需要处理部分分区，因此考虑这样处理，如果你是全部分区均存在这种问题，可以考虑直接通过把备用表改名的形式，避免多一次I/O。
示例代码如下

1. 创建临时表

create table bs_collect.tsconfirm_transtion like bs_collect.tsconfirm;

--查询小文件数量命令
--hdfs dfs -count {path}

2. 数据写入临时表

set mapred.max.split.size=25000000;
set mapred.min.split.size.per.node=10000000;
set hive.hadoop.supports.splittable.combineinputformat=true;
set mapred.min.split.size.per.rack=10000000;
set hive.exec.compress.output=true;
set hive.merge.mapfiles=true;
set hive.merge.mapredfiles=true;
set hive.merge.size.per.task=256000000;
set hive.merge.smallfiles.avgsize=16000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table bs_collect.tsconfirm_transtion partition(c_tano,d_cdate)
select * from bs_collect.tsconfirm where d_cdate<'2017-09-01';

3. 数据文件回写

set mapred.max.split.size=25000000;
set mapred.min.split.size.per.node=10000000;
set hive.hadoop.supports.splittable.combineinputformat=true;
set mapred.min.split.size.per.rack=10000000;
set hive.exec.compress.output=true;
set hive.merge.mapfiles=true;
set hive.merge.mapredfiles=true;
set hive.merge.size.per.task=256000000;
set hive.merge.smallfiles.avgsize=16000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table bs_collect.tsconfirm partition(c_tano,d_cdate)
select * from bs_collect.tsconfirm_transtion where d_cdate<'2017-09-01';

结果

这是源表的数据文件数量

这是处理后的

可以看到，文件数量明显减少。