Hive on Spark调优（大数据技术9）

   文章最前： 我是Octopus，这个名字来源于我的中文名--章鱼；我热爱编程、热爱算法、热爱开源。所有源码在我的个人github ；这博客是记录我学习的点点滴滴，如果您对 Python、Java、AI、算法有兴趣，可以关注我的动态，一起学习，共同进步。

相关文章：

1. Hive on Spark调优（大数据技术1）
2. Hive on Spark调优（大数据技术2） 

3. Hive on Spark调优（大数据技术3）

4. Hive on Spark调优（大数据技术4） 

5. Hive on Spark调优（大数据技术5）

6. Hive on Spark调优（大数据技术6）

7. Hive on Spark调优（大数据技术7）

8. Hive on Spark调优（大数据技术8）

9. Hive on Spark调优（大数据技术9）

---

第9章 小文件合并优化

9.1 优化说明

小文件合并优化，分为两个方面，分别是Map端输入的小文件合并，和Reduce端输出的小文件合并。

9.2 Map端输入文件合并

合并Map端输入的小文件，是指将多个小文件划分到一个切片中，进而由一个Map Task去处理。目的是防止为单个小文件启动一个Map Task，浪费计算资源。

相关参数为：

--可将多个小文件切片，合并为一个切片，进而由一个map任务处理
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; 

9.3 Reduce输出文件合并

合并Reduce端输出的小文件，是指将多个小文件合并成大文件。目的是减少HDFS小文件数量。

相关参数为：

--开启合并Hive on Spark任务输出的小文件
set hive.merge.sparkfiles=true;

其他优化

参考资料：

1.Tuning Apache Hive on Spark in CDH | 6.3.x | Cloudera Documentation

2.Hive on Spark: Getting Started - Apache Hive - Apache Software Foundation