hive优化策略

最新推荐文章于 2024-07-29 10:11:46 发布

浮萍人生丶

最新推荐文章于 2024-07-29 10:11:46 发布

阅读量335

点赞数

优化一：开启本地模式

   对于小数据集，执行时间可以明显被缩短。
   如果是单次任务开启本地模式的话，那么可以直接在命令行里执行下面set语句，然后再执行hql语句。如果当前用户想将自己的任务启动本地模式，则可以将下面的配置写到$HOME/.hiverc文件里（因为每次hive启动都会去加载执行.hiverc里的命令。）如果希望所有的用户都使用这个配置，那么将下面的配置直接写到hive-site.xml文件里即可。

set hive.exec.mode.local.auto=true; //开启本地mr，默认是关闭false。
set hive.exec.mode.local.auto.inputbytes.max=50000000;
//设置local mr的最大输入数据量，当输入数据量小于这个值时采用local mr的方式，默认为134217728，即128M。现在设置其值为50000000，不必为128Mb的整数倍
set hive.exec.mode.local.auto.input.files.max=10;
//设置local mr的最大输入文件个数，当输入文件个数小于这个值时采用local mr的方式，默认为4

优化二：开启严格模式

     Hive提供了一个严格模式，可以防止用户执行那些可能意向不到的不好的影响的查询。

   通过设置属性hive.mapred.mode值为默认是非严格模式nonstrict 。开启严格模式需要修改hive.mapred.mode值为strict，开启严格模式可以禁止3种类型的查询。

<name>hive.mapred.mode</name>

<value>strict</value>

1）对于分区表，就是用户不允许扫描所有分区。进行这个限制的原因是，通常分区表都拥有非常大的数据集，而且数据增加迅速。没有进行分区限制的查询可能会消耗令人不可接受的巨大资源来处理这个表。
2）对于使用了order by语句的查询，要求必须使用limit语句。因为order by为了执行排序过程会将所有的结果数据分发到同一个Reducer中进行处理，强制要求用户增加这个LIMIT语句可以防止Reducer额外执行很长一段时间。
3）限制笛卡尔积的查询。
优化三：Fetch抓取
Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。
在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。

实操 1：把hive.fetch.task.conversion设置成more，然后执行查询语句，都会执行mapreduce程序。

hive (fdm_sor)>set hive.fetch.task.conversion=more;

hive (fdm_sor)>select * from SOR_EVT_TB_REPAY_PLAN_HIS;

hive (fdm_sor)>select name,account  from SOR_EVT_TB_REPAY_PLAN_HIS;

hive (fdm_sor)>select name,account  from SOR_EVT_TB_REPAY_PLAN_HISlimit 3;

优化四：开启并行执行

   Hive会将一个查询转化成一个或者多个阶段。这样的阶段可以是MapReduce阶段、抽样阶段、合并阶段、limit阶段。或者Hive执行过程中可能需要的其他阶段。默认情况下，Hive一次只会执行一个阶段。不过，某个特定的job可能包含众多的阶段，而这些阶段可能并非完全互相依赖的，也就是说有些阶段是可以并行执行的，这样可能使得整个job的执行时间缩短。不过，如果有更多的阶段可以并行执行，那么job可能就越快完成。
   通过设置参数hive.exec.parallel值为true，就可以开启并发执行。不过，在共享集群中，需要注意下，如果job中并行阶段增多，那么集群利用率就会增加。

set hive.exec.parallel=true; //打开任务并行执行
set hive.exec.parallel.thread.number=16; //同一个sql允许最大并行度，默认为8。
当然，得是在系统资源比较空闲的时候才有优势，否则，没资源，并行也起不来。

优化五：行列过滤，代码优化

列处理：在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *
行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会先全表关联，之后再过滤，这样效率低，可以直接子查询后再关联。(这个非常有用，实际开发中大数据处理效率会高很多，善用子查询关联)
案例实操：

（1）测试先关联两张表，再用where条件过滤

hive (default)> select o.id from bigtable b

                         join ori o on o.id = b.id

                       where o.id <= 10;

Timetaken: 34.406 seconds, Fetched: 100 row(s)

（2）通过子查询后，再关联表

hive (default)> select b.id from bigtable b

                        join (select id from ori where id <= 10 ) o on b.id =o.id;

Timetaken: 30.058 seconds, Fetched: 100 row(s)

但是这种对左外关联和右外关联有时候就不一定适用了。尤其表中有null值的时候就不适合使用了，使用时要注意。

下面将where的子句分别写到where中和写到子查询里的区别。
select b.due_bill_no
from
(
select distinct due_bill_no from FDM_DM.DM_PLSADM_FEEDBACK_LOAN_RECOVERY_INFO_M where statis_date = ‘20180228’
) b
left join
(select distinct loan_no from FDM_DM.tmp_dmp_plsadm_tradeinfo_m_report where statis_date =‘20180228’) a
on b.due_bill_no =a.loan_no
where a.loan_no is null
上面将条件写到where子句，查询的是在b表中存在的due_bill_no，且其在a表中不存在。

select b.due_bill_no
from
(
select distinct due_bill_no from FDM_DM.DM_PLSADM_FEEDBACK_LOAN_RECOVERY_INFO_M where statis_date = ‘20180228’
) b
left join
(select distinct loan_no from FDM_DM.tmp_dmp_plsadm_tradeinfo_m_report where statis_date =‘20180228’ and loan_no is null) a
on b.due_bill_no =a.loan_no
上面将条件写到join的子查询语句里，得到的结果是b表中所有的due_bill_no结果。
优化六：开启JVM重用

    JVM重用是Hadoop调优参数的内容，其对Hive的性能具有非常大的影响，特别是对于很难避免小文件的场景或task特别多的场景，这类场景大多数执行时间都很短。

     Hadoop的默认配置通常是使用派生JVM来执行map和Reduce任务的。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的job包含有成百上千task任务的情况。JVM重用可以使得JVM实例在同一个job中重新使用N次。N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间，具体多少需要根据具体业务场景测试得出。

mapreduce.job.jvm.numtasks

How many tasks to run per jvm. If set to -1, there is

no limit.

    这个功能的缺点是，开启JVM重用将一直占用使用到的task插槽，以便进行重用，直到任务完成后才能释放。如果某个“不平衡的”job中有某几个reduce task执行的时间要比其他Reduce task消耗的时间多的多的话，那么保留的插槽就会一直空闲着却无法被其他的job使用，直到所有的task都结束了才会释放。

优化七：小文件进行合并

     在map执行前合并小文件，减少map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。HiveInputFormat没有对小文件合并功能。

    set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;