Hive 中的各种常用set设置

最新推荐文章于 2024-05-01 10:51:21 发布

数据人阿多

最新推荐文章于 2024-05-01 10:51:21 发布

阅读量2.4k

点赞数

文章标签： hive hadoop 大数据

本文链接：https://blog.csdn.net/zhangtingduo/article/details/128016235

版权

背景

平时在跑数据时，需要在查询语句前设置一些set语句，这些set语句中其中有一些是配置hive的各功能，另一些是可以达到优化的目的，本篇文章对一些常用的set语句进行总结

常用set设置

查询结果显示表头
执行完查询语句，输出结果时，会一起把字段的名字也打印出来

set hive.cli.print.header=true;  --默认为false，不打印表头

展示当前使用的数据库
主要是在命令行模式中使用，方便核查是否切换到相应的数据库下

set hive.cli.print.current.db=true;  --默认为false，不显示当前数据库名字

设置是否使用元数据中的统计信息
比如想要看数据一共有多少行的话，一般是从元数据中的统计信息直接获取，但有时这个统计信息没有更新，得到的是历史的统计信息，则需要修改为 false，然后再进行查询，才能统计出准确的数据

set hive.compute.query.using.stats=false;   --默认为true，使用元数据中的统计信息，提升查询效率

设置Fetch抓取，不走job，不用执行MapReduce
一般用于快速获取样例数据，select * from talbe_xxx limit 100

set hive.fetch.task.conversion=more;

设置查询任取走哪个队列
一般公司的服务器集群中会配置好几个队列，不同的队列优先级不一样，并且资源配置有可能不一样，生产环境的任务肯定优先级高、计算资源多，数据分析的任务一般是单独的队列，计算资源少

set mapreduce.job.queuename=root.db;   --运维人员设置的队列名字

是否开启严格模式
一般运维人员会设置为严格模式 strict，防止大量数据计算占用资源，多出现在笛卡尔积join时；或者查询的是分区表，但没有指定分区，明明sql语句没有逻辑错误，但是一直报错无法运行，可以尝试修改为非严格模式，看是否能运行

set hive.mapred.mode=nonstrict;    --nonstrict，strict

with as 语句存储在本地，从而做到with…as语句只执行一次，来提高效率
对于喜欢用 with as 形式查询的话，可以设置一下这个，来提升效率

set hive.optimize.cte.materialize.threshold=1;

配置计算引擎
Hive底层的计算由分布式计算框架实现,目前支持三种计算引擎，分别是MapReduce、Tez、 Spark，默认为MapReduce

MapReduce引擎：多job串联，基于磁盘，落盘的地方比较多。虽然慢，但一定能跑出结果。一般处理，周、月、年指标。

Spark引擎：虽然在Shuffle过程中也落盘，但是并不是所有算子都需要Shuffle，尤其是多算子过程，中间过程不落盘 DAG有向无环图。兼顾了可靠性和效率。一般处理天指标。

Tez引擎：完全基于内存。注意：如果数据量特别大，慎重使用。容易OOM。一般用于快速出结果，数据量比较小的场景。

set hive.execution.engine=mr;    --mr、tez、spark

其他set设置

set hive.exec.parallel=true;    --开启任务并行执行 
set hive.exec.parallel.thread.number=8;   -- 同一个sql允许并行任务的最大线程数
set hive.exec.max.dynamic.partitions=1000           -- 在所有执行MR的节点上，最大一共可以创建多少个动态分区。
set hive.exec.max.dynamic.partitions.pernode=100   -- 在每个执行MR的节点上，最大可以创建多少个动态分区
set hive.auto.convert.join = false;    --取消小表加载至内存中
set hive.mapjoin.smalltable.filesize=25000000;   --设置小表大小