hive之explain命令

最新推荐文章于 2024-07-01 13:16:25 发布
最新推荐文章于 2024-07-01 13:16:25 发布
阅读量4.2k 收藏
点赞数
分类专栏： Hadoop 文章标签： output tree mapreduce table file dependencies
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyj8170/article/details/6999783
版权
EXPLAIN 
FROM src119 SELECT key , count(distinct value) group by key 

ABSTRACT SYNTAX TREE: 
(TOK_QUERY (TOK_FROM (TOK_TABREF src119)) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL key)) (TOK_SELEXPR (TOK_FUNCTIONDI count (TOK_TABLE_OR_COL value)))) (TOK_GROUPBY (TOK_TABLE_OR_COL key)))) 

STAGE DEPENDENCIES: 
Stage-1 is a root stage 
Stage-2 depends on stages: Stage-1 
Stage-0 is a root stage 

STAGE PLANS: 
Stage: Stage-1 
Map Reduce 
Alias -> Map Operator Tree: 
src119 
TableScan 
alias: src119 
Select Operator 
expressions: 
expr: key 
type: string 
expr: value 
type: string 
outputColumnNames: key, value  dedecms.com  
Group By Operator 
aggregations: 
expr: count(DISTINCT value) 
bucketGroup: false 
keys: 
expr: key 
type: string 
expr: value 
type: string 
mode: hash 
outputColumnNames: _col0, _col1, _col2 
Reduce Output Operator 
key expressions: 
expr: _col0 
type: string 
expr: _col1 
type: string 
sort order: ++ 
Map-reduce partition columns: 
expr: _col0 
type: string 
tag: -1 
value expressions: 
expr: _col2 
type: bigint 
Reduce Operator Tree: 
Group By Operator 
aggregations: 
expr: count(DISTINCT KEY._col1:0._col0) 
bucketGroup: false 
keys: 
expr: KEY._col0 
type: string 
mode: partials 
outputColumnNames: _col0, _col1 
File Output Operator 
compressed: false 
GlobalTableId: 0 
table: 
input format: org.apache.hadoop.mapred.SequenceFileInputFormat 
output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat 

Stage: Stage-2 
Map Reduce 
Alias -> Map Operator Tree: 
file:/tmp/tianzhao/hive_2011-06-11_05-50-09_095_6055107404619839036/-mr-10002 
Reduce Output Operator 
key expressions: 
expr: _col0 
type: string 
sort order: + 
Map-reduce partition columns: 
expr: _col0 
type: string 
tag: -1 
value expressions: 
expr: _col1 
type: bigint 
Reduce Operator Tree: 
Group By Operator 
aggregations: 
expr: count(VALUE._col0) 
bucketGroup: false 
keys: 
expr: KEY._col0 
type: string 
mode: final 
outputColumnNames: _col0, _col1 
Select Operator 
expressions: 
expr: _col0 
type: string 
expr: _col1 
type: bigint 
outputColumnNames: _col0, _col1 
File Output Operator 
compressed: false 
GlobalTableId: 0 
table: 
input format: org.apache.hadoop.mapred.TextInputFormat 
output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat 

Stage: Stage-0 
Fetch Operator 
limit: -1 


输入数据是： 
86val_87 
238val_22 
86val_165 
409val_419 
86val_255 
238val_278 
86val_98 
484val_488 
311val_341 
238val_278 


FROM src119 SELECT key , count(distinct value) group by key 
238 2 
311 1 
409 1 
484 1 
86 4 



(TOK_QUERY 
(TOK_FROM (TOK_TABREF src119)) 
(TOK_INSERT 
(TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) 
(TOK_SELECT 
(TOK_SELEXPR (TOK_TABLE_OR_COL key)) 
(TOK_SELEXPR (TOK_FUNCTIONDI count (TOK_TABLE_OR_COL value))) 
) 
(TOK_GROUPBY (TOK_TABLE_OR_COL key)) 
) 
) 


Stage: Stage-1 
Map Reduce 
Stage: Stage-2 
Map Reduce 
这里的Map Reduce说明这两个Stage都是MapReduce job。 
Stage-1 is a root stage 

Stage-2 depends on stages: Stage-1 // Stage-2依赖Stage-1，Stage-1先运行。

分析Stage-1： 
Alias -> Map Operator Tree: //Map阶段 
src119 
TableScan 
alias: src119 
Select Operator 
expressions: 
expr: key 
type: string 
expr: value 
type: string 
outputColumnNames: key, value 
Group By Operator 
aggregations: 
expr: count(DISTINCT value) 
bucketGroup: false 
keys: 
expr: key 
type: string 
expr: value 
type: string 
mode: hash 
outputColumnNames: _col0, _col1, _col2 
Reduce Output Operator 
key expressions: 
expr: _col0 
type: string 
expr: _col1 织梦好，好织梦 
type: string 
sort order: ++ 
Map-reduce partition columns: 
expr: _col0 
type: string 
tag: -1 
value expressions: 
expr: _col2 
type: bigint 
上面的 Map Operator Tree 说明这个是MapReduce job在Map阶段执行的操作。Map阶段执行4个Operator，按顺序分别是TableScanOperator、SelectOperator、GroupByOperator、ReduceSinkOperator。 


TableScan 
alias: src119 
上面这个是TableScanOperator，扫描表src119。 
Select Operator 
expressions: 
expr: key 
type: string 
expr: value 
type: string 
outputColumnNames: key, value 
上面这个是SelectOperator，需要的字段是key和value。 
Group By Operator 
aggregations: 
expr: count(DISTINCT value) 
bucketGroup: false 
keys: 
expr: key 
type: string 
expr: value 
type: string 
mode: hash 
outputColumnNames: _col0, _col1, _col2 
上面这个是GroupByOperator，执行聚合函数（aggregations）是count(DISTINCT value)。 
Reduce Output Operator 
key expressions: 
expr: _col0 
type: string 
expr: _col1 
type: string 
sort order: ++ 
Map-reduce partition columns: 
expr: _col0 
type: string 
tag: -1 
value expressions: 
expr: _col2 
type: bigint 
上面这个是ReduceSinkOperator。 织梦好，好织梦 

MapRunner读取一条条记录(record)，把一条条record传递给Mapper（ExecMapper）处理。 
对于一条记录（record）:86val_87（处理后key=86，value=val_87,blog上面显示稍微有问题）， ExecMper.map 会依次调用TableScanOperator、SelectOperator、GroupByOperator、ReduceSinkOperator的processOp处理这条记录，最后在ReduceSinkOperator的processOp里面 out.collect(keyWritable, value); 收集到MapTask的环形缓冲区(circle buffer)里。（out是OutputCollector），OutputCollector.collect可以参考http://caibinbupt.iteye.com/blog/401374。 


Reduce Operator Tree: // reduce阶段 
Group By Operator 
aggregations: 
expr: count(DISTINCT KEY._col1:0._col0) 
bucketGroup: false 
keys: 
expr: KEY._col0 
type: string 
mode: partials 
outputColumnNames: _col0, _col1 
File Output Operator 
compressed: false 
GlobalTableId: 0 
table: 
input format: org.apache.hadoop.mapred.SequenceFileInputFormat 织梦好，好织梦 
output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat 
上面的 Reduce Operator Tree: 说明这个是MapReduce job在Reduce阶段执行的操作。 

Reduce阶段执行Group By Operator（GroupByOperator）和File Output Operator（FileSinkOperator） 

Group By Operator 
aggregations: 
expr: count(DISTINCT KEY._col1:0._col0) 
bucketGroup: false 
keys: 
expr: KEY._col0 
type: string 
mode: partials 
outputColumnNames: _col0, _col1 
上面这个是GroupByOperator 

File Output Operator 
compressed: false 
GlobalTableId: 0 
table: 
input format: org.apache.hadoop.mapred.SequenceFileInputFormat 
output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat

上面这个是FileSinkOperator 

ReduceTask.run里面 
while (values.more()) { 
reduceInputKeyCounter.increment(1); 
reducer.reduce(values.getKey(), values, collector, reporter);
if(incrProcCount) { 
reporter.incrCounter(SkipBadRecords.COUNTER_GROUP, 
SkipBadRecords.COUNTER_REDUCE_PROCESSED_GROUPS, 1); 
} 
values.nextKey(); 
values.informReduceProgress(); 
} 
reducer是ExecReducer。 

Reduce阶段执行Group By Operator（GroupByOperator）和File Output Operator（FileSinkOperator），Reduce对于每条record（key value对）执行一次GroupByOperator.processOp，当处理了一定的记录后（默认是1000），需要flush一次，flush是调用FileSinkOperator写入HDFS。最后Reduce.close的时候会顺序调用各个operator的close。顺序是因为这些opeator之间是父子关系。所以最后GroupByOperator中残留的数据会forward到FileSinkOperator，通过FileSinkOperator写入HDFS。 

zyj8170
关注
专栏目录
hive explain 执行计划详解看懂执行过程
liuya19921123的博客
10-01 3578
HIVE简介 讲explain之前，先了解大家常说的用hive查询取数和etl的过程，但是在讲hive查询取数过程，又得先了解大家又常说的hadoop集群到底是干什么的？ 一句话概括：Hadoop就是存储海量数据和分析海量数据的工具。 Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。 HDFS是一个分布式文件系统：引入存放文件元数据信息的服务器Namenode和实际存放数据的服务器Datanode，对数据进
hive的explain命令
bigdata_wangzhe的博客
04-16 340
显示抽象语法树 EXPLAIN SELECT * from dby_pro.test1; explain 该命令可以返回hive的查询执行计划。不需要执行查询。 查询计划包含三个部分, 1.AST Abstract syntax tree (AST).抽象语法树。通过ANTLR类库生成。 2.Stage dependencies: 阶段依赖。 用来执行查询的依赖列表。 3.Stage plans 阶段计划。 实例 在 hive cli 中输入以下命令(hive 2.3.7)： explain select
Hive Explain(翻译自Hive wiki)
weixin_33929309的博客
01-16 161
EXPLAIN语法 Hive提供EXPLAIN命令，显示查询的执行计划。语法如下： EXPLAIN [EXTENDED] query EXPLAIN语句使用EXTENDED，提供执行计划关于操作的额外的信息。这是典型的物理信息，如文件名。 Hive查询被转换成序列（这是一个有向无环图）阶段。这些阶段可能是mapper/reducer阶段，或者做metastore或文件系统的操作，如...
hive explain分析Hsql详解
最新发布
sunxunyong的博客
07-01 709
HIVE提供了EXPLAIN命令来展示一个查询的执行计划，可以帮助我们查看stage的依赖情况、排查数据倾斜、hive 调优等使用语法如下：explain 后面可以跟以下可选参数，注意：这几个可选参数不是 hive 每个版本都支持的。EXTENDED：加上 extended 可以输出有关计划的额外信息。这通常是物理信息，例如文件名。这些额外信息对我们用处不大CBO：输出由Calcite优化器生成的计划。CBO 从 hive 4.0.0 版本开始支持AST：输出查询的抽象语法树。
Hive explain详解
仙道Bob的专栏
09-07 8837
HiveQL是一种声明式语言，用户会提交声明式的查询，而Hive会将其转换成MapReduce job。 使用EXPLAIN可以帮助我们学习Hive是如何将查询转换成MapReduce任务的。在查询语句前面加上explain关键字，可以看到查询计划和其它一些信息。这个查询本身是不会执行的。 一个Hive任务会包含一个或者多个stage（阶段），不同的stage会存在依赖关系。越复杂的查询会引入...
Hive的Explain命令
weixin_30938149的博客
08-17 101
Hive的Explain命令，用于显示SQL查询的执行计划。 Hive查询被转化成序列阶段（这是一个有向无环图）。这些阶段可能是mapper/reducer阶段，或者是Metastore或文件系统的操作，如移动和重命名的阶段。 例子 hive> explain [extended] --加上关键字extended,则显示抽象语法树 > select * from ...
HIVE中explain执行计划
Miracle.Zhao的博客
04-30 1028
Hive SQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。此外还能帮助开发者识别看似等价的SQL其实是不等价的，看似不等价的SQL其实是等价的SQL。可以说执行计划是打开SQL优化大门的一把钥匙。 要想学SQL执行计划，就需要学习查看执行计划的命令：explain，在查询语句的SQL前面加上关键字explain是查看执行计划的基本方法。 学会explain，能够给我们工
Hive Explain 详解
weixin_56046673的博客
08-14 2164
导读 前文 《一文读懂 SQL Server 执行计划》 中介绍过关系型数据库 SQL Server 的执行计划执行计划在数据开发过程中的重要性，以及如何阅读执行计划，根据执行计划分析 SQL 语句的执行效率问题并提出优化方案。Hive 是基于 Hadoop，实现了通过 SQL 操作 MapRedue 任务，简化了大数据编程的难度，使得普通用户也可以完成大数据程序开发。SQL 目前是使用最为广泛的结构化数据操作语言，未来大数据框架对 SQL 的支持也必将是一种趋势。Hive 在经过一系列编译过程后生成执
Hive基本操作命令大全
03-04
Hive基本操作命令大全 Hive是一个基于Hadoop的数据仓库工具，可以使用SQL语言来查询和管理大规模数据。本文档将详细介绍Hive的基本操作命令，从创建表、加载数据、查询数据到数据管理等方面进行整理。 创建表 ...
hive explain 命令的使用
09-03
hive explain 命令用于获取 Hive 查询的执行计划。它可以帮助我们理解查询的执行过程和优化查询性能。使用 explain 命令可以查看查询的逻辑计划和物理计划。 要使用 explain 命令，只需在查询前加上 "EXPLAIN" ...
hive explain详解
weixin_37746272的博客
01-03 6171
HiveQL是一种声明式语言，用户会提交声明式的查询，而Hive会将其转化成Mapreduce job。大多数情况下，用户不需要了解Hive内部是如何工作的，不过，当用户对于hive具有越来越多的经验后，学习下Hive背后的理论知识以及底层的一些实现细节，会让用户更加高效地使用Hive。 要了解HIVE是如何工作的，第一个步骤就是了解EXPLAIN的功能，它能帮助我们学习hive如何将查询转化成
HIVE Explain
valder fields
04-20 107
EXPLAIN语法 Hive提供EXPLAIN命令，显示查询的执行计划。语法如下： EXPLAIN [EXTENDED] query   EXPLAIN语句使用EXTENDED，提供执行计划关于操作的额外的信息。这是典型的物理信息，如文件名。   Hive查询被转换成序列（这是一个有向无环图）阶段。这些阶段可能是mapper/reducer阶段，或者做metastore或文件系统的...
HiveSQL执行计划查看(EXPLAIN)
weixin_45017098的博客
04-30 2848
HiveSQL执行计划是指查询语句的执行过程，包括查询语句的优化、查询计划生成和查询执行。通过EXPLAIN命令，我们可以查看查询语句的执行计划，找到性能瓶颈和优化方案，调试查询语句，加深对查询过程的理解。在实际使用中，我们可以根据需要选择不同的参数来获取不同的执行计划信息。
Hive之Explain字段
L_Jeremy的博客
11-08 281
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
Hive explain执行计划详解
NC_NE的博客
04-10 597
Hive explain执行计划详解 HIVE提供了EXPLAIN命令来展示一个查询的执行计划,这个执行计划对于我们了解底层原理，hive 调优，排查数据倾斜等很有帮助 使用语法如下： EXPLAIN [EXTENDED | DEPENDENCY | AUTHORIZATION | ANALYZE] query explain 后面可以跟以下可选参数，注意：这几个可选参数不是 hive 每个版本都支持的 EXTENDED：加上 extended 可以输出有关计划的额外信息。这通常是物理信息.
Hive EXPLAIN 执行计划解析
qq_36382892的博客
04-28 731
阶段本身的描述显示了一系列运算符及与运算符相关的元数据。在本示例中有2个map/reduce阶段（Stage-1和Stage-2）和1个与文件系统相关的阶段（Stage-0）。这些阶段可以是map/reduce阶段，也可以是执行元数据存储库或文件系统操作（如移动和重命名）的阶段。这个SQL查询的作用是从表src中选择key字段，并对每个key对应的value字段进行截取后求和，然后将结果插入到目标表dest_g1中。每个“+”表示一个按升序排序的列，每个“-”表示一个按降序排序的列。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值