Spark CBO CostBasedJoinReorder源码解析

最新推荐文章于 2024-01-02 20:43:04 发布
最新推荐文章于 2024-01-02 20:43:04 发布
阅读量1.8k 收藏 2
点赞数 3
分类专栏： spark 文章标签： Spark JoinReorder CBO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyzzxycj/article/details/85839606
版权
本文深入探讨Spark的Cost-Based Optimizer (CBO)中的Join Reorder策略，尤其是使用动态规划（DP）处理深度在12以内的Join场景。文章指出，当Join树深度位于特定范围时，会采用DP方法，否则采取其他策略。内容包括对源码的分析，以及DP算法在多表Join优化中的应用。
摘要由CSDN通过智能技术生成

1、背景

由于多表join场景下和旅行商问题场景非常相似，故可以用DP来解决。

目前Spark CBO中的JoinReorders只会用DP处理默认深度<=12的join场景，而在[SPARK-27714]中提出了可以用类似于Postgre SQL的GEQO来实现深度较深场景下的JoinReorder（非本文重点，会在后续文章中分析实现）。

2、Code

CostBasedJoinReorder入口，只匹配inner join，然后reorder

reorder中树的深度在(2,`spark.sql.cbo.joinReorder.dp.threshold`]范围内，才会进入dp，否则直接返回(说好的决策树呢？？)

dp核心思想参考了论文http://www.inf.ed.ac.uk/teaching/courses/adbs/AccessPath.pdf

在multi-way join中，由低level到高level逐步推算并保证Cost最小。

def search(
      conf: SQLConf,
最低0.47元/天 解锁文章
Deegue
关注
专栏目录
SPARKSQL3.0-PhysicalPlan物理阶段源码剖析
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
11-22 968
SPARKSQL3.0-PhysicalPlan物理阶段源码剖析
Spark SQL Catalyst CBO
最新发布
2401_84052244的博客
08-01 386
为了把逻辑计划转换为可以交付执行的物理计划，Spark SQL 物理优化阶段包含两个环节：优化 Spark Plan 和生成 Physical Plan。在优化 Spark Plan 这个环节，Catalyst 基于既定的策略把逻辑计划平行映射为 Spark Plan。策略很多，我们重点掌握 JoinSelection 策略就可以，它被用来在运行时选择最佳的 Join 策略。
Spark源码-2.3 Join物理实现-I
weixin_42265234的博客
04-15 252
BroadcastHashJoinExec ShuffledHashJoinExec SortMergeJoinExec StreamedTable与BuildTable(BufferedTable) SparkSql将join的两张表按流式表(StreamedTable)和构建表(BuildTable/BufferedTable)区分。尽管join实现可能不同，但通常而言，构建表被作为查找表数据结构，流式表作为顺序遍历的数据结构。通常通过一条条迭代流式表中数据，并在构建表中查找与当前流式表数据join.
mysql cbo_SparkSQL2.4中启用CBO时JoinReorder分析
weixin_39771260的博客
01-27 326
背景Spark Join方式SparkSQL目前支持三种join方式broadcast hash join：将小表广播分发到大表所在的结点上 ，并行在各节点上进行hash join仅适合内表非常小的场合shuffle hash join：按照join key分区，每个结点独立并行 进行hash join类似分布式GHJ，不同块位于不同结点sort merge join：按照join key分区，在...
Spark join 源码跟读记录
weixin_30642869的博客
01-07 133
PairRDDFunctions类提供了以下两个join接口，只提供一个参数，不指定分区函数时默认使用HashPartitioner;提供numPartitions参数时，其内部的分区函数是HashPartitioner(numPartitions) def join[W](other: RDD[(K, W)]): RDD[(K, (V, W))] = self.withScope { /...
spark源码分析一：spark join 操作何时是宽依赖，何时是窄依赖
文报的博客
12-09 623
问题来源:join 操作何时是宽依赖，何时是窄依赖 测试代码: object JoinDemo { def main(args: Array[String]): Unit = { System.setProperty("hadoop.home.dir", "D:\\hadoop-2.9.2") val conf: SparkConf = new SparkConf().setAppName(this.getClass.getCanonicalName.init).setMaster(
spark transform系列__join
隔壁老杨的专栏
01-28 1922
Join Join包含有join,fullOuterJoin,leftOuterJoin,rightOuterJoin四种实现, 下面先根据join的实现流程进行分析,再对join分析的结果的基础上,最后根据后面三种join的实现,说明下这几种JOIN的差别所在. Join的函数中,需要一个Partitioner的实例,默认是HashPartitioner,join的实现中,是直接通过调用 
Oracle CBO工作原理解析
"这篇文档是Jonathan Lewis关于Oracle数据库的 Cost-Based Optimizer (CBO) 工作原理的讲解。主要内容包括CBO的基础知识、如何纠正Oracle的假设、Oracle 9i的学习机制（如果时间允许的话会涉及JOIN的机制）以及通过...
spark sql 原理以及解析
沙漏遗失了年华
03-10 1190
前三节，我们从spark底层的RDD角度去剖析了整个Spark 程序的执行逻辑，以及一些原理性的东西，当然我们在使用的时候要是直接使用Spark Core的编程语法也可以，在此基础上Spark 还提供了基于SQL的编程语法，也就是Spark-Sql，本文章从以下几个方面去分析Spark-Sql Spark Sql 简介 Spark Sql 执行原理 Catalyst整体执行流程介绍 ...
spark sql基于CBO的优化
a123op2346的博客
12-05 746
SparkSql RBO
SparkSQLCostAnalyzer
05-06
SparkSQLCostAnalyzer 一个用于Spark SQL成本分析的小框架。 该项目包括多个用于Spark SQL的成本模型，以及一个用于分析Spark SQL查询/ DataFrame的成本的库。 例子 val spark = SparkSession .builder() .master( " local " ) .appName( " CostAnalyzerExample " ) .config( " spark.driver.memory " , " 4g " ) .config( " spark.executor.memory " , " 4g " ) .getOrCreate() spark.conf.set( " spark.sql.codegen.wholeStage " , false ) spark.read
spark broadcast side join实例
ZG_24的博客
07-04 1897
在用spark进行大数据处理时，join是少不了的操作。由于join会导致shuffle，所以当数据量较大时，会导致效率很低，甚至任务失败。         为了有效解决shuffle阶段引起的效率过低问题，我们可以使用broadcast map side join来避免shuffle阶段导致的效率变低问题。        使用map side join时，我们可以把一个较小的
spark 示例_第2部分：真实的Apache Spark成本调整示例
weixin_26752759的博客
09-14 230
spark 示例 Expedia Group Technology —软件 (EXPEDIA GROUP TECHNOLOGY — SOFTWARE) 我概述了进行成本调整的过程 (I outline the procedure for working through cost tuning) Photo by Fabrik Bilder on Shutterstock Fabrik Bil...
优化器核心技术—Join Reorder
KaiwuDB 数据库
12-26 701
采用文中的 Dpsube 算法，如果存在子集对 {S1,S2} 对于某个 Join Edge，能够满足该 Edge 下的冲突规则，生成的 Join 为合法 Join，Dpsube 按照这种方式枚举所有的 Join 顺序，在后续的 CBO 流程中，选出 cost 最低的一个。在该流程中，会有一个 Join-order-limit 限制，默认为 4，超过 4 个 Table 部分的 Join 关系不会进行 Join order 的调整，被当作一个整体的关系表达式参与 Join Reorder。
Spark优化篇：RBO/CBO
lucklilili
04-17 4611
Adaptive Query Execution（AQE）在之前的版本里已经有所实现，但是之前的框架存在一些缺陷，导致使用不是很多，在Spark3.0中Databricks（Spark初创团队创建的大数据与AI智能公司）和Intel的工程师合作，解决了相关的问题。 在Spark1.0中所有的Catalyst Optimizer都是基于规则(rule)优化的。为了产生比较好的查询规则，优化器需要理解数据的特性，于是在Spark2.0中引入了基于代价的优化器 （cost-basedoptimize...
【数据库内核】基于代价的优化器引擎之Join Order
Night_ZW的博客
10-26 1543
摘要:本文主要讲述基于代价的优化器中Join Order模型的设计。主要内容如下: 概述 Tidb Join Order 算法简介 贪心算法缺点 PostgreSQL Join Order 算法简介 算法对比情况 结论
StarRocks Join Reorder 源码解析
StarRocks的博客
12-22 836
多表 Join 是现实业务场景中很常见的需求，其执行效率和 Join 的执行顺序息息相关，比如两表 t1 Join t2 就有t1⨝t2和t2⨝t1两种方式（Join 满足交换律），三表 t1 Join t2 Join t3 由于 Join 满足结合律，可以 t1 和 t2 先做Join，再和 t3 Join，即(t1⨝t2) ⨝t3， 也可以先做 t2 和 t3 的 Join，再和 t1 做 Join，即t1⨝ (t2⨝t3)。​。
Apache Doris性能优化之Join Reorder和Doris Join调优原则
Bulut0907
09-19 1117
Join Reorder功能可以通过代价模型自动帮助调整SQL中Join的顺序，先让大表和小表进行过滤，这样能过滤掉大表中大部分的数据。以便获得最优的Join效率。可通过会话变量开启，默认是关闭的mysql>mysql>可以通过查看join的先后关系。
【Spark精讲】SparkSQL的RBO与CBO
话数Science
01-02 1717
Spark SQL的核心是Catalyst查询编译器。 SQL优化器：RBO、CBO 基于规则的优化器(Rule-Based Optimization,RBO) 基于代价的优化器(Cost-Based Optimization,CBO) Outer 类型 Join 中的谓词下推 通过 "spark.sql.cbo.enabled" 来开启，默认是 false。配置开启 CBO 后，CBO 优化器可以基于表和列的统计信息，进行一系列的估算，最终选择出最优的查询计划。比如：Build 侧选择、优化 Join
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值