Spark 3.0 - AQE浅析 (Adaptive Query Execution)

1、前言

近些年来，在对Spark SQL优化上，CBO是最成功的一个特性之一。
CBO会计算一些和业务数据相关的统计数据，来优化查询，例如行数、去重后的行数、空值、最大最小值等。
Spark根据这些数据，自动选择BHJ或者SMJ，对于多Join场景下的Cost-based Join Reorder（可以参考之前写的这篇文章），来达到优化执行计划的目的。
但是，由于这些统计数据是需要预先处理的，会过时，所以我们在用过时的数据进行判断，在某些情况下反而会变成负面效果，拉低了SQL执行效率。
AQE在执行过程中统计数据，并动态地调节执行计划，从而解决了这个问题。

2、框架

对于AQE而言，最重要的问题就是什么时候去重新计算优化执行计划。Spark任务的算子如果管道排列，依次并