Spark性能优化之Whole-stage code generation

一、技术背景

    Spark1.x版本中执行SQL语句，使用的是一种最经典，最流行的查询求职策略，该策略主要基于 Volcano Iterator Model（火山迭代模型）。一个查询会包含多个Operator，每个Operator都会实现一个接口，提供一个next（）方法，该方法返回Operator Tree的下一个Operator，能够让查询引擎组装任意Operator，而不需要去考虑每个Operator具体的处理逻辑，所以Volcano Iterator Model 才成为了20年中SQL执行引擎最流行的一种标准。

比如如下SQL语句：

select count(*) from employees where salary == 1000

有人实验了Volcano Iterator Model 方式与直接手写Java代码实现的方式，直接手写Java代码是专门为了实现某个指定的功能而编写的，不具有良好的组装性和扩展性，这两种方式进行了性能的对比结果如下图。

可以看到直接手写Java代码实现某一特定功能的性能比Volcano模型的性能高出了一个数量级，主要的原因有三点：

1. 避免了虚函数调用（Virtual Function Dispatch），Volcano Iterator Model至少需要调用一次next()获取下一个Ope