2015impala 发表的论文提到impala的roadmap
1.新增SQL支持,包括minus、intersect;rollup和grouping set操作;动态分区裁剪;date、time、datetime类型的支持;增加对structs, arrays, maps等复杂类型的支持。
2.性能增强。节点内部的join并行、聚合、排序,以及更为广泛的利用运行时代码生成(LLVM)技术来加速数据传输、输出物化等任务。同时也会利用SIMD技术(SSE)加速。另外会对impala的查询优化器进行改进。
3.统计信息收集。目前需要用户显式发指令,考虑采用增量的方式收集。
4.自动的数据转换。导入的行式数据自动转为parquet的格式。
5.资源管理。与yarn的融合,目前yarn的资源调度方式不太适合impala低延迟要求。
6.外部存储。支持S3和SAN存储系统。
1.新增SQL支持,包括minus、intersect;rollup和grouping set操作;动态分区裁剪;date、time、datetime类型的支持;增加对structs, arrays, maps等复杂类型的支持。
2.性能增强。节点内部的join并行、聚合、排序,以及更为广泛的利用运行时代码生成(LLVM)技术来加速数据传输、输出物化等任务。同时也会利用SIMD技术(SSE)加速。另外会对impala的查询优化器进行改进。
3.统计信息收集。目前需要用户显式发指令,考虑采用增量的方式收集。
4.自动的数据转换。导入的行式数据自动转为parquet的格式。
5.资源管理。与yarn的融合,目前yarn的资源调度方式不太适合impala低延迟要求。
6.外部存储。支持S3和SAN存储系统。