Presto优化方法

我们针对presto主要优化了以下方面：

1.合并store_sales表里面的152小文件到38个文件，每个250M; ALTER TABLE store_sales CONCATENATE

2.把presto的jvm内存，默认调整过系统的50%

3.修改了join的默认PARTITIONED改成AUTOMATIC。是想通过CBO的优化策略，在有较小的表情况下，通过BROADCAST策略来分发

join-distribution-type

4.通过hive的命令analyze table [table name] compute statistics; 来收集表信息，为CBO策略服务。

 

例如：

ALTER TABLE store_sales CONCATENATE
ALTER TABLE catalog_sales CONCATENATE

 

analyze table store_sales  compute statistics; 

 

配置信息：