Presto初步认识

参考链接:
http://chuansong.me/n/2311397
http://blog.jobbole.com/51177/
http://tech.dianwoda.com/2016/10/20/unt/
Presto是一个分布式SQL查询引擎, 它被设计为用来专门进行高速、实时的数据分析。
Presto 的实现和 Hive 有着本质的不同:
Hive 是把一个 query 转化成多个 stage 的 MapReduce 的任务,然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。
然而,Presto 没有使用 MapReduce,它是通过一个定制的 query 和执行引擎来完成的。它的所有的查询处理是 in memory 的,这也是它性能很高的一个主要原因。所以在日常使用中,如果有大量的 join 偶尔会发生内存不足的报错,一个常见的解决方法是生成中间表的方式来减少 join 的次数。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值