参考链接:
http://chuansong.me/n/2311397
http://blog.jobbole.com/51177/
http://tech.dianwoda.com/2016/10/20/unt/
Presto是一个分布式SQL查询引擎, 它被设计为用来专门进行高速、实时的数据分析。
Presto 的实现和 Hive 有着本质的不同:
Hive 是把一个 query 转化成多个 stage 的 MapReduce 的任务,然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。
然而,Presto 没有使用 MapReduce,它是通过一个定制的 query 和执行引擎来完成的。它的所有的查询处理是 in memory 的,这也是它性能很高的一个主要原因。所以在日常使用中,如果有大量的 join 偶尔会发生内存不足的报错,一个常见的解决方法是生成中间表的方式来减少 join 的次数。
Presto初步认识
最新推荐文章于 2024-08-26 10:13:52 发布