spark
桸櫾桎栘
任何的限制都是从自己内心开始的
展开
-
Shark查询比Hive慢的原因分析
通常来,相同条件下,shark查询不会比Hive慢,但有时确实会发生Shark较慢的情况 原因可能如下: 1.内存设置不当或者数据倾斜,导致shark不可用或者大量任务失败或者长时间的Full GC. 2.Hive 在物理执行上有很多优化,但是Shark并没有完全移植过来。比如在写数据表时,合并数据表的小 数据块文件,根据输入文件大小动态改变marped.reduce.task等。 3.SQL语原创 2015-04-14 17:16:26 · 1111 阅读 · 0 评论 -
Centos 安装R和sparkR
Centos 安装R和sparkR安装环境原创 2015-11-02 17:22:58 · 868 阅读 · 0 评论