- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hdfs命令列表
root@master:~# hadoop dfs -ls /user/rootDEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.Found 1 itemsdrwxr-xr-x - root supergroup
2016-11-20 19:39:03
560
原创 Spark SQL与Hive的关系
Shark为了实现Hive兼容，在HQL方面重用了Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业（辅以内存列式存储等各种和Hive关系不大的优化）； 同时还依赖Hive Metastore和Hive SerDe（用于兼容现有的各种Hive存储格式）。这一策略导致了两个问题， 第一是执行计划优化完全依赖于Hive，不方便
2016-11-05 20:45:39
3615
原创 Tachyon：Spark生态系统中的分布式内存文件系统
摘要：Tachyon把内存存储的功能从Spark中分离出来， 使Spark可以更专注计算的本身， 以求通过更细的分工达到更高的执行效率。Tachyon简介Tachyon是个分布式的内存文件系统， 它在减轻Spark内存压力的同时，也赋予了Spark内存快速大量数据读写的能力。Tachyon把内存存储的功能从Spark中分离出来， 使Spark可以更专注计算的本身， 以求通过更细的分工达到更高的执行
2016-11-04 15:55:42
680
原创 dubbo记录
**dubbo** 阿里开源的分布式服务架构以及流动计算架构。架构的演进过程： 1）单一应用架构 当网站流量很小时，只需一个应用，将所有功能都部署在一起， 数据访问框架(ORM) 是关键。 2）垂直应用架构 将应用拆成互不相干的几个应用。 此时，用于加速前端页面开发的 Web框架(MVC) 是关键。 3）分布式服务架构 当垂直应用越来越多，应用之间交互不可避免，将核
2016-11-04 15:43:10
399
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人