![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
alluxio
文章平均质量分 77
在山的那边丶海的那边
这个作者很懒,什么都没留下…
展开
-
如何通过API调用alluxio 文件系统
如何通过API调用alluxio 文件系统一般来说,不论从spark,hfds等等大数据分布式框架,甚至使用公有云api,来说,与集群进行交互不外乎以下这些套路: 设置configuration(有很重要的主节点host,port,等等) 通过configuration生成context 通过context,得到一个client这时候,通过这个client去调用各种法方法原创 2017-03-02 18:55:27 · 2723 阅读 · 6 评论 -
关于alluxio+spark报错,Jackson version is too old,不能生成sparkContext
问题重现:关于alluxio+spark报错,Jackson version is too old,不能生成sparkContext在搭建alluxio(原tachyon)+spark时,我们需要将alluxio-core-client-1.3.0-jar-with-dependencies.jar这个jar包添加到spark的classpath里,这样spark才能访问alluxio上的文件原创 2017-01-13 14:18:47 · 3412 阅读 · 0 评论 -
Alluxio1.1与hadoop2.7.3的整合
Alluxio1.1与hadoop2.7.3的整合alluxio介绍alluxio原名tachyon。alluxio是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似spark和MapReduce。通过利用lineage信息,积极使用内存,alluxio的吞吐量要比HDFS高300多倍。alluxio都是在内存中处理缓存文件,并且让不同的Jobs/Queries以及框原创 2017-01-06 10:44:07 · 581 阅读 · 0 评论