RcFile
小爽昵称已被占用
世间有一种感动是平凡…… 常怀感恩之心,常做感恩之事~~。。。。。
关心,使贫穷者站立起来改变生活时,有更多的勇气,更大的自信。然而最可怕的贫穷不是挨饿受冻,而是无人关心,无人过问。 smallbaby.
展开
-
RcFile存储和读取操作
工作中用到了RcFile来存储和读取RcFile格式的文件,记录下。 RcFile是FaceBook开发的一个集行存储和列存储的优点于一身,压缩比更高,读取列更快,它在MapReduce环境中大规模数据处理中扮演着重要的角色。 读取操作: [code="java"] job信息: Job job = new Job(); job.setJarByCla...原创 2012-07-14 00:11:29 · 385 阅读 · 0 评论 -
普通文本压缩成RcFile的通用类
[code="java"] package com.tool; import org.apache.commons.cli.CommandLine; import org.apache.commons.cli.CommandLineParser; import org.apache.commons.cli.GnuParser; import org.apache.commons.cl...原创 2012-07-17 20:12:58 · 174 阅读 · 0 评论