hadoop
文章平均质量分 67
沉默拾金
这个作者很懒,什么都没留下…
展开
-
Hadoop在MapReduce中使用压缩详解
hadoop对于压缩文件的支持hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的,hadoop能够自动为我们 将压缩的文件解压,而不用我们去关心。 如果我们压缩的文件有相应压缩格式的扩展名(比如lzo,gz,bzip2等),hadoop就会根据扩展名去选择解码器解压。hadoop对每个压缩格式的支持,详细见下表: 压缩格式转载 2013-09-06 14:05:37 · 865 阅读 · 0 评论 -
一些并行压缩的实现
在Google搜索"parallel gzip"和"parallel bzip",找到了一些关于并行压缩的实现:PigZhttp://www.zlib.net/pigz/GZIP压缩的并行实现。不过文档太少,从源码看来,只是实现了一个多线程压缩的工具,并没有提供对应的调用库。pBzip2http://compression.ca/pbzip2/BZIP2压缩算法的并转载 2013-10-15 10:59:32 · 3883 阅读 · 0 评论