lzo
jack-zhu
这个作者很懒,什么都没留下…
展开
-
lzo安装说明
lzo安装说明安装环境说明:本机系统为centos 6.4 64位版、hadoop版本为0.20.2,在此环境下分别安装lzo(lzo-2.06.tar.gz)和hadoop-lzo(hadoop-lzo-master.zip),另外要确保机器安装了ant。一、lzo的安装1.下载lzo-2.06.tar.gz:http://download.csdn.net/detail/u原创 2014-02-22 16:51:02 · 13858 阅读 · 0 评论 -
lzo压缩之配置文件与程序对应关系
lzo压缩之配置文件与程序对应关系1.core-site.xml中的: io.compression.codecs org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.had原创 2014-03-23 16:05:59 · 2119 阅读 · 0 评论 -
hadoop中的LzoCodec和LzopCodec
hadoop中的LzoCodec和LzopCodecLzoCodec比LzopCodec更快, LzopCodec为了兼容LZOP程序添加了如 bytes signature, header等信息如果使用 LzoCodec作为Reduce输出,则输出文件扩展名为".lzo_deflate",它无法被lzop读取;如果使用LzopCodec作为Reduce输出,则扩展名为".原创 2014-03-23 15:23:47 · 2631 阅读 · 0 评论 -
认识org.apache.hadoop.io.compress解码器/编码器
认识org.apache.hadoop.io.compress解码器/编码器编码器和解码器用以执行压缩解压算法。在Hadoop里,编码/解码器是通过一个压缩解码器接口实现的。因此,例如,GzipCodec封装了gzip压缩的压缩和解压算法。下表列出了Hadoop可用的编码/解码器。 压缩格式 Hadoop压缩编码/解码器DEFLATE原创 2014-03-23 15:28:14 · 5486 阅读 · 0 评论