大数据培训Hadoop数据压缩之压缩方式选择

压缩方式选择

1 Gzip压缩

优点∶压缩率比较高，而且压缩/解压速度也比较快;Hadoop本身支持，在
应用中处理zip格式的文件就和直接处理文本一样;大部分Linux系统都自带
zip命令，使用方便。大数据培训
缺点:不支持Split。
应用场景:当每个文件压缩之后在130M以内的（1个块大小内），都可以
考虑用Gzip压缩格式。例如说一天或者一个小时的日志压缩成一个Gzip文件。

2 Bzip2压缩

优点:支持Split;具有很高的压宿冬，比Gzip压宿率都高;Hadoop本身自
带，使用方便。
缺点:压缩解压速度慢。
应用场景:适合对速度要求不高，但需要较高的压宿率的时候;或者输出
之后的居比较大，处理之后的据需要压缩存档咸少磁盘空间并且以后数
据用得比较少的情兄;或者对单个很大的文本文件想压宿成少存储空间，同
时又需要支持Split，而且兼容之前的应用程序的情况。大数据培训

3 Lzo压缩

优点:压缩/解压速度也比较快，合理的压缩率;支持Split，是Hadoop中最
流行的压缩格式;可以在Linux系统下安装lzop命令，使用方便。
缺点:压缩率比Gzip要低一些;Hadoop本身不支持，需要安装;在应用中
对Lzo格式的文件需要做一些特殊处理（为了支持Split需要建索引，还需要指
定InputFormat为Lzo格式)。大数据培训
应用场景:一个很大的文本文件，压缩之后还大于200M以上的可以考虑，
而且单个文件越大，Lzo优点越越明显。

4 Snappy压缩

优点:高速压宿速度和合理的压宿冬。
缺点:不支持Split;压宿率比Czip要低;Hadoop本身不支持，需要安装。
应用场景:当MapReduce作业的Map输出的数居比较大的时候，作为Map到
Reduce的中间数据的压宿格式;或者作为一个MapReduce作业的输出和另外—
个MapReduce作业的输入。