HadoopLZO压缩支持详细配置

 1 LZO

yum -y install lzo lzop

2 hadoop-lzo

 1）先下载lzo的jar项目

  https://github.com/twitter/hadoop-lzo/archive/master.zip

 2）下载后的文件名是hadoop-lzo-master，它是一个zip格式的压缩包，先进行解压，然后用maven编译。生成hadoop-lzo-  0.4.20.jar。

 3）将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/(具体位置以自己机器上hadoop安装位置为准)

 4）同步hadoop-lzo-0.4.20.jar到集群中的其他机器

 5）core-site.xml增加配置支持LZO压缩

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
</value>
</property>

<property>
    <name>io.compression.codec.lzo.class</name>
    <value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
</configuration>

 6)同步core-site.xml到集群中的其它机器上