1. HDFS使用ChecksumFileSystem或它的子类实例时,文件交换使用crc校验码;
2.HDFS支持压缩格式:deflate gzip bzip2 lzo snappy格式:
java 访问:
public static void main(String[] args) throws Exception {
String codecClassname = args[0];
Class<?> codecClass = Class.forName(codecClassname);
Configuration conf = new Configuration();
CompressionCodec codec = (CompressionCodec)
ReflectionUtils.newInstance(codecClass, conf);
CompressionOutputStream out = codec.createOutputStream(System.out);
IOUtils.copyBytes(System.in, out, 4096, false);
out.finish();
}
其中的codecClassname是:org.apache.hadoop.io.compress包中的类;
可以在core-site.xml中配置io.compression.codecs;并且可以在hdfs-site.xml配置dfs.image.compress和dfs.image.compression.codec;
在hadoop文件存储中,压缩和压缩格式是如何选择的: