Pcompress
https://github.com/moinakg/pcompressPlzip
http://www.nongnu.org/lzip/plzip.html
PigZ
http://www.zlib.net/pigz/
GZIP压缩的并行实现。不过文档太少,从源码看来,只是实现了一个多线程压缩的工具,并没有提供对应的调用库。
pBzip2
http://compression.ca/pbzip2/
BZIP2压缩算法的并行实现,比较活跃,文档较丰富,还有细致的性能测试的文档。查看源码,C++实现的,似乎是有调用库可以使用的。
还有一个也是基于bzip2的并行压缩工具lbzip2 ,Lbzip2 是个并行、多处理器优化、兼容 bzip2 的压缩工具,提供了命令行接口,支持 tar 命令的 --use-compress-program 参数。
http://www.linuxinsight.com/lbzip2-parallel-bzip2-utility.html
先看看pBzip2的benchmark结果:http://compression.ca/pbzip2/benchmark.html
發現 Pbzip2 解壓縮時沒有辦法利用到多核心的優勢,而 Lbzip2 則是很順利的超過 100%,
-----------------------------------------------------
随着线程数的增加,加速比也并不是很明显。
由此看来,并行压缩只有在文件很大,压缩块很大的情况下,其优点才能体现出来。如果只是对KB级别的数据进行压缩,简直是高射炮打蚊子!
在多核情况下,开启多个线程,多个任务可以在多个核上压缩和解压,这样本质上也是并行的,无需再对单次压缩去做并行处理了。
OMG,在并行压缩上的胡思乱想,就此告一段落。
相关连接:
http://vbtechsupport.com/1576/
http://vbtechsupport.com/1614/