- 博客(3)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 配置Snappy压缩
1. 功能说明使用snappy压缩来提升mapreduce和hbase的性能。其实就是用CPU换IO吞吐量和磁盘空间。配置并使用snappy有如下几点要求：首先需要hadoop集群的native库已经收到编译好，并且添加了对snappy的支持。编译hadoop源码之前安装了snappy并且编译时指定-Drequire.snappy参数。（我使用的版本是hadoop-2.5.
2015-10-14 18:00:33
2331
原创 2.0拷贝1.0集群数据
hadoop distcp -Ddfs.checksum.type=CRC32 -Dmapred.speculative.execution=false -overwrite hftp://namenode:50070/user/log/20151009/2015100913/ /user/log/20151009/2015100913/注意：2.0集群中一定要配置1.0所有datan
2015-10-09 15:56:33
419
原创 使用mutt及msmtp来发送邮件
默认的linux系统都是安装了mutt和sendmail的，但有的公司为了安全，默认的不用配置就发送邮件做了安全验证。以下是mutt结合msmtp来发送邮件的做法，并做到安全认证1、安装msmtpyum install msmtp 或者自己编译下载安装2、配置msmtp在要发送的账号下/home/user目录新增一文件.msmtprc 并使改文件权限为600内容如
2015-10-08 11:51:35
564
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人