hbase写入性能测试(从hdfs向hbase写入数据)

测试集群:9个region server(16 core + 24GB内存)。Hbase client机器(8 core + 32GB内存)

数据量:日志数据,1122MB,存储在hdfs中。 hbase rowkey为9个字节,第一个字节是hash值,后八个字节对应long型数值;value约200b。 


写性能关键影响因素

1.  rowkey分布式是否均衡,最好先了解rowkey的特征,预设splitkeys,将rowkey范围均衡地分散到各个region server上;这样,可以减轻单点负载,提升横向拓展能力,并减少split和compact这样的重操作。

2. autoflush设置为false

3. 如果内存足够,可以适当增大WriteBufferSize,默认2MB,我调到32MB效果不错。

4. 适当配置写入线程。

5. WAL设置为false,可以明显提升速度,但是不建议这么做,这样可能数据丢失无法恢复。


测试结果:

1.将多列属性值压缩至一个列中,可以大大提升hbase写的效率;每多一列,写入的性能都会明显下降。

2.一个列族N个属性列与N个列族单个属性列,写入性能很接近。

3. 单个region平均可以达到2w lines/s


测试结果

一个列族 + 一个列(包含所有的属性值)
Total time costs          :                 66s

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值