实时数据交换(kafka-hbase、kafka-mysql)性能测试报告

  1. 性能测试环境
  1. kafka集群环境

IP

CPU

网卡

备注

192.168.x.106

Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz;单CPU;8核

1000Mb/s

 

192.168.x.107

Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz;单CPU;8核

1000Mb/s

 

192.168.x.109

Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz;单CPU;8核

1000Mb/s

 

 

  1. zookeeper集群环境

IP

CPU

网卡

备注

192.168.x.130

Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz;单CPU;12核

1000Mb/s

 

192.168.x.139

Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz;单CPU;12核

1000Mb/s

 

192.168.x.144

Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz;单CPU;12核

1000Mb/s

 

 

  1. 客户端环境(消费者)

IP

CPU

网卡

备注

192.168.x.146

Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz;单CPU;10核

1000Mb/s

 

192.168.x.147

Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz;单CPU;10核

1000Mb/s

 

192.168.x.108

Intel(R) Xeon(R) CPU E5-2690 v3 @ 2.60GHz;单CPU;8核

1000Mb/s

 

 

  1. 性能测试方案

该实时数据交换性能测试主要围绕单分区单客户端、多分区单客户端和多分区多客户端三个方面进行测试。数据格式为:

{"name": "heres","age": "10","address": "hefei"}

kafka-mysql和kafka-HBase都采用了批量插入的方式,分别为6000条/1次和2000条/1次,具体测试方案如下:

2.1、基于单分区单客户端测试方案

在kafka集群新建一个topic,topic为1个Partitions,1个Replication,通过producer程序为该topic生产1000万条消息。

在一个客户端上执行实时数据交换程序,消费者组为group1,分别统计kafka Stream实时数据转化十万级、百万级和千万级数据转化效率(msg/sec)。

 

2.2、基于多分区单客户端测试方案

在kafka集群新建一个topic,topic为3个Partitions,1个Replication,通过producer程序为该topic生产1000万条消息,同时需要保证消息能够均分分布在3个partitions上,防止数据倾斜现象。

在一个客户端上执行实时数据交换程序,消费者组为group1,分别统计kafka Stream实时数据转化十万级、百万级和千万级数据转化效率(msg/sec)。

 

2.3、基于多分区多客户端测试方案

在kafka集群新建一个topic,topic为3个Partitions,1个Replication,通过producer程序为该topic生产1000万条消息,同时需要保证消息能够均分分布在3个partitions上,防止数据倾斜现象。

在3个客户端上同时启动实时数据交换程序,消费者组为group1,观察kafka stream任务分布情况,分别统计kafka Stream实时数据转化十万级、百万级和千万级数据转化效率(msg/sec)。

 

 

  1. 结果与分析

3.1、方案一

实时数据转化

十万级(msg/sec)

百万级(msg/sec)

千万级(msg/sec)

备注

Kafka->mysql

50000

71428

72992

 

Kafka->HBase

10000

12195

11876

 

基于kafka stream的单分区单客户端测试方案,启动测试程序后,客户端会启动一个task,在kafka到mysql的数据交换过程,会达到每秒50000条消息;在kafka到HBase的数据交换过程,会达到每秒11000条消息。

3.2、方案二

实时数据转化

十万级(msg/sec)

百万级(msg/sec)

千万级(msg/sec)

备注

Kafka->mysql

41428

41666

37174

 

Kafka->HBase

11111

11494

10893

 

基于kafka stream的多分区单客户端测试方案,启动测试程序后,客户端会启动3个task,在kafka到mysql的数据交换过程,会达到每秒40000条消息;在kafka到HBase的数据交换过程,会达到每秒11000条消息,并没有看到明显的性能提升。

3.3、方案三

实时数据转化

十万级(msg/sec)

百万级(msg/sec)

千万级(msg/sec)

备注

Kafka->mysql

100000

120000

140625

 

Kafka->HBase

38028

40000

40909

 

基于kafka stream的多分区多客户端测试方案,分别在3台客户端启动测试程序,kafka stream会根据消费者组重新进行rebalance,将任务依次分布在IP为192.168.129.146,192.168.129.147,192.168.129.108三台物理服务器上。在kafka到mysql的数据交换过程,会达到每秒100000条消息;在kafka到HBase的数据交换过程,会达到每秒38000条消息,IP为192.168.129.108的物理机器实时数据转化效率明显高于另外两台机器,故实时数据转化效率约为方案二的3倍多。

特此说明:涉及Mysql数据量,这块是程序处理的记录数,不是提交Mysql入库记录数。仅供参考。

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值