项目经验之Kafka机器数量计算

最新推荐文章于 2022-10-31 10:53:40 发布
最新推荐文章于 2022-10-31 10:53:40 发布
阅读量615 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据
原文链接：https://blog.csdn.net/qq_36250202/article/details/105562978
版权

Kafka机器数量（经验公式）=2*（峰值生产速度*副本数/100）+1

先要预估一天大概产生多少数据，然后用Kafka自带的生产压测（只测试Kafka的写入速度，保证数据不积压），计算出峰值生产速度。再根据设定的副本数，就能预估出需要部署Kafka的数量。

比如我们采用压力测试测出写入的速度是10M/s一台，峰值的业务数据的速度是50M/s。副本数为2。

Kafka机器数量=2*（50*2/100）+ 1=3台

Mark_ZQ
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka压力测试(写入MQ消息压测和消费MQ消息压测）
laofashi2015的专栏
07-19 2万+
1.测试目的         本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据10w、100w和1000w级别的消息处理结果，评估Kafka的处理性能是否满足项目需求。（该项目期望Kafka能够处理上亿级别的MQ消息） 2.测试范围及方法 2.1测试范围概述    测试使用Kafka自带的测试脚本，...
kafka汇总
qq_34352013的博客
11-23 901
kafka也是一种消息队列：异步，解耦，削峰 生产消费 消息队列 分类 1、Pull to Pull - P2P - 点对点模式 市面上绝大部分的消息队列都是点对点模式或者支持点对点模式 点对点模式下，数据往往只能被消费一次 2、Publish/Subscribe - 发布订阅模式 市面上会有较少的队列使用发布订阅模式 发布者订阅模式下，数据往往可以被多次消费 作用 解耦：生产者和消费者之间不会再...
KAFKA：百万级吞吐量原理
lzf的博客
04-17 4567
转自：https://blog.csdn.net/dshf_1/article/details/81044990 kafka初衷 企业统一，高通量，低延迟。 Kafka 是一种高吞吐量的分布式发布订阅消息系统，有如下特性： 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万...
Kafka吞吐量测试案例
weixin_34253126的博客
11-13 2455
 　　　　　　　　　　　　　　　　　　　　　　　　Kafka吞吐量测试案例 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。     　　领英公司参考连接：https://www.slideshare.net/JiangjieQin/producer-performance-tuning-for-...
如何确定合适的Kafka主题的分区数量？
weixin_42395998的博客
09-30 1256
如何确定合适的Kafka主题的分区数量？ 选择合适的分区数量可以达到高度并行读写和负载均衡的目的，在分区上达到负载均衡是实现吞吐量的关键。需要根据每个分区的生产者和消费者的期望吞吐量进行估计。 举个栗子：假设期望读取数据的速率(吞吐量)为1GB/Sec，而一个消费者的读取速率为50MB/Sec，此时至少需要20个分区以及20个消费者(一个消费者组)。同理，如果期望生产数据的速率为1GB/Sec，而每个生产者的生产速率为100MB/Sec，此时就需要有10个分区。在这种情况下，如果设置20个分区，既可以保障1
Maven项目整合Kafka
03-12
使用Maven整合Kafka 包括生产者，消费者 Kafka各种配置 //1.设置参数 Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "81.68.232.188:9092,81.68.232.188:9093,81...
基于Kafka的实时计算引擎如何选择？SparkorFlink
01-27
那么，今天就来聊一聊基于Kafka的实时计算引擎如何选择? SparkorFlink?根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这...
c#项目下使用kafka.zip
最新发布
01-12
软件开发设计：应用软件开发、系统...云计算与大数据：包括云计算平台、大数据分析、人工智能、机器学习等，云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备
图解 Kafka 之实战指南
03-29
图解 Kafka 之实战指南.pdf
Kafka集群吞吐量测试（生产者和消费者）
IT之一小佬的博客
10-19 1266
Kafka集群吞吐量测试（生产者和消费者）
kafka 确定分区数
紫蝶侠的博客
03-10 474
我们可以粗略地通过吞吐量来计算kafka集群的分区数量。假设对于单个partition，producer端的可达吞吐量为p，Consumer端的可达吞吐量为c，期望的目标吞吐量为t，那么集群所需要的partition数量至少为max(t/p,t/c)。在producer端，单个分区的吞吐量大小会受到批量大小、数据压缩方法、 确认类型（同步/异步）、复制因子等配置参数的影响。经过测试，在producer端，单个partition的吞吐量通常是在10MB/s左右。在consumer端，单个partition的吞
kafka基本信息
程序员杂谈
03-05 2904
1、基本信息 1）Kafka组成：zk里面存储broker信息 消费者信息 唯独没有生产者信息。 2）搭建多少台Kafka：2（生产者峰值生产速率 * 副本/100）+1 =3 2 * ( 生产者峰值生产速率* 2/100)+1=3 =>生产者峰值生产速率<50m/s 50m/s*60秒=3g 3）副本数：2个居多、3个 好处：提高可靠性；坏处：增加了网络IO...
[kafka]三.生产环境|压测|分区数|副本数|节点数|topic数|数据量计算|硬盘大小|日志保存时间|kafka监控
胖胖的博客
10-31 820
kafka官方自带压力测试脚本:kafka-consumer-pref-test.sh kafka-preducer-pref-test.sh。假如Producer的吞吐量=20m/s，Consumer的吞吐量=50m/s。kafka的机器数量（经验公式）=2*（峰值速度m/s*副本数/100）+1。比如压力测试写入（生产）速度为10m/s每台，峰值为50m/s，副本数为2。每天的数据量100G*2个副本*3天/70%=600G/0.7=900G。kafka节点数量=2*（50*2/100）+1=3台。
Kafka-之分区数确定（生产者、消费者性能测试）
shufangreal的博客
12-16 1454
Kafka-之分区数确定（生产者、消费者性能测试） kafka-topic的分区数的确定到目前为止没有权威的答案，但是可以肯定一点，kafka的分区数与性能表现有着直接的关系。那么这篇我就和读者大大们谈谈kafka的生产者和消费者的性能测试。 kafka-producer-perf-test.sh 用于测试生产者的性能 kafka-consumer-perf-test.sh 用于测试消费者性能 1 kafka-producer-pref-test.sh测试 简单的测试脚本执行方式如下： bi
吞吐量如何计算？
热门推荐
blue_lll的博客
09-17 4万+
我们在压测工具制作中，一直存在一个争议——吞吐量的计算。 在性能测试中，吞吐量的计算有两种常见的公式： 公式1： 吞吐量=并发数/平均响应时间 公式2： 吞吐量=请求总数/总时长 公式1、2大家应该都接触过，虽然看上去不一样，其实理论上都是ok的。首先我们可以从C = nL / T 推导： 并发=请求总数*平均响应时间 / 总时长 =》并发 / 平均响应时间 = 请求总数 / 总时长 =》公式1 = 公式2 然后我们构建三组模型进一步论证： 第一组模型 一共有4个线程，同时发了4笔请求，其中3笔耗时1s，
如何确定Kafka的分区数、key和consumer线程数
极客神殿
07-24 737
在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 怎么确定分区数？ “我应该选择几个分区？”——如果你在Kafka中国社区的群里，这样的问题你会经常碰到的。不过有些遗憾的是，我们似乎并没有很权威的答案能够解答这样的问题。其实这也不奇怪，毕竟这样的问题通常都是...
大数据常见面试题之kafka
sun_0128的博客
08-21 513
1
kafka开发经验之kafka压力测试，机器数量计算及分区数量计算
qq_39034845的博客
06-26 667
kafka开发经验之kafka压力测试，机器数量计算及分区数量计算 一：kafka压力测试 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 kafka-consumer-perf-test.sh kafka-producer-perf-test.sh 1）Kafka Producer压力测试 在kafka的安装目录下的bin目录下有如下两个文件。我们来测试一下 bin/kafka-producer-per
Kafka(基础篇)
weixin_45284133的博客
06-20 557
文章目录消息队列的两种模式定义Kafka 横向扩展与纵向扩展思考题Kafka的搭建细节技巧关于环境变量 消息队列的两种模式 点对点模式： (一对一，消费者主动拉取数据，消息收到后消息清除) 相当于一个生产者对应一个消息队列，一个消息队列对应一个消费者。 发布/订阅模式 (一对多，消费者消费数据之后不会清除消息) 一个生产者对应一个Topic，一个Topic中有多个分区，每个分区对应不同的消费者组中的消费者前来消费。 定义 Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域
如何计算kafka机器台数
04-14
对于您的问题，我可以给出一些基本的指导。首先，要计算 Kafka 集群需要的机器数，需要考虑以下几个因素：数据产生率、消息持久性、数据消费率、数据复制因子、集群容错能力等等。在实际计算时，需要考虑这些因素并进行综合分析，以确定所需的机器数。具体的计算公式和方法可能会因为实际情况的不同而有所差异，建议您根据实际情况进行具体分析和计算。如果您需要更详细的信息和建议，可以参考一些专业的文献或咨询相关的专业人士。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值