Kafka系列之：深入理解Kafka集群调优

最笨的羊羊

于 2023-03-03 17:28:53 发布

阅读量1.4k

点赞数 1

分类专栏： Kafka 文章标签： Kafka系列 Kafka集群调优

本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/129286308

版权

Kafka 专栏收录该内容

54 篇文章 19 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了Kafka的硬件配置选择、内存、CPU、网络等方面的调优策略，包括生产者、broker和消费者的具体参数调整，以及如何提升整体吞吐量。详细解析了如何根据峰值生产速率和副本数来确定服务器数量，以及如何平衡内存、CPU和网络资源。此外，还介绍了如何通过调整Kafka的各类参数以优化生产者、消费者和broker的性能。

摘要由CSDN通过智能技术生成

一、Kafka硬件配置选择

服务器台数选择：

2 * （生产者峰值生产速率 * 副本数 / 100） + 1

磁盘选择：

Kafka按照顺序读写，机械硬盘和固态硬盘，顺序读写速度差不多

二、Kafka内存选择

Kafka内存 = 堆内存(kafka内部配置) + 页缓存(服务器内存)
堆内存10～15G

jstat -gc 23465 1s 10
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   8192.0  0.0   8192.0 8806400.0 4194304.0 7962624.0