Kafka系列之：深入理解Kafka集群调优

最新推荐文章于 2024-04-19 01:44:04 发布

快乐骑行^_^

最新推荐文章于 2024-04-19 01:44:04 发布

阅读量1.5k

点赞数 1

分类专栏： Kafka 文章标签： Kafka系列 Kafka集群调优

本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/129286308

版权

Kafka 专栏收录该内容

61 篇文章 23 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了Kafka的硬件配置选择、内存、CPU、网络等方面的调优策略，包括生产者、broker和消费者的具体参数调整，以及如何提升整体吞吐量。详细解析了如何根据峰值生产速率和副本数来确定服务器数量，以及如何平衡内存、CPU和网络资源。此外，还介绍了如何通过调整Kafka的各类参数以优化生产者、消费者和broker的性能。

摘要由CSDN通过智能技术生成

Kafka系列之：深入理解Kafka集群调优

一、Kafka硬件配置选择
二、Kafka内存选择
三、CPU选择
四、网络选择
五、生产者调优
六、broker调优
七、消费者调优
八、Kafka总体调优

一、Kafka硬件配置选择

服务器台数选择：

2 * （生产者峰值生产速率 * 副本数 / 100） + 1

磁盘选择：

Kafka按照顺序读写，机械硬盘和固态硬盘，顺序读写速度差不多

二、Kafka内存选择

Kafka内存 = 堆内存(kafka内部配置) + 页缓存(服务器内存)
堆内存10～15G

jstat -gc 23465 1s 10
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   8192.0  0.0