Kafka系列之：深入理解Kafka集群调优

最新推荐文章于 2023-10-26 09:51:06 发布

最笨的羊羊

最新推荐文章于 2023-10-26 09:51:06 发布

阅读量1.4k

点赞数 1

分类专栏： Kafka 文章标签： Kafka系列 Kafka集群调优

本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/129286308

版权

Kafka 专栏收录该内容

52 篇文章 15 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

Kafka系列之：深入理解Kafka集群调优

一、Kafka硬件配置选择
二、Kafka内存选择
三、CPU选择
四、网络选择
五、生产者调优
六、broker调优
七、消费者调优
八、Kafka总体调优

一、Kafka硬件配置选择

服务器台数选择：

2 * （生产者峰值生产速率 * 副本数 / 100） + 1

磁盘选择：

Kafka按照顺序读写，机械硬盘和固态硬盘，顺序读写速度差不多

二、Kafka内存选择

Kafka内存 = 堆内存(kafka内部配置) + 页缓存(服务器内存)
堆内存10～15G

jstat -gc 23465 1s 10
 S0C    S1C    S0U    S1U      EC       EU        OC         OU       MC     MU    CCSC   CCSU   YGC     YGCT    FGC    FGCT     GCT   
 0.0   8192.0  0.0   8192.0 8806400.0 4194304.0 7962624.0

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

最笨的羊羊

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
2
评论
Kafka系列之：深入理解Kafka集群调优

Kafka系列之：深入理解Kafka集群调优
复制链接

扫一扫

专栏目录

订阅专栏

大流量大负载的Kafka集群优化实战

weixin_47082274的博客

04-16

685

前言背景算法优化改版有大需求要上线，在线特征dump数据逐步放量，最终达到现有Kafka集群5倍的流量，预计峰值达到万兆网卡80%左右(集群有几十个节点，网卡峰值流出流量800MB左右/sec、写入消息QPS为100w+ msgs/sec)。上下游服务需要做扩容评估，提前做好容量规划，保障服务持续稳定运行 L3层 dump特征 @xxx 1.依赖文章特征公共服务 2.依赖用户特征公共服务前...

Kafka集群调优实战+分布式集群搭建

10-19

Kafka技术实战学习的优选课程，课程内容全程实战，没有拖泥带水，但不包含基础知识的教学，需要同学们先具备一定的Kafka技术基础再进行学习。课程内容包括了Kafka java Consumer实战，Kafka集成框架等。

2 条评论您还未登录，请先登录后发表或查看评论

kafka集群优化

攻城日记的博客

07-12

486

优化启动脚本优化配置项

kafka集群性能调优实战

紫蝶侠的博客

07-07

259

千亿级数据量kafka集群性能调优实战总结

Kafka 集群调优

程序猿进阶

04-23

870

kafka 集群搭建链接单个 kafka服务器足以满足本地开发或 POC要求，使用集群的最大好处是可以跨服务器进行负载均衡，再则就是可以使用复制功能来避免因单点故障造成的数据丢失。在维护 Kafka 或底层系统时，使用集群可以确保为客户端提供高可用性。需要多少个 Broker 一个 kafka 需要多少个 broker取决于以下几个因素：【1】需要多少磁盘空间来保留数据，以及单个broker 有多少空间可用。如果整个集群需要保留 10TB（每天2千万的数据，够用2年）的数据，每个 broke

Kafka集群调优实战+分布式集群搭建-视频教程网盘链接提取码下载 .txt

06-01

课程内容包括了Kafka java Consumer实战，Kafka集成框架，Kafka分布式集群架构，Kafka性能测试实战，Kafka集群监控实战，Kafka用户行为画像，Kafka性能存储优化及如何提高Kafka吞吐量等企业级技术。视频大小：1.5G

kafka配置调优实践

11-12

Kafka 配置调优实践是指通过调整 Kafka 集群的参数配置来提高其吞吐性能。下面是 Kafka 配置调优实践的知识点总结：一、存储优化 * 数据目录优先存储到 XFS 文件系统或者 EXT4，避免使用 EXT3。 * 在挂载块设备时...

kafka学习笔记.doc

08-17

1.kafka的基础知识（安装、部署、基础概念，版本） 2.kafka的特性 3. kafka客户端 4.kafka中的zookeeper 5. kafka如何不丢消息 6.kafka多线程消费 ...10.kafka集群部署及调优 11. 代码见《kafka学习代码》

kafka核心技术梳理

02-24

kafka核心技术梳理，通过思维导图，把kafka 整个核心技术清洗的分层出来： 1.kafka版本迭代 ...3.kafka集群规划 4.producer开发 5.consumer开发 6.kafka设计原理 7.kafka 集群管理 8.kafka 配置调优

Kafka上的优化经验

Carson073的博客

05-03

1046

从图中可以看出，原始版本在这种情况下会造成⼤量的磁盘读，⽽ Kafka cache。据，不会出现读⼤量磁盘数据的问题，仅仅多了⼀个副本的流量，基本对系统⽆影响。版本，其他版本不⽀持，如果我们引⼊的话，需要针对⽣产环境上的版本进⾏代码修改。是操作系统层⾯的缓存，难于控制，有些时候，会受到污染，从⽽导。开始拷⻉数据，这会导致⼤量读磁盘，消耗⼤量的 I/O。这样就保障了阻塞⼀条链路，其他的处理链路是畅通的。的写⼊出现延迟，例如是由于磁盘繁忙导致，则会最终将。的整体设计，可以看出，已经很好地解决了上述的两个对。

Kafka07：Kafka集群参数调优、Kafka Topic命名小技巧

weixin_40612128的博客

03-14

949

一、JVM参数调忧默认启动的Broker进程只会使用1G内存，在实际使用中会导致进程频繁GC，影响Kafka集群的性能和稳定性通过jstat -gcutil 1000查看到kafka进程GC情况主要看YGC,YGCT,FGC,FGCT这几个参数，如果这几个值不是很大，就没什么问题。 YGC：young gc发生的次数 YGCT：young gc消耗的时间 FGC：full gc发生的次数 FGCT：full gc消耗的时间 [root@bigdata01 kafka_2.12-2.4.1]# jps

Kafka高性能集群部署与优化

BXA

07-07

2478

Kafka是由Apache Software Foundation开发的一个分布式流处理平台，源代码以Scala编写。Kafka最初是由LinkedIn公司开发的，于2011年成为Apache的顶级项目之一。高吞吐量：Kafka每秒可以处理数百万条消息。持久化：数据存储在硬盘上，支持数据可靠性和持久性。分布式：Kafka集群可以在多台服务器上运行，提供高可用性和容错性。多语言支持：Kafka提供多种编程语言的客户端API，包括Java、Python、Go等。

Kafka Cluster优化两三事

扎克begod的专栏

11-22

1096

转自：https://bigdata-ny.github.io/2016/12/05/kafka-cluster-optimize/ 写在之前：本文将讲述Kafka Cluster配置和优化。 Kafka Cluster（相对于单个server）最大的优点：可扩展性和容错性。 Kafka集群简图 Kafka Broker个数决定Kafka集群大小的因素有以下几点：磁盘容量：...

kafka集群搭建，原理详细介绍、性能优化处理

choujudian4301的博客

11-11

858

一、搭建时的环境： kafka_2.10-0.9.0.1.tgz zookeeper-3.4.6.tar.gz jdk-7u25-linux-x64.gz CentOS 6.5 二、搭建zookeeper集群启动起来大家可以参考我之前的博客 zookeeper集群搭建实战：...

Kafka集群搭建

zp_zhang的博客

10-01

180

一，环境准备 * Zookeeper单点/集群服务（演示单点使用单点，演示集群使用集群） * kafka安装包 -- kafka_2.11-1.1.0.tgz * 自己玩，基于虚拟机搭建二，Kafka单点搭建 1，安装Zookeeper安装包，可以参考之前Zookeeper集群...

kafka安装配置

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交