生产环境-数据仓库组件之Kafka（二）《性能优化》

生产环境-数据仓库组件之Kafka（二）《性能优化》

1、Heap Size的调整

vim kafka-server-start.sh
默认配置：
KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
调整为：
KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"
推荐配置：一般HEAP SIZE的大小不超过主机内存的50%。

vim server.properties
(2-8都是在该文件配置)

2、网络和ios操作线程配置优化：

默认配置：
broker处理消息的最大线程数
num.network.threads=3
broker处理磁盘IO的线程数
num.io.threads=8
调整为：
broker处理消息的最大线程数
num.network.threads=9
broker处理磁盘IO的线程数
num.io.threads=16
推荐配置：
num.network.threads主要处理网络io，读写缓冲区数据，基本没有io等待，配置线程数量为cpu核数加1。
num.io.threads主要进行磁盘io操作，高峰期可能有些io等待，因此配置需要大些。配置线程数量为cpu核数2倍，最大不超过3倍。

3、socket server可接受数据大小(防止OOM异常)：

默认配置：