Kafka 宕机,调整内存设置

4 篇文章 0 订阅
文章描述了一次Flink无法连接到Kafka的情况,原因是Kafka服务器因内存不足宕机。通过检查日志发现是JVM内存分配失败。为了解决这个问题,作者修改了Kafka启动脚本中的JVM设置,降低了堆内存分配,从而成功启动了Kafka服务。
摘要由CSDN通过智能技术生成

现象

突然发现 Flink 连接不上 Kafka 了,经检查 s1 服务器上的 Kafka 宕了,尝试用命令启动 Kafka:

$ kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties

还是启动不了。

问题

检查日志:

$ vim /opt/module/kafka/logs/kafkaServer.out

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1073741824, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 1073741824 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /home/hadoop/hs_err_pid61275.log

是 JVM 的问题,没有内存了,我这台服务器可能是运行的东西太多了,所以导致 Kafka 因为缺少内存而宕掉了;

解决

修改 Kafka 启动命令脚本中的 JVM 设置

$ vim vim /opt/module/kafka/bin/kafka-server-start.sh

将其中的:

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

改为

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
fi

再尝试启动:

$ kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties

启动成功!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值