记录一次OOM排查经历

最新推荐文章于 2022-10-10 19:37:55 发布
最新推荐文章于 2022-10-10 19:37:55 发布
阅读量171 收藏
点赞数
文章标签： java linux 多线程 redis jvm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zj735539703/article/details/115500831
版权
本文探讨了如何在使用Netty构建UDP日志接收服务时，内存不断增长的问题。作者通过深入分析堆内存和堆外内存，发现ByteBuf内存泄露，并通过调整MaxDirectMemorySize和正确释放ByteBuf解决了问题。
摘要由CSDN通过智能技术生成

我是用了netty搭建了一个UDP接收日志，堆启动配置 Xmx256  Xms256 ，项目刚启动的时候，系统进程占用内存很正常，在250M左右。

长时间运行之后发现，进程占用内存不断增长，远远超过了我设置的堆内存大小，查看幸存者，伊甸园，老年代，gc都很正常，堆使用数据一切正常，甚至我怀疑元空间占用内存大，查询之后发现，元空间也只用很小，而且自从程序启动开始，浮动很小。为此，我又把JVM相关知识点又拿出来翻了一遍

那么多出来的内存使用是从哪里来的？

后来通过查询相关资料才发现，Java进程内存分为堆内存，堆外内存，堆外内存是不受JVM的GC管理的。

堆外内存又是哪里使用到的？

nio框架会使用到

难道netty没有自己的一套GC机制？

有的，但是netty的GC，只负责释放自己产生的内存，如果是使用过程中，自己创建的，是不在netty GC的范围内的。好，那么现在稳定定位到了，开始修改代码和程序启动参数。

java -jar -Xms256M -Xmx256M -XX:MaxDirectMemorySize=128M -Dspring.profiles.active=prod log-server.jar

-XX:MaxDirectMemorySize=128M 设置堆外内存为128M，来控制进程内存使用，并且在代码中手动 copy 出来的  ByteBuf 进行  clear (PS：后来发现这个操作不起效果，是我对于该方法的理解有误)

@Component
public class UDPInboundHandler extends SimpleChannelInboundHandler<DatagramPacket> {

    private Logger logger = LoggerFactory.getLogger(UDPInboundHandler.class);

    @Autowired
    LogService logService;

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, DatagramPacket packet) {
        String remoteAddr = packet.sender().getAddress().getHostAddress();
        ByteBuf buf = packet.copy().content();
        logService.process(buf, remoteAddr);
        buf.clear();
    }
}

这样运行一点时间后，嗯，内存增长速度慢下来不少，原本从两百兆涨到五百兆，只需要半天时间，现在，一天观察下来，才增长到四百多兆，但是，256+128=384M,也超过了我设置的堆内存+堆外内存的总和，而且代码开始报错了如下：

io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 16777216 byte(s) of direct memory (used: 134217728, max: 134217728)

134217728 byte(s) = 128M 也就是说我的clear的操作并没有效果，堆外内存已经全部用光。OOM的报错已经刷屏，但是，在众多的异常日志中发现了这条日志

2019-09-25 18:20:00.551 {nioEventLoopGroup-2-1} ERROR io.netty.util.ResourceLeakDetector - LEAK: ByteBuf.release() was not called before it's garbage-collected. See http://netty.io/wiki/reference-counted-objects.html for more information.
Recent access records: 
Created at:
    io.netty.buffer.PooledByteBufAllocator.newDirectBuffer(PooledByteBufAllocator.java:331)
    io.netty.buffer.AbstractByteBufAllocator.directBuffer(AbstractByteBufAllocator.java:185)
    io.netty.buffer.UnsafeByteBufUtil.copy(UnsafeByteBufUtil.java:436)
    io.netty.buffer.PooledUnsafeDirectByteBuf.copy(PooledUnsafeDirectByteBuf.java:309)
    io.netty.buffer.AbstractByteBuf.copy(AbstractByteBuf.java:1190)
    io.netty.buffer.WrappedByteBuf.copy(WrappedByteBuf.java:874)
    io.netty.channel.socket.DatagramPacket.copy(DatagramPacket.java:47)
    com.tutorgroup.base.logserver.server.UDPInboundHandler.channelRead0(UDPInboundHandler.java:24)
    com.tutorgroup.base.logserver.server.UDPInboundHandler.channelRead0(UDPInboundHandler.java:13)
    io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105)
    io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:362)
    io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:348)
    io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:340)
    io.netty.channel.DefaultChannelPipeline$HeadContext.channelRead(DefaultChannelPipeline.java:1434)
    io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:362)
    io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:348)
    io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:965)
    io.netty.channel.nio.AbstractNioMessageChannel$NioMessageUnsafe.read(AbstractNioMessageChannel.java:93)
    io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:644)
    io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:579)
    io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:496)
    io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:458)
    io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:897)
    io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30)
    java.lang.Thread.run(Thread.java:748)

ByteBuf 没有调用 release 方法，由于我的代码量比较小，项目中只有一处是用到了 ByteBuf ，所以我很快定位到了问题代码，但是如果项目很大，不知道是哪段代码导致的问题，怎么排查呢？查询相关资料后，我们再修改一下启动参数

java -jar -Xms256M -Xmx256M -XX:MaxDirectMemorySize=2M -Dio.netty.leakDetection.level=advanced -Dio.netty.leakDetection.maxRecords=10 -Dspring.profiles.active=prod log-server.jar

果不其然，代码又报错了，这次报错的信息很详细，已经定位到是哪个ByteBuf 变量了

2019-09-27 10:54:24.442 {nioEventLoopGroup-2-1} ERROR io.netty.util.ResourceLeakDetector - LEAK: ByteBuf.release() was not called before it's garbage-collected. See http://netty.io/wiki/reference-counted-objects.html for more information.
Recent access records: 
#1:
    io.netty.buffer.AdvancedLeakAwareByteBuf.readBytes(AdvancedLeakAwareByteBuf.java:496)
    com.tutorgroup.base.logserver.service.LogService.getLogJSONArray(LogService.java:108)
    com.tutorgroup.base.logserver.service.LogService.process(LogService.java:51)
    com.tutorgroup.base.logserver.server.UDPInboundHandler.channelRead0(UDPInboundHandler.java:25)
    com.tutorgroup.base.logserver.server.UDPInboundHandler.channelRead0(UDPInboundHandler.java:13)
    io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105)
    io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:362)
    io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:348)
    io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:340)
    io.netty.channel.DefaultChannelPipeline$HeadContext.channelRead(DefaultChannelPipeline.java:1434)
    io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:362)
    io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:348)
    io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:965)
    io.netty.channel.nio.AbstractNioMessageChannel$NioMessageUnsafe.read(AbstractNioMessageChannel.java:93)
    io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:644)
    io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:579)
    io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:496)
    io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:458)
    io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:897)
    io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30)
    java.lang.Thread.run(Thread.java:748)
Created at:
    io.netty.buffer.PooledByteBufAllocator.newDirectBuffer(PooledByteBufAllocator.java:331)
    io.netty.buffer.AbstractByteBufAllocator.directBuffer(AbstractByteBufAllocator.java:185)
    io.netty.buffer.UnsafeByteBufUtil.copy(UnsafeByteBufUtil.java:436)
    io.netty.buffer.UnpooledUnsafeDirectByteBuf.copy(UnpooledUnsafeDirectByteBuf.java:463)
    io.netty.buffer.AbstractByteBuf.copy(AbstractByteBuf.java:1190)
    io.netty.channel.socket.DatagramPacket.copy(DatagramPacket.java:47)
    com.tutorgroup.base.logserver.server.UDPInboundHandler.channelRead0(UDPInboundHandler.java:24)
    com.tutorgroup.base.logserver.server.UDPInboundHandler.channelRead0(UDPInboundHandler.java:13)
    io.netty.channel.SimpleChannelInboundHandler.channelRead(SimpleChannelInboundHandler.java:105)
    io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:362)
    io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:348)
    io.netty.channel.AbstractChannelHandlerContext.fireChannelRead(AbstractChannelHandlerContext.java:340)
    io.netty.channel.DefaultChannelPipeline$HeadContext.channelRead(DefaultChannelPipeline.java:1434)
    io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:362)
    io.netty.channel.AbstractChannelHandlerContext.invokeChannelRead(AbstractChannelHandlerContext.java:348)
    io.netty.channel.DefaultChannelPipeline.fireChannelRead(DefaultChannelPipeline.java:965)
    io.netty.channel.nio.AbstractNioMessageChannel$NioMessageUnsafe.read(AbstractNioMessageChannel.java:93)
    io.netty.channel.nio.NioEventLoop.processSelectedKey(NioEventLoop.java:644)
    io.netty.channel.nio.NioEventLoop.processSelectedKeysOptimized(NioEventLoop.java:579)
    io.netty.channel.nio.NioEventLoop.processSelectedKeys(NioEventLoop.java:496)
    io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:458)
    io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:897)
    io.netty.util.concurrent.FastThreadLocalRunnable.run(FastThreadLocalRunnable.java:30)
    java.lang.Thread.run(Thread.java:748)

 查阅相关资料，释放ByteBuf 方式，修改代码如下

@Component
public class UDPInboundHandler extends SimpleChannelInboundHandler<DatagramPacket> {

    private Logger logger = LoggerFactory.getLogger(UDPInboundHandler.class);

    @Autowired
    LogService logService;

    @Override
    protected void channelRead0(ChannelHandlerContext ctx, DatagramPacket packet) {
        String remoteAddr = packet.sender().getAddress().getHostAddress();
        ByteBuf buf = packet.copy().content();
        try{
            logService.process(buf, remoteAddr);
            buf.clear();
        }catch (Exception e){
            logger.error(e.getMessage(),e);
        }
        finally {
            ReferenceCountUtil.release(buf);
        }
    }
}

ReferenceCountUtil.release()  是netty释放堆外内存的方法，加上这行代码后，问题完美解决。

参考资料：

http://static.muyus.com/html/3.html

https://www.jianshu.com/p/17e72bb01bf1

bookc-man
关注
一次OOM问题排查过程实战记录
08-26
在本文中，我们将通过一个实战记录，介绍如何排查 OOM 问题，并对问题的根源进行分析。 二、问题排查过程 在排查 OOM 问题时，我们首先需要了解问题的症状和日志信息。在本次排查中，我们发现了多个线程抛出 ...
Java学习之UDP--DatagramSocket和DatagramPacket
申公的专栏
03-08 1574
一、概念： UDP：基于UDP协议的通信方式，称为数据报通信方式 二、类： DatagramSocket:用于发送或接受数据包 DatagramPacket:数据容器（封包）的作用 三、步骤： 客户端： 1.创建客户端 DatagramSocket 类+指定端口 2.准备数据 字节数组 3.打包 DatagramPacket + 服务器地址及端口 4.发送 5.释放资源 p
Netty的使用(二)
Strong_Darkness的博客
08-09 244
Netty的基本使用（udp发送局域网广播） 1.udp服务端搭建 EventLoopGroup group = new NioEventLoopGroup(); try { Bootstrap boot = new Bootstrap(); boot.group(group) .option(ChannelOption.SO_BROADCAST, true) .
记一次OOM与内存泄漏排查经历
whiteBearClimb的博客
05-12 398
场景：测试环境有个应用容易爆OOM，导致容器也会不断重启，大佬怀疑是内存泄漏导致的，于是对它进行排查 登陆上对应的服务器，安装Arthas Arthas使用指南 查看仪表盘：dashboard 开始压测前 开始压测后： 堆内存比较满，而且是survivor区和eden区占用率飙升严重，右上角垃圾回收次数不断增加，eden区回收占用时间较长 但是还不能确定是否存在内存泄漏，所谓内存泄漏，也就是内存脱离JVM的控制，无法对泄漏的内存进行回收利用，测试方法是手动GC： jcmd XXX(Java应用的进程号
记一次Netty堆外内存溢出OutOfDirectMemoryError
pezynd的专栏
09-25 5897
netty网络通讯项目，内存溢出问题排查
糟了，线上服务出现OOM了
lisu061714112的专栏
10-10 2464
前一段时间，公司同事的一个线上服务OOM的问题，我觉得挺有意思的，在这里跟大家一起分享一下。我当时其实也参与了一部分问题的定位。如果这篇文章对您有所帮助，或者有所启发的话，帮忙扫描下发二维码关注一下，您的支持是我坚持写作最大的动力。关注公众号：【苏三说技术】，在公众号中回复：面试、代码神器、开发手册、时间管理有超赞的粉丝福利，另外回复：加群，可以跟很多BAT大厂的前辈交流和学习。
udp端
松子落
12-23 271
import io.netty.bootstrap.Bootstrap; import io.netty.channel.Channel; import io.netty.channel.ChannelOption; import io.netty.channel.EventLoopGroup; import io.netty.channel.nio.NioEventLoopGroup; import io.netty.channel.socket.nio.NioDatagramChannel; impo.
java udp nio_Java NIO UDP DEMO
weixin_35782323的博客
02-21 158
今天有人问我Netty的UDP怎么使用，我自己尝试的去写一个Demo，在网上搜索了一下，关于Netty的UDP实现还是很少的，所以，今天写下这篇文章用来记录今天的一个简单Demo实现不使用Netty的UDP实例：UdpServer.javapackagecom.rainy.netty.udp02;importjava.io.IOException;importjava.net.DatagramPa...
02 记一次 netty 内存泄露
970655147的专栏
06-25 3277
前言 最近在一个 jt809 的项目中碰到了这样的一个问题 最开始 对方传输给我们的车辆数量不多的情况下, 系统一直很稳健 但是 由于之前又对接了大量的车辆, 然后 之后出现了一次 OutOfDirectMemoryError, 然后 当时 临时重启了一下 然后 过了一周左右的时间(7, 8天), 服务再一次OutOfDirectMemoryError 大概的错误信息是这样 Exception in thread "main" io.netty.util.internal.OutO......
QT Udp/Tcp 收发 自定义复杂数据包【包头+内容】（key--len--value）
dhl11的博客
04-21 6909
在学习QT的过程，客户端/服务端 收发自定义结构体（结构体带指针的不定长数据）的处理 示例如下，首先在头文件中申明这个自定义结构体（收发部分都需要包含这个结构体定义） 其中char pValue[0]表示这个是变长的部分！！！ #pragma pack(1) struct DHPacket { int len; char pValue[0]; }; #pragma pack() 一定要记得#pragma pack(1)【c...
[] - 2023-03-14 一次由热部署导致的 OOM 排查经历 ！.pdf
12-11
互联网资讯，技术简介，IT、AI技术，人工智能互联网资讯，技术简介，IT、AI技术，人工智能互联网资讯，技术简介，IT、AI技术，人工智能互联网资讯，技术简介，IT、AI技术，人工智能互联网资讯，技术简介，IT、AI技术...
记一次用jprofilor定位生产环境OOM的经历.md
最新发布
08-27
记一次用jprofilor定位生产环境OOM的经历.md 随着平台业务的不断发展，平台曲库数据的不断增加，系统偶尔出现内存溢出的情况。内存溢出相比其它异常而言，通常比较隐晦，一般是伴随着时间慢慢积累而产生的，因此不能...
OOM小例子，用于验证oom出现以及对应的问题排查
04-03
本篇将通过一个简单的OOM例子来探讨这个问题的发生原因、如何复现以及如何进行问题排查。 一、OOM现象与原因 当Java应用出现OOM时，JVM会抛出`java.lang.OutOfMemoryError`异常。这通常由以下几种情况引起： 1. *...
udp穿透简单讲解和实现(Java)
weixin_34297704的博客
06-01 370
　　在上一小节中了解到了通过浏览器自带的Webrtc功能来实现P2P视频聊天。在HTML5还没有普及和制定Webrtc标准的前提下，如果要在手机里进行视频实时对话等包括其他功能的话，还是要自己实现，还比较好扩展。所以本次要了解一下udp进行穿透(打洞)。 还是进入正题吧，了解P2P。 1. 原理 　　关于原理网上随便就可以找到好多资料了。大部分都是讲解原理的，还配了图，还是不错的。这里不细说...
Netty实现UDP
疯子也是猖狂
02-15 6802
最近写的tcp和udp 以前经常写tcp，这次突然多一个udp。 这次就献上udpserver的代码   import io.netty.bootstrap.Bootstrap; import io.netty.channel.ChannelOption; import io.netty.channel.EventLoopGroup; import io.netty.channel.ni...
第一次实验报告：使用Packet Tracer分析HTTP数据包
a2239395的博客
09-08 456
目录 1 实验目的 2 实验内容 3. 实验报告 1 实验目的 熟练使用Packet Tracer工具。分析抓到的HTTP数据包，深入理解：HTTP协议，包括语法、语义、时序。 2 实验内容 客户端向服务器发送请求报文，服务器向客户端发送响应报文。具体包含： 建立网络拓扑结构 配置参数 抓包 分析数据包 3. 实验报告 （1）在博...
Reference和Netty ByteBuf的泄漏追踪
u013073964的专栏
04-02 886
java.lang.ref.Reference相关讨论不是一个特别常见的话题，netty用它实现了ByteBuf泄漏追踪。 内存回收本身有一些随机性，而Reference的子类中的字段更是被用户操作，被内部线程操作，被jvm的垃圾回收器直接操作，所以整个对象的状态追踪复杂。由于多个线程参与其中，线程间的调度协作也可能会影响追踪的及时性。 以java.lang.ref.WeakReference为例，get()方法返回值有时是预设对象，有时返回null。对于netty而已，追踪泄漏是否足够的准确，还是存在随机
netty获取ip和端口
热门推荐
程序猿学社的博客
06-12 1万+
udp协议： 会有一个DatagramPacket datagramPacket对象 InetSocketAddress remoteAddress = datagramPacket.sender(); String ip = remoteAddress.getAddress().getHostAddress(); int port = remoteAddres...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值