问题背景:
采用QuartZ发送120万封邮件,1秒发送10封,应用运行几个小时报一次以下错误
java.lang.OutOfMemoryError:Java heap space
排查:
在此之前发现统计打开数量的${eid}和收件人会串的现象,经排查是因为邮件模板是公用的,异步调用的情况下,
后一个循环在前一次邮件还没有发送出去的情况下,将前一封邮件的${eid}替换成了当前邮件的${eid};
于是改为每次发送邮件时将邮件模板克隆了一份,怀疑模板内容太多,导致频繁垃圾回收。
分析:
用jmap命令将内存镜像导出为文件,导入到Eclipse的MAT中进行分析;在Quartz的业务方法中采用ExecutorThreadPool异步调用的方式,发现ThreadPoolExecutor中的workQueue中有很多对象,出现问题的时候又是邮件很多,长时间持续大批量发送邮件的情况。
查看Executor是通过Executors.newFixedThreadPool(10)的方式生成的,任务队列没有边界,当任务处理时间大于任务的间隔时间时,任务加入缓冲队列,由于任务很多,缓冲队列中的任务越积越多,直到内存溢出。
解决:
采用有边界的缓冲队列,new ThreadPoolExecutor(10, 10, 0L, TimeUnit.MILLISECONDS, new LinkedBlockingQueue<Runnable>(30), new ThreadPoolExecutor.DiscardPolicy()),如果缓冲队列已满,忽略该任务!
结论:
使用Quartz定时任务时,任务处理时间不能大于定时任务间隔时间;
否则任务会不断积压,导致内存溢出。
在此应用场景中,由于任务可以重复执行,故可以采用忽略当前任务的策略!
参考链接:http://dongxuan.iteye.com/blog/901689