一次排查StackOverflowError的经历

0. 背景

某SpringBoot Application内部有一个任务管理模块。每隔1分钟，quartz会调度某任务一次，如果任务成功了，该模块就记录下“这个任务于某年某月某日某时某分某秒成功了”。这个模块并不会把所有的任务的成功状态都记录下来，只会记录下最近10次成功的任务。这个模块使用一个ArrayList来存储任务的成功状态，如果ArrayList长度超过10了，就使用subList方法取该ArrayList处于末端的10个成功状态。

整个过程简化一下，就像下面一样：

// quartz每分钟都跑一下某个任务，并调用一次TaskStatusListener.onSuccess
public static class TaskStatusListener {
	...
	private static List successStatus = new ArrayList<String>();
	...
	public static void onSuccess(String taskName) {
		successStatus.add(taskName + " succeeded at " + System.currentTimeMillis());
		int count = successStatus.size();
		if (count > 10) {
			successStatus = successStatus.subList(count - 10, count)
		}
	}
}

1. 症状

7月19日，该SpringBoot项目部署上线后，检查了一下日志，没有报错，就把这个项目放那跑着不管了，投入另一个项目需求的开发。8月10日，另一个项目的需求告一段落，开始开发该SpringBoot项目的需求。去后台观察了一下日志，发现有quartz线程不断地抛StackOverflowError，一分钟抛一次，严重影响用户对日志的观察，观感如下：

2. 问题所在：

① Java8的ArrayList类里有一个内部类，叫SubList，它的定义是这样的：

请注意，它有一个类型为AbstractList的成员变量，该成员变量名为parent。

假设我们有一个名为a的ArrayList，调用a.subList()，会返回一个类型为ArrayList$SubList的b对象；由于b是从a派生出来的，所以b.parent其实就是a，b持有对a的引用。如果调用b.subList()，则会返回一个类型为ArrayList$SubList的c对象，c持有对b的引用。以此类推。

② ArrayList$SubList.add()方法的定义是这样的：

注意到其中有一行是parent.add(parentOffset + index, e);

③ 外层任务每分钟被调用一次，每天被调用1440次，也就是说，successStatus这个成员变量每天指向1440辈之后的儿子，这个儿子持有所有祖先的引用。

综合①②③，可以得出结论，当共同使用ArrayList.subList()和SubList.add()方法来存储任务状态时，是一定会爆方法栈的。该应用从7月19日开始启动时未指定-Xss，默认Xss=320KB或1024KB，假设每帧32B（往小了算），最多叠加32768层栈帧（8月11日）后，栈就爆了。

3. 解决办法

当任务成功的记录超过10条，需要裁减成功状态时，不要用subList()方法slice出一个List了，要new一个新的ArrayList赋给successStatus成员变量：

// quartz每分钟都跑一下某个任务，并调用一次TaskStatusListener.onSuccess
public static class TaskStatusListener {
	...
	private static List successStatus = new ArrayList<String>();
	...
	public static void onSuccess(String taskName) {
		successStatus.add(taskName + " succeeded at " + System.currentTimeMillis());
		int count = successStatus.size();
		if (count > 10) {
			List newList = new ArrayList<String>(10);
			newList.add(successStatus.get(count - 10));
			newList.add(successStatus.get(count - 9));
			newList.add(successStatus.get(count - 8));
			newList.add(successStatus.get(count - 7));
			newList.add(successStatus.get(count - 6));
			newList.add(successStatus.get(count - 5));
			newList.add(successStatus.get(count - 4));
			newList.add(successStatus.get(count - 3));
			newList.add(successStatus.get(count - 2));
			newList.add(successStatus.get(count - 1));

			successStatus = newList;
		}
	}
}