记一次spark streaming + spark sql应用的长时间运行异常关闭问题的排查过程

背景

最近公司的推荐系统准备上线一个实时预测的功能，通过实时训练模型后结合用户的实时行为特征推荐相关作品。项目用到了spark streaming、spark sql和spark mllib等框架，运行方式为spark on yarn。功能开发完成后，预生产环境性能测试结果很不理想，于是便接手此功能的优化改造任务。
优化的过程无非是从以下几方面入手：

1. 首先是从代码逻辑上进行优化，减少迭代计算，合并单次操作为批量操作，优化业务逻辑等，这些都和开发人员的个人能力有关，优化效果因人而异，暂不细表；
2. 二是通过观察spark UI上的job执行情况，结合stage的dag图对重复使用的DataSet、RDD进行缓存，避免数据重跑；
3. 优化driver、executor配置，调整资源分配。

经过优化，批次处理时间从2~3min下降到了1min以内，初步满足上线需求。

问题出现

就在准备上线前，突然发现实时预测任务在运行了2天左右挂掉了！一开始以为是别人误杀，就重新拉起应用继续观察，没想到过了两天又挂了。这才确定是应用的问题，随后多次调整参数后重启，每次的driver、executor报错日志不尽相同。这期间的产生的报错有心跳超时、KafkaUtil类在消费消息时发生OOM、netty请求无响应等等，节点被关闭的直接原因大都是RECEIVED SIGNAL TERM，这一系列的报错都指向了内存占用的问题。

• 首先，kafka报错的原因是KafkaConsumer在通过拉取消息后，在复制到jvm中生成对象时报OOM，直接原因，内存