香菇的博客

不积跬步无以至千里,不积小流无以成江海

SparkStreaming程序优化小记

最近公司部署了一个sparkstreaming程序,主要逻辑是处理flume采集到kafka的数据,集群环境3个nodemanager,5核20G内存,刚开始测试阶段并没设置资源配置,直接丢在yarn上运行,每天的数据量大概2500万records。测试几天后发现数据处理时间延迟稍微长了一点,怀疑是程序处理数据的数据低于数据产生的数据,随着时间和数据的增加,这个时间延迟越来越大,遂决定对程序进行相关的优化,整个过程主要从下面几个方面进行了优化:

1、程序占用资源

    3个节点,每个节点配置5cores,20G内存。

spark submit提交的时候,executor-memory设置为2G,每个节点启2个executor,3台节点一共启了5个executor,还有一个供 ApplicationMaster使用。

spark-submit 
 --master yarn 
 --conf spark.streaming.concurrentJobs=4  
 --class com.jiadun.handler.CP_GetWA_Source_1001FromKafka 
 --executor-memory 2G 
 --executor-cores 2 
 --num-executors 5  
 /data/test/GetDataFromKafka-1.0-SNAPSHOT.jar >/dev/null 2>/data/test/log/wa.log

2、设置程序拉取数据的大小

    我启用的是spark的反应机制,动态的控制拉取数据的rate。

conf.set("spark.streaming.backpressure.enabled","true") 

当然还可以从下面两种方式中进行控制,如果三种都设置的话,程序会比较它们的大小取最小值

conf.set("spark.streaming.receiver.maxRate","") 
conf.set("spark.streaming.kafka.maxRatePerPartition","") 

3、配置JVM GC的频率和时间

conf.set("spark.executor.extraJavaOptions","-XX:+UseConcMarkSweepGC")

4、batch interval

这个参数很重要,如果一个interval时间段内你拉取的batch没有处理结束,那么就会出现数据堆积,长此以往,数据会堆积的越来越多,这样的处理逻辑肯定有问题,所以适当的调节interval大小对于程序能不能稳定运行有很大的影响。一般设置在1-10s内,视具体情况而定

5、spark.streaming.concurrentJobs

这是决定你程序同时启动几个active job的参数,如果你的资源足够多,你可以在提交的任务的时候指定这个参数,此参数默认为1,我暂时设置项目的这个参数为4。

观察程序的运行状况 :

可以从sparkUI来观察,


上图中红框内记录了每个batch的执行耗时的折线图和柱状图,其中有个虚线stable,这是你的batch interval时间,如果大量的batch都在这条线以下的话,说明程序的处理速度是足够的,少量的超过是没有问题的。

当然对sparkstreaming程序的优化远不止于此,后期还需要学习更深层次的知识,这样才能更好的去适配各种运行环境,完成健壮性,稳定的项目

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zhou_shaowei/article/details/80695704
个人分类: Scala spark
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭