Spark Streaming流任务学习笔记

最新推荐文章于 2024-01-01 16:34:18 发布

会飞的羊

最新推荐文章于 2024-01-01 16:34:18 发布

阅读量715

点赞数

本文链接：https://blog.csdn.net/zx84289061/article/details/70833179

版权

spark-submit [--master yarn-cluster --queue Streaming] --num-executors 3 --executor-cores 8 \
        --conf spark.streaming.receiver.maxRate=60000 --conf spark.streaming.backpressure.enabled=true  --conf spark.streaming.backpressure.initialRate=10 \
        --jars spark-streaming-kafka-assembly_2.10-1.5.2.jar \
        --py-files edis-2.10.5-py2.7.egg, all_files.egg \
    online_parse.py     kafka_zk:2181      {topic}     {group}