2018年08月_Deegue

原创 spark 参数调优10-Dynamic Allocation动态分配

spark参数调优系列目录地址：https://blog.csdn.net/zyzzxycj/article/details/81011540 ⑩ Dynamic Allocation 动态分配spark.dynamicAllocation.enabled是否开启动态资源配置，根据工作负载来衡量是否应该增加或减少executor，默认false以下相关参数：spar...

2018-08-31 15:19:48 31973

原创 spark 参数调优9-Scheduling调度

spark参数调优系列目录地址：https://blog.csdn.net/zyzzxycj/article/details/81011540 ⑨ Schedulingspark.scheduler.maxRegisteredResourcesWaitingTime在执行前最大等待申请资源的时间，默认30s。spark.scheduler.minRegisteredRe...

2018-08-31 14:50:44 10839

原创 spark 参数调优8-Networking网络

spark参数调优系列目录地址：https://blog.csdn.net/zyzzxycj/article/details/81011540 ⑧ Networkingspark.rpc.message.maxSizeexecutors和driver间消息传输、map输出的大小，默认128M。map多可以考虑增加。spark.driver.blockManager.po...

2018-08-31 14:48:59 13006

原创 spark 参数调优7-Executor behavior

spark参数调优系列目录地址：https://blog.csdn.net/zyzzxycj/article/details/81011540 ⑦ Executor behaviorspark.broadcast.blockSizeTorrentBroadcastFactory中的每一个block大小，默认4m过大会减少广播时的并行度，过小会导致BlockManager...

2018-08-31 14:48:00 21072

原创 spark 参数调优6-Memory Management内存管理

spark参数调优系列目录地址：https://blog.csdn.net/zyzzxycj/article/details/81011540 ⑥ Memory Managementspark.memory.fraction执行内存和缓存内存（堆）占jvm总内存的比例，剩余的部分是spark留给用户存储内部源数据、数据结构、异常大的结果数据。默认值0.6，调小会导致频繁...

2018-08-31 14:45:40 13009

原创 spark 参数调优5-Compression and Serialization压缩与序列化

spark参数调优系列目录地址：https://blog.csdn.net/zyzzxycj/article/details/81011540 ⑤ Compression and Serializationspark.broadcast.compress广播变量前是否会先进行压缩。默认true （spark.io.compression.codec）spark.io....

2018-08-31 14:44:27 20046

原创 spark 参数调优4-Spark UI

spark参数调优系列目录地址：https://blog.csdn.net/zyzzxycj/article/details/81011540 ④ Spark UI这一块配置，是有关于spark日志的。日志开关，日志输出路径，是否压缩。还有一些可视化界面、端口的配置，之后会完善。...

2018-08-31 14:42:47 8780

原创 spark 参数调优3-Shuffle Behavior

spark参数调优系列目录地址：https://blog.csdn.net/zyzzxycj/article/details/81011540 ③ Shuffle Behavior spark.reducer.maxSizeInFlight默认48m。从每个reduce任务同时拉取的最大map数，每个reduce都会在完成任务后，需要一个堆外内存的缓冲区来存放结果，如果没有...

2018-08-31 14:41:19 12445

原创 spark 参数调优2-Runtime Environment 运行环境

spark参数调优系列目录地址：https://blog.csdn.net/zyzzxycj/article/details/81011540 ② Runtime Environment 运行环境主要是一些日志，jvm参数的额外配置，jars等一些自定义的配置，稍后会完善这一块的内容。...

2018-08-31 14:39:42 11901 1

原创 spark 参数调优1-Application Properties 应用基本属性

spark参数调优系列目录地址：https://blog.csdn.net/zyzzxycj/article/details/81011540 ① Application Properties 应用基本属性spark.driver.cores driver端分配的核数，默认为1，thriftserver是启动thriftserver服务的机器，资源充足的话可以尽量给...

2018-08-31 14:36:32 14058

原创 Spark org.apache.spark.shuffle.FetchFailedException: Too large frame: xxxxxxxx

报错如下：FetchFailed(BlockManagerId(92, hadoop1136.prod.2dfire.info, 7337, None), shuffleId=4, mapId=42, reduceId=42, message=org.apache.spark.shuffle.FetchFailedException: Too large frame: 2292863140...

2018-08-24 19:19:15 10465

Deegue