
大数据技术栈调优-大全
文章平均质量分 96
张伯毅
某厂技术,Apache DolphinScheduler Committer.
专注于调度&实时&大数据体系~
展开
-
Spark Executor内存图解
.一 .前言二 .拆解2.1. 总体2.2. Executor Memory 划分2.3. 动态占用机制2.4. 任务内存管理(Task Memory Manager)三 . 一个示例3.1. 只用了堆内内存3.2.用了堆内和堆外内存四 .Executor内存参数调优4.1. Executor JVM Used Memory Heuristic4.2. Executor Unified Memory Heuristic4.3. Executor OOM类错误 (错误代码 137、143等)4.4. Exec翻译 2021-05-29 19:28:06 · 594 阅读 · 0 评论 -
Hive调优集锦
.一 .前言1.1. 概念1.2. 架构1.3. 调优概述1.1. 调优须知二 . Hive建表设计层面优化2.1. 利用分区表优化2.2. 利用分桶表优化2.3. 选择合适的文件存储格式2.4. 选择合适的压缩格式三 .HQL语法和运行参数层面优化3.1. 查看Hive执行计划3.2. 列裁剪3.3. 谓词下推3.4. 分区裁剪3.5. 合并小文件3.6. 合理设置MapTask并行度3.7. 合理设置ReduceTask并行度3.8. Join优化3.9. 启用 MapJoin3.10. Join数据翻译 2021-05-26 17:23:36 · 855 阅读 · 0 评论