![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 86
zhoujq
很懒
展开
-
HDFS scalability: the limits to growth 学习笔记
HDFS scalability:the limits to growth 笔记 HDFS 概览 1. HDFS是stand-alone的 分布式文件系统的树形结构信息(metadata)由NameNode存储,文件本身存放在众多的DataNode中。原创 2011-07-29 22:33:31 · 1343 阅读 · 0 评论 -
Hadoop调度算法CapacityScheduler源码分析(1)
核心算法流程 当某个tasktracker上出现空闲slot时,调度器依次选择一个queue、(选中的queue中的)job、(选中的job中的)task,并将该slot分配给该task。下面介绍选择queue、job和task所采用的策略: (1)选择queue:将所有q原创 2011-08-31 22:45:59 · 3384 阅读 · 0 评论 -
Hadoop调度算法CapacityScheduler源码分析(2)
(3)CapacityTaskScheduler类 核心成员变量: TaskSchedulingMgr mapScheduler = new MapSchedulingMgr(this); Map任务的调度器 TaskSchedulingMgr reduceSchedul原创 2011-09-02 09:33:53 · 1844 阅读 · 0 评论 -
NameNode存储的主要信息
NameNode存储的信息 在FSNamesystem的开头注释中有一段文字: /*************************************************** *FSNamesystem does the actual bookkeeping w原创 2011-08-08 17:11:09 · 3715 阅读 · 0 评论 -
7 Tips forImproving MapReduce Performance
7 Tips forImproving MapReduce Performance One servicethat Cloudera provides for our customers is help with tuning and optimizingMapReduce j转载 2011-08-19 10:57:21 · 836 阅读 · 0 评论