TragicJun的专栏

A little bit everyday

【Hadoop】JobTracker Restart Recovery

如果当前有MapReduce Job正在运行,而JobTracker突然down掉了,怎么办?由于JobTracker只是负责Job调度,记账,监控等工作,真正的任务执行在TaskTracker上,完全有可能重启JT而不丢失之前的任务运行。JT需要做的是将Job执行状态备份到文件,重启时读取文件以...

2013-10-20 16:25:52

阅读数:1029

评论数:0

【Hadoop】MapReduce Job Files

接收到一个MapReduce Job后,JobTracker需要维护Job相关的一些信息,其中一部分需要以文件形式存储在HDFS或Local FS上。下表总结了几个主要的存储地址: FS Location Property Child Directory Directory File ...

2013-10-19 21:16:28

阅读数:988

评论数:0

【Note】Java Collections Study

HashMap vs TreeMap vs LinkedHashMap 1) HashMap is a map based on hashing of the keys. It supports O(1) get/put operations. Keys must haveconsisten...

2013-10-18 19:24:24

阅读数:633

评论数:0

【Reading】2013-10,11,12

http://www.chrisstucchio.com/blog/2013/hadoop_hatred.html  http://www.forbes.com/sites/ciocentral/2013/10/09/dont-use-hadoop-your-stovepipe-still-wor...

2013-10-17 11:25:33

阅读数:535

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭