- 博客(2)
- 收藏
- 关注
RSS订阅原创 Facebook : Corona中的推测执行
大任务通常有成百上千个task，在任务即将执行完成时，总有几个task会拖后腿，corona的实现中，也考虑了备份执行， 对执行慢的任务，启动一个他的clone，谁先执行完，kill掉另外一个。 首先计算门限，后续判断是否达到门限 SPECULATIVE_SLOWTASK_THRESHOLD = "mapreduce.job.speculative.slowtaskthres
2013-07-30 18:12:50
1339
原创 Facebook : Corona的Reduce延时启动
在MR的计算模型中，过早启动Reduce，reduce会空等map的完成，这是资源浪费，这个资源完全可以用来执行真正需要执行的任务。 Corona的实现中，同样考虑了Reduce的延时启动。主要是下面三个单数来进行判断： # 当前job的最小map门限，如果一个job的未执行完毕的map数达到这个门限，则开始reduce的启动 public static final String RUSH_
2013-07-01 10:25:46
1155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人