- 博客(2)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Yarn FairScheduler 的资源预留机制导致的一次宕机事故分析
Yarn为了保证大应用不被小应用饿死，当某台服务器无法满足大应用资源需求，会在服务器上为这个请求预留资源直到满足需求，预留期间资源空闲但不被分配。资源预留使用不当将导致整个Yarn集群资源分配停止，因此必须小心配置。本文描述我所遇到的资源预留导致Yarn全集群停止服务的一次经历，然后从代码和原理上对资源预留机制进行详细的讲解。
2017-12-14 10:03:58
6933
5
原创 Yarn资源请求处理和资源分配原理解析
目录概述FairScheduler的资源调度原理和代码FairScheduler的调度概览两种调度时机-心跳调度和持续调度开始进行资源调度判断这个application是否适合在这个节点上分配资源运行YARN请求资源时的locality和relaxility限定资源分配assignContainerParent节点调用FSParentQueueassignContainer
2017-12-14 09:57:31
18274
12
对genbank文件的解析实例
perl的cpan库支持对基因库文件的解析，这个perl的脚本文件实现了对genbank类型的基因库中基因数据的提取和解析。用户使用的时候需要手动修改代码中的genbank文件的路径。
2013-10-14
Mongodb的并发访问性能测试的java客户端
这个客户端实现了对mongoDB数据库的并发访问及访问性能测试。包括查询，修改和插入性能。用户使用该客户端的时候需要修改mongodb的ip地址和端口号，以及数据库名称和collection名称。
2013-10-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人