- 博客(6)
- 资源 (2)
- 收藏
- 关注
翻译 Scheduling Hadoop Jobs to Meet Deadlines
关于实现实时要求作业的调度算法的论文 In this paper, we lay the foundation for dealing with deadline requirements in Hadoop-based data processing by 在这篇论文中,我们列举了在hadoop的平台上进行数据处理时实现实时需求的基础,包括 (1)proposing a job
2012-08-05 15:45:39
158
翻译 关于gridmix3(Gridmix3 – Emulating Production Workload for Apache Hadoop)
前言: Tracking, modeling, and mimicking this adaptive, complex workload is a prerequisite to effective performance engineering. gridmix的意义:模拟和跟踪复杂的、适应性的复杂对性能测评先决意义 gridmix1-2的特性: Gridmix consist
2012-08-01 15:35:21
113
原创 搭建hadoop环境时关于配置无密码ssh的常见问题
无密码公共密钥key的配置是搭建hadoop的过程中比较容易卡住的地方。现总结常见问题如下。 1、为何需要从master到slave的无密码ssh:用作master远程启动slave。所以需要master可以无密码登陆到salve机器上去执行bin下的启动脚本。 2、如上原因,那么在无密码ssh的过程中,slave是认证的服务端,master是客户端。 3、大致无密码
2012-07-12 16:17:23
67
原创 Hadoop学习笔记(二)——HDFS通信协议
结合网络上一些牛人的解析文章和0.23.0源码,学习HDFS通信协议。 首先来看基类接口VersionedProtocol。该接口只需要实现一个方法: public ProtocolSignature getProtocolSignature(String protocol, long clientVersion,int clientMethodsHash) throws IOE
2012-01-10 14:50:33
236
原创 Hadoop学习笔记(一)——RPC
Hadoop RPC学习笔记 首先RpcEngine。这个接口中了Server端的getServer和Call方法。Client端的getProxy和stopProxy的方法。 从Server端看起。 RPC.Server getServer(Class protocol, Object instance, String bindAddress,
2011-11-29 19:41:02
89
C++内存管理
最近在做个实时计算系统,又学了点C++。最痛苦的就是内存管理这块(当然还有其他如语法等各种不适应)。看到一篇C++内存管理的文章。学习摘要如下: 1、总之就是C++的内存管理很考验程序员素质。给你提供灵活和高效的同时,要考虑很多东西。 2、内存被分为5个区堆、栈、自由存储区、
2011-09-28 15:17:06
89
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人