hadoop
zhoulv2000
这个作者很懒,什么都没留下…
展开
-
Hadoop计算中的Shuffle过程
Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce,Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所以在这里我尽转载 2014-03-25 08:47:46 · 640 阅读 · 0 评论 -
SSH免密码登陆详解
为了更好的理解SSH免密码登陆原理,我们先来说说SSH的安全验证,SSH采用的是”非对称密钥系统”,即耳熟能详的公钥私钥加密系统,其安全验证又分为两种级别。 1. 基于口令的安全验证 这种方式使用用户名密码进行联机登录,一般情况下我们使用的都是这种方式。整个过程大致如下: (1)客户端发起连接请求。 (2)远程主机收到用户的登录请求,把自己的公钥发给客户端。 (3)客户端接收远程主机原创 2014-04-27 12:35:09 · 455 阅读 · 0 评论