![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
郑再鹏
勇气,智慧与勤奋
展开
-
ZooKeeper原理
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookee转载 2016-08-01 14:19:39 · 332 阅读 · 0 评论 -
ZooKeeper应用场景和原理简介
场景一有这样一个场景:系统中有大约100w的用户,每个用户平 均有3个邮箱账号,每隔5分钟,每个邮箱账需要收取100封邮件,最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力,从 多个不同的网路出口进行访问外网,计算的压力得到缓解,那么每台机器的计算压力也不会很大了。 通过我们的讨论和以往的经验判断在这场景中可以实现并行计算,但我们还期望能转载 2016-08-01 14:58:02 · 375 阅读 · 0 评论 -
Centos7安装Hadoop2.8步骤
第一步,准备3台机器或虚拟机,分别作为hadoop安装集群的master和2个slave。3台机器安装好JDK,并配置好JAVA_HOME(请参考《Centos7安装Oracle JDK》)。然后在3台机器之间建立信任关系(请参考《在两台Centos服务器之间建立信任关系》)。第二步,登录Apache Hadoop网站,下载Hadoop2.8的安装包。这里下载压缩包即可。然后将原创 2017-06-23 11:12:14 · 10497 阅读 · 0 评论