大数据~~zookeeper
一尘在心
这个作者很懒,什么都没留下…
展开
-
Zookeeper学习之路 (二)集群搭建
目录ZooKeeper 软件安装须知 ZooKeeper 的集群安装 ZooKeeper 的下载 解压安装到自己的目录 修改配置文件 将配置文件分发到集群其他机器中 配置环境变量 启动软件,并验证安装是否成功 查看进程 正文回到顶部ZooKeeper 软件安装须知鉴于 ZooKeeper 本身的特点,服务器集群的节点数推荐设置为奇数台。我这里我...转载 2018-07-18 14:16:19 · 210 阅读 · 0 评论 -
ZooKeeper学习之路 (十)Hadoop的HA集群的机架感知
目录一、背景 二、配置机架感知 2.2、验证机架感知 三、补充 3.1、增加 datanode 节点 3.2、节点间距离计算 正文回到顶部一、背景 Hadoop 的设计目的:解决海量大文件的处理问题,主要指大数据的存储和计算问题,其中, HDFS 解决数据的存储问题;MapReduce 解决数据的计算问题 Hadoop 的设计考虑:设计分布式的存储...转载 2018-07-19 15:51:16 · 258 阅读 · 0 评论 -
ZooKeeper学习之路 (九)利用ZooKeeper搭建Hadoop的HA集
目录Hadoop HA 原理概述 为什么会有 hadoop HA 机制呢? 那如何解决呢? 集群规划 集群服务器准备 集群安装 1、安装 Zookeeper 集群 2、安装 hadoop 集群 Hadoop HA集群的初始化 1、启动ZooKeeper 2、在你配置的各个journalnode节点启动该进程 3、格式化namenode 4、要把在ha...转载 2018-07-19 14:01:50 · 341 阅读 · 0 评论 -
ZooKeeper学习之路 (八)ZooKeeper原理解析
目录ZooKeeper中的各种角色 ZooKeeper与客户端 Zookeeper节点数据操作流程 Paxos 算法概述(ZAB 协议) ZooKeeper 的选主机制 选择机制中的概念 选举消息内容 选举流程图 ZooKeeper 的全新集群选主 ZooKeeper 的非全新集群选主 正文回到顶部ZooKeeper中的各种角色回到顶部...转载 2018-07-19 13:20:59 · 201 阅读 · 0 评论 -
ZooKeeper学习之路 (七)ZooKeeper设计特点及典型应用场景
目录ZooKeeper 特点/设计目的 数据复制的好处 设计目的 ZooKeeper 典型应用场景 命名服务 配置管理 集群管理 分布式锁 队列管理 正文回到顶部ZooKeeper 特点/设计目的ZooKeeper 作为一个集群提供数据一致的协调服务,自然,最好的方式就是在整个集群中的 各服务节点进行数据的复制和同步。数据...转载 2018-07-18 18:21:02 · 323 阅读 · 0 评论 -
ZooKeeper学习之路 (六)ZooKeeper API的简单使用(二)级联删除与创建
目录编程思维训练 正文回到顶部编程思维训练1、级联查看某节点下所有节点及节点值2、删除一个节点,不管有有没有任何子节点3、级联创建任意节点4、清空子节点ZKTest.java 1 public class ZKTest { 2 3 private static final String CONNECT_STRING = "hadoop1,ha...转载 2018-07-18 17:00:08 · 571 阅读 · 0 评论 -
ZooKeeper学习之路 (五)ZooKeeper API的简单使用 增删改查
public class ZKDemo1 { private static final String CONNECT_STRING = "hadoop1:2181,hadoop2:2181,hadoop3:2181"; //如果zookeeper使用的是默认端口的话,此处可以省略端口号 //private static final String CONNECT_...转载 2018-07-18 16:33:14 · 237 阅读 · 0 评论 -
Zookeeper学习之路 (三)shell操作
目录Zookeeper的shell操作 Zookeeper命令工具 使用Zookeeper命令的简单操作步骤 状态信息 正文回到顶部Zookeeper的shell操作Zookeeper命令工具在启动Zookeeper服务之后,输入以下命令,连接到Zookeeper服务:[hadoop@hadoop1 ~]$ zkCli.sh -server ha...转载 2018-07-18 14:54:11 · 499 阅读 · 0 评论 -
Zookeeper学习之路 (一)初识
目录引言 分布式协调技术 分布式锁的实现 面临的问题 分布式锁的实现者 ZooKeeper概述 ZooKeeper数据模型 ZooKeeper数据模型Znode ZooKeeper中的时间 ZooKeeper节点属性 ZooKeeper服务中操作 监听机制 watch触发器 监听工作原理 ZooKeeper应用举例 分布式锁应用场景 传统...转载 2018-07-18 14:17:30 · 2128 阅读 · 0 评论 -
史上最全Zookeeper核心原理
1、Zookeeper的角色 » 领导者(leader),负责进行投票的发起和决议,更新系统状态 » 学习者(learner),包括跟随者(follower)和观察者(observer),follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票 » Observer可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步leader的...原创 2018-12-24 16:43:40 · 1242 阅读 · 2 评论