zookeeper-1.zookeeper介绍、安装、shell cli 使用，基本概念验证

已于 2022-02-28 19:02:04 修改
阅读量233 收藏
点赞数
分类专栏： zookeeper 文章标签： zookeeper apache 分布式 linux
于 2022-02-27 21:03:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhougubei/article/details/123168306
版权

zookeeper

文档：https://zookeeper.apache.org/doc/current/zookeeperOver.html

什么是zookeeper

在这里插入图片描述
这里有兄弟会想，什么是原语，原语指的就是他开放出来的API
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这个没有Linux文件夹那种概念，他这里是按节点和临时节点

zookeeper两种状态

  1. 可用状态
  2. 不可用状态-leader挂掉，不可用状态恢复到可用状态越快越好
    在这里插入图片描述

穿插一下，zookeeper锁的概念是会在客户端存在一个session概念，如果锁存在就持有锁，如果消失就立马释放，不过！redis 里面有redission 锁已经实现类似概念，就连kafka 新版里面也在脱离zookeeper 集群管理

在这里插入图片描述
这个时候zookeeper 吞吐量能达到4W以上

在这里插入图片描述
在这里插入图片描述

这里的及时性说的是最终一致性的概念

安装zookeeper

zookeeper安装地址： https://zookeeper.apache.org/releases.html

[root@admin apache-zookeeper-3.6.3-bin]# cd conf/
[root@admin conf]# ll
total 12
-rw-r--r--. 1 vmuser vmuser  535 Apr  9  2021 configuration.xsl
-rw-r--r--. 1 vmuser vmuser 3435 Apr  9  2021 log4j.properties
-rw-r--r--. 1 vmuser vmuser 1148 Apr  9  2021 zoo_sample.cfg
[root@admin conf]# cp zoo_sample.cfg zoo.cfg
[root@admin conf]# ll
total 16
-rw-r--r--. 1 vmuser vmuser  535 Apr  9  2021 configuration.xsl
-rw-r--r--. 1 vmuser vmuser 3435 Apr  9  2021 log4j.properties
-rw-r--r--. 1 root   root   1148 Feb 28 11:16 zoo.cfg
-rw-r--r--. 1 vmuser vmuser 1148 Apr  9  2021 zoo_sample.cfg

zookeeper 默认启动的文件是zoo.cfg。所以我cp了一下

ticktime Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。
tickTime：该参数用来定义心跳的间隔时间，zookeeper的客户端和服务端之间也有和web开发里类似的session的概念，而zookeeper里最小的session过期时间就是tickTime的两倍。

initLimit - 集群中的follower服务器(F)与leader服务器(L)之间 初始连接 时能容忍的最多心跳数
此配置表示，允许 follower （相对于 leader 而言的“客户端”）连接 并同步到 leader 的初始化连接时间，它以 tickTime 的倍数来表示。当超过设置倍数的 tickTime 时间，则连接失败。

syncLimit - 集群中的follower服务器(F)与leader服务器(L)之间 请求和应答 之间能容忍的最多心跳数（tickTime的数量）。此配置表示， leader 与 follower 之间发送消息，请求 和 应答 时间长度。如果 follower 在设置的时间内不能与leader 进行通信，那么此 follower 将被丢弃。

initLimit
参数设定了允许所有跟随者与领导者进行连接并同步的时间，如果在设定的时间段内，半数以上的跟随者未能完成同步，领导者便会宣布放弃领导地位，进行另一次的领导选举。如果zk集群环境数量确实很大，同步数据的时间会变长，因此这种情况下可以适当调大该参数。默认为10
syncLimit
参数设定了允许一个跟随者与一个领导者进行同步的时间，如果在设定的时间段内，跟随者未完成同步，它将会被集群丢弃。所有关联到这个跟随者的客户端将连接到另外一个跟随着。

dataDir 存放zk 日志快照

maxClientCnxns=60 允许最大连接数

在这里插入图片描述

新增端口，人为把端口都写进来，zookeeper要有过半数！

     1      2    3     4                 
server.1=node01:28888:38888
server.2=node02:28888:38888
server.3=node03:28888:38888
server.4=node04:28888:38888

1-server.* 这个谁最大谁就是leader，也有可能是3 过半最大的就行
4-38888 代表这leader挂掉或者初次没有lead的时候投票建立链接通信，选出leader，leader启动一个28888接口，然后其他端口去选28888 的链接

在 /temp/zookeeper 文件夹下面新增文件myid
内容写上1就可以了

1

然后我们在其余3台服务器上部署zookeeper，但是，每个myid是不同的。1234这样子

将zk 的启动命令键放入配置文件中，这样子任何一个地方都可以访问

vim /etc/profile
export ZOOKEEPER_HOME=/home/vmuser/apache-zookeeper-3.6.3-bin
export PATH=$PATH:${JAVA_HOME}/bin:${ZOOKEEPER_HOME}/bin
重启 source 也可以
 . /etc/profile

将文件复制给其他服务器

scp /etc/profile  root@192.168.1.42:/etc

start-foreground 前台日志启动，几台机器逐一启动

[root@localhost etc]# zkServer.sh -help
/bin/java
ZooKeeper JMX enabled by default
Using config: /home/vmuser/apache-zookeeper-3.6.3-bin/bin/../conf/zoo.cfg
Usage: /home/vmuser/apache-zookeeper-3.6.3-bin/bin/zkServer.sh [--config <conf-dir>] {start|start-foreground|stop|version|restart|status|print-cmd}

[root@localhost conf]  zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /home/vmuser/apache-zookeeper-3.6.3-bin/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader

在这里插入图片描述
登入客户端

[root@localhost vmuser]# zkCli.sh
[zk: localhost:2181(CONNECTED) 4] ls /
[zookeeper]
              创建节点
[zk: localhost:2181(CONNECTED) 5] create /ooxx ""
Created /ooxx
[zk: localhost:2181(CONNECTED) 6] ls /
[ooxx, zookeeper]
[zk: localhost:2181(CONNECTED) 7] create /ooxx/xxoo ""
Created /ooxx/xxoo
[zk: localhost:2181(CONNECTED) 8] ls /ooxx
[xxoo]
[zk: localhost:2181(CONNECTED) 9] get /ooxx/xxoo
[zk: localhost:2181(CONNECTED) 10] set /ooxx i
             这个里面的数据只能创建 1M，这里面也是二进制安全的
[zk: localhost:2181(CONNECTED) 12] get -s /ooxx
i
# 创建节点，事务id，c创建
# 64位，前32位“0x2” leader纪元；后32位“00000053”，事务序号 
# 在1纪元，创建节点，事务序号2
cZxid = 0x100000002
# 创建时间
ctime = Mon Feb 28 14:18:20 CST 2022
# 修改节点，事务id，m修改
# 在5纪元，修改节点，事务序号12
mZxid = 0x100000004
# 修改时间
mtime = Mon Feb 28 14:20:50 CST 2022
当前节点下创建最后节点的id号
pZxid = 0x100000003
cversion = 1
# 数据版本
dataVersion = 1
aclVersion = 0
#临时的意思
ephemeralOwner = 0x0
# 数据长度
dataLength = 1
numChildren = 1

当前的session id

在这里插入图片描述

[zk: localhost:2181(CONNECTED) 5] create -e /xoxo "sdfafas"$<2>
Created /xoxo
[zk: localhost:2181(CONNECTED) 8] get -s /xoxo
sdfafas
cZxid = 0x100000007
ctime = Mon Feb 28 14:53:37 CST 2022
mZxid = 0x100000007
mtime = Mon Feb 28 14:53:37 CST 2022
pZxid = 0x100000007
cversion = 0
dataVersion = 0
aclVersion = 0
  
ephemeralOwner = 0x40d13a5d15e0001
dataLength = 7
numChildren = 0

去另外一台服务器登录

在这里插入图片描述

[zk: localhost:2181(CONNECTED) 0] get -e /xoxo
org.apache.commons.cli.UnrecognizedOptionException: Unrecognized option: -e
[zk: localhost:2181(CONNECTED) 1] get -s /xoxo
sdfafas
cZxid = 0x100000007
ctime = Mon Feb 28 14:53:37 CST 2022
mZxid = 0x100000007
mtime = Mon Feb 28 14:53:37 CST 2022
pZxid = 0x100000007
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x40d13a5d15e0001
dataLength = 7
numChildren = 0

在刚才添加的那台机器 quit退出，在回到第二次登录机器，就可以看到 /xoxo 没有了
也可以使用close

在这里插入图片描述

13888 是选主投票用的
12888 leader请求接收write 请求

在这里插入图片描述

为什么需要zookeeper

飘然渡沧海
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zookeeper介绍、安装、shell cli使用
qq_43409811的博客
11-24 78
我们是用keepalived一般采用的是主从模型，看过去好像很可靠，但是不要忘了keepalived也只是一个程序而已，当keepalived因为某些异常退出（不是stop,stop会执行相应的关闭命令），导致物理网卡配置的eth0:2子接口还是暴露的。此时从机器的keepalived也启动，也会将物理网卡的eth0:2暴露出来，那么可能会出现同一个连接的数据包转发到不同的RServer上去，而导致数据包被丢弃，虽然三次握手会重传，但是会导致效率不高的问题。 此时zookeeper就可以派上用场啦！！！ 请
Zookeeper-initLimit&syncLimit
gohigher2018的博客
05-27 1066
initLimit 此配置表示，允许 follower （相对于 leader 而言的“客户端”）连接 并同步到 leader 的初始化连接时间，它以 tickTime 的倍数来表示。当超过设置倍数的 tickTime 时间，则连接失败。 syncLimit 此配置表示， leader 与 follower 之间发送消息，请求 和 应答 时间长度。如果 follower 在设置的时间内不能...
zookeeper集群 initLimit和syncLimit
热门推荐
殇沫流年的专栏
06-22 1万+
（1）集群配置 initLimit 此配置表示，允许 follower （相对于 leader 而言的“客户端”）连接 并同步到  leader 的初始化连接时间，它以 tickTime 的倍数来表示。当超过设置倍数的 tickTime 时间，则连接失败。 syncLimit 此配置表示， leader 与 follower 之间发送消息，请求 和 应答 时间长度。如果 f
zookeeper
weixin_42581821的博客
07-15 389
zookeeper 数据存储形式 zookeeper中对用户的数据采用kv形式存储,只是zk有点特别： key：是以路径的形式表示的，那就以为着，各key之间有父子关系，比如 / 是顶层key 用户建的key只能在/ 下作为子节点，比如建一个key： /aa 这个key可以带value数据 也可以建一个key： /bb 也可以建key： /aa/xx zookeeper中，对每一个数据key...
12 Zookeeper介绍、安装、shell cli 使用，基本概念验证
GarenGosling的专栏
07-28 119
11 Zookeeper介绍、安装、shell cli 使用，基本概念验证
大数据实操篇 No.1-Zookeeper集群搭建
pezynd的专栏
07-17 512
zookeeper集群搭建
zookeeper安装与配置：使用shell脚本在centos上进行zookeeper自动化下载安装配置（集群搭建版）
zcs2312852665的博客
11-23 316
本文介绍了如何使用Shell脚本自动化安装ZooKeeper集群，这是一个分布式协调服务，常用于大规模分布式系统中。通过编写脚本，可以简化ZooKeeper集群的安装过程，提高效率并减少错误。通过阅读这篇文章，您将了解如何使用Shell脚本自动化安装ZooKeeper集群，并能够根据自己的需求进行定制和扩展。这将帮助您更高效地部署和管理ZooKeeper服务。
大数据精讲专栏 - Zookeeper的shell操作
能力工场小马哥
01-12 357
一, Zookeeper数据模型 具备目录和文件的双重特点 通过路径引用 储存数据有大小限制 三部分: 状态信息, 关联数据, 子节点 二, Znode节点类型 永久节点: 生命周期不依赖于会话, 并且只能在客户端显式执行删除操作的时候, 才能被删除; 临时节点: 生命周期依赖于会话, 一旦会话结束, 临时节点将会被自动删除; 不能有子节点. Znode具有序列化特性, 如果在创建的时候指定的话, Znode的名字后面会自动追加一个不断增加的序列号. 序列号对于此节点的父节点来说是唯一的, 这样子节点根据创
zookeeper启动报错Client port found: 2181. Client address: localhost
mba1398的博客
08-22 1740
使用命令bin/zkServer.sh start启动服务，日志无异常。但是使用 jps 命令查看没有看到 QuorumPeerMain 进程。后再次启动，zookeeper 可以正常启动。配置值不能相同，将三台服务器。，集群中的不同服务器，
apache-zookeeper-3.6.0.tar.gz
07-12
apache-zookeeper-3.6.0.tar.gz
zookeeper-3.4.10.tar.gz.zip
03-23
zookeeper-3.4.10.tar.gz 安装包
zookeeper-3.4.11.tar.gz
08-30
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调...ZooKeeper代码版本中，提供了分布式独享锁、选举、队列的接口，代码在zookeeper-3.4.3\src\recipes。其中分布锁和队列有Java和C两个版本，选举只有Java版本。
zookeeper-3.4.14.zip
05-15
zookeeper-3.4.14，包含添加系统服务插件及添加bat. 1. zookeeper-3.4.14源包 2. commons-daemon-1.1.0-bin-windows.zip 插件 3. 配置好插件的zookeeper-3.4.14包，右键管理员权限执行zk-server-install.bat
zookeeper-3.4.5.tar.gz（安装包）.rar
03-07
Zookeeper作为Hadoop的资源调度中心，应用十分广泛，有需要的自行下载 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为...
kafka连接zookeeper失败导致无法启动
weixin_43168278的博客
05-28 201
Linux服务器磁盘使用率100%导致kafka服务挂掉，推测是别的生产者往kafka服务器不停的塞数据把服务器塞爆了，服务器总空间60g，然后进到服务器查看kafka默认数据存储路径/tmp/kafka_logs就占了37g特别是目标topic，由于这个kafka服务器是我们组内自建的，kafka历史数据不是很重要，所以决定把目标topic删掉释放一些空间。
使用C/C++ API接口操作 Zookeeper 数据
一念之间 一心向阳
05-22 581
ZooKeeper客户端库有两种语言：Java和C。本文将介绍使用C/C++语言客户端库的编译安装和使用入门。
Zookeeper 安装教程和使用指南
一念之间 一心向阳
05-22 706
ZooKeeper是Apache软件基金会的一个开源项目，主要基于Java语言实现。Apache ZooKeeper 是一个开源的分布式应用程序协调服务，提供可靠的数据管理通知、数据同步、命名服务、分布式配置服务、分布式协调等服务。
ZooKeeper 面试题
最新发布
孤云博客
05-28 548
chubby 是 google 的，完全实现 paxos 算法，不开源。新时代）用来标识 leader 周期，如果有新的 leader 产生出来，epoch。对于第一类，我们将 zookeeper 上的一个 znode 看作是一把锁，通过 createznode。提出的时候加上了 zxid，zxid 实际上是一个 64 位的数字，高 32 位是 epoch（时。Leader 服务器进行注册。如果是一个 Follower 宕机，还有 2 台服务器提供访问，因为 Zookeeper 上的数。
zookeeper-3.4.8.tar.gz下载
08-08
zookeeper-3.4.8.tar.gz 是一个ZooKeeper软件的压缩包文件。ZooKeeper是一个开源的分布式协调服务，用于在分布式系统中管理和协调各种服务和任务。它提供了一个简单的接口和一致性保证来管理分布式应用的配置信息、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值