clickhouse使用clickhouse-keeper代替zookeeper

最新推荐文章于 2025-04-15 09:40:56 发布

龟速扣代码

最新推荐文章于 2025-04-15 09:40:56 发布

阅读量5.9k

点赞数 3

分类专栏： # Clickhouse 文章标签： clickhouse zookeeper

本文链接：https://blog.csdn.net/zhang5324496/article/details/127869781

版权

异常现象：

1. clickhouse的异常日志

2. 追踪对应节点的zookeeper日志

使用clickhouse-keeper代替 zookeeper的步骤：

1：准备 clickhouse-keeper的配置文件

1.1- 设置通信地址，以便对外通信

1.2- 在config.xml中的 zookeeper配置 clickhouse-keeper的地址，keeper的属性，端口，存放地址等。

a. 检查端口是否被占用

b. 设置 clickhouse-keeper的地址，每个节点内容一致

c. 设置clickhouse-keeper的server_id 和clickhouse-server通信端口 9444

2：备份 clickhouse-server的配置文件和数据，以及zookeeper的元数据。(预防升级失败需要回滚)

a. clickhouse的数据，在config.xml

b. zookeeper的数据: 在zoo.cfg，数据目录。

3：升级clickhouse。( 包含了clickhouse-server，clickhouse-common, clickhouse-keeper和clickhouse-keeper-converter )

4：迁移zk的元数据到 clickhouse-keeper

a- 停止所有的zk 节点。

b- 建议启停zk的leader，以便强制复制一份一致性的快照。

c- 运行 clickhouse-keeper-converter ，生成snapshot

e- 单独启动clickhouse-keeper

5- 重启 clickhouse

6- 验证是否clickhouse-keeper是否正常运行

7- 验证clickhouse是否正常运行

在重启clickhouse时可能遇到认证问题

背景：clickhouse分布式表使用zookeeper作为元数据的存储，客户端每次读写分布式表都会读写zookeeper。 zookeeper是个小型的日志文件系统，在大范围读写时会进入只读模式。

clickhouse官方为了解决这个，自己开发了clickhouse-keeper来代替。在21.8版本开始引入，21.12 featrue开发完毕，22.05不依赖系统库。

据官网自己说，目前22.5版的写性能和zookeeper相当，读的性能比zookeeper好。

异常现象：

1. clickhouse的异常日志

可以看到说socket和zookeeer连接不上 xxx.xxx.xxx.xxx:2181)

2022.04.01 17:11:01.452465 [ 428517 ] {} <Error> void Coordination::ZooKeeper::sendThread(): Code: 210, e.displayText() = DB::NetException: I/O error: 23: Can't create epoll queue, while writing to socket (20.20.20.34:2181), Stack trace (when copying this message, always include the lines below):
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int, bool) @ 0x8f9b87a in /usr/lib/debug/.build-id/b1/6d23354750e4d6ff9887c2b4f856f045d62da0.debug
2. DB::WriteBufferFromPocoSocket::nextImpl() @ 0x100764a0 in /usr/lib/debug/.build-id/b1/6d23354750e4d6ff9887c2b4f856f045d62da0.debug

2. 追踪对应节点的zookeeper日志

看到 zookeeper进入了只读模式(r-o mode)

2022-04-01 07:21:14,189 [myid:3] - INFO  [PurgeTask:FileTxnSnapLog@124] - zookeeper.snapshot.trust.empty : false
2022-04-01 07:21:14,191 [myid:3] - INFO  [PurgeTask:DatadirCleanupManager$PurgeTask@145] - Purge task completed.
2022-04-01 17:07:55,961 [myid:3] - INFO  [SessionTracker:ZooKeeperServer@628] - Expiring session 0x31056da7a8a0000, timeout of 30000ms exceeded
2022-04-01 17:07:55,962 [myid:3] - INFO  [RequestThrottler:QuorumZooKeeperServer@163] - Submitting global closeSession request for session 0x31056da7a8a0000
2022-04-01 17:10:23,523 [myid:3] - WARN  [NIOWorkerThread-75:ZooKeeperServer@1411] - Connection request from old client /20.20.20.46:62879; will be dropped if server is in r-o mode
2022-04-01 17:10:23,534 [myid:3] - INFO  [CommitProcessor:3:LeaderSessionTracker@104] - Committing global session 0x31056da7a8a0001
2022-04-01 17:11:01,453 [myid:3] - WARN  [NIOWorkerThread-20:NIOServerCnxn@371] - Unexpected exception
EndOfStreamException: Unable to read additional data from client, it probably closed the socket: address = /20.20.20.46:62879, session = 0x31056da7a8a0001
   at org.apache.zookeeper.server.NIOServerCnxn.handleFailedRead(NIOServerCnxn.java:170)
   at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:333)
   at org.apache.zookeeper.server.NIOServerCnxnFactory$IOWorkRequest.doWork(NIOServerCnxnFactory.java:508)
   at org.apache.zookeeper.server.WorkerService$ScheduledWorkRequest.run(WorkerService.java:154)
   at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
   at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
   at java.lang.Thread.run(Thread.java:748)

使用clickhouse-keeper代替 zookeeper的步骤：

1- 准备 clickhouse-keeper的配置文件 (config.xml)
2- 备份 clickhouse-server的配置文件和数据，以及zookeeper的元数据
3- 下载 clickhouse-keeper-converter (集成在clickhouse中了)

4- 迁移以前zookeeper元数据到clickhouse-keeper

a. 停止所有zk节点
b. 找到zk leader节点
c. 重启zk leader节点，并再次停止(这一步是为了让leader节点生成一份snapshot)
d. 运行clickhouse-keeper-converter，生成keeper的snapshot文件
e. 启动keeper, 使其加载上一步中的snapshot

5- 重启clickhouse-server