ClickHouse系列教程八：从一个服务器导入4T数据到另外一个服务器

最新推荐文章于 2024-05-30 11:13:03 发布

zhangpeterx

最新推荐文章于 2024-05-30 11:13:03 发布

阅读量4.6k

点赞数 2

分类专栏：数据库 clickhouse

本文链接：https://blog.csdn.net/zhangpeterx/article/details/96494877

版权

这篇博客介绍了如何解决将800GB的ClickHouse数据库从一个服务器高效地迁移到另一个服务器的问题。作者首先尝试通过CSV文件转移，但由于数据膨胀至4TB无法实施。然后，他尝试直接从服务器查询，但遇到内存不足的挑战。最后，通过采用文章《Clickhouse-copier in practice — Altinity》中提到的利用Linux管道技术，实现了在不占用大量内存且无需临时文件的情况下完成迁移。

摘要由CSDN通过智能技术生成

ClickHouse系列教程: ClickHouse系列教程

遇到了一个问题，就是如何把数据从一个服务器导入到另外一个服务器。

最初的想法是把数据都导出到CSV文件，然后再从CSV文件导入，做法如下：

select * from test.app INTO OUTFILE '/data2/data.csv' FORMAT CSVWithNames;
cat data.csv | clickhouse-client --query="INSERT INTO test.app FORMAT CSVWithNames"  --pas

最低0.47元/天解锁文章

zhangpeterx

关注

2
点赞
踩
22

收藏

觉得还不错? 一键收藏
1
评论
ClickHouse系列教程八：从一个服务器导入4T数据到另外一个服务器

遇到了一个问题，就是如何把数据从一个服务器导入到另外一个服务器。最初的想法是把数据都导出到CSV文件，然后再从CSV文件导入，做法如下：select * from test.app INTO OUTFILE '/data2/data.csv' FORMAT CSVWithNames;cat data.csv | clickhouse-client --query="INSERT INTO t...
复制链接

扫一扫