ClickHouse系列教程八：从一个服务器导入4T数据到另外一个服务器

最新推荐文章于 2025-10-09 20:28:01 发布

原创

最新推荐文章于 2025-10-09 20:28:01 发布 · 4.8k 阅读

22 ·

CC 4.0 BY-SA版权

这篇博客介绍了如何解决将800GB的ClickHouse数据库从一个服务器高效地迁移到另一个服务器的问题。作者首先尝试通过CSV文件转移，但由于数据膨胀至4TB无法实施。然后，他尝试直接从服务器查询，但遇到内存不足的挑战。最后，通过采用文章《Clickhouse-copier in practice — Altinity》中提到的利用Linux管道技术，实现了在不占用大量内存且无需临时文件的情况下完成迁移。

ClickHouse系列教程: ClickHouse系列教程

遇到了一个问题，就是如何把数据从一个服务器导入到另外一个服务器。

最初的想法是把数据都导出到CSV文件，然后再从CSV文件导入，做法如下：

select * from test.app INTO OUTFILE '/data2/data.csv' FORMAT CSVWithNames;
cat data.csv | clickhouse-client --query="INSERT INTO test.app FORMAT CSVWithNames"  --password