“星”技术|如何实现PB级数据快速跨存储/跨机房迁移？

海量数据迁移是一大难题

在具有海量文件数据场景的大企业中，后台运维部门经常会碰到庞大的数据迁移需求和问题，比如将A机房中的文件数据要复制或者迁移到B机房中，或者只是将A存储系统中的文件数据迁移到B存储系统中。

如果只是有数TB的数据，那还可以通过手工之类的办法实现复制和推送，一旦数据量达到数百TB甚至数PB的量级。那么如何将这么多数据进行安全、快速、高效、平滑的搬迁会是非常庞大的工程。

 

StarFS具备强力解决方案

星实公司在为诸多具有数PB甚至数十PB海量文件数据的客户提供并行文件系统产品和服务的过程中，发现了类似的需求。星实公司在自有StarFS并行文件系统基础上延续开发了StarMove模块，该模块既可以融合到StarFS自身的管理系统中，还可以作为独立的软件模块进行单独部署。

StarMove针对具有类似需求的客户进行了针对性优化，充分满足海量大文件、数亿小文件的快速迁移需求。

 

 

StarMove特点

 

1. 全量和增量的数据复制推送，传输过程支持QOS网络流量控制，充分确保业务的带宽；
2. 多个数据中心之间“单对单、单对多、多对多”传输数据，通过大并发提升传输速度。所有操作都可以在web界面完成，实现统一管理；
3. “大文件切片，小文件打包聚合”全面提升传输速度；

 

应用场景

1	跨存储/机房之间有数据复制镜像的需求，防止其中一个机房出现故障而影响数据完整性和业务连续性；
2	多个机房之间需要实现数据按需的在不同机房之间推送复制；
3	跨存储/机房之间突然有数十、数百甚至数千TB的文件数据需要快速的复制推送到另外一个存储系统或者机房中；
4	有数十亿甚至数百亿的海量小文件需要进行高效的数据迁移；

 

"海量文件存储方案专家"

星实信息是一家致力于给客户提供海量文件数据存储和管理的产品方案公司。星实信息核心研发人员在国际知名的存储公司从事研发和管理工作，具有多年的数据存储相关的研发产品化经验。

星实信息推出了自主研发高性能StarFS文件系统，具有极佳的弹性伸缩能力、支持百亿级海量小文件、超高的并发读写性能、秒级的快照克隆技术以及相关企业级的功能特点，并基于StarFS文件系统推出了并行文件系统、StarNAS存储系统一系列聚焦于文件存储产品，产品覆盖了从办公文件存储、企业信息化的文件存储、教育科研计算的海量科研文件数据存储等应用场景，容量从TB级覆盖到EB级别。