“星”技术|StarNAS发布面向海量小文件杀手锏技术

概述

当今各行各业每天都有海量的数据产生。据IDC预测达到2025年，全球将总共产生175ZB的文件。接下去5年的时间内产生的数据量将会比过去几十年人类产生数据量总和还多。

这些数据中大部分都将是非结构化数据，其中图片这种偏小的文件也有很大一部分。海量小文件是存储界的难题，通常小文件是指大小在1MB以下的文件，百万以上我们称为海量。由此会有非常严重的海量小文件存储问题。海量小文件通常带来管理难、检索慢、访问延时高、数据恢复慢、数据迁移慢等难题。

StarNAS的创新解决手段——container小文件聚合技术

StarNAS是星实的创新产品，其中融合了高性能StarFS并行文件系统的诸多核心技术。StarNAS在设计之初便将海量小文件场景作为重点优化方向。

StarNAS创新的采用container容器聚合技术来提高小文件的读写效率——将大量的小文件融合成大文件进行存储，大幅度的提高小文件读写效率。

Container技术特点：

1、像大文件一样存储和访问小文件：将多个小文件聚合成大文件存储，将小文件文件带来的随机IO转换为顺序IO，减少磁盘的寻址时间；

2、兼容POSIX标准，支持小文件动态增删改查：StarNAS通过Container技术聚合后的文件同样支持修改，从而能够无缝兼容现有的任何文件存储应用场景，无需做任何应用适配；

3、小文件访问效率提升接近十倍：解决海量小文件的场景中诸多头疼的性能问题；

                                                                                                                                                                container技术示意图

实测数据：

经过实测，相同的硬件采用Container技术后160万个文件的读写性能均有接近十倍的提升，删除速度提升30%以上。由此可见，StarNAS采用的Container技术可为面向海量小文件场景的杀手锏。

应用场景：

金融影像档案、医疗影像、电子档案、深度学习、互联网图片存储等都是海量小文件的典型场景。在这些场景，采用Container技术后，小文件数据的访问速度都能大大提升。

 

"海量文件存储方案专家"

星实信息是一家致力于给客户提供海量文件数据存储和管理的产品方案公司。星实信息核心研发人员在国际知名的存储公司从事研发和管理工作，具有多年的数据存储相关的研发产品化经验。

星实信息推出了自主研发高性能StarFS文件系统，具有极佳的弹性伸缩能力、支持百亿级海量小文件、超高的并发读写性能、秒级的快照克隆技术以及相关企业级的功能特点，并基于StarFS文件系统推出了并行文件系统、StarNAS存储系统一系列聚焦于文件存储产品，产品覆盖了从办公文件存储、企业信息化的文件存储、教育科研计算的海量科研文件数据存储等应用场景，容量从TB级覆盖到EB级别。