背景概述
在各种电子数据大爆发的年代,作为数据中心基础三大件之一的存储系统也必须要随着业务需求而不断的扩展容量,否则完全无法跟上业务需要。从用户角度来看,如何扩容是一个需要非常重点考虑的问题。因为扩容涉及到成本、便捷程度、对于业务系统的影响、扩容是否有上限等诸多因素。
文件数据占据了所有数据总量的60%以上。从文件存储来看,传统的NAS往往会在扩展容量的时候碰到以下几个常见的问题:
无法在线扩容
很多常见的NAS存储系统底层采用了常见的Ext3、Ext4、XFS等文件系统来管理存储卷上面的本地文件系统。由于诸多本地文件系统都采用了固定位置的位图(bitmap)方式来管理文件系统所在存储卷的文件系统元数据信息。
往往在文件系统构建之初就已经把文件系统的容量和位图(bitmap)等信息固定住了,后续如果因为业务需要直接扩容文件系统容量,那么在扩大存储容量的时候必须修改位图(bitmap)信息来更新文件系统的元数据以实现文件系统容量真正的扩展。
常见的本地文件系统的元数据信息修改过程往往需要停止读写访问过程来实现调整,从而导致传统NAS存储系统无法支持真正的无缝在线扩容,影响了业务连续性。
扩容需要庞大的数据迁移重建过程
很多NAS存储系统,虽然可以支持在线增加硬盘来扩容存储容量,但是往往在扩容以后就需要立刻启动庞大的数据迁移的过程。强制性的数据迁移的操作往往导致了消耗了大量的硬件和网络资源,从而严重影响业务系统真正数据读写的性能,降低了业务运转效率。
扩容面临容量的上限
诸多NAS存储系统有采用了传统的本地文件系统:本地文件系统都有最大容量的限制,扩容到一定程度就到了该文件系统的上线容量。比如ext3最大支持32TB,单个文件最大支持16TB。如果再后续需要增加容量只能另外再创建新的文件系统,更多的文件系统会导致数据管理的复杂性和增加业务访问的难度。
StarRAID提供创新动力
StarNAS采取了完全不同的底层StarFS文件系统来消除上述问题:
1、StarFS文件系统元数据信息任意写实现无缝在线扩容
StarFS完全不同于传统文件系统的固定位图bitmap的设计,而是采用了独立SSD来存储文件系统的元数据信息,实现文件系统元数据信息任意写。
独立的元数据不但可以提高文件系统的读写访问效率,而且还实现了在线的扩展。
2、StarFS文件系统扩容以后可以按需做数据迁移均衡。
不同于传统NAS扩容必须要做的时间高达数十个小时的数据重建过程,StarNAS扩容以后可以根据需要在可选的时间段内进行数据迁移来实现硬盘之间的数据均衡,尽可能小的减少对于业务读写数据的影响;
3、StarFS支持EB级别的单一文件系统:StarFS支持单一文件系统不停在线扩容至EB级别(1000PB),并且可以存储上千亿的文件数量。
StarFS实际上线的文件系统已经有超过100PB的超大规模单一文件系统,可以轻松确保业务使用NAS存储系统的平滑性和连续性。