StarFS讲堂|什么才是并行文件系统？

概述

文件系统是操作系统用于明确存储设备上文件的方法和数据结构，即在存储设备上组织文件的方法，是平常最常见、最简单的使用存储的方式。

并行文件系统是文件系统一种，常用于高性能计算领域，能支持数据的并行读写。并行文件系统能很好的支持并行计算，支持并行计算的大规模数据读写。

并行计算或称平行计算是相对于串行计算来说的。它是一种一次可执行多个指令的算法，目的是提高计算速度，及通过扩大问题求解规模，解决大型而复杂的计算问题。所谓并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。

并行文件系统特点

 

并行文件系统为了支持并行计算，有很多明显的特点：

1	客户端写入的数据能同时写到所有的硬盘上：在客户端上，数据被切片，并且被同时写入到所有节点的硬盘上；
2	支持字节粒度的锁：系统支持对一个文件的某一段（字节粒度）进行修改并且加锁，同时此文件的另外段落也能同时被修改。这样使得大量的计算可以同时的进行适合MPI的计算；
3	专有客户端：一般的文件系统访问协议，比如NFS、CIFS都是串行的，数据是针对一点对一点传输的。并且文件系统具有专有的存储访问协议，数据的一点对多点方式； “常见集群nas采用NFS和CIFS此类串行的存储访问协议，数据需要先写到集群的一个节点上，再从此节点传输到别的节点上。（比如常见的华为N9000，dell的isilon等）。 “并行文件系统利用客户端协议直接将数据在客户端切片，同时写入到所有节点的硬盘上，无需中转大大提高了读写效率。

StarFS并行文件系统

 

StarFS是一个性能为中心，围绕简单易用、易安装以及易管理而设计的领先并行文件系统。

StarFS采用集群架构设置，系统支持无上限的扩展，理论上能扩展到EB级别，单一集群承载上万台服务器。整个系统能提供上百GB/s的吞吐带宽。

StarFS架构图

StarFS具备字节锁、并发读写，专有客户端等并行计算必须要的功能，除此之外StarFS也具备更多强大的特性：

客户端缓存

配置客户端磁盘缓存后，客户端从后端存储节点（Storage Node）读取到的数据同时也被缓存到客户端本地缓存磁盘，当该数据被重复访问时，无需通过网络向存储节点（Storage Node）发送请求，只需本地读取即可完成访问，同时，StarFS客户端支持多个本地缓存盘的并发访问，因此可大幅提升客户端读取性能.

                                                                                                 多级缓存机制

 在线扩容

StarFS支持动态的在线动态伸缩，并且可以自主的控制数据迁移，扩容无需强制做数据迁移。

增强型权限

StarFS除了支持常规的读、写、删除等权限控制还支持更多的权限控制，包括：重命名、链接、追加写、list7种权限的控制。

纠删码

StarFS支持N+M纠删码（N=2,4,8,16 M=1~4）在保证系统高并发读写的前提下，还能通过纠删码保证节点级的冗余。能保证系统在数据安全性、高并发读写、高空间利用率三者皆得。