“星”方案|StarFS并行文件系统支持GPU计算数据存储

概述

GPU以其强大的多核计算能力，已经成为研究者们进行人工智能计算的利器。GPU计算时并行算法运行会对存储有非常高的性能需求。另一方面，研究的数据都是宝贵的，需求完善的高可用存储来进行存储。

星实推出的StarFS和StarNAS是满足GPU计算中存储需求的完美选择！

StarFS解决方案

方案介绍

StarFS并行文件系统是一个性能为中心，围绕简单易用、易安装以及易管理而设计的领先并行文件系统。具有高性能、高可靠、出众的小文件性能等诸多特点。能很好的适应

                                                                                                   StarFS架构图

创新小文件容器Container存储技术

StarFS创新采用了小文件容器Container聚合存储技术，将多个文件进行聚合存储。将多次的元数据操作整合成了一次，大大减少了元数据的操作量。十几倍的提升了小文件的读取效率。

并且StarFS创新的解决了聚合文件无法单独修改的问题，即采用聚合存储后，还能对每个文件进行单独修改。

                                                                                                                                                     小文件容器Container存储技术

更多StarFS特性介绍，请看：

StarFS讲堂|什么才是并行文件系统？

"星"方案|为什么要采用高性能专有文件系统客户端/协议？

"星"方案|StarFS并行文件系统加速深度学习研究

创新融合部署方案

StarFS支持跟应用融合的模式部署，即每台GPU服务器同时跑GPU计算，又作为存储服务器的角色来实现配置。

                                                                                                                                                       并行文件系统&GPU/CPU计算融合部署运行

 

每一台GPU服务器内部配置了CPU、GPU以及多块大容量的数据磁盘。安装Linux操作系统，并部署GPU计算程序、CPU计算程序、并行文件系统等软件。实现计算任务、存储资源等在同一台物理服务器中协同运行和访问。

通过此种方案配置，CPU、GPU计算作业可以像访问本地目录一样访问并行文件系统基于服务器内置磁盘构建的全局共享文件系统存储池，实现文件共享和高并发读写访问。

该并行文件系统和CPU、GPU计算任务等同一个物理节点进行部署的方案可以更好的实现存储和计算融合，并且方案可以根据需要灵活配置节点数量来扩展GPU/CPU计算资源、存储资源，实现动态扩展来匹配业务需求。