GFS分布式文件系统

一:GlusterFS 概述

1. GlusterFS 简介

 GlusterFS 是一个开源的分布式文件系统， 同时也是Scal e-Out 存储解决方案Gluster的核心， 在存储数据方面具有强大的横向扩展能力，通过扩展不同的节点可以支持数PB级别的存储容量。GlusterFS 借助TCP/IP 或lnfiniBand ROMA 网络将分散的存储资源汇聚在一起， 统一提供存储服务， 并使用单一全局命名空间来管理数据。G lusterFS 基千可堆叠的用户空间以及无元的设计， 可为各种不同的数据负载提供优异的性能。
GlusterFS 主要由存储服务器CBrick Serve几客户端及N FS/Samba 存储网关（ 可选，根据需要选择使用）组成， 如下图所示。

 GlusterFS 架构中最大的设计特点是没有元数据服务器组件， 这有助于提升整个系统的性能、可靠性和稳定性。传统的分布式文件系统大多通过元服务器来存储元数据， 元数据包含存储节点上的目录信息、目录结构等。这样的设计在浏览目录时效率非常高， 但是也存在一些缺陷例如单点故障。一旦元数据服务器出现故障， 即使节点具备再商的冗余性， 整个存储系统也将崩溃。而GlusterFS 分布式文件系统是基千无元服务器的设计， 数据横向扩展能力强， 具备较高的可靠性及存储效率。GlusterFS 支持TCP/IP 和lnfiniBandRDMA 高速网络互联， 客户端可通过原生GlusterFS 协议访问数据， 其他没有运行GlusterFS 客户端的终端可利用NFS/CIFS 标准协议通过存储网关访问数据。

2:GlusterFS 术语

• Brick （存储块） ： 指可信主机池中由主机提供的用于物理存储的专用分区， 是GlusterFS 中的基本存储单元， 同时也是可信存储池中服务器上对外提供的存储目录。存储目录的格式由服务器和目录的绝对路径构成，表示方法为SERVER:EXPORT,如192 . 168. 1 .4:/ data/mydi r/ 
• Volume （ 逻辑卷） ： 一个逻辑卷是一组Brick 的集合。卷是数据存储的逻辑设备， 类似于LVM 中的逻辑卷。大部分Gluster 管理操作是在卷上进行的。
•  FUSE （ Fi lesystem inUserspace ) : 是一个内核模块， 允许用户创建自己的文件系统，无须修改内核代码。
• VFS : 内核空间对用户空间提供的访问磁盘的接口。
• Glusterd （后台管理进程） ： 在存储群集中的每个节点上都要运行。

3. 模块化堆栈式架构

下图是GlusterFS 机构细化图。GlusterFS 采用模块化、堆栈式的架构， 可以根据需求配置定制化的应用环境， 如大文件存储、海量小文件存储、云存储、多传输协议应用等。通过对模块进行各种组合， 即可实现复杂的功能。例如Repl icate 模块可实现RAID1, Stripe模块可实现RAIDO , 通过两者的组合可实现RAID10 和RAID01, 同时获得更高的性能及可靠性。

GlusterFS 是模块化堆栈式的架构设计， 模块称为Translator , 是GlusterFS 提供的一种强大机制， 借助这种良好定义的接口可以高效简便地扩展文件系统的功能。
► 服务端与客户端的设计高度模块化的同时模块接口是兼容的， 同一个translator可同时在客户端和服务器加载。
► GlusterFS 中所有的功能都是通过translator 实现的， 其中客户端要比服务端更复杂，所以功能的重点主要集中在客户端上。

二：GlusterFS 的工作原理

1. GlusterFS 的工作流程

下图是GlusterFS 数据访问的一个概要图。

GlusterFS 的工作流程如下：
(1) 客户端或应用程序通过GlusterFS 的挂载点访问数据。
(2) Linux 系统内核通过VFS API 收到请求并处理。
(3) VFS 将数据递交给FUSE 内核文件系统， 并向系统注册一个实际的文件系统FUSE ,而FUSE 文件系统则是将数据通过/dev/fuse 设备文件递交给了GlusterFS cl ient 端。可以将FUSE 文件系统理解为一个代理。
(4) G lusterFS client 收到数据后， cl ient 根据配置文件对数据进行处理。
(5) 经过GlusterFS client 处理后， 通过网络将数据传递至远端的G lusterFS Server,并且将数据写入服务器存储设备。 

2. 弹性HASH 算法

弹性HASH 算法是Davies-Meyer 算法的具体实现， 通过HASH 算法可以得到一个32位的整数范围的hash 值， 假设逻辑卷中有N 个存储单位Brick , 则32 位的整数范围将被划分为N 个连续的子空间， 每个空间对应一个Brick。当用户或应用程序访问某一个命名空间时， 通过对该命名空间计算HASH 值，根据该HASH 值所对应的32 位整数空间定位数据所在的Brick 。弹性HAS H 算法的优点表现如下。
► 保证数据平均分布在每个Brick 中。
► 解决了对元数据服务器的依赖， 进而解决了单点故障及访问瓶颈。

现在假设创建了一个包含四个Brick 节点的GlusterFS 卷， 在服务端的Brick 挂载目录会给四个Brick 平均分配232 的区间的范围空间， GlusterFS hash 分布区间是保存在目录上而不是根据机器去分布区间。如下图所示， Bri ck＊表示一个目录。分布区间保存在每个Brick 挂载点目录的扩展属性上。

在卷中创建四个文件， 分别是test-fi le1 、test-file2 、test-file3 、test-file4 。在访问文件时， 通过快速Hash 函数计算出对应的HASH 值（232 范围的数值）， 然后根据计算出来的HASH值所对应的子空间散列到服务器的Brick 上， 如图下所示。

 三：GlusterFS 的卷类型

GlusterFS 支持七种卷， 即分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷、条带复制卷和分布式条带复制卷， 这七种卷可以满足不同应用对高性能、高可用的需求。
► 分布式卷( Di stribute volume ) : 文件通过HASH 算法分布到所有Brick Server 上，这种卷是Glusterf 的基础； 以文件为单位根据HASH 算法散列到不同的Brick , 其实只是扩大了磁盘空间， 如果有一块磁盘损坏， 数据也将丢失， 属千文件级的RAIDO ,不具有容错能力。
► 条带卷( Stripe volume ) : 类似RAID0 , 文件被分成数据块并以轮询的方式分布到多个Brick Server 上， 文件存储以数据块为单位， 支持大文件存储， 文件越大， 读取效率越高。

► 复制卷(Replica volume ) : 将文件同步到多个Brick 上， 使其具备多个文件副本，属于文件级RAID 1, 具有容错能力。因为数据分散在多个Brick 中， 所以读性能得到很大提升， 但写性能下降
► 分布式条带卷( Distri bute Stripe volume) : Brick Server 数扯是条带数（ 数据块分布的Brick 数址）的倍数， 兼具分布式卷和条带卷的特点。
► 分布式复制卷(Distribute Replica volume ) : Brick Server 数量是镜像数（数据副本数量）的倍数， 兼具分布式卷和复制卷的特点。
► 条带复制卷(Stripe Replica volume ) : 类似RAID 10 , 同时具有条带卷和复制卷的特点。
► 分布式条带复制卷(Distribute Stripe Replicavolume ) : 三种基本卷的复合卷， 通常用于类Map Reduce 应用。

1. 分布式卷

分布式卷是GlusterFS 的默认卷， 在创建卷时， 默认选项是创建分布式卷。在该模式下，并没有对文件进行分块处理， 文件直接存储在某个Server 节点上。直接使用本地文件系统进行文件存储， 大部分Li nux 命令和工具可以继续正常使用。需要通过扩展文件属性保存HASH 值， 目前支持的底层文件系统有EXT3 、EXT4 、ZFS 、XFS 等。
由于使用的是本地文件系统， 所以存取效率并没有提高， 反而会因为网络通信的原因而有所降低； 另外支持超大型文件也会有一定的难度， 因为分布式卷不会对文件进行分块处理。
虽然EXT4 已经可以支持最大16TB 的单个文件， 但是本地存储设备的容量实在有限。如下图所示， File1 和File2 存放在Server1 , 而File 3 存放在Server2 , 文件都是随机存储， 一个文件（ 如Fi le1 ) 要么在Server1 上， 要么在Server2 上， 不能分块同时存放在Server1和Server2 上。

分布式卷具有如下特点：

• 文件分布在不同的服务器，不具备冗余性。
• 更容易且廉价地扩展卷的大小。
• 存在单点故障会造成数据丢失。
• 依赖底层的数据保护。

2. 条带卷

Stripe 模式相当千RAIDO , 在该模式下， 根据偏移簸将文件分成N 块（ N 个条带节点） ，轮询地存储在每个Brick Server 节点。节点把每个数据块都作为普通文件存入本地文件系统中，通过扩展属性记录总块数C Stri pe-count ) 和每块的序号C Stripe-index ) 。在配置时指定的条带数必须等千卷中Brick 所包含的存储服务器数，在存储大文件时，性能尤为突出，但是不具备冗余性。

将数据文件分布到不同的Bri ck 节点， 如下图所示， Fi le 被分割为6 段， 1 、3 、5 放在Server1, 2 、4 、6 放在Server2 。

条带卷具有如下特点。

• 数据被分割成更小块分布到块服务器群中的不同条带区。
• 分布减少了负载且更小的文件加速了存取的速度。
• 没有数据冗余。

3. 复制卷

复制模式，也称为AFR ( AutoFile Replication ) , 相当于RAID1, 即同一文件保存一份或多份副本， 每个节点上保存相同的内容和目录结构。复制模式因为要保存副本， 所以磁盘利用率较低。如果多个节点上的存储空间不一致， 那么将按照木桶效应取最低节点的容量作为该卷的总容量。在配置复制卷时， 复制数必须等于卷中Brick 所包含的存储服务器数， 复制卷具备冗余性， 即使一个节点损坏， 也不影响数据的正常使用。
将数据文件分布到不同的Brick 节点， 如下图所示。File 1 同时存在Server1 和Server2,File2 也是如此， 相当于Server2 中的文件是Server1 中文件的副本。

复制卷具有如下特点。

• 卷中所有的服务器均保存一个完整的副本。
• 卷的副本数撮可由客户创建的时候决定。
• 至少有两个块服务器或更多服务器。
• 具备冗余性。

4. 分布式条带卷

分布式条带卷兼顾分布式卷和条带卷的功能， 主要用于大文件访问处理， 创建一个分布式条带卷最少需要4 台服务器。
下图展示了分布式条带卷原理。File1 和File2 通过分布式卷的功能分别定位到Server1和Server2 。在Server1 中， File1 被分割成4 段， 其中1 、3 在Server1 中的exp 1 目录中，2 、4 在Server1 中的exp2 目录中。在Server2 中， File2 也被分割成4 段， 其中1 、3 在Server2 中的exp3 目录中， 2 、4 在Server2 中的exp4 目录中。

 5 . 分布式复制卷

分布式复制卷兼顾分布式卷和复制卷的功能， 主要用千需要冗余的情况下。下图呈现了分布式复制卷原理。Fi le1 和File2 通过分布式卷的功能分别定位到Server1 和Server2 。在存放File1 时， 回e1 根据复制卷的特性， 将存在两个相同的副本， 分别是Server1 中的exp 1 目录和Server2 中的exp2 目录。在存放File2 时， File2 根据复制卷的特性， 也将存在两个相同的副本， 分别是Server3 中的exp3 目录和Server4 中的exp4 目录。