【元数据分布算法研究笔记】-HAP

论文题目：A DESIGN OF METADATA SERVER CLUSTER IN LARGE DISTRIBUTED OBJECT-BASED STORAGE

下载地址：

作者：Jie Yan, Yao-LongZhu, Hui Xiong, Renuga Kanagavelu, Feng Zhou, So LihWeon

出处：Data StorageInstitute, Singapore

主要思想：

算法主要关心两个指标：元数据请求负载，集群负载均衡。

集群架构设计

算法中所有的MDS节点共享一个独立的大型公共存储空间来存取元数据。该空间划分为多个逻辑分区,每个MDS可以通过安装或卸载分区的方法互斥管理一个或多个分区。MDS节点只负责元数据的管理,公共的共享存储空间则负责元数据的存储。

File Hashiing Manager--

HAP也属于散列算法,它存在两种哈希：

（1）文件名哈希，对应着元数据和MDS之间的映射关系。客户节点通过这个映射可以找到存储指定元数据的MDS。

（2）路径名哈希,对应着元数据和逻辑分区的映射关系,MDS通过这个映射可以在他管理的逻辑分区内找到客户所请求的元数据的具体位置。

Logical Partition Manager--

逻辑分区管理器管理所有逻辑分区，可完成很多逻辑分区管理操作，如：分区挂载、卸载、备份、日志恢复。

Mapping Manager—

完成两种映射任务，参考公式

H代表哈希函数，f代表把哈希结果和分区号Pi进行映射的函数，ML代表从分区号和其他参数计算出MDSi的函数，PW代表分区权值，MW代表元数据权值（权值的意义在讨论负载均衡的时候可以看到）。

集群负载均衡能力

负载均衡公式

Pn代表分区总数，Mn代表元数据服务器总数。等式左边分子代表某个元数据服务器挂载的分区的权值的和。

每个MDS都需哟啊保存它本身和所有挂载的分区的负载信息，根据下面的公式计算出MDS和分区下一时刻的值。

MDSLOAD(i)代表i时刻MDS的负载，MDACURLOAD代表MDS当前负载；PLOAD(i)代表i时刻分区的负载，PCURLOAD代表分区当前负载，α、β值是常数调整因子（值怎么取论文没有提到）。

只有负载值到达阈值时才会告知管理节点，然后根据PLOAD值重新设定新的PW值，再根据负载均衡公式重新计算出新的均衡值并修改MLT（Metadata Look-up Table）。

MDS集群故障复原设计

MDS集群扩展性设计

HAP大大简化了元数据服务器的扩展过程。新的MDS加入后，MDS集群调整MWs，因而重新基于ML值生成MLT。

过程中不涉及文件名和逻辑分区的映射关系的修改，只是对MDS挂载的分区数进行修改。

MDS集群重构

预设的逻辑分区数限制了扩展能力（超出了分区总预设容量的情形）。元数据重新分布带来了多个MDS之间的大量通信负担，为了减少通信量，HAP采用了推迟更新算法：

在重构时HAP同时保存老的映射函数和新的映射函数，并生成新的MLT（这时候将以前映射的分区和新映射的分区都挂载），进入重构模式。在重构的过程中，系统的行为似乎看起来是是元数据已经移动到了新的逻辑分区，但事实上HAP的更新或移动发生在对数据的第一次访问。

HAP事实上可以新开一个线程专门在系统空闲的时候完成元数据迁移工作。

不足：不同文件夹下的同名文件会被映射给一个MDS来管理，造成同名文件热点问题。

修改某个目录名，则该目录的元数据在逻辑分区中的存储位置改变，且该目录为根的子树存放位置也会改变。

逻辑分区的个数和每个逻辑分区的存储区域是有限的。可扩展性仅限于MDS层。

只能解决MDS之间的并行性,但是从存储设备层的角度来看,所有的MDS都要访问同一个共享的物理存储设备，不具有并行性造成I/O瓶颈。