DataStriping

最新推荐文章于 2021-07-19 18:44:35 发布

zhxue123

最新推荐文章于 2021-07-19 18:44:35 发布

阅读量1k

点赞数

分类专栏： Grid 文章标签：磁盘 attributes object 服务器 system performance

本文链接：https://blog.csdn.net/zhxue123/article/details/5847167

版权

Grid 专栏收录该内容

21 篇文章 0 订阅

订阅专栏

1. What is data stripping

The follwing shows terrific explanation

http://en.wikipedia.org/wiki/Data_striping

Why HDFS doesn't adopt data stripping

HDFS集群没有采用RAID(冗余磁盘阵列)作为datanodes的存储设备(尽管namenode使用RAID来保护元数据不会丢失)。由于HDFS是采用在节点之间块复制的方法，所以RAID提供的冗余机制对HDFS来说是多余的。

此外，RAID条带(RAID 0)常用于增加性能，但却比HDFS中用到的JBOD(Just a Bunch Of Disks)要慢，而且JBOD在所有的磁盘之间对HDFS块进行时间片的轮转。具体说，RAID 0读写操作受限于冗余磁盘阵列中最慢的那个磁盘的速度。在JBOD中，磁盘的操作是独立的，所以读写操作的平均速度要大于最慢磁盘的速度。实际应用中，磁盘性能多是可以改变的，即使是同一型号的磁盘。在Yahoo Hadoop Cluster的Benchmark中，测试Gridmix显示JBOD要比RAID 0快10%，另一个测试显示快30%(这里的测试指的是HDFS的写能力。

最后，当一个JBOD配置中的一个磁盘失效，HDFS可以继续操作；但是在RAID中，一个磁盘的失效将会导致整个阵列(节点也一样)变得不再可用。

2.一些并行文件的特点：

1) 在GPFS中，大文件通过循环方式放置在不同的磁盘上，小文件的读写通过合并写来提高性能

2) Sun的PFS(Parallel File System)lS1支持高性能．可扩展IO。他将文件分步在多个磁盘以及服务器上，以内核模块的方
式集成到Solaris操作环境中，实现VFS接口

3）PVFS(Parallel Virtual File System)[31是Clemson大学的一个Linux操作系统下的开放源码的并行虚拟文件系统。他利用
客户一服务器架构实现．提供集群范围内一致的命名空间．并将数据条块化，分配到多个结点上。客户端和服务器之间的消息
传递通过TCP来实现。

4）DAFS(Direct Access File System) 是一个为本地文件共享或者集群环境设计的文件访问和管理协议。他的主要目标有两个：利用内存映射等网络技术提供低延迟、高吞吐量以及低负载的数据访问：为本地文件共享定义了一组文件管理和文件访问操作。

5) 为了提高系统的可靠性，Lustre为MDS提供了failvoer功能。Lustre系统可以配置两个MDS服务器，其中一个作为备份。两个服务器采用共享存储的方式来存放元数据。当某个 MDS出现故障后，备份服务器可以接管其服务，保证系统的正常运行。(这个做法可以用在我们的系统中，保障挂接不失败)

6）XFS 是最早的Serverlesss 分布式文件系统，主要侧重于通过合作式缓存来提高读写性能，不具备系统的在线动态扩展功能，并没能真正实用起来。

7）HDFS不适合的文件访问模型（http://hi.baidu.com/hzd2712/blog/item/1d0c584b581adefc82025c02.html）：

低延迟访问

如果应用要求对数据低延迟访问，比如在数十毫秒的范围，那么HDFS就不适用了。HDFS在传输高吞吐量的数据方面被优化，那么这就会以增加延迟为代价。HBase是目前一个对于低延迟访问的较好的选择。

大量的小文件

由于namenode在内存中持有文件系统的元数据，文件系统中文件个数的限制就由namenode上的内存数额决定了。作为一个经验法则，每一个文件、目录和块需要大约150字节。所以如果你有一百万个文件，每个文件占用一个块，那么你将需要至少300M内存。存储数百万个文件是可行的，但是数十亿个文件就超出了当前硬件的承载容量了。

多个写作者，随意的文件修改

HDFS中的文件由一个单独的作者进行写操作。写入始终在文件的末端进行。HDFS不支持多个写作者，或者说不支持在文件中进行任意的修改。(Hadoop将来可能会支持这些操作，但是相对而言，效率会降低)

3.Network Stroage System （http://developers.sun.com/solaris/articles/osd.html）

The above site provides rich infomation and figures about NSS.

There are two types of network storage systems, each distinguished by their command sets:

Storage area networks (SANs) use the SCSI block I/O command set, which provides high random I/O and data throughput performance using direct access to the data at the level of the disk drive or fibre channel.
Network attached storage (NAS) systems use Network File Systems (NFS) or Common Internet File System (CIFS) command sets for accessing data. Multiple nodes can access the data because the metadata on the media is shared.

Conversely, object storage is based on data objects that encapsulate user data, including the data attributes and metadata. The combination of data, attributes, and metadata enables object storage to determine data layout or quality of service on a per-object basis, improving flexibility and manageability.

The unique design of object storage differs from standard storage devices with a traditional block-based interface. Object storage is an intelligent evolution of disk drives that can store and serve objects rather than simply place data on tracks and sectors. This task is accomplished by moving low-level storage functions into the storage device and accessing the device through an object interface. Systems using object storage provide the following benefits, which are highly desirable across a wide range of typical IT storage applications: