HDFS配额

HDFS配额

一、概述

HDFS允许管理员为所使用的名称数量和用于单个目录的空间量设置配额。名称配额和空间配额独立运作，但两种配额的管理和执行密切相关。

二、命名配额

命名配额是指在一个文件夹下面的文件夹和文件的个数配置一定的数量。如果超过这个限额，那么文件和文件夹的创建会失败，重命名后命名配额仍然起作用。如果重命名操作违反配额的限制，那么重命名也会失败。新创建的目录中没有配额的限制。Log.Max_Value表示最大限额。如果配额为1，那么这个文件就会强制为空（一个目录也占用自己的配额）。
配额被持久化的保存在fsimage中，当启动后，如果fsimage违反了配额限制（由于fsimage偷偷的改变），这时会打印警告。设置或删除配额，会创建一个日志条目。

三、空间配额

空间配额就是指设置一个文件夹的大小，如果超过限额，那么文件块的写入就会失败。副本也算配额中的一部分。重命名后配额还是起作用，如果违反配额限制，那么重命名会失败。新创建的文件夹不会有配额的限制。Long.Max_Value可以设置最大的配额，配额设置为0时，可以创建文件，但是不能向文件中写入数据。文件夹不适用主机文件系统，不计算在空间配额里面，主机文件系统用来记录文件源数据的数据不算在配额内。

四、存储类型配额

存储类型配额时针对目录树中的文件使用特定的存储类型（SSD、DISK、ARCHIVE）的硬限制。需要在目录上配置存储策略，才能配置存储类型配额。
存储类型配额可以与空间配额和名称配额相结合。以有效的管理集群存储使用情况。
1.对于配置了存储策略的目录。管理员应设置资源限制存储类型（如SSD）对应的配额，并将其他存储类型的配额和总空间配额保留为限制较少的值或默认值（无限制）。HDFS将根据存储策略和总体空间配额从目标存储类型中扣除配额。
2.对于未配置存储策略的目录，管理员不应配置存储类型配额。虽然特定存储类型不可用（或可用但未正确配置存储类型信息），也可以配置存储类型配额。但是，在这种情况下，建议使用总体空间配额，因为存储类型信息对与存储类型配额的实施不可用，或不准确，也就是说