Hadoop3.2.0 HDFS 快照

HDFS快照

• 概观
  • Snapshottable目录
  • 快照路径
• 使用快照升级到HDFS版本
• 快照操作
  • 管理员操作
    • 允许快照
    • 禁止快照
  • 用户操作
    • 创建快照
    • 删除快照
    • 重命名快照
    • 获取Snapshottable目录列表
    • 获取快照差异报告

概观

HDFS快照是文件系统的只读时间点副本。可以在文件系统的子树或整个文件系统上拍摄快照。快照的一些常见用例是数据备份，防止用户错误和灾难恢复。

HDFS快照的实施非常有效：

• 快照创建是即时的：成本是O（1），不包括inode查找时间。

• 仅当相对于快照进行修改时才使用附加内存：内存使用量为O（M），其中M是已修改文件/目录的数量。

• 不复制datanode中的块：快照文件记录块列表和文件大小。没有数据复制。

• 快照不会对常规HDFS操作产生负面影响：以反向时间顺序记录修改，以便可以直接访问当前数据。通过从当前数据中减去修改来计算快照数据。

Snapshottable目录

一旦将目录设置为snapshottable，就可以在任何目录上拍摄快照。快照目录可以容纳65,536个同步快照。快照目录的数量没有限制。管理员可以将任何目录设置为快照。如果快照目录中有快照，则在删除所有快照之前，既不能删除也不能重命名目录。

目前不允许嵌套的快照目录。换句话说，如果其祖先/后代之一是快照目录，则无法将目录设置为snapshottable。

快照路径

对于快照目录，路径组件“.snapshot”用于访问其快照。假设  /foo 是一个snapshottable目录  /foo/bar   是在一个文件/directory/foo，和  /foo 具有快照S0。然后，路径/foo/.snapshot/s0/bar引用/ foo / bar的快照副本。通常的API和CLI可以使用“.snapshot”路径。以下是一些例子。

• 列出快照目录下的所有快照：

  hdfs dfs -ls /foo/.snapshot

• 列出快照s0中的文件：

  hdfs dfs -ls /foo/.snapshot/s0

• 从快照s0复制文件：

  hdfs dfs -cp -ptopax /foo/.snapshot/s0/bar /tmp

  请注意，此示例使用preserve选项来保留时间戳，所有权，权限，ACL和XAttrs。

使用快照升级到HDFS版本

HDFS快照功能引入了用于与快照交互的新保留路径名：.snapshot。从不支持快照的旧版HDFS升级时，需要首先重命名或删除名为.snapshot的现有路径，以避免与保留路径冲突。有关详细信息，请参阅HDFS用户指南中的升级部分。

快照操作

管理员操作

本节中描述的操作需要超级用户权限。

允许快照

允许创建目录的快照。如果操作成功完成，则该目录将变为快照。

• 命令：

  hdfs dfsadmin -allowSnapshot <path>

• 参数：

  path

  快照目录的路径。

另请参见相应的Java API 无效allowSnapshot（路径路径）在HdfsAdmin。

禁止快照

不允许创建目录的快照。在禁止快照之前，必须删除目录的所有快照。

• 命令：

  hdfs dfsadmin -disallowSnapshot <path>

• 参数：

  path

  快照目录的路径。

另请参见相应的Java API 无效disallowSnapshot（路径路径）在HdfsAdmin。

用户操作

该部分描述了用户操作。请注意，HDFS超级用户可以执行所有操作，而无需满足各个操作中的权限要求。

创建快照

创建快照目录的快照。此操作需要快照目录的所有者权限。

• 命令：

  hdfs dfs -createSnapshot <path> [<snapshotName>]

• 参数：

  path	快照目录的路径。
  snapshotName	快照名称，是可选参数。省略时，使用格式为“'s'yyyyMMdd-HHmmss.SSS”的时间戳生成默认名称，例如“s20130412-151029.033”。

另请参见相应的Java API 路径createSnapshot（路径路径）和路径createSnapshot（路径路径字符串snapshotName）在文件系统快照路径在这些方法返回。

删除快照

从快照目录中删除快照。此操作需要快照目录的所有者权限。

• 命令：

  hdfs dfs -deleteSnapshot <path> <snapshotName>

• 参数：

  path	快照目录的路径。
  snapshotName	快照名称。

另请参见相应的Java API 无效deleteSnapshot（路径路径字符串snapshotName）的文件系统。

重命名快照

重命名快照。此操作需要快照目录的所有者权限。

• 命令：

  hdfs dfs -renameSnapshot <path> <oldName> <newName>
  

• 参数：

  path	快照目录的路径。
  oldName	旧快照名称。
  newName	新快照名称。

另请参见相应的Java API 无效renameSnapshot（路径路径，字符串使用oldName，字符串newName）将在文件系统。

获取Snapshottable目录列表

获取当前用户有权使用snapshtos的所有快照目录。

• 命令：

  hdfs lsSnapshottableDir

• Arguments ：无

另请参见相应的Java API SnapshottableDirectoryStatus [] getSnapshottableDirectoryListing（）中DistributedFileSystem。

获取快照差异报告

获取两个快照之间的差异。此操作需要两个快照中所有文件/目录的读访问权限。

• 命令：

  hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>

• 参数：

  path	快照目录的路径。
  fromSnapshot	起始快照的名称。
  toSnapshot	结束快照的名称。

  请注意，snapshotDiff可用于获取两个快照之间或快照与目录当前状态之间的差异报告。用户可以使用“。”来表示当前状态。

• 结果：

  +	文件/目录已创建。
  -	文件/目录已被删除。
  M	文件/目录已被修改。
  R	文件/目录已重命名。

一个RENAME条目表示一个文件/目录已被重命名，但仍然是相同的snapshottable目录下。如果文件/目录已重命名为snapshottble目录之外，则报告为已删除。从snapshottble目录外部重命名的文件/目录将报告为新创建的。

快照差异报告不保证相同的操作顺序。例如，如果我们将目录“/ foo”重命名为“/ foo2”，然后将新数据附加到文件“/ foo2 / bar”，则差异报告将为：

R. /foo -> /foo2
M. /foo/bar

即，使用重命名之前的原始路径（在上面的示例中为“/ foo / bar”）报告重命名目录下的文件/目录的更改。

另请参见相应的Java API SnapshotDiffReport getSnapshotDiffReport（路径路径，字符串fromSnapshot，字符串toSnapshot）在DistributedFileSystem。

 

原文链接: https://hadoop.apache.org/docs/r3.2.0/