HDFS之ViewFS Overload Schema

ViewFS Overload Schema

ViewFS Overload Schema是3.x的新特性，主要是为了解决ViewFS存在的两个问题：

• fs.default必须修改为viewfs://，其他分布式系统会有兼容性问题，并且用户代码也需要修改

• 重度依赖客户端，每次对mount table的更新都需要发布到所有客户端，维护困难

ViewFS Overload Schema是对ViewFS的扩展，它不但可以让用户继续使用以hdfs://开头的schema，而且可以将mount table保存在hadoop兼容的文件系统。

配置

配置在core-site.xml

1. 启用ViewFS Overload Schema

<property>
  <name>fs.<scheme>.impl</name>
  <value>org.apache.hadoop.fs.viewfs.ViewFileSystemOverloadScheme</value>
</property>

这里的schema与fs.defaultFS配置的相同。如果fs.defaultFS配置的为hdfs://mycluster，那么配置即为：

<property>
  <name>fs.mycluster.impl</name>
  <value>org.apache.hadoop.fs.viewfs.ViewFileSystemOverloadScheme</value>
</property>

2. 中心配置Mount table

配置在core-site.xml

此配置用来指定mount table文件所在的地址(可以是当前hdfs集群)

<property>
  <name>fs.viewfs.mounttable.path</name>
  <value>hdfs://cluster/config/mount-table-dir</value>
</property>

在此位置下，需要配置一个以mount-table..xml为名的文件。versionNumber需要是一个整型并且递增的，这样每次只会加载最新的文件。

同样也可以指定死文件：

<property>
  <name>fs.viewfs.mounttable.path</name>
  <value>hdfs://cluster/config/mount-table-dir/mount-table.<versionNumber>.xml</value>
</property>

但这两个配置不要同时存在，否则可能会产生混乱。

3. 挂载点配置

基本与viewfs一样

如果此时fs.defaultFS的配置为hdfs://cluster，那么挂载配置如下例所示：

<property>
  <name>fs.viewfs.mounttable.cluster.link./user</name>
  <value>hdfs://cluster/user</value>
</property>

<property>
  <name>fs.viewfs.mounttable.cluster.link./data</name>
  <value>o3fs://bucket1.volume1/data</value>
</property>

<property>
  <name>fs.viewfs.mounttable.cluster.link./backup</name>
  <value>s3a://bucket1/backup/</value>
</property>

基本与viewfs一样

hdfs://cluster/user/ 挂载到了 hdfs://cluster/user/

hdfs://cluster/data/ 挂载到了o3fs://bucket1.volume1.omhost/data/

hdfs://cluster/backup 挂载到了s3a://bucket1/backup/

如果此时fs.defaultFS的配置为hdfs://cluster，那么挂载配置如下例所示：
对比图：

与viewfs相比 基本保持了schema不变

总结

ViewFS Overload Schema非常轻量，并且的确解决了ViewFS存在的一些问题，在它出现之前，社区还有一种基于服务端的解决方案RBF。