hadoop fsck

Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]
        <path>             检查这个目录中的文件是否完整

        -move               破损的文件移至/lost+found目录
        -delete             删除破损的文件

        -openforwrite   打印正在打开写操作的文件

        -files                 打印正在check的文件名

        -blocks             打印block报告 （需要和-files参数一起使用）

        -locations         打印每个block的位置信息（需要和-files参数一起使用）

        -racks               打印位置信息的网络拓扑图 （需要和-files参数一起使用）

 

 

hadoop  fsck /

用这个命令可以检查整个文件系统的健康状况，但是要注意它不会主动恢复备份缺失的block，这个是由NameNode单独的线程异步处理的。

需要注意的是在执行fsck命令行的客户端必选在hadoop-site.xml中配置dfs.http.address项，即namenode的http地址。否则会抛出java.net.ConnectException: Connection refused异常。其原因是fsck是namenode的一个servlet。而fsck命令对应的类DFSck其实是封装了一个http连接，简单的说就是抓取一个网页。而这个网页URL就是dfs.http.address配置项的value后面接上fsck，如http://test_namenode:50070/fsck。也就是说用浏览器打开这个网页和命令行执行fsck效果是一样的。

namenode的这个Servlet类名是FsckServlet，它的doGet函数里定义了一个NamenodeFsck对象并执行起fsck()函数。fack()函数递归地从指定path遍历所有的目录和文件，并根据选项确定要打印的内容。如果指定了-move选项，则损坏的文件会被移动到/lost+found目录，如果在根目录下已经存在一个名为lost+found的文件，则move操作会失败并打印warning信息。

对于大的集群来说，对根目录执行fsck操作是很耗时间的而且对namenode压力很大，因此要谨慎使用。通常每天在集群较空闲的时候执行一次以查看数据状况。另外由于任何用户都可以在命令行或浏览器中执行fsck操作，因此可以考虑对该操作进行 权限控制，防止被误操作。