hadoop之non dfs used

最近总是被问到ambari上显示的磁盘上磁盘使用率上non dfs used是指什么，之前的回复都是“不是hdfs使用的空间，比如说系统linux本身文件占用的空间等”，朋友表示解释的不够准确。无意间看到一个老外在stackoverflow上写的例子，感觉还是很有道理的，表述如下：
“non dfs used”可以通过如下公式进行计算：

non dfs used = configured capacity - remaining space - reserved space

我认为还是有点小疑惑，之前看到有个配置,这个配置dfs.datanode.du.reserved说是预留给non dfs的空间。
所以，计算公式应该如下：

Non DFS used = ( Total Disk Space - Reserved Space) - Remaining Space - DFS Used

举个例子吧：
如果有100G磁盘，设置dfs.datanode.du.reserved这个值为30G，在该磁盘上系统和其他文件使用了40G，DFS使用了10GB。如果执行df -h,可以看到有效空间是50G.
在HDFS web 界面上，会看到
non dfs user=100(total)-30(reserved)-10(dfs used)-50(remaing)=10G.
所以实际上，你初始预留了30G给non dfs使用，70G给hdfs.然而，实际出来的non dfs使用超过了30G并且吃掉了属于hdfs的10g空间。
“non dfs used”应该这样子定义“how much configured dfs capacity are occupied by non dfs use”.不应该去计算为什么非dfs 在hadoop集群内部使用率是如此高。
可用用‘lsof|grep delete’,该命令可以帮你确认哪些已经打开的文件被删除了。有时候，hadoop的进程（例如hive/yarn/mapred/hdfs等）也会引用这些已经删除的文件。这些引用也会占用磁盘空间。可以用这个命令

du -hsx * | sort -rh | head -10

查看排行10的最大文件夹或是文件。