利用graphviz生成hadoop 2.0 Yarn中的MR/RM/NM状态转换图

Graphviz是基于dot语言的绘图工具,它不是使用鼠标来画图的,而是通过dot语言描述,然后在命令行下使用命令生成对应的图片如有向图、无向图、关系图、目录图、流程图等。这样做的优点是不用去手动的对齐坐标,而且也可以作为一些可视化的解决方案。

在hadoop yarn中,可以很方便的生成状态转换图:
(1) 安装graphviz

sudo apt-get/yum install graphviz

mac下执行:

brew install graphviz

(2) 编译gv格式文件
在 $HADOOP_HOME/src 源码目录下,使用maven编译时加上生成.gv的选项:

mvn compile -Pvisualize

会生成ResourceManager.gv,NodeManager.gv和MapReduce.gv三个文件

(3) 将生成的gv格式文件转换为png图像
比如生成ResourceManager的状态图:

dot -Tpng ResourceManager.gv > ResourceManager.png

有了状态图,查看Hadoop源码就更方便了。


MapReduce Task状态转换图(点击图片可以查看原图):
MapReduce Task

MapReduce Task

MapReduce TaskAttempt状态转换图:

MapReduce TaskAttempt

MapReduce TaskAttempt

MapReduce Job状态转换图:

Mapreduce Job

MapReduce Job


NodeManager LocalizedResource状态转换图:
NodeManager LocalizedResource

NodeManager LocalizedResource

NodeManager Container状态转换图:

NodeManager Container

NodeManager Container

NodeManager Application状态转换图:

NodeManager Applicatioin

NodeManager Applicatioin


ResourceManager RMApp状态转换图:
ResourceManager RMApp

ResourceManager RMApp

ResourceManager RMNode状态转换图:

ResourceManager RMNode

ResourceManager RMNode

ResourceManager RMContainer状态转换图:

ResourceManager RMContainer

ResourceManager RMContainer

ResourceManager RMAppAttempt状态转换图:

ResourceManager RMAppAttempt

ResourceManager RMAppAttempt

参考文献:http://www.rigongyizu.com/generate-hadoop-yarn-state-transit-graph/

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值