hadoop2.x配置jobHistory server(转)

Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,Hadoop历史服务器是没有启动的,我们可以通过下面的命令来启动Hadoop历史服务器

  1. $ sbin/mr-jobhistory-daemon.sh   start historyserver
复制代码


这样我们就可以在相应机器的19888端口上打开历史服务器的WEB UI界面。可以查看已经运行完的作业情况。历史服务器可以单独在一台机器上启动,主要是通过以下的参数配置:

  1. <property>
  2.     <name>mapreduce.jobhistory.address</name>
  3.     <value>0.0.0.0:10020</value>
  4. </property>
  5. <property>
  6.     <name>mapreduce.jobhistory.webapp.address</name>
  7.     <value>0.0.0.0:19888</value>
  8. </property>
复制代码


上面的参数是在mapred-site.xml文件中进行配置,mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address默认的值分别是0.0.0.0:10020和0.0.0.0:19888,大家可以根据自己的情况进行相应的配置,参数的格式是host:port。配置完上述的参数之后,重新启动Hadoop jobhistory,这样我们就可以在mapreduce.jobhistory.webapp.address参数配置的主机上对Hadoop历史作业情况经行查看。

  很多人就会问了,这些历史数据是存放在哪里的?是存放在HDFS中的,我们可以通过下面的配置来设置在HDFS的什么目录下存放历史作业记录:


  1. <property>
  2.     <name>mapreduce.jobhistory.done-dir</name>
  3.     <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
  4. </property>
  5. <property>
  6.     <name>mapreduce.jobhistory.intermediate-done-dir</name>
  7.     <value>${yarn.app.mapreduce.am.staging-dir}
  8.                          /history/done_intermediate</value>
  9. </property>
  10. <property>
  11.     <name>yarn.app.mapreduce.am.staging-dir</name>
  12.     <value>/tmp/hadoop-yarn/staging</value>
  13.     <description>这个配置项是放在yarn-site.xml里面的。该参数指定的目录在hdfs上,主要用来存放application的说明信息,包括依赖的jar,输入数据的划分信息以及作业的执行计划等</descrption>
  14. </property>
复制代码


上面的配置都默认的值,我们可以在mapred-site.xml文件中进行修改。其中,mapreduce.jobhistory.done-dir参数的意思是在什么目录下存放已经运行完的Hadoop作业记录;mapreduce.jobhistory.intermediate-done-dir的意思是正在运行的Hadoop作业记录。我们可以到mapreduce.jobhistory.done-dir参数配置的目录下看看里面存放的是什么东西:

  1. [wyp@master /home/wyp/hadoop]# bin/hadoop fs -ls /jobs/done/
  2. Found 2 items
  3. drwxrwx---   - wyp supergroup          0 2013-12-03 23:36 /jobs/done/2013
  4. drwxrwx---   - wyp supergroup          0 2014-02-01 00:02 /jobs/done/2014
  5. [wyp@master /home/wyp/hadoop]# bin/hadoop fs -ls /jobs/done/2014/02/16
  6. Found 27 items
  7. drwxrwx--- - wyp supergroup 0 2014-02-16 02:02 /jobs/done/2014/02/16/001216
  8. drwxrwx--- - wyp supergroup 0 2014-02-16 02:44 /jobs/done/2014/02/16/001217
  9. drwxrwx--- - wyp supergroup 0 2014-02-16 03:38 /jobs/done/2014/02/16/001218
  10. drwxrwx--- - wyp supergroup 0 2014-02-16 04:20 /jobs/done/2014/02/16/001219
  11. drwxrwx--- - wyp supergroup 0 2014-02-16 05:14 /jobs/done/2014/02/16/001220
  12. [wyp@master hadoop]# bin/hadoop fs -ls /jobs/done/2014/02/16/001216
  13. Found 1318 items
  14. -rwxrwx---   3 wyp    supergroup   45541335 2014-02-16 00:11 /jobs/done/2014
  15. /02/16/001216/job_1388830974669_1216161-1392478837250-wyp-insert+overwrite
  16. +table+qt_city_query_ana...e%28Stage-1392480689141-5894-33-SUCCEEDED-wyp.jhist
  17. -rwxrwx---   3 wyp    supergroup     193572 2014-02-16 00:11 /jobs/done
  18. /2014/02/16/001216/job_1388830974669_1216161_conf.xml
  19. -rwxrwx---   3 wyp    supergroup   45594759 2014-02-16 00:11 /jobs/done/2014
  20. /02/16/001216/job_1388830974669_1216162-1392478837250-wyp-insert+overwrite
  21. +table+qt_city_query_ana...e%28Stage-1392480694818-5894-33-SUCCEEDED-wyp.jhist
  22. -rwxrwx---   3 wyp    supergroup     193572 2014-02-16 00:11 /jobs/done
  23. /2014/02/16/001216/job_1388830974669_1216162_conf.xml
复制代码


 通过上面的结果我们可以得到一下几点:
  (1)、历史作业记录是存放在HDFS目录中;
  (2)、由于历史作业记录可能非常多,所以历史作业记录是按照年/月/日的形式分别存放在相应的目录中,这样便于管理和查找;
  (3)、对于每一个Hadoop历史作业记录相关信息都用两个文件存放,后缀名分别为*.jhist,*.xml。*.jhist文件里存放的是具体Hadoop作业的详细信息,如下:


  1. {
  2.   "type": "JOB_INITED",
  3.   "event": {
  4.       "org.apache.hadoop.mapreduce.jobhistory.JobInited": {
  5.          "jobid": "job_1388830974669_1215999",
  6.          "launchTime": 1392477383583,
  7.          "totalMaps": 1,
  8.          "totalReduces": 1,
  9.          "jobStatus": "INITED",
  10.          "uberized": false
  11.       }
  12.    }
  13. }
复制代码

这是Hadoop JOB初始化的一条信息,通过观察我们知道,*.jhist文件里面全部都是Json格式的数据。根据type进行区分这条Json的含义,在Hadoop中,总共包含了一下几个type:


  1. "JOB_SUBMITTED",
  2. "JOB_INITED",
  3. "JOB_FINISHED",
  4. "JOB_PRIORITY_CHANGED",
  5. "JOB_STATUS_CHANGED",
  6. "JOB_FAILED",
  7. "JOB_KILLED",
  8. "JOB_ERROR",
  9. "JOB_INFO_CHANGED",
  10. "TASK_STARTED",
  11. "TASK_FINISHED",
  12. "TASK_FAILED",
  13. "TASK_UPDATED",
  14. "NORMALIZED_RESOURCE",
  15. "MAP_ATTEMPT_STARTED",
  16. "MAP_ATTEMPT_FINISHED",
  17. "MAP_ATTEMPT_FAILED",
  18. "MAP_ATTEMPT_KILLED",
  19. "REDUCE_ATTEMPT_STARTED",
  20. "REDUCE_ATTEMPT_FINISHED",
  21. "REDUCE_ATTEMPT_FAILED",
  22. "REDUCE_ATTEMPT_KILLED",
  23. "SETUP_ATTEMPT_STARTED",
  24. "SETUP_ATTEMPT_FINISHED",
  25. "SETUP_ATTEMPT_FAILED",
  26. "SETUP_ATTEMPT_KILLED",
  27. "CLEANUP_ATTEMPT_STARTED",
  28. "CLEANUP_ATTEMPT_FINISHED",
  29. "CLEANUP_ATTEMPT_FAILED",
  30. "CLEANUP_ATTEMPT_KILLED",
  31. "AM_STARTED"
复制代码

而*.xml文件里面记录的是相应作业运行时候的完整参数配置,大家可以进去查看一下。

  (4)、每一个作业的历史记录都存放在一个单独的文件中。
  mapreduce.jobhistory.intermediate-done-dir配置的目录下主要存放的是当前正在运行的Hadoop任务的记录相关信息,感兴趣的同学可以进去看看,这里就不介绍了。
  如果对Hadoop历史服务器WEB UI上提供的数据不满意,我们就可以通过对mapreduce.jobhistory.done-dir配置的目录进行分析,得到我们感兴趣的信息,比如统计某天中运行了多少个map、运行最长的作业用了多少时间、每个用户运行的Mapreduce任务数、总共运行了多少Mapreduce数等信息,这样对监控Hadoop集群是很好的,我们可以根据那些信息来确定怎么给某个用户分配资源等等。

 细心的同学可能发现,在Hadoop历史服务器的WEB UI上最多显示20000个历史的作业记录信息;其实我们可以通过下面的参数进行配置,然后重启一下Hadoop jobhistory即可。
  1. <property>
  2.     <name>mapreduce.jobhistory.joblist.cache.size</name>
  3.     <value>20000</value>
  4. </property>
复制代码

 

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值