hadoop查看日志

mapred-site.xml中的jobhistory相关配置参数的参数含义 
   mapreduce.jobhistory.address 
   mapreduce.jobhistory.webapp.address 
 
 1、14/04/04 17:32:35 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:10020. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS) 

 

  原因：这个问题是由于没有启动historyserver引起的

在mapred-site.xml配置文件中添加：

<property>  
        <name>mapreduce.jobhistory.address</name>  
        <value>TEST:10020</value>  
        //TEST 主机名
</property>

  在namenode上执行命令：mr-jobhistory-daemon.sh start historyserver 
这样在namenode上会启动JobHistoryServer服务，可以在historyserver的日志中查看运行情况。 
  启动jobHistoryServer:

[chb@TEST hadoop]$ ./sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /usr/local/hadoop/logs/mapred-chb-historyserver-TEST.out
[chb@TEST hadoop]$ 

[html]  view plain  copy

1. <property>    
2.     <name>yarn.log-aggregation-enable</name>    
3.     <value>true</value>    
4. </property>     

增加以上信息在  yarn-site.xml to enable log aggregation.

yarn是用管理job的调度，然后这个地方需要手动的去开启才可以看到。

配置代理

start-yarn.sh 解掉注释

"$bin"/yarn-daemon.sh --config $YARN_CONF_DIR  start proxyserver

yarn-site.xml配置

<property>

<name>yarn.web-proxy.address</name>

<value>intra-209:1008</value>

  </property>