YARN的log日志分析以及MR JOB运行案例

1、log日志分析
生产出错，找准日志文件内容

• hadoop-hadoop-datanode-hadoop001.log
• hadoop-hadoop-namenode-hadoop001.log
• hadoop-hadoop-secondarynamenode-hadoop001.log
• yarn-hadoop-nodemanager-hadoop001.log
• yarn-hadoop-resourcemanager-hadoop001.log

1.1 tail -F hadoop-hadoop-datanode-hadoop001.log 实时监控这个日志产生的行为。
：hadoop进程名称

• hadoop-用户-进程名称-机器名称

2、如何进行排错
进入到log日志下，/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/logs
(1) 使用vi编辑器查看相应的log日志，进入尾行模式，/error进行搜索。
(2) tail -200f hadoop-hadoop-datanode-hadoop001.log 查看近200行的日志（另外的窗口重启进程，为了复现error）。
(3)sz 下载文件到本地目录，再用editplus打开查看，标红处为下载路径位置。
3、运行MR JOB案例
map:映射
reduce：规约
运行如下命令搜索有哪些案例：
[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ find ./ -name ‘example.jar’
运行这个命令：hadoop jar +需要运行的jar包

（1）计算圆周率：hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 5 10
（2）词频统计案例：
1、编辑两个文件后进行上传

• [hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ vi a.log
• [hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ vi b.log
• [hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -put a.log /wordcount/input
• [hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -ls /wordcount/input
• [hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount /wordcount/input /wordcount/output
• [hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -cat /wordcount/output/part-r-00000

如下图为打印出的词频统计内容，/wordcount/output文件由它运算时自动生成，若之前已经存在，则不会运行程序。

扩展：将mapreduce跑完的内容下载到当前目录并进行打印

[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ hdfs dfs -get /wordcount/output/part-r-00000 ./
[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ ll
[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ cat part-r-00000