记录下执行MapReduce的过程

[size=medium]在把把代码迁移到淘单之前，直接在datedomin里把我的mr打包扔到sns的gateway上去跑的时候，因为有第三方依赖，所以还要设置依赖参数啥的，比较不爽，代码迁移到淘单后，依赖关系一目了然，一并迁移过来就好啦，然后就是把代码打成jar包扔掉gateway上去跑就行咯。。

下面记录下期间抛出的错误哈
[color=red]error 1[/color]：[img]http://dl.iteye.com/upload/attachment/0079/0358/55516db1-cffa-3426-be50-36feb232849a.jpg[/img]
这是运行是抛出的错误，被引用的类木有加进来哈，这个问题解决的方法有很多啦，
其中一种是加参数，把依赖的包加进来：[color=red]hadoop -D libjars=job1.jar,job2.jar [/color]，但是如果代码里依赖比较多，并且还有层层依赖的话，就比较蛋疼了！！所以要慎用。。
还有一种就是把依赖的jar放到工程resource的lib的，打包的时候一并打进去就好啦，但是这种方法其实不太正规哦。


[color=red]error 2[/color]：[img]http://dl.iteye.com/upload/attachment/0079/0360/267bfba2-9cfe-3ca8-bb68-4ad932c5bb67.jpg[/img]
这个就是一个粗心所导致的错误啦，这里提示FullIndexTaodanJobSubmitter类找不到，于是我打开jar包里查看，竟然把java文件打包了，shit。。因为我是把文件拷出来然后用命令打包的，所以一时粗心犯错了，如果用eclipse的export导出jar就不会出错啦！ :x
这里有查看jar包文件的命令：unzip ，查看jar包内的文件列表

[img]http://dl.iteye.com/upload/attachment/0079/0362/4c94ef1e-9ac1-3900-bbb5-1984cb6c0730.jpg[/img]

unzip -l <jar包>这个命令，可以直接查看jar包内的具体文本文件内容了。
unzip -ca <jar包> <jar包内的文件>其中<jar包内的文件>这一项，可以通过unzip -l 查看。
[color=red]使用这两个命令的好处就是不用把jar包内的文件解压到文件系统了，爽哉~~！[/color]

最后就是job运行成功啦~~~~~（一般job在运行的时候都会把明显的错误抛出来的，如果没有抛出错误但是却运行失败的话就要到一个jobtracker的监控系统里查job执行详细情况，和日志了）

[img]http://dl.iteye.com/upload/attachment/0079/0356/2fcee0c8-1f18-323c-9e81-6179f5e078bc.jpg[/img]

下面就可以查看运行完成的job啦 :D
[img]http://dl.iteye.com/upload/attachment/0079/0354/a0d41d77-235f-3e70-abd4-2fce86f96cbf.jpg[/img]


因为我们sns的gateway是开发环境 ，不让生产 :twisted: ，所以所以job都要申请到宙斯上去跑，so，我又把jar传到了宙斯上，然后写了shell脚本执行jar，经历了千辛万苦的配置呀各种错误，特别感谢行俭的配置指导呀，还授予我“sns hadoop配置达人称号” :oops: 我终于第一次手动执行成功了 :cry: ，以此来纪念下：


[img]http://dl.iteye.com/upload/attachment/0079/0737/956e1a24-386b-380c-908b-1de398222ff1.jpg[/img]


[/size]