最近对mapreduce框架比较感兴趣,所以会去测试许多例子,hadoop自带的就有很多
但是如何编写自己的例子并在其上运行以及调试呢?
第一种方法 使用hadoop 自带的 eclipse-插件 但是许多朋友并不具备这样的条件 而且 插件的版本兼容性也有许多的问题
第二种就是 自己的写好的代码 然后打成jar包 然后 放到hadoop下运行 比较笨得 原生态的方法---我就是比较笨得人
第二种法法调试程序比较麻烦 一般简单的调试 System.out 可以解决 首先它会输出到命令行 或者在hadoop/logs/userlogs/下面对应的taskAttempt文件里面的stdout文件中。。。
复杂点的 具体某个task失败的话 hadoop自带的一些工具也可以进行单独的task测试