编写mapreduce当中遇到的问题汇总

https://github.com/zhougit86/maven-hadoop

利用双休日编写的两段代码，一段用来遍历hdfs上的一个目录来将目录中的所有txt文件压缩后并考到一个目标目录。

另外一个是遍历整个hdfs当中的树，由于整个任务感觉可能比较耗时，所以打算使用多线程的方式。并且通过blockQueue的方式将任务分发出去。

 

首先说第一段代码：

1，map时文件中每行的顺序是正常的，reduce的时候就反了。原来是map阶段有一个sort的过程，重载了SortComparator来是顺序回复正常。

2，TextOutputFormat默认的文件名会导致信息的丢失，文件名找不到了。但是大部分的代码又不想重写，因此复制了TextOutputFormat的getRecordWriter代码，并修改其生成文件名的方法。但是文件名和hadoop task的对应又比较难map。尝试了reduce发现在生成format之后，不行。combiner属于map不行。最后想着使用partition。勉强搞定了，不知道会不会出幺蛾子

3，使用maven assembly来打一个大包，后出现hdfs.impl找不到，通过一个设置修复。

 

第二段基本没啥可说，比较容易。感觉BlockQueue就是类似于golang当中的channel。

 

https://www.cnblogs.com/sunfie/p/4651609.html

https://www.cnblogs.com/felixzh/p/4680808.html