https://github.com/zhougit86/maven-hadoop
利用双休日编写的两段代码,一段用来遍历hdfs上的一个目录来将目录中的所有txt文件压缩后并考到一个目标目录。
另外一个是遍历整个hdfs当中的树,由于整个任务感觉可能比较耗时,所以打算使用多线程的方式。并且通过blockQueue的方式将任务分发出去。
首先说第一段代码:
1,map时文件中每行的顺序是正常的,reduce的时候就反了。原来是map阶段有一个sort的过程,重载了SortComparator来是顺序回复正常。
2,TextOutputFormat默认的文件名会导致信息的丢失,文件名找不到了。但是大部分的代码又不想重写,因此复制了TextOutputFormat的getRecordWriter代码,并修改其生成文件名的方法。但是文件名和hadoop task的对应又比较难map。尝试了reduce发现在生成format之后,不行。combiner属于map不行。最后想着使用partition。勉强搞定了,不知道会不会出幺蛾子
3,使用maven assembly来打一个大包,后出现hdfs.impl找不到,通过一个设置修复。
第二段基本没啥可说,比较容易。感觉BlockQueue就是类似于golang当中的channel。