mapreduce数据统计实战总结

问题: 日志文件是从若干台线上服务器用工具自动同步到HDFS,  每天几百G,  要统计某个字段的出现次数.

先后尝试过以下方法:

1.最初是用php写的mapreduce脚本.  少量测试文件ok, 但真正那hdfs中日志跑起来, 内存占用超高,  ini_set("memory_limit", "800M");时hadoop任务仍然以超内存限制失败.

   但用memory_get_usage();跟踪却只有几十M的使用量. 代码各种调试都无法减少内存量; 初步猜测是关联数组100W太大,不断追加元素的时候导致的.

2.考虑用memcache替代php数组来实现计数功能, 但由于权限问题不能在hadoop中添加memcached.so扩展,将memcached.so用-file选项打入hadoop streaming的jar包. 而dl()又只能用相对路径,导致不在系统LD_LIBRARY_PATH中的memcached.so无法被加载.

3.传说中ttserver支持shell curl方式的访问, 于是乎我在hadoop客户机上起了一个ttserver服务,  在mapper.php中 `curl -X PUT http://ttserver_ip:1978/$key -d $value`写入  `curl -X GET http://ttserver_ip:1978/$key `读取;    大规模数据上去后, 悲催了.... 每个值执行次curl命令(curl get取原数, curl put计数加1) ,每行日志中包含多个值, 结果是一分钟处理10行日志,显然接受不了.

4.php, php+memcached php+ttserver都破产了, 剩下比较熟的就是awk, 况且先前有经验, 果断用awk来了一个, 效果very good!  代码见上一贴 http://blog.csdn.net/zhulei632/article/details/7839794 

php内存超限的具体原因还没找到, 下来慢慢研究.  没理由那么邪门地吃我内存啊......