![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
DT的世界
爱慕你淡淡的清香!
展开
-
寻找共同好友(hadoop解决方案)
测试数据100,200 300 400 500 600 700 800200,100 300 400 500 700300,100 200 400 500 600 700400,100 200 300 700 800500,100 200 300 700 800600,100 300700,100 200 300 400 500 800800,100 400 500 700注意:测试数原创 2017-05-17 17:02:18 · 906 阅读 · 0 评论 -
推荐好友二度关系(Hadoop解决方案)
数据样本hadoop hello hadoop cathdfs worldtom cattom hdfs cat doghello worldhello dearhello lileililei hanmeimei分析推荐好友就是将可能认识的人推荐给他,简单的说,就是找到可能存在二度关系的人思路就是将所有关系都找出来解决方案不啰嗦,上代码mapper阶原创 2017-05-16 16:43:28 · 1359 阅读 · 0 评论 -
hadoop伪分布搭建
准备工作1.构建三个linux环境作为三个节点2.三个节点间可相互通信3.三个节点的IP和hostname绑定(不绑定也可以,直接用IP)4.关闭所有节点防火墙(service iptables stop,本人在这里犯过错误,浪费好多时间)开始搭建一.安装jdk(三个节点均安装)1.我用的是jdk-8u11-linux-x64.tar.gz,直接解压即安装2.配置JAVA_HOME,/etc/pro原创 2017-05-04 16:24:08 · 582 阅读 · 0 评论 -
hadoop测试wordcount出现的问题
问题:WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /opt/hdfs/tmp/mapred/staging/Administrator/.staging/job_201705031949_0005/job.jar could原创 2017-05-04 13:20:56 · 412 阅读 · 0 评论