hadoop实现求共同好友

已于 2022-08-09 20:33:46 修改
阅读量1.2w 收藏 22
点赞数 7
分类专栏： hadoop 大数据 文章标签： hadoop实现共同好友 hadoop获取共同好友 hadoop求共同好友
于 2022-01-09 16:55:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangcongyi420/article/details/122390808
版权
本文介绍了如何利用Hadoop MapReduce实现社交应用中查找共同好友的功能。通过分析原始数据，分解步骤并详细解释每个步骤的作用，最终实现两两用户间共同好友的输出。文章还提供了两个MapReduce阶段的数据流程图，并给出了相关的编码实现。
摘要由CSDN通过智能技术生成

前言

在很多社交APP中，比如大家熟悉的QQ好友列表中，打开会话框，经常可以看到下面有一栏共同好友的推荐列表，用户通过这种方式，可以添加潜在的关联好友
在这里插入图片描述
这种功能该如何实现呢？对redis比较了解的同学应该能很快想到，可以使用redis来实现这个功能。没错，redis确实是个不错的可以实现这个功能的方案。

但redis的实现有一定的局限性，因为redis存储和数据和计算时需要耗费较多的内存资源，设想一下，像腾讯QQ这样的规模，如果用这种方式做的话，估计Redis服务器的投入成本将是一笔不小的开销。

利用hadoop中的MapReduce同样可以实现这个功能，该如何实现呢？

业务分析

下面是原始的数据文件，第一栏可理解为本人，第二行为该用户的好友列表，以逗号分割，比如A用户的好友包括：B,C,D,F,E,O这几个，后面的行依次类推

A:B,C,D,F,E,O
B:A,C,E,K
C:F,A,D,I
D:A,E,F,L
E:B,C,D,M,L
F:A,B,C,D,E,O,M
G
了解本专栏 订阅专栏 解锁全文 超级会员免费看
小码农叔叔
关注
专栏目录
订阅专栏
hadoop3求共同好友
删繁就简三秋树
10-18 444
大数据求共同好友
hadoop 求共同好友
qq_35573689的博客
08-20 295
以下是qq的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J 求出哪些人两两...
hadoop入门6：hadoop查询两两之间有共同好友，及他俩的共同好友都是谁
每天进步一点
10-05 1747
A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J 该数据可以看作好友，例如：A有B,C,D,F,E,O好友；B有A,C,E,K好友，以此类推； 求两两之间有共同好...
hadoop求共同好友
大学之道
05-16 446
https://blog.csdn.net/datadev_sh/article/details/73550857
hadoop/saprk 共同好友
weixin_40988315的博客
08-14 154
Mapreduce算法 输入key value key是用户 value是用户的好友列表 ，构造新的key 是用户和其中一个好友，value是 用户的其余的好友列表，在归约器中求相同key 的value的交集 map(key, value){         reducevalue=(<friend1><friend2>...<friendn>);   ...
Hadoop----MapReduce求共同好友
WQY992的博客
11-28 716
原文件 说明： 人物：好友1、好友2...... A: B,C,D,F,E,O B: A,C,E,K C: F,A,D,I D: A,E,F,L E: B,C,D,M,L F: A,B,C,D,E,O,M G: A,C,D,E,F H: A,C,D,E,O I: A,O J: B,O K: A,C,D L: D,E,F M: E,F,G O: A,H,I,J 一、找出所有人两两之间的所有共同好...
基于hadoop的好友推荐系统
04-07
3. **相似度计算**：使用协同过滤或基于内容的推荐算法，MapReduce可以并行计算用户之间的相似度，比如基于共同好友、共同兴趣等。 4. **推荐生成**：最后，根据用户间的相似度，MapReduce可以生成个性化的推荐列表...
hadoop mapreduce找共同好友问题
asd1456732891的博客
07-21 500
找博客共同好友案例 1）数据准备 以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G ...
Hadoop学习之路(八):MapReduce进阶案例之寻找社交共同好友
萧邦主的城邦
04-27 1155
内容简介一、需求分析二、算法分析三、编写代码1.构建Java工程，引入Maven支持2.编写第一阶段MapReduce作业代码3.编写第二阶段MapReduce作业代码4.将作业代码打包并提交到集群5.将friend.txt上传至HDFS6.运行第一阶段作业，查看结果7.运行第二阶段作业，查看结果四、总结 一、需求分析 社交软件的盛行让我们的生活越来越便捷，我们经常使用社交软件添加好友，即每个人...
HADOOP实现查找QQ共同好友功能
槑の少年的博客
08-03 492
HADOOP实现查找QQ共同好友功能 需求： A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J 求出哪些人互相两之间是好友，及他俩的共同好友都是谁 比如: A-B : C,E A-C : D,F map中逻辑如下： /** * 入参： * A:B,C,D,F,E,O *
寻找共同好友（hadoop解决方案）
zxc843231635的博客
05-17 922
测试数据100,200 300 400 500 600 700 800 200,100 300 400 500 700 300,100 200 400 500 600 700 400,100 200 300 700 800 500,100 200 300 700 800 600,100 300 700,100 200 300 400 500 800 800,100 400 500 700注意:测试数
使用Hadoop寻找两两用户之间的共同好友列表
jclin1108的博客
09-20 434
使用Hadoop寻找两两用户之间的共同好友列表 1.问题描述 假定有一个社会网络A，每一个顶点表示一位用户，每一条边表示连接的两位用户是好友。A=（V，G），其中V是用户的集合，G是边的集合，即好友的集合。用文件分别保存V和G的数据，示例如下。例如G文件中，“a,b”表示用户a和用户b是好友。 #V文件： a b c … #G文件： a,b a,c b,e b,k … 找出哪些用户两两之间有共同好友，输出他俩的共同好友列表。例如： a-b: e,k a-c: g b-c: a …… 2.思路 之前的问
MapReduce实战之找博客共同好友案例
Faded1573606285的博客
09-09 385
1）需求： 以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） 输入数据 A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H...
hadoop找出QQ共同好友算法实现
Willian
12-04 4696
背景 A：B,C,D,E,F 表示A有bcdef好友 B：C，D，H，Y 以上可知道AB的共同好友为CD 思路： 1：我们先找出一个人被哪几个人共同拥有 测试数据： 2：第一阶段mr程序：package sharefriends; import join.DataJoin; import org.apache.hadoop.conf.Configuration; impo
hadoop求共同好友案例
Xiaoweidumpb
10-26 520
4.1 需求分析 以下是qq的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） A:B,C,D,F,E,O B:A,C,E,K C:A,B,D,E,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J 求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？ 4.2 实现步骤 第一步：代码实现 Mappe
Hadoop-共同好友（共同关注）案例
clearlxj的博客
07-09 478
共同好友案例 以下是博客的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中 的好友关系是单向的)，求出哪些人两两之间有共同好友,及他俩的共同好友都有谁? 数据如下： A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J 第一次先找出A、B、…是谁的好友 Mappe
Hadoop入门之共同好友实现Demo
筑梦者
08-30 824
以下是qq的好友列表数据，冒号前是一个用，冒号后是该用户的所有好友（数据中的好友关系是单向的） A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,
【hadoop学习项目】10. 使用多级MR找出两两用户之间的共同好友
STAR GAME
02-16 1196
0. 项目结构 数据内容 刘灵薇 孙初丹,孙听兰,李秋翠,李绿春 王访琴 刘忆翠,钱语芙,钱平蝶 赵雅蕊 刘灵薇,刘雅蕊 王含蕾 钱语芙,李书蕾,李忆翠 钱雅蕊 李秋春,李初丹,孙听蓉 王绿春 李含烟,刘谷丝,孙秋春,钱雅蕊,赵语芙,钱南松,钱绿春,王听兰 刘含玉 赵绿春,王幻珊,刘语芙,赵怜菡,孙绿春,赵从蓉,赵南松,刘幻灵,王忆翠 钱凌瑶 孙诗云,王乐瑶,钱海露,孙从蓉 李含蕾 李从蓉,李从蓉,刘怜菡,钱灵雁 钱幻灵 赵书蕾,赵秋翠,刘幻珊,刘幻灵,刘雪青,钱夏彤,赵含蕾 刘夏彤 刘忆翠,钱诗云,王
Hadoop实现的商品推荐系统协同过滤算法
资源摘要信息: "本资源详细介绍了如何利用Hadoop平台和协同过滤算法实现商品推荐系统。协同过滤算法作为一种广泛应用于推荐系统的经典算法，主要基于用户或物品之间的行为关系来进行推荐。它分为基于物品和基于用户...
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小码农叔叔

谢谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值