找出QQ共同好友的实现

最新推荐文章于 2023-09-03 19:17:35 发布

勤径苦舟

最新推荐文章于 2023-09-03 19:17:35 发布

阅读量2.9k

点赞数 2

分类专栏：大数据 hadoop

本文链接：https://blog.csdn.net/zhou920786312/article/details/87024648

版权

大数据同时被 2 个专栏收录

40 篇文章

订阅专栏

hadoop

14 篇文章

订阅专栏

本文介绍了一种使用Hadoop MapReduce算法来计算社交网络中用户之间的共同好友数量的方法。通过Map阶段将用户好友关系转化为<好友，人>的形式，再通过Reduce阶段汇总每个好友对应的用户列表，为下一步计算共同好友打下基础。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以下是qq的好友列表数据，冒号前是一个用，冒号后是该用户的所有好友（好友关系是单向的，也就是说A是B好友，B不一定是A好友）

A:B,C,D,F,E,O

B:A,C,E,K

C:F,A,D,I

D:A,E,F,L

E:B,C,D,M,L

F:A,B,C,D,E,O,M

G:A,C,D,E,F

H:A,C,D,E,O

I:A,O

J:B,O

K:A,C,D

L:D,E,F

M:E,F,G

O:A,H,I,J

算出有共同好的的用户?

测试数据

代码

package cn.feizhou.fensi;


import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class SharedFriendsStepOne {

	static class SharedFriendsStepOneMapper extends Mapper<LongWritable, Text, Text, Text> {

		@Override
		protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
			// A:B,C,D,F,E,O
			String line = value.toString();
			String[] person_friends = line.split(":");
			String person = person_friends[0];
			String friends = person_friends[1];

			for (String friend : friends.split(",")) {
				// 输出<好友，人>
				context.write(new Text(friend), new Text(person));
			}

		}
	}
	static class SharedFriendsStepOneReducer extends Reducer<Text, Text, Text, Text> {

		@Override
		protected void reduce(Text friend, Iterable<Text> persons, Context context) throws IOException, InterruptedException {

			StringBuffer sb = new StringBuffer();

			for (Text person : persons) {
				sb.append(person).append(",");

			}
			context.write(friend, new Text(sb.toString()));
		}

	}

	public static void main(String[] args) throws Exception {

		Configuration conf = new Configuration();

		Job job = Job.getInstance(conf);
		job.setJarByClass(SharedFriendsStepOne.class);

		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);
		
		job.setMapperClass(SharedFriendsStepOneMapper.class);
		job.setReducerClass(SharedFriendsStepOneReducer.class);

		FileInputFormat.setInputPaths(job, new Path("H:/test"));
		FileOutputFormat.setOutputPath(job, new Path("H:/out"));

		job.waitForCompletion(true);

	}

}

测试结果