MapReduce操作二度人脉二

最新推荐文章于 2022-12-17 22:10:07 发布

张小竟

最新推荐文章于 2022-12-17 22:10:07 发布

阅读量1k

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/zhanglu1236789/article/details/50246685

版权

本文探讨了MapReduce在处理二度人脉关系时存在的冗余问题，并提供了优化算法的思路。通过分析friendmysql和betweens表的结构，利用MapReduce进行数据处理，避免冗余，提高性能。测试结果显示，该优化方法有效降低了计算复杂度。

摘要由CSDN通过智能技术生成

小狼上回写的二度人脉有冗余算法，没有很好的体现mapreduce的性能

首先，friendmysql表结构如下：

betweens表结构如下：

代码如下

测试类

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.mapreduce.Job;

public class Test {
	
	   public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
	        //配置信息
		   	Configuration conf=HBaseConfiguration.create();
		   	conf.set("hbase.zookeeper.property.clientPort", "2181");
		   	conf.set("hbase.zookeeper.quorum", "slave1,slave2");
		   	conf.set("hbase.m