MapReduce基础回顾题目

最新推荐文章于 2023-12-25 20:53:33 发布
最新推荐文章于 2023-12-25 20:53:33 发布
阅读量1.4k 收藏 8
点赞数 4
分类专栏： # Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyz_home/article/details/79946931
版权 
week1,A0001,10,20
week1,A0002,8.5,15
week1,A0003,9.2,30
week1,B0001,10.5,50
week2,A0001,11,30
week2,A0002,8,20
week2,A0003,9.2,20
week2,B0001,10,55
week3,A0001,9.5,10
week3,A0002,8.8,30
week3,A0003,9.8,30
week3,B0001,9,58
week4,A0001,9.2,14
week4,A0002,8.5,22
week4,A0003,10.3,45
week4,B0001,7,12

要求：根据以上数据，用 MapReduce 统计出如下数据：
1、每种商品的销售总金额，并降序排序
2、每种商品销售额最多的三周

问题一：分组求和，总体降序排列。
该问题采用两个mapreduce程序进行解决的，第一个求出每种商品的销售总额，第二个进行降序排序。


import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob;
import org.apache.hadoop.mapreduce.lib.jobcontrol.JobControl;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


/**
 * 1、每种商品的销售总金额，并降序排序
 * 	周数  商品编号  单价  销量（件）
 * 数据：week1	A0001  10    20
 * 2、每种商品销售额最多的三周
 *
 */
public class QuestionMR_1_1 {
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(conf);
		
		/**
		 * 在本地跑把下面两行注释掉
		 */
		//conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
		//System.setProperty("HADOOP_USER_NAME", "hadoop");
		
		
		Job job = Job.getInstance(conf);
		job.setJarByClass(QuestionMR_1_1.class);
		
		job.setMapperClass(MRMapper.class);
		job.setReducerClass(MRReducer.class);
		
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(DoubleWritable.class);
		
		/**
		 * 自定义分区组件
		 */
		//job.setPartitionerClass(Object.class);
		
		/**
		 * 自定义分组组件
		 */
		//job.setGroupingComparatorClass(Object.class);
		
		/**
		 * 必要的时候使用自定义Combine组件
		 */
		//job.setCombinerClass(MRReducer.class);
		
	
		Path inputPath = new Path("G:/test/q1/input");
		Path outputPath = new Path("G:/test/q1/output_1_1");
		if(fs.exists(outputPath)){
			fs.delete(outputPath, true);
		}
		
		FileInputFormat.setInputPaths(job, inputPath);
		FileOutputFormat.setOutputPath(job, outputPath);
		
		
		
		Job job2 = Job.getInstance(conf);
		job2.setJarByClass(QuestionMR_1_1.class);
		
		job2.setMapperClass(MRMapper2.class);
		job2.setReducerClass(MRReducer2.class);
		
		job2.setOutputKeyClass(Product.class);
		job2.setOutputValueClass(NullWritable.class);
		
		
	
		Path inputPath2 = new Path("G:/test/q1/output_1_1");
		Path outputPath2 = new Path("G:/test/q1/output_1_2");
		if(fs.exists(outputPath2)){
			fs.delete(outputPath2, true);
		}
		
		FileInputFormat.setInputPaths(job2, inputPath2);
		FileOutputFormat.setOutputPath(job2, outputPath2);
		//使用连个mapreduce程序进行关联操作
		JobControl control = new JobControl("CF");
		
		ControlledJob conjob1 = new ControlledJob(job.getConfiguration());
		ControlledJob conjob2 = new ControlledJob(job2.getConfiguration());
		
		conjob2.addDependingJob(conjob1);
		
		control.addJob(conjob1);
		control.addJob(conjob2);
		
		Thread t = new Thread(control);
		t.start();
		
		while(!control.allFinished()){
			Thread.sleep(1000);
		}

		System.exit(0);
		
	}
	
	//week1	A0001商品  10单价  20数量
	//每种商品的销售总金额，并降序排序
	public static class MRMapper extends Mapper<LongWritable, Text, Text, DoubleWritable>{
		Text k = new Text();
		DoubleWritable v = new DoubleWritable();
		
		@Override
		protected void map(LongWritable key, Text value,Context context)
				throws IOException, InterruptedException {
			
			String[] line = value.toString().split(",");
			//根据商品ID作为Key这样在reduce阶段我们就能对每一种商品的销售额进行累加
			k.set(line[1]);
			//根据数据格式，求出每条记录的销售总金额
			double sum = Double.parseDouble(line[2])*Double.parseDouble(line[3]);
			v.set(sum);
			context.write(k, v);

		}
	}
	
	public static class MRReducer extends Reducer<Text, DoubleWritable, Text, DoubleWritable>{
		DoubleWritable v = new DoubleWritable();
		@Override
		protected void reduce(Text key, Iterable<DoubleWritable> values, Context context)
				throws IOException, InterruptedException {
			
			double sum = 0D;
			//相同的商品会在一个reduceTask中进行处理，
			//这里能够对每一种商品的销售额进行累加
			for (DoubleWritable num : values) {
				sum += num.get(); 
			}
			v.set(sum);
			context.write(key,v);
		}
	}
	
	/**
	 * 对商品进行排序的时候这里选择使用自定义数据类型的方式进行
	 * 使用compareTo方法对数据进行排序
	 */
	public static class MRMapper2 extends Mapper<LongWritable, Text, Product, NullWritable>{
		@Override
		protected void map(LongWritable key, Text value,Context context)
				throws IOException, InterruptedException {
			
			String[] line = value.toString().split("\t");
			
			Product p = new Product(line[0], Double.parseDouble(line[1]),"");
			context.write(p, NullWritable.get());

		}
	}
	
	public static class MRReducer2 extends Reducer<Product, NullWritable, Product, NullWritable>{
		@Override
		protected void reduce(Product key, Iterable<NullWritable> values, Context context)
				throws IOException, InterruptedException {
			
			context.write(key, NullWritable.get());
			
		}
	}
}
问题二：每种商品销售额最多的三周是一种简单的分组取TopN
根据商品进行分组，每一组根据销售额进行倒序排序，取Top3即可。
这里使用了自定义分组组件，这样能够适当的减少reduce端的循环次数。

排序通过自定义数据类型Product中的compareTo方法来控制


import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/**
 *  数据：week1	A0001  10  20
 *  2、每种商品销售额最多的三周
 * @author Administrator
 *
 */
public class QuestionMR_1_2 {
	
	public static void main(String[] args) throws Exception {
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(conf);
		
		/**
		 * 在本地跑把下面两行注释掉
		 */
		//conf.set("fs.defaultFS", "hdfs://hadoop01:9000");
		//System.setProperty("HADOOP_USER_NAME", "hadoop");
		
		
		Job job = Job.getInstance(conf);
		job.setJarByClass(QuestionMR_1_1.class);
		
		job.setMapperClass(MRMapper.class);
		job.setReducerClass(MRReducer.class);
		
		job.setOutputKeyClass(Product.class);
		job.setOutputValueClass(NullWritable.class);
		
		/**
		 * 自定义分区组件
		 */
		//job.setPartitionerClass(Object.class);
		
		/**
		 * 自定义分组组件
		 */
		job.setGroupingComparatorClass(ProductGC.class);
		
		/**
		 * 必要的时候使用自定义Combine组件
		 */
		//job.setCombinerClass(MRReducer.class);
		
	
		Path inputPath = new Path("G:/exam/q1/input");
		Path outputPath = new Path("G:/exam/q1/output_2_1");
		if(fs.exists(outputPath)){
			fs.delete(outputPath, true);
		}
		
		FileInputFormat.setInputPaths(job, inputPath);
		FileOutputFormat.setOutputPath(job, outputPath);
		
		boolean isDone = job.waitForCompletion(true);
		System.exit(isDone?0:1);
		
	}
	
	//数据：week1	A0001  10  20
	public static class MRMapper extends Mapper<LongWritable, Text, Product, NullWritable>{
		Text k = new Text();
		DoubleWritable v = new DoubleWritable();
		//直接将数据读取以后构建自定义数据类型（bean）
		//然后通过自定义分组组件进行分组
		//自定义数据类型会根据compareTo方法自动排序
		@Override
		protected void map(LongWritable key, Text value,Context context)
				throws IOException, InterruptedException {
			
			String[] line = value.toString().split(",");
			double sum = Double.parseDouble(line[2])*Double.parseDouble(line[3]);
			Product p = new Product(line[1],sum,line[0]);
			context.write(p,NullWritable.get());

		}
	}
	
	public static class MRReducer extends Reducer<Product, NullWritable, Product, NullWritable>{
		@Override
		protected void reduce(Product key, Iterable<NullWritable> values, Context context)
				throws IOException, InterruptedException {
			
			int count = 0;
			for (NullWritable nv : values) {
				if(count < 3){
					context.write(key, nv);
				}
				count++;
			}
		}
	}
}

自定义分组组件：ProductGC


import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;

public class ProductGC extends WritableComparator{

	public ProductGC() {
		super(Product.class,true);
	}

	@Override
	public int compare(WritableComparable a, WritableComparable b) {
		Product pa = (Product) a;	
		Product pb = (Product) b;	
		
		//根据商品的ID进行分组
		return pa.getNamenum().compareTo(pb.getNamenum());
	}
	
}

自定义数据类型：Product

package cn.zhao.exam.mapreduce.q1;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.WritableComparable;

public class Product implements WritableComparable<Product>{
	private String namenum;
	private double price;
	private int count;
	private double totalMoney;
	private String week;
	
	
	public String getWeek() {
		return week;
	}
	public void setWeek(String week) {
		this.week = week;
	}
	public String getNamenum() {
		return namenum;
	}
	public void setNamenum(String namenum) {
		this.namenum = namenum;
	}
	public double getPrice() {
		return price;
	}
	public void setPrice(double price) {
		this.price = price;
	}
	public int getCount() {
		return count;
	}
	public void setCount(int count) {
		this.count = count;
	}
	public double getTotalMoney() {
		return totalMoney;
	}
	public void setTotalMoney(double totalMoney) {
		this.totalMoney = totalMoney;
	}
	public Product() {
		super();
		// TODO Auto-generated constructor stub
	}
	
	
	
	public Product(String namenum, double totalMoney, String week) {
		super();
		this.namenum = namenum;
		this.totalMoney = totalMoney;
		this.week = week;
	}
	@Override
	public String toString() {
		if("".equals(week)){
			return  namenum +", "+ totalMoney;
		}else{
			return  namenum +", " + week +", " + totalMoney;
		}
	}
	@Override
	public void write(DataOutput out) throws IOException {
		out.writeUTF(namenum);
		out.writeDouble(totalMoney);
		out.writeUTF(week);
	}
	@Override
	public void readFields(DataInput in) throws IOException {
		namenum = in.readUTF();
		totalMoney = in.readDouble();
		week = in.readUTF();
		
	}
	
	@Override
	public int compareTo(Product o) {
		//这里使用两个字段是因为第二问也使用了这个bean
		if(o.getNamenum().compareTo(this.getNamenum()) == 0){
			//控制倒叙排序 o - this > 0 返回1 为降序
			//this - o > 0 返回 1 为升序
			double flag = o.totalMoney - this.totalMoney;
			if(flag == 0){
				return 0;
			}else if(flag > 0){
				return 1;
			}else{
				return -1;
			}
		}else{
			return o.getNamenum().compareTo(this.getNamenum());
		}
		
	}
	
	
}
_a_0_
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
大数据讲课笔记5.1 初探MapReduce
howard2005的专栏
10-08 1224
1. 理解MapReduce核心思想； 2. 掌握MapReduce编程模型； 3. 理解MapReduce编程实例——词频统计
大数据讲课笔记5.3 MapReduce编程组件
howard2005的专栏
10-09 618
1. 掌握InputFormat组件和OutputFormat组件； 2. 掌握Mapper组件和Reducer组件； 3. 掌握Partitioner组件和Combiner组件
MapReduce面试题
隔壁的橘猫的博客
11-15 999
MapReduce核心思想 分而治之，先分后合 分是Map 和是reduce 偏移量 指的是每行行首字母移动到文本的最前面需要的距离 Suffle包含哪些步骤 宏观层面： 1.分区 2.排序 3.Combiner（局部聚合） 4.分组 MR从读取数据开始到将最终结果写入HDFS经过哪些步骤 第一步：InputFormat InputFormat 在HDFS文件系统中读取要进行计算的数据 输...
MapReduce课后练习
qq_30136729的博客
12-02 4633
1【单选题】 下列说法错误的是________。 A、Map函数将输入的元素转换成<key,value>形式的键值对 B、Hadoop框架是用Java实现的，MapReduce应用程序则一定要用Java来写 C、不同的Map任务之间不能互相通信 D、MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave 2【单选题】 在使用MapReduce程序WordCount进行词频统计时，对于文本行“hello hadoop hello world”，经过Word
MapReduce基础练习
anagexun的博客
11-03 1420
1.以下关于Shuffle过程的说法，错误的是：（B ） A.从Map任务结束到Reduce阶段开始的过程称为Shuffle阶段 B.从Map任务的开始到Reduce阶段开始的过程称为Shuffle阶段 C.对Map输出进行进行分区过程，默认采用的是哈希函数 D.对Map输出进行排序是默认的操作 2.以下关于MapReduce程序的工作过程，正确的有：（B ） A.不同的Map任务之间会进行通信 B.不同的Reduce任务之间也不会发生任何信息交换 C.不同的Reduce任务之
MapReduce练习题
qq_47944580的博客
09-27 888
2.在hdfs目录/tmp/tl/input/wordcount目录中有一系列文件，内容为","号分隔，同时在hdfs路径/tmp/tl/black.txt黑名单文件，一行一个单词用于存放不记入统计的单词列表。求按","号分隔的各个元素去除掉黑名单后的出现频率，输出到目录/tmp/tl/output/个人用户名的hdfs目录中。1.在hdfs目录/tmp/input/wordcount目录中有一系列文件，内容为","号分隔，分隔后的元素均为数值类型、字母、中文，求数值类型、字母类型、中文类型各自的次数。
MapReduce练习
做一个好人
08-22 625
1,4代表1 2 3 4  1到4之间所有数字 其中有垃圾数据a,b 求出每一个数字出现的次数 package nuc.edu.ls; import java.io.File; import java.io.IOException; import org.apache.commons.io.FileUtils; import org.apache.hadoop.conf.Confi...
MapReduce高级应用——全排序和二次排序
南国的技术栈
01-11 617
前言 尽管现在MapReduce程序在日常开发中已经代码编写已经很少了，但作为大数据Hadoop的三大板块之一，他内在的许多思想也是很多后续框架的基础铺垫。本篇博客，南国重点回顾一下MR中的排序相关知识点。网上关于这个知识点 可能已经有很多的知识介绍，本来不打算写这篇博客。最近一段时间终于抽空看了Hadoop权威指南的大部分内容。于是，本篇博客 南国试着从面试回顾的角度去编写这篇博客。 话不多说，...
Deeplearning4j 快速入门
GitChat
07-02 6335
课程亮点 机器学习经典案例基于 DL4J 的实现 Spark 分布式场景下的模型训练及调优 多 GPU 环境下的并行建模 迁移和强化学习的模型训练 搭建在线服务环境实战演练 本课程是关于 Eclipse Deeplearning4j 的基础课程。Deeplearning4j 是基于 Java/JVM 的深度学习开源库，课程内容涵盖了 Deeplearning4j 生态圈中核心框架的使用（如 N...
大数据讲课笔记5.5 MR案例——倒排索引
howard2005的专栏
10-09 827
1. 理解倒排索引； 2. 实现倒排索引
mapreduce练习资源
04-03
该资源中中包含MapReduce的练习题，可以是你同过这些练习题更好的掌握MapReduce
出个题，用MapReduce解决下面的问题
06-12
用MapReduce解决下面的问题,只是出个题而已
MapReduce综合练习案例(把这练习会了MapReduce代码你就全搞定了)
11-26 7356
提供两个文件: information.txt: //爱好 专业 id 游戏 大数据 1 Null Java 3 学习 Null 4 逛街 全栈 2 student.txt: //id 姓名 性别 1 张三 女 2 李四 男 3 王五 女 4 赵六 男 题目要求 information.txt 上传到Hdfs student.txt 放在本地 通过distribute读取hdfs上的数据...
MapReduce理论测试题
m0_63307477的博客
12-25 1251
C MapReduce过程中Map阶段每个Map任务的输出结果默认不是按照key排序的，需进一步编程进行排序。B MapReduce计算过程中，相同的key默认会被发送到同一个reduce task处理。C Value类必须实现WritableComparable。A MapReduce适于PB级别以上的海量数据在线处理。D MapReduce隐藏了并行计算的细节，方便使用。B 文件切分的数据块个数C 计算机计算能力。C 将申请的资源分配给内部任务。C 将申请的资源分配给内部任务。
MapReduce面试题（详解）
weixin_51194902的博客
05-10 2548
Mapreduce 的 map 数量 和 reduce 数量是由什么决定的 ,怎么配置 map数量是由任务提交时，传来的切片信息决定的，切片有多少，map数量就有多少 科普：什么是切片？切片的数量怎么决定？ 举例：输入路径中有两个文件，a.txt（130M），b.txt（1M），切片是一块128M，但是不会跨越文件，每个文件单独切片，所以这个路径提交之后获得的切片数量是3，大小分别是128M，2M，1M reduce的数量是可以自己设置的 ...
MAPREDUCE面试题
caizhongda的专栏
02-15 136
Map/Reduce功能很强大，只要设定合理Key、Value，我们经常碰到的算法大部分都可以实现。假如能把下面几个算法问题，用Map/Reduce方式实现，那么Map/Reduce编程可以说已经运用很纯熟了。 初级篇 0. 实现Word Count 中级篇 1. Map/Reduce方式实现矩阵相乘 2. Map/Reduce方式实现PageRank算法 ...
《大数据》MapReduce练习
Steve_Abelieve
06-19 410
思考问题 1.统计出IP的文件，哪个ip出现的次数最多，一行一个ip。如果文件很大，超过内存。 2.给定a、b两个文件，各存放50亿个url，每个url各占64B，内存限制是4GB，请找出a、b两个文件共同的url？ 3.现在有一个非常庞大的URL库（100E），然后现在还有一个URL，（迅速）判断这个URL是否在这个URL库中？ MapReduce MapReduce是一个处理海量数据计算的框架 MapReduce框架解决了什么问题 1.内部的任务调度 2.高可用，HA 3.节点间的通信问题 MapRed
MapReduce基础运用
最新发布
04-27
MapReduce的基础运用包括以下几个步骤： 1. 输入数据划分：将大规模数据集划分为多个小块，以便并行处理。 2. Map函数编写：编写Map函数，将输入数据转换为键值对的形式，并生成中间结果。 3. Shuffle过程：将...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值