Hadoop数据开发笔试题（一）

最新推荐文章于 2023-08-15 20:49:19 发布

原创最新推荐文章于 2023-08-15 20:49:19 发布 · 置顶 · 1.1k 阅读

6 ·

CC 4.0 BY-SA版权

本文详细介绍Hive SQL在实际业务场景中的应用，包括考试记录编码转换、数据倾斜处理、统计逻辑实现等，并对比内部表与外部表、视图功能，解析collect_list与collect_set函数的差异。

一、业务场景：考试记录编码转名称

a)、要求1：答案选项表只能关联一次
b)、要求2：答案顺序不能错位，没有选择项，置空

表一：考试记录表

考试人	试卷名称	题目编号	答案编码
张三	exam-a	0101	ACD

表二：答案选项表

试卷名称	题号编号	题目名称	答案	名称
exam-a	0101	您最近5年的职业	A	教师
exam-a	0101	您最近5年的职业	B	医生
exam-a	0101	您最近5年的职业	C	销售
exam-a	0101	您最近5年的职业	D	白领

需求一：

请使用hive实现将考试记录的编码，转换成对应的项目名称及答案名称，关联后的结果如下：

考试人	试卷名称	题号编号	题目名称	答案A	答案B	答案C	答案D
张三	exam-a	0101	您最近5年的职业	A	教师	NULL	销售人员

答案：

第一步：把考试记录表列转行

在Hive中创建考试记录表exam_record，SQL语句如下：

create table exam_record (
testers string,
test_papers string,
title_number string,
answer_id string
) ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";

创建答案选项表（answer_option）

create table answer_option (
test_paper string,
qid_number string,
title_name string,
answer string,
name string
) ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t";

第二步：本地Vi编辑好后把数据加载进去

1、把数据加载到exam_record表中：

load data local inpath '/home/hadoop/data/test.txt' overwrite into table exam_record;

2、把数据加载到answer_option表中：

load data local inpath '/home/hadoop.data/test.txt' overwrite into table answer_option;

第三步：使用如下SQL语句完成exam_record列转行

select testers, test_papers, title_number, answer
from
exam_record
lateral view explode(split(answer_id,"")) b AS answer;

第四步：基于3的分析把结果创建到一张临时表上

create table tmp_exam_record
as
select testers, test_papers, title_number, answer
from
exam_record
lateral view explode(split(answer_id,"")) b AS answer;

第五步：把四中的临时表和答案选项表进行join操作