hive学习笔记之二：复杂数据类型(1)

5. 分桶

6. HiveQL基础

7. 内置函数

8. Sqoop

9. 基础UDF

10. 用户自定义聚合函数(UDAF)

11. UDTF

本篇概览

• 作为《hive学习笔记》的第二篇，前面咱们了解了基本类型，本篇要学习的是复杂数据类型；

• 复杂数据类型一共有四种：

1. ARRAY：数组

2. MAP：键值对

3. STRUCT：命名字段集合

4. UNION：从几种数据类型中指明选择一种，UNION的值必须于这些数据类型之一完全匹配；

• 接下来逐个学习；

准备环境

1. 确保hadoop已经启动；

2. 进入hive控制台的交互模式；

3. 执行以下命令，使查询结果中带有字段名：

set hive.cli.print.header=true;

ARRAY

1. 创建名为t2的表，只有person和friends两个字段，person是字符串类型，friends是数组类型，通过文本文件导入数据时，person和friends之间的分隔符是竖线，friends内部的多个元素之间的分隔符是逗号，注意声明分隔符的语法：

create table if not exists t2(

person string,

friends array

)

row format delimited

fields terminated by ‘|’

collection items terminated by ‘,’;

2. 创建文本文件002.txt，内容如下，可见只有两条记录，第一条person字段值为tom，friends字段里面有三个元素，用逗号分隔：

tom|tom_friend_0,tom_friend_1,tom_friend_2

jerry|jerry_friend_0,jerry_friend_1,jerry_friend_2,jerry_friend_3,jerry_friend_4,jerry_friend_5

3. 执行以下语句，从本地的002.txt文件导入数据到t2表：

load data local inpath ‘/home/hadoop/temp/202010/25/002.txt’ into table t2;

4. 查看全部数据：

hive> select * from t2;

OK

t2.person t2.friends

tom [“tom_friend_0”,“tom_friend_1”,“tom_friend_2”]

jerry [“jerry_friend_0”,“jerry_friend_1”,“jerry_friend_2”,“jerry_friend_3”,“jerry_friend_4”,“jerry_friend_5”]

Time taken: 0.052 seconds, Fetched: 2 row(s)

5. 查询friends中的某个元素的SQL：

select person, friends[0], friends[3] from t2;

执行结果如下，第一条记录没有friends[3]，显示为NULL：

hive> select person, friends[0], friends[3] from t2;

OK

person _c1 _c2

tom tom_friend_0 NULL

jerry jerry_friend_0 jerry_friend_3

Time taken: 0.052 seconds, Fetched: 2 row(s)

6. 数组元素中是否包含某值的SQL：

select person, array_contains(friends, ‘tom_friend_0’) from t2;

执行结果如下，第一条记录friends数组中有tom_friend_0，显示为true，第二条记录不包含，就显示false：

hive> select person, array_contains(friends, ‘tom_friend_0’) from t2;

OK

person _c1

tom true

jerry false

Time taken: 0.061 seconds, Fetched: 2 row(s)

7. 第一条记录的friends数组中有三个元素，借助LATERAL VIEW语法可以把这三个元素拆成三行，SQL如下：

select t.person, single_friend

from (

select person, friends

from t2 where person=‘tom’

) t LATERAL VIEW explode(t.friends) v as single_friend;

执行结果如下，可见数组中的每个元素都能拆成单独一行：

OK

t.person single_friend

tom tom_friend_0

tom tom_friend_1

tom tom_friend_2

Time taken: 0.058 seconds, Fetched: 3 row(s)

• 以上就是数组的基本操作，接下来是键值对；

MAP，建表，导入数据

• 接下来打算创建名为t3的表，只有person和address两个字段，person是字符串类型，address是MAP类型，通过文本文件导入数据时，对分隔符的定义如下：

1. person和address之间的分隔符是竖线；

2. address内部有多个键值对，它们的分隔符是逗号；

3. 而每个键值对的键和值的分隔符是冒号；

• 满足上述要求的建表语句如下所示：

create table if not exists t3(

person string,

address map<string, string>

)

row format delimited

fields terminated by ‘|’

collection items terminated by ‘,’

map keys terminated by ‘:’;

• 创建文本文件003.txt，可见用了三种分隔符来分隔字段、MAP中的多个元素、每个元素键和值：

tom|province:guangdong,city:shenzhen

jerry|province:jiangsu,city:nanjing

• 导入003.txt的数据到t3表：

load data local inpath ‘/home/hadoop/temp/202010/25/003.txt’ into table t3;

MAP，查询

1. 查看全部数据：

hive> select * from t3;

OK

t3.person t3.address

tom {“province”:“guangdong”,“city”:“shenzhen”}

jerry {“province”:“jiangsu”,“city”:“nanjing”}

Time taken: 0.075 seconds, Fetched: 2 row(s)

2. 查看MAP中的某个key，语法是field[“xxx”]：

hive> select person, address[“province”] from t3;

OK

person _c1

tom guangdong

jerry jiangsu

Time taken: 0.075 seconds, Fetched: 2 row(s)

3. 使用if函数，下面的SQL是判断address字段中是否有"street"键，如果有就显示对应的值，没有就显示filed street not exists：

select person,

if(address[‘street’] is null, “filed street not exists”, address[‘street’])

from t3;

输出如下，由于address字段只有province和city两个键，因此会显示filed street not exists：

OK

tom filed street not exists

jerry filed street not exists

Time taken: 0.087 seconds, Fetched: 2 row(s)

4. 使用explode将address字段的每个键值对展示成一行：

hive> select explode(address) from t3;

OK

province guangdong

city shenzhen

province jiangsu

city nanjing

Time taken: 0.081 seconds, Fetched: 4 row(s)

5. 上面的explode函数只能展示address字段，如果还要展示其他字段就要继续LATERAL VIEW语法，如下，可见前面的数组展开为一个字段，MAP展开为两个字段，分别是key和value：

select t.person, address_key, address_value

from (

select person, address

from t3 where person=‘tom’

) t LATERAL VIEW explode(t.address) v as address_key, address_value;

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Java）

总结

在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。但是你要学习的往往不止这一点，还有一些主流框架的使用，Spring源码的学习，Mybatis源码的学习等等都是需要掌握的，我也把这些知识点都整理起来了

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
识点，真正体系化！**

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注：Java）

[外链图片转存中…(img-D1rMW5Kb-1713855369883)]

总结

在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。但是你要学习的往往不止这一点，还有一些主流框架的使用，Spring源码的学习，Mybatis源码的学习等等都是需要掌握的，我也把这些知识点都整理起来了

[外链图片转存中…(img-A82dULDl-1713855369883)]

[外链图片转存中…(img-slDQrgRi-1713855369883)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！