hive内置函数

hive函数分类

• UDF：一进一出
• UDAF：多进一出
• UDTF：一进多出

内置UDF函数

• substring 字符串截取函数

hive> select substring('hello',1,2);
OK
he

• concat_ws 指定分隔符连接字符串

hive> select concat_ws('**',split('aaa-bbb-ccc','-'));
OK
aaa**bbb**ccc

• split 分割字符串为数组形式

hive> select split('aaa-bbb-ccc','-'); //根据 - 进行分割，将字符串转化为hive数组类型
OK
["aaa","bbb","ccc"]

• str_to_map 将字符串转换为map类型

hive> select str_to_map('name:jack,age:18');
OK
{"name":"jack","age":"18"}

内置UDTF函数/表生成函数

• explode 将一个数组拆分为多行

select explode(split('aaa-bbb-ccc','-')); //对得到的数据使用explode函数拆分为多行
hive> select explode(split('aaa-bbb-ccc','-'));
OK
aaa
bbb
ccc

内置UDAF函数/聚合函数

• collect_set 将多行数据转换为数组并去重

hive> select collect_set(name) from stu;
OK
["tom","jack"]

• collect_list 将多行数据转换为数组不会去重

hive> select collect_list(name) from stu;
OK
["tom","tom","tom","jack","jack","jack"]