HIVE编程学习
自由的行走
向着有光的地方出发!!!
展开
-
UDF、UDAF和UDTF开发模板
0.背景Hive是一种构建在Hadoop上的数据仓库,Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业,是MapReduce更高层次的抽象,不用编写具体的MapReduce方法。Hive将数据组织为表,这就使得HDFS上的数据有了结构,元数据即表的模式,都存储在名为metastore的数据库中。1.UDF是什么?hive的类SQL预发给数据挖掘工作者带来...原创 2020-01-14 19:20:42 · 653 阅读 · 1 评论 -
HIVE 函数大全
一、关系运算:1. 等值比较: =语法:A=B操作类型:所有基本类型描述: 如果表达式A与表达式B相等,则为TRUE;否则为FALSE举例:hive> select 1 from lxw_dual where 1=1;12. 不等值比较: <>语法: A <> B操作类型: 所有基本类型描述: 如果表达式A为NULL,或者表达式B...转载 2020-01-14 18:41:11 · 174 阅读 · 0 评论 -
hive explode & lateral view
1.explodehive wiki对于expolde的解释如下:explode() takes in an array (or a map) as an input and outputs the elements of the array (map) as separate rows. UDTFs can be used in the SELECT expression list a...转载 2020-01-14 18:10:43 · 161 阅读 · 0 评论 -
hive union all 使用
union all 用来合并多个select的查询结果,需要保证select中字段须一致,每个select语句返回的列的数量和名字必须一样,否则,一个语法错误会被抛出。更多内容可参考:https://blog.csdn.net/liuguangfudan/article/details/78623074...原创 2020-01-14 17:01:22 · 3767 阅读 · 1 评论 -
hive常用的时间日期函数
1.unix_timestamp()返回当前时区的unix时间戳返回类型:biginthive (tmp)> select unix_timestamp() from hive_sum limit 1;14658750162.from_unixtime(bigint unixtime[,string format])时间戳转日期函数返回类型:stringhive (tmp)...转载 2020-01-14 15:37:29 · 290 阅读 · 0 评论 -
hive 表中常用的 增加/修改/替换列操作
1)语法更新列ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_name column_type [COMMENT col_comment] [FIRST|AFTER column_name]增加和替换列ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name da...原创 2019-12-26 16:11:26 · 4921 阅读 · 0 评论 -
hive 分区表和数据产生关联三种方式
写在前面:想要从hive数据库里面查询到数据就要求hive的元数据必须存在且元数据指向的的HDFS路径中也必须要存在实际的数据(1)方式一:上传数据后修复 使用的场景是历史数据积累了很多分区数据,推荐使用该方式,该方法将HDFS上的数据方向写到hive的元数据库MySQL中上传数据hive (default)> dfs -mkdir -p /user/hive/wareho...原创 2019-12-26 16:00:30 · 703 阅读 · 0 评论