![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
张之海
硕士毕业于东北大学,现就职于北京某猫头鹰公司,大数据工程师职位。
展开
-
Hive 3 物化视图学习总结
1 物化视图的更新:增量更新、全量更新、定期重建。参考网站:ALTER MATERIALIZED VIEW REBUILD:包含刷新参考网站:Materialized view commands:包含创建、刷新、删除原创 2020-10-20 11:41:48 · 3459 阅读 · 0 评论 -
Hive常用命令之MSCK REPAIR TABLE命令概述
对于MSCK REPAIR TABLE命令,小编在工作中初见时,只有简单的理解——“刷新分区”。细究其原理便不得而知了。现在来将学习的内容记录一下。首先,Hive能检测到的分区信息,存储在哪里?怎么新建分区才会存储在这个可(被Hive)检测位置上?怎么新建分区不会存储在这个可(被Hive)检测的位置上?MASK REAPRE TABLE有什么作用?Hive能检测到的分区信息,存储在哪里?分区同database、table等一样,是Hive的元数据信息之一,存储在Derby、MySQL等数据库中。原创 2020-05-24 10:21:15 · 6125 阅读 · 1 评论 -
HQL不常用语法
1 删除Hive表中一个或多个分区alter table drop partition(ymd=20200415)alter table drop partition(ymd>=20200415)alter table drop partition(ymd>=20200401,ymd<=20200415) -- 分区区间,中间用逗号。...原创 2020-04-15 15:39:41 · 255 阅读 · 0 评论 -
高级HQL
网络上有大量好文章来解释的,本文就不再做二次解释了,只列出其网址,可自行参考。explode与posexplodelateral viewntile()分析函数ntile(组数)null first与null lastoracle排序中使用null first与null last前一小节中的《分析函数ntile(组数)》一文中也使用到了null last。collect_list...原创 2020-03-27 11:19:36 · 332 阅读 · 0 评论 -
HQL 工作bug总结
HQL工作BUG总结1 distinct2 insert overwrite table3 select xx1,xx2 from t group by xx1,xx21 distinctdistinct后面跟多个字段时,会根据所有字段的组合进行去重。而不是只根据紧跟在distinct后面的那一个字段去重。2 insert overwrite tableinsert overwrite...原创 2020-03-27 10:43:23 · 239 阅读 · 0 评论 -
Hive order by、sort by、partition by、
1 partition by分组函数,常与order by 在over中组合使用。与group by的区别是,partition by返回分组中的所有数据,而group by 往往只返回一条数据。原创 2020-03-24 11:36:22 · 1661 阅读 · 0 评论 -
lateral view、explode、 posexplode,解决一道面试题
核心:lateral viewexplodeposexplode1 . 朋友推荐岗面试题有如下一个数据表rec_list_info,其中有id字段,array字段(长度不相同),额外信息字段(json格式),现要求查询结果做到如第二个表所示,并且array中元素按序与json中元素对应。注意:要求array按序与json中的内容对应。解决思路参考:[1] LATERAL VIEW...原创 2020-03-20 10:39:55 · 3293 阅读 · 0 评论 -
《Hive编程指南学习》:HQL基础、HQL优化
HQL基于与优化1 HQL数据定义2 HQL数据操作3 HQL查询1 HQL数据定义//数据库中,表名,正则表达式use jmw;show tables like “jm.*”;//简单查询select distinct genderfrom jmw.jm_ti_accountwhere ymd>“20191230”limit 10//创建表create table i...原创 2020-03-18 14:43:25 · 1098 阅读 · 0 评论