hive
zzumarch
一切数据出发,让数据回归数据本质
展开
-
hive 常用的日期维度
常用的日期维度原创 2023-05-31 11:43:31 · 167 阅读 · 0 评论 -
hive挂分区修复
我们在工作中可能会遇见 一个表中 多分区 ,我们从hdfs中直接上传分区文件后我们需要执行alter table dm.test add partition(dp='xxx')location 'hdfs://ns/dm.db/test/dp=xxx/元数据才会记录。工作中我们会直接上传一个hdfs 文件没有执行挂分区的操作,导致数据查询丢失数据。解决方案:msck repair table dm.test这样元数据就会记录...原创 2021-09-27 20:35:14 · 304 阅读 · 0 评论 -
hive多行转置
在工作中我们会遇见类似转置的需求 我们可以通过以下方法解决:with a as (select '20200101' as dt ,111 as cntUNION allselect '20200102' as dt ,1 as cntUNION allselect '20200103' as dt ,89 as cnt)select dt_map['20200101'],dt_map['20200102'],dt_map['20200103']from ( select...原创 2021-09-01 10:29:32 · 458 阅读 · 0 评论 -
HIVE中Grouping sets 时遇见的问题
hive 中使用grouping SETS时遇见对坑:hive报错Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameters overlap with the aggregation functions columnsselect p.c...原创 2020-04-10 15:27:00 · 3090 阅读 · 0 评论 -
HIVE常见的分析开窗函数
withdanke_bi_tmp.f_bi_lsq_ana_testas(SELECTroom_codeasid ,sign_date,pricefrom 库名.表明wherep_day =CURRENT_DATE+INTERVAL'-1'dayandcity_name ='成都市')/* following向下寻找 preceding 向上寻找 ...原创 2020-01-15 11:52:19 · 255 阅读 · 0 评论 -
hive 脚本传参数跑批数据 本月数据循环写入
本脚本主要是本月一号到目前日期循环写入 1号--昨天。 2号--昨天 等等数据#!/bin/sh. /etc/profiletime= date -d 0day +%Y%m%dfirst=`date +"%Y-%m-01"`second=`date -d -1day +%Y-%m-%d`while [ "$first" != "$second" ]doecho $firstec...原创 2019-10-15 19:23:27 · 1569 阅读 · 0 评论 -
hive 中判断中文的表达式
select regexp_extract('这里china', '[\u4e00-\u9fa5]+', 0)输出结果为:这里select regexp_replace('2019这里china', '[\u4e00-\u9fa5]+', "")输出结果为:2019china原创 2019-07-30 11:09:36 · 9198 阅读 · 0 评论