hive两个聚合函数的计算结果拼接成表并做进一步计算

最新推荐文章于 2021-09-18 17:09:25 发布
最新推荐文章于 2021-09-18 17:09:25 发布
阅读量7.6k 收藏 1
点赞数 1
分类专栏： 数据分析与数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zqqnancy/article/details/52680619
版权

hive两个聚合函数的计算结果拼接成表让LZ头疼了很久，一度想到用python处理，或者新建两张临时表保存聚合函数的结果然后再取出数据进行计算，或者使用UDF, 但总觉得还有其他方法。经过一番探索，发现WITH AS 可以方便快捷解决此问题。

WITH AS短语，也叫做子查询部分（subquery factoring），可以让你做很多事情，定义一个SQL片断，该SQL片断会被整个SQL语句所用到。

需求：统计

最低0.47元/天 解锁文章
zqqnancy
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive学习之内置聚合函数
skyWalker_ONLY
08-25 3万+
聚合函数 下表为Hive内置的聚合函数。 返回类型 函数名 描述 BIGINT count(*) count(expr) count(DISTINCT expr[, expr_.]) count(*) – 返回检索到的行的总数，包括含有NULL值的行。count(expr) – 返回expr表达式不是NUL
hive中的拼接函数（concat,group_concat,concat_ws,collect_set）
zll_1234的博客
05-25 1万+
1、concat concat() 函数用于将多个字符串连接成一个字符串。 concat(string s1, string s2, string s3,…)表示通过s1、s2和s3连接一起 举例： +----+--------+ | id | name | +----+--------+ | 1 | city | +----+--------+ CONCAT(id,’:’,name) = 1:city 2、concat_ws concat_ws() 指定参数之间的分隔符 concat_ws(s
hive拼接和group_concat
changzoe的博客
07-24 5万+
拼接函数 concat(STRING|BINARY a, STRING|BINARY b…) Returns the string or bytes resulting from concatenating the strings or bytes passed in as parameters in order. For example, concat(‘foo’, ‘bar’) res...
hive replace_Hive-拼接合并
weixin_30166291的博客
01-05 225
hive中字符串比较是从左到右顺序进行比较，如果在同一位置出现某一个字符不同，即可区分两个字符串的大小，如果各位置都相同，字符数多的大排序：拼接：select mainwaybillno ,regexp_replace( concat_ws('-', sort_array( collect_list( concat_ws('...
【HIVE】hive两种创建表常用组合
sofeld的博客
07-13 546
常用组合：parquet 格式 + snappy 压缩 set parquet.compression=snappy; CREATE TABLE db_name.tb_name( id STRING ) PARTITIONED BY (date_str STRING ,hour_str STRING ) ROW FORMAT DELIMITED FIELDS TERMI...
hivesql---分析两张表的指定数据整合到第三张表的指定字段上
xys2333的博客
01-25 1177
本文主要讲解利用hivesql分析两张表的指定数据整合到第三张表的指定字段上 背景说明：从表一中拿取四种任务的总数作为表三中任务总数，表二中拿取task_id的总数作为表三中任务失败的总数，再在表三中算出告警率=任务失败告警总数/任务总数 表一：dm_rtc_task_statistics_sum_mf 序号 字段名 l类型 s说明 1 task_type string 任务类型 2 task_num_0 string 未运行 3 .
Hive中with/with as 的用法
Cxf2018的博客
10-27 2656
1.with as 是什么 with...as...需要定义一个sql片段,会将这个片段产生的结果集保存在内存中，后续的sql均可以访问这个结果集和,作用与视图或临时表类似。 2.用法 ① 完整格式 with q1 as ( select key from src where key = '5') select * from q1; ② 同级的多个q之间用,分割with只需要一次,as后的子句必须用() with q1 as ( select key from q2 where key = '5'), q
数据分析EPHS(5)-使用Hive SQL计算数列统计值
小小挖掘机
07-13 2939
上一篇中咱们介绍了使用Excel和Python计算统计值，这次咱们使用Hive来计算统计值。先来回顾一下数据和对应的统计结果：这里咱们使用的是iris分类数据集，数据下载...
hive 字符串拼接_Hive三种复合数据类型
weixin_39643189的博客
12-01 4947
Hive有三种复合数据类型：数组(array)：基于数据(列表)的数据结构形式，array访问通过下标访问对应的值，从0开始字典(map)：基于key-value的数据结构形式，map可以通过["指定key名称"]访问对应的value值结构体(struct)：基于对象的数据结构形式，struct内部的数据可以通过(.)来存取1、数据类型定义三种复合结构的定义如下：数组使用array字典使...
hive 字符串拼接函数
热门推荐
蜗牛之窝
08-10 15万+
字符串拼接函数CONCAT() 语法: CONCAT(string A, string B…) 返回值: string 说明：返回输入字符串连接后的结果，支持任意个输入字符串 举例： Hive> select concat(‘abc’,'def’,'gh’) from lxw_dual; abcdefgh 延伸：指定分割字符的拼接函数CONCAT_WS()
hive内嵌UDAF函数: 聚合函数使用详解
涤生大数据
03-06 1万+
1.什么是聚合函数 聚合函数是hive内置函数，聚合函数对一组值执行计算，并返回单个值。在Hive的聚合中，如果某个聚合列的值中有null，则包含该null的行将在聚合时被忽略除，了 COUNT 函数以外。为了避免这种情况，可以使用COALESCE来将null替换为一个默认值。 聚合函数经常与 SELECT 语句的 GROUP BY 子句一起使用。换句话说使用聚合函数时，一个列...
hive中实现多个维度进行聚合
qq_42456324的博客
09-18 1447
数据准备 方法1：使用grouping sets select province ,city ,area ,sum(person_num) person_num from tmp.tmp_zb_leaarn group by province ,city ,area grouping sets( (province,city,area),(province,city),(province)
【Hive】Hive高级聚合（grouping sets、rollup、cube）
victorzzzz的专栏
09-17 1254
Hive高级聚合（0.10开始支持） 高级聚合功能相当于group by 加强 grouping sets：多个group by 进行union all，在同一个数据集进行多重group by 该关键字可以实现同一数据集的多重group by操作。事实上GROUPING SETS是多个GROUP BY进行UNION ALL操作的简单表达，它仅仅使用一个stage完成这些操作。GRO...
hivesql 分组拼接同一列的字符串 / 分组多行拼接为一行
wuchongyong的博客
07-09 1840
函数concat_ws： select id, concat_ws('_',collect_set(col1)) as concatcol1 from table group by id 函数 groupconcat： select id,group_concat(distinct(col1),'_') as concatcol1 from table group by id
hive字符串拼接常用方法
MusicDancing的博客
09-03 3万+
hive中常用的一些拼接函数 1. concat() 实现把若干个字段(字段类型可不相同)数据拼接起来 用法: concat(string a1, int a2, float a3) select concat("aa", 11, 2.2); aa112.2 不同字段之间用分隔符连接("_") select concat("aa","_",11,"_",2.2); aa_11_2.2 2. concat_ws() 使用分隔符将若干个字符串拼接起来，实现“列转行” 用法: 其...
数据的聚合运算——基础篇
Jakob_Hu的博客
03-26 9069
数据的聚合运算聚合函数1）选取GroupBy对象的一列聚合运算2）选取GroupBy对象的多列聚合运算3）自定义聚合函数（aggregate和agg方法）聚合高级应用面向列的多函数应用1）agg方法对GroupBy对象的一列使用一个方法2）agg方法对GroupBy对象的一列使用多个方法3）agg方法对多列使用多种相同的方法4）agg方法对分组变量的多列使用多种不同的方法无索引形式返回聚合变量 聚...
hive官网函数-中文说明文档
hello_java_lcl的博客
06-11 1万+
关系运算符 以下运算符比较传递的操作数，并根据操作数之间的比较是否成立来生成TRUE或FALSE值。 操作员 操作数类型 描述 A = B 所有原始类型 如果表达式A等于表达式B，则为TRUE，否则为FALSE。 A == B 所有原始类型 =运算符的同义词。 A <=> B
Hive中将多个查询结果按行拼接成一张表
ght_online的博客
05-10 1万+
在hive中将多个查询结果拼接成一张表，存入到另一张表中 一、语句 insert into table xiaoyuan_24_traffic_result partition (day_id = '20160506')  select a.phone_id, a.traffic, b.traffic     from (select *             from x
合并两个查询结果，关联数据列，不关联数据添加行
肆意飞扬
11-26 548
起因，有两个查询结果，因为关联的字段不确定两个结果中谁有，所以采用的方法，是将关联字段distinct作为中间表，然后查询表1、查询表2，将数据补充到中间表中，后来想通过sql解决一下，最后在同事的帮助下，在网上找到了解决方法，自己也做一份自己的笔记： 表1： select num,name,'1' as value from table1 表2： select num,name,'2' as...
hive LAG函数 计算两个时间间隔
最新发布
05-31
Hive中的LAG函数是用于计算当前行与指定偏移量之前行之间的差值。如果你想要计算两个时间之间的间隔，可以使用Hive中的TIMESTAMP类型来存储时间，然后使用UNIX_TIMESTAMP函数将时间转换为Unix时间戳进行计算。例如，如果你想计算两个时间之间的间隔，可以使用以下查询： ``` SELECT LAG(event_time, 1) OVER (ORDER BY event_time) as prev_time, UNIX_TIMESTAMP(event_time) - UNIX_TIMESTAMP(LAG(event_time, 1) OVER (ORDER BY event_time)) as time_diff FROM my_table; ``` 在这个查询中，我们使用LAG函数来获取上一个事件的时间戳，然后使用UNIX_TIMESTAMP函数计算当前事件时间戳与上一个事件时间戳之间的差值，以获取两个事件之间的时间间隔。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值