hive两个聚合函数的计算结果拼接成表并做进一步计算

最新推荐文章于 2023-12-13 17:47:28 发布
最新推荐文章于 2023-12-13 17:47:28 发布
阅读量7.6k 收藏 2
点赞数 1
分类专栏： 数据分析与数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zqqnancy/article/details/52680619
版权

hive两个聚合函数的计算结果拼接成表让LZ头疼了很久，一度想到用python处理，或者新建两张临时表保存聚合函数的结果然后再取出数据进行计算，或者使用UDF, 但总觉得还有其他方法。经过一番探索，发现WITH AS 可以方便快捷解决此问题。

WITH AS短语，也叫做子查询部分（subquery factoring），可以让你做很多事情，定义一个SQL片断，该SQL片断会被整个SQL语句所用到。

需求：统计

最低0.47元/天 解锁文章
zqqnancy
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive拼接和group_concat
changzoe的博客
07-24 5万+
拼接函数 concat(STRING|BINARY a, STRING|BINARY b…) Returns the string or bytes resulting from concatenating the strings or bytes passed in as parameters in order. For example, concat(‘foo’, ‘bar’) res...
hive中的拼接函数（concat,group_concat,concat_ws,collect_set）
zll_1234的博客
05-25 1万+
1、concat concat() 函数用于将多个字符串连接成一个字符串。 concat(string s1, string s2, string s3,…)表示通过s1、s2和s3连接一起 举例： +----+--------+ | id | name | +----+--------+ | 1 | city | +----+--------+ CONCAT(id,’:’,name) = 1:city 2、concat_ws concat_ws() 指定参数之间的分隔符 concat_ws(s
hive replace_Hive-拼接合并
weixin_30166291的博客
01-05 224
hive中字符串比较是从左到右顺序进行比较，如果在同一位置出现某一个字符不同，即可区分两个字符串的大小，如果各位置都相同，字符数多的大排序：拼接：select mainwaybillno ,regexp_replace( concat_ws('-', sort_array( collect_list( concat_ws('...
【HIVE】hive两种创建表常用组合
sofeld的博客
07-13 541
常用组合：parquet 格式 + snappy 压缩 set parquet.compression=snappy; CREATE TABLE db_name.tb_name( id STRING ) PARTITIONED BY (date_str STRING ,hour_str STRING ) ROW FORMAT DELIMITED FIELDS TERMI...
hivesql---分析两张表的指定数据整合到第三张表的指定字段上
xys2333的博客
01-25 1173
本文主要讲解利用hivesql分析两张表的指定数据整合到第三张表的指定字段上 背景说明：从表一中拿取四种任务的总数作为表三中任务总数，表二中拿取task_id的总数作为表三中任务失败的总数，再在表三中算出告警率=任务失败告警总数/任务总数 表一：dm_rtc_task_statistics_sum_mf 序号 字段名 l类型 s说明 1 task_type string 任务类型 2 task_num_0 string 未运行 3 .
hive常用运算和函数.docx
10-12
hive常用运算和函数.docx
hive-udf(两地址间距离计算+省市区位置解析(Java代码))
05-07
在这个“hive-udf”项目中，我们主要探讨的是如何利用Java编写UDF来实现两个地址间的距离计算以及省市区位置的解析。 首先，地址转换成经纬度是计算距离的基础。地理坐标系统通常使用经度和纬度来定位地球上任意...
hive窗口函数
01-09
hive窗口系列函数
hive常用运算和函数1
08-08
例如，要计算两个数的和，可以使用`hive> select 1 + 2;`。 逻辑运算包括AND(`&&`或`AND`)、OR(`||`或`OR`)和NOT(`!`或`NOT`)，它们用于组合条件表达式。例如，`hive> select * from table where column1 > 10 AND ...
hive和oracle常用函数对照表.xlsx
05-12
hive和oracle常用函数对照，包含常用的函数分类 字符函数 数值函数 日期函数 聚合函数 转换函数 其他 增加的hive函数对比，只需要2个积分喔
Hive中with/with as 的用法
Cxf2018的博客
10-27 2625
1.with as 是什么 with...as...需要定义一个sql片段,会将这个片段产生的结果集保存在内存中，后续的sql均可以访问这个结果集和,作用与视图或临时表类似。 2.用法 ① 完整格式 with q1 as ( select key from src where key = '5') select * from q1; ② 同级的多个q之间用,分割with只需要一次,as后的子句必须用() with q1 as ( select key from q2 where key = '5'), q
Hive中实现有序，有序concat拼接，有序集合，hive方法操作命令，与自带方法列表
weixin_42923199的博客
12-04 3760
前言 记得以前用过这个函数，这次开发怎么都找不到了，不常用的原因，也是笔记没做好 方法一 GROUP_CONCAT(distinct id ORDER BY id DESC SEPARATOR ‘_’) 好像是用过的 这个报错：Invalid function GROUP_CONCAT 可能是版本问题：当前hive版本：hive-common-2.1.1-cdh6.2.0 apache-hive-1.2.1-也没有这个函数
hive聚合函数之JOIN原理及案例
最新发布
Appreciate(欣赏)
12-13 218
本例中会首先启动一个MapReduce job对表e和表d进行连接操作，然后会再启动一个MapReduce job将第一个MapReduce job的输出和表l进行连接操作。union和union all都是上下拼接sql的结果，这点是和join有区别的，join是左右关联，union和union all是上下拼接。union去重，union all不去重。将员工表30部门的员工信息和40部门的员工信息，利用union进行拼接显示。内连接：只有进行连接的两个表中都存在与连接条件相匹配的数据才会被保留下来。
数据分析EPHS(5)-使用Hive SQL计算数列统计值
小小挖掘机
07-13 2936
上一篇中咱们介绍了使用Excel和Python计算统计值，这次咱们使用Hive来计算统计值。先来回顾一下数据和对应的统计结果：这里咱们使用的是iris分类数据集，数据下载...
hive中的拼接函数contact,concat_ws,collect_set()及explode()，lateral view函数
weixin_43668299的博客
07-07 2万+
hive工作中用到的一些拼接函数。 一， concat(string s1, string s2, string s3) 这个函数能够把字符串类型的数据连接起来，连接的某个元素可以是列值。 如 concat( aa, ‘:’, bb) 就相当于把aa列和bb列用冒号连接起来了，aa:bb。 二， cast 用法：cast(value as type) 功能：将某个列的值显示的转化为某个类型 例子：...
【Hive】Hive高级聚合（grouping sets、rollup、cube）
victorzzzz的专栏
09-17 1250
Hive高级聚合（0.10开始支持） 高级聚合功能相当于group by 加强 grouping sets：多个group by 进行union all，在同一个数据集进行多重group by 该关键字可以实现同一数据集的多重group by操作。事实上GROUPING SETS是多个GROUP BY进行UNION ALL操作的简单表达，它仅仅使用一个stage完成这些操作。GRO...
Hive学习之内置聚合函数
热门推荐
skyWalker_ONLY
08-25 3万+
聚合函数 下表为Hive内置的聚合函数。 返回类型 函数名 描述 BIGINT count(*) count(expr) count(DISTINCT expr[, expr_.]) count(*) – 返回检索到的行的总数，包括含有NULL值的行。count(expr) – 返回expr表达式不是NUL
hivesql 分组拼接同一列的字符串 / 分组多行拼接为一行
wuchongyong的博客
07-09 1829
函数concat_ws： select id, concat_ws('_',collect_set(col1)) as concatcol1 from table group by id 函数 groupconcat： select id,group_concat(distinct(col1),'_') as concatcol1 from table group by id
hive内嵌UDAF函数: 聚合函数使用详解
涤生大数据
03-06 1万+
1.什么是聚合函数 聚合函数是hive内置函数，聚合函数对一组值执行计算，并返回单个值。在Hive的聚合中，如果某个聚合列的值中有null，则包含该null的行将在聚合时被忽略除，了 COUNT 函数以外。为了避免这种情况，可以使用COALESCE来将null替换为一个默认值。 聚合函数经常与 SELECT 语句的 GROUP BY 子句一起使用。换句话说使用聚合函数时，一个列...
hive LAG函数 计算两个时间间隔
05-31
如果你想要计算两个时间之间的间隔，可以使用Hive中的TIMESTAMP类型来存储时间，然后使用UNIX_TIMESTAMP函数将时间转换为Unix时间戳进行计算。例如，如果你想计算两个时间之间的间隔，可以使用以下查询： ``` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值