HIVE 分组排序查询

最新推荐文章于 2024-01-15 08:25:14 发布

自由的行走

最新推荐文章于 2024-01-15 08:25:14 发布

阅读量954

点赞数

分类专栏：数据库文章标签： hive SQL 分组排序

本文链接：https://blog.csdn.net/zkyxgs518/article/details/103472419

版权

1 篇文章 0 订阅

订阅专栏

笔者在参加面试时遇到的一个关于hive数据库查询的的问题题意大概是这个样子的。有如下图结构的一个表：

表中的数据是长这个样子的：

面试官要求我查询的结果是长这个样子的

我第一印象觉得这个题还蛮简单的，就写了一个

select col1,col2,col3,max(col4) from test_select
group by col1,col2;

面试官说你确定吗？我就感觉这应该有问题，但是不知道具体哪里有问题，就硬着头皮说没有问题吧.....后来我就挂了【捂脸】

痛定思痛我回来后自己造了一些数据在hive下运行我写的SQL 确实是不行的原因是 select 后面只能跟分组的列和聚合的列

正确的写法应是：

select col1,col2,col3,col4 from (SELECT *, Row_Number() OVER (partition by col1,col2 ORDER BY col4 desc) rank FROM test1) as b 
 where b.rank == 1;

使用 row_number() over (partition by 分组列 order by 排序列）,这是我请教大佬后的一个写法，应该还有其他的写法，写在这里供大家参考吧

随便说一句上面的那个错误的写法在mysql中运行时一点问题没有的

这样说明了hiveSQL和mysql数据库还是有很多不同的大家需要留心

hbase和mysql的区别

1.hbase是一个nosql数据库，mysql是一个sql数据库

2.hbase是基于列存储的，mysql是行存储

3.hbase的数据类型只有一个string,mysql数据类型比较丰富

4.hbase的并发量支持非常高，mysql比较低

5.如果数据需要一些业务逻辑处理，那么使用mysql,

就是简单的数据，但是存储平率非常高，使用hbase

参考

关注

专栏目录