Hive基础知识（十二）：Hive的基本查询

最新推荐文章于 2024-06-17 11:56:42 发布
最新推荐文章于 2024-06-17 11:56:42 发布
阅读量961 收藏 21
点赞数 29
分类专栏： 大数据 文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zuodingquan666/article/details/135557467
版权

1. 全表和特定列查询

0）数据准备

原始数据

dept:
10 ACCOUNTING 1700
20 RESEARCH 1800
30 SALES 1900
40 OPERATIONS 1700
emp：
7369 SMITH CLERK 7902 1980-12-17 800.00 20
7499 ALLEN SALESMAN 7698 1981-2-20 1600.00 300.00 30
7521 WARD SALESMAN 7698 1981-2-22 1250.00 500.00 30
7566 JONES MANAGER 7839 1981-4-2 2975.00  20
7654 MARTIN SALESMAN 7698 1981-9-28 1250.00 1400.00 30
7698 BLAKE MANAGER 7839 1981-5-1 2850.00 30
7782 CLARK MANAGER 7839 1981-6-9 2450.00 10
7788 SCOTT ANALYST 7566 1987-4-19 3000.00 20
7839 KING PRESIDENT 8888 1981-11-17 5000.00 10
7844 TURNER SALESMAN 7698 1981-9-8 1500.00 0.00 30
7876 ADAMS CLERK 7788 1987-5-23 1100.00 20
7900 JAMES CLERK 7698 1981-12-3 950.00 30
7902 FORD ANALYST 7566 1981-12-3 3000.00 20
7934 MILLER CLERK 7782 1982-1-23 1300.00 10

（1）创建部门表

create table if not exists dept(
deptno int,
dname string,
loc int
)
row format delimited fields terminated by '\t';

（2）创建员工表

create table if not exists emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
row format delimited fields terminated by '\t';

（3）导入数据

load data local inpath '/home/zzdq/dept.txt' into table dept;
load data local inpath '/home/zzdq/emp.txt' into table emp;

1）全表查询

hive (default)> select * from emp; 
hive (default)> select empno,ename,job,mgr,hiredate,sal,comm,deptno from  emp ;

2）选择特定列查询

hive (default)> select empno, ename from emp;

注意：

（1）SQL 语言大小写不敏感。

（2）SQL 可以写在一行或者多行

（3）关键字不能被缩写也不能分行

（4）各子句一般要分行写。

（5）使用缩进提高语句的可读性。

2. 列别名

1）重命名一个列

2）便于计算

3）紧跟列名，也可以在列名和别名之间加入关键字‘AS’

4）案例实操

查询名称和部门

hive (default)> select ename as name,deptno as dept from emp;

3. 算术运算符

案例实操：查询出所有员工的薪水后加1 显示。

hive (default)> select mgr+100 from emp;

4. 常用函数

1）求总行数（count），这个有MR生成

hive (default)> select count(*) cnt from emp;

2）求工资的最大值（max），这个有MR生成

hive (default)> select max(mgr) from emp;

3）求工资的最小值（min）这个有MR生成

hive (default)> select min(mgr) from emp;

4）求工资的总和（sum）这个有MR生成

hive (default)> select sum(mgr) from emp;

5）求工资的平均值（avg）这个有MR生成

hive (default)> select avg(mgr) avg_sql from emp;

5. Limit 语句

典型的查询会返回多行数据。LIMIT 子句用于限制返回的行数。

hive (default)> select * from emp limit 5;
hive (default)> select * from emp limit 2;

6. Where 语句

1）使用 WHERE 子句，将不满足条件的行过滤掉

2）WHERE 子句紧随 FROM 子句

3）案例实操

查询出薪水大于1000 的所有员工

hive (default)> select * from emp where sal >1000;

注意：where 子句中不能使用字段别名。

7. 比较运算符（Between/In/ Is Null）

1）下面表中描述了谓词操作符，这些操作符同样可以用于 JOIN…ON 和 HAVING 语句中。

操作符支持的数据类型描述
A=B基本数据类型如果A等于B则返回TRUE,反之返回FALSE
A<=>B基本数据类型如果A和B都为NULL，则返回TRUE，如果一边为NULL,返回False
A<>B, A!=B基本数据类型A或者B为NULL则返回NULL;如果A不等于B，则返回TRUE，反之返回FALSE
A<B基本数据类型A或者B为NULL，则返回NULL;如果A小于B，则返回TRUE，反之返回FALSE
A<=B基本数据类型A或者B为NULL,则返回NULL;如果A小于等于B,则返回TRUE，反之返回FALSE
A>B基本数据类型A或者B为NULL，则返回NULL;如果A大于B，则返回TRUE，反之返回FALSE
A>=B基本数据类型A或者B为NULL,则返回NULL;如果A大于等于B,则返回TRUE，反之返回FALSE
A [NOT] BETWEEN B AND C基本数据类型如果A，B或者C任一为NULL，则结果为NULL。 如果A的值大于等于B而且小于或等于C,则结果为TRUE,反之为FALSE。 如果使用NOT关键字则可达到相反的效果。
A IS NULL所有数据类型如果A等于NULL，则返回TRUE，反之返回FALSE
A IS NOT NULL所有数据类型如果A不等于NULL，则返回TRUE，反之返回FALSE
IN(数值1,数值2)所有数据类型使用IN运算显示列表中的值
A [NOT] LIKE Bstring类型B是一个SQL下的简单正则表达式，也叫通配符模式， 如果A与其匹配的话，则返回TRUE;反之返回FALSE。 B的表达式说明如下: 'x%’表示A必须以字母'x’开头， ‘%x’表示A必须以字母’x'结尾，而‘%x%'表示A包含有字母’x’, 可以位于开头，结尾或者字符串中间。如果使用NOT关键字则可达到相反的效果。
A RLIKE B, A REGEXP Bstring类型B 是基于 java 的正则表达式，如果 A 与其匹配， 则返回 TRUE；反之返回 FALSE。 匹配使用的是 JDK 中的正则表达式接口实现的， 因为正则也依据其中的规则。 例如，正则表达式必须和整个字符串 A 相匹配， 而不是只需与其字符串匹配。

2）案例实操

（1）查询出薪水等于5000 的所有员工

hive (default)> select * from emp where mgr = 7902;
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7369  SMITH  CLERK 7902 1980-12-17 800.0 20.0  NULL
Time taken: 0.285 seconds, Fetched: 1 row(s)

（2）查询工资在500 到1000 的员工信息

hive (default)> select * from emp where mgr between 7500 and 7700;
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7499  ALLEN  SALESMAN 7698 1981-2-20 1600.0 300.0 30
7521  WARD  SALESMAN 7698 1981-2-22 1250.0 500.0 30
7654  MARTIN  SALESMAN 7698 1981-9-28 1250.0 1400.0 30
7788  SCOTT  ANALYST 7566 1987-4-19 3000.0 20.0  NULL
7844  TURNER  SALESMAN 7698 1981-9-8 1500.0 0.0 30
7900  JAMES  CLERK 7698 1981-12-3 950.0 30.0  NULL
7902  FORD  ANALYST 7566 1981-12-3 3000.0 20.0  NULL
Time taken: 0.576 seconds, Fetched: 7 row(s)

（3）查询 comm 为空的所有员工信息

hive (default)> select * from emp where comm is null;
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7839  KING  PRESIDENT  NULL 5000.00 10.0  NULL  NULL
Time taken: 0.229 seconds, Fetched: 1 row(s)

（4）查询工资是1500 或5000 的员工信息

hive (default)> select * from emp where sal in (1500,2600);
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7844  TURNER  SALESMAN 7698 1981-9-8 1500.0 0.0 30
Time taken: 0.176 seconds, Fetched: 1 row(s)

8. Like 和 RLike

1）使用 LIKE 运算选择类似的值

2）选择条件可以包含字符或数字: %代表零个或多个字符(任意个字符)。 _ 代表一个字符。

3）RLIKE子句 RLIKE 子句是 Hive 中这个功能的一个扩展，其可以通过 Java 的正则表达式这个更强大的语言来指定匹配条件。

4）案例实操

（1）查找名字以 A 开头的员工信息 hive (default)> select * from emp where ename LIKE 'A%';

（2）查找名字中第二个字母为 A 的员工信息 hive (default)> select * from emp where ename LIKE '_A%';

（3）查找名字中带有 A 的员工信息 hive (default)> select * from emp where ename RLIKE '[A]';

9. 逻辑运算符（And/Or/Not）

1）案例实操

（1）查询薪水大于1000，部门是30

hive (default)> select * from emp where sal>1000 and deptno=30;
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7499  ALLEN  SALESMAN 7698 1981-2-20 1600.0 300.0 30
7521  WARD  SALESMAN 7698 1981-2-22 1250.0 500.0 30
7654  MARTIN  SALESMAN 7698 1981-9-28 1250.0 1400.0 30
7844  TURNER  SALESMAN 7698 1981-9-8 1500.0 0.0 30
Time taken: 0.696 seconds, Fetched: 4 row(s)

（2）查询薪水大于1000，或者部门是30

hive (default)> select * from emp where sal>1000 or deptno=30;
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7499  ALLEN  SALESMAN 7698 1981-2-20 1600.0 300.0 30
7521  WARD  SALESMAN 7698 1981-2-22 1250.0 500.0 30
7566  JONES  MANAGER 7839 1981-4-2 2975.0 20.0  NULL
7654  MARTIN  SALESMAN 7698 1981-9-28 1250.0 1400.0 30
7698  BLAKE  MANAGER 7839 1981-5-1 2850.0 30.0  NULL
7782  CLARK  MANAGER 7839 1981-6-9 2450.0 10.0  NULL
7788  SCOTT  ANALYST 7566 1987-4-19 3000.0 20.0  NULL
7844  TURNER  SALESMAN 7698 1981-9-8 1500.0 0.0 30
7876  ADAMS  CLERK 7788 1987-5-23 1100.0 20.0  NULL
7902  FORD  ANALYST 7566 1981-12-3 3000.0 20.0  NULL
7934  MILLER  CLERK 7782 1982-1-23 1300.0 10.0  NULL
Time taken: 0.22 seconds, Fetched: 11 row(s)

（3）查询除了20 部门和30 部门以外的员工信息

hive (default)> select * from emp where not deptno=20 or not deptno=30;
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7499  ALLEN  SALESMAN 7698 1981-2-20 1600.0 300.0 30
7521  WARD  SALESMAN 7698 1981-2-22 1250.0 500.0 30
7654  MARTIN  SALESMAN 7698 1981-9-28 1250.0 1400.0 30
7844  TURNER  SALESMAN 7698 1981-9-8 1500.0 0.0 30
Time taken: 0.193 seconds, Fetched: 4 row(s)
​

依晴无旧
关注
  • 29
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据技术之Hive（三）查询、分区表和分桶表
huxili2020的博客
09-01 3155
文章目录1 DDL 数据定义1.1 创建数据库1.2 查询数据库1.3 修改数据库1.4 删除数据库1.5 创建表1.5.1 管理表1.5.2 外部表1.5.3 管理表与外部表的互相转换1.6 修改表1.7 删除表2 DML 数据操作2.1 数据导入2.2 数据导出 1 DDL 数据定义 1.1 创建数据库 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH.
hive查看表中列的信息命令_快速了解hive
weixin_39601794的博客
11-20 1411
作者丨HappyMint文章选摘：大数据与人工智能这是作者的第7篇文章本文主要针对从事大数据分析和架构相关工作，需要与hive打交道但目前对hive还没有进行深层次了解的小伙伴，希望本文会让你对hive有一个快速的了解。内容主要包括什么是hive、为什么要有hive、hive的架构、hive的数据组织以及hive的使用之DDL操作。1.什么是 hive?1 是基于 Hadoop 的一个...
大数据之Hive<四>
morexyoung的博客
12-27 441
四 DDL数据定义4.1 创建数据库1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2）避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法）hive> create database db_hive;FAILED: Execution
hive根据已有表创建新表_hive 查询语句(查询hive创建表的语句)
weixin_39714383的博客
12-19 1089
hive 查询语句(查询hive创建表的语句)2020-07-24 11:39:50共10个回答I是计数变量,也就是控制运算次数的,I的赋值你完全可以自己定义,不是唯一的,这里用I=2,是为了简化程序,让I既做计数变量,又可以用来参与运算---S4T“=”T*I;T赋予1是因为要从1连乘到5,其实你也可以把程序倒过来写,从5连乘到1解:S1T“=”(赋值语句的符号)5S2I“=”4S3如果I大于等...
HiveSQL建表-查询
Vulpes corsac
08-19 2761
Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构 化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需 要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言查询，汇总，分析数据。而mapreduce开发人员可以把 己写的mapper 和reducer 作为插件来支持
基于Hadoop的数据仓库Hive基础知识
02-25
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行...
hive基础知识总结
09-18
本文档为总结的hive基础知识，包括hive服务、变量和属性、日志、表操作……等基础知识。
Hive入门基础知识.pdf
08-03
Hive入门基础知识.pdf
hive基础知识复习笔记.zip
05-11
hive基础知识复习笔记.zip
hive 新建表，写入查询结果
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-27 4522
hive> create table sales_info_new_new > as > select sku_id,sku_name,category_id3,price,sales_count,dt > from sales_info where dt = '2019-04-26'; 原表DDL: CREATE TABLE `sale...
hive 创建表的三种方式
梁小明的博客
10-18 5万+
hive 创建表的三种方式 官网地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available
Hive 建表 加载数据 查询
nihaoma_ff的博客
04-20 387
hive 创建表，加载，查询
Hive学习3：Hive三种建表语句详解
热门推荐
Liu_Arvin的芝士小栈
10-29 13万+
Hive学习3：Hive三种建表语句详解
大数据之flink与hive
高精尖发展
06-10 496
其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧。
软件1班20240607
2301_80189168的博客
06-07 2614
【代码】软件1班20240607。
C# WPF入门学习主线篇（二十三）—— 控件模板（ControlTemplate）和数据模板（DataTemplate）
weixin_56595425的博客
06-13 782
在本篇博客中，我们详细介绍了WPF中的控件模板（ControlTemplate）和数据模板（DataTemplate）的定义和应用。通过具体的代码示例，展示了如何自定义按钮的外观以及如何展示列表中的数据项。这些模板的使用不仅提升了应用程序的视觉效果，还增强了其灵活性和可维护性。希望通过这篇博客，读者能够深入理解和掌握WPF中模板的使用技巧。
Hadoop之HDFS分布式文件系统
ningkangming的博客
06-11 420
HDFS 是 Hadoop 的分布式文件系统，它设计用于存储大量数据，并提供 高吞吐率的数据访问，通过将数据分块存储在多个节点上，实现数据的冗余存储和容错。
银行数仓项目实战（一）--什么是数据仓库
最新发布
qq_31727471的博客
06-17 849
数据仓库技术是为了有效的把操作型数据集成到统一的环境中以提供决策型数据访问的各种技术和模块的总称，所做的一切都是为了让用户更快更方便查询所需要的信息，提供决策支持。1.数仓管理系统（Data Warehouse Management System，DWMS）：用于管理银行数据仓库的建设，维护和运营，包括数据提取，清洗，转换，加载等功能。数据仓库是一个面向主题的，集成的，非易失的且随时间变化的数据集合，用来支持管理人员的决策。：用于确保报送数据的准确性，完整性和一致性，包括数据清洗，校验，修复等功能。
hive基础知识选择题
07-03
### 回答1： Hive是一个基于Hadoop的数据仓库工具，它提供了一种类似SQL的查询语言，用于将结构化数据存储在Hadoop集群上，并进行查询和分析。下面是一些关于Hive基础知识的选择题： 1. Hive的主要特点是什么？ a) 提供类似SQL的查询语言 b) 可以在Hadoop集群上进行数据存储和分析 c) 可以处理结构化和半结构化数据 d) 所有选项都正确 答案：d) 所有选项都正确 2. Hive将数据存储在哪里？ a) HBase b) Hadoop Distributed File System (HDFS) c) Cassandra d) MySQL 答案：b) Hadoop Distributed File System (HDFS) 3. Hive中的表可以与以下哪种文件格式关联？ a) CSV b) JSON c) Parquet d) 所有选项都正确 答案：d) 所有选项都正确 4. Hive使用什么来对数据进行分区和排序？ a) HDFS b) Tez c) MapReduce d) Apache Spark 答案：c) MapReduce 5. Hive中的数据查询和分析通过什么来实现？ a) Hive Query Language (HQL) b) Structured Query Language (SQL) c) Apache Hive d) Apache Hadoop 答案：a) Hive Query Language (HQL) 总之，Hive是一个基于Hadoop的数据仓库工具，具有类似SQL的查询语言，可以在Hadoop集群上存储和分析结构化和半结构化数据。它使用HDFS来存储数据，可以与多种文件格式关联，并使用MapReduce来进行数据分区和排序。数据查询和分析通过Hive Query Language (HQL)来实现。 ### 回答2： Hive是一款基于Hadoop的数据仓库工具，它提供了方便的数据查询和分析的功能。接下来我将回答一些关于Hive基础知识的选择题。 1. Hive中的表是如何定义的？ 答案：C. 使用HiveQL语句创建表。 2. 在Hive中，数据是如何存储的？ 答案：B. 在Hadoop的HDFS文件系统中。 3. Hive中的分区是用来做什么的？ 答案：A. 对数据进行逻辑上的划分，便于查询优化和数据管理。 4. 在Hive中，可以使用哪种语言进行数据查询？ 答案：D. HiveQL。 5. 在Hive中，用来处理复杂逻辑和数据运算的是什么？ 答案：B. Hive的UDF（用户定义函数）和UDAF（用户定义聚合函数）。 6. Hive的数据存储格式有哪些？ 答案：A. 文本文件（TextFile）、序列文件（SequenceFile）和Parquet等。 7. Hive表中的数据可以通过什么方式进行加载？ 答案：C. 使用Hive的LOAD DATA语句。 8. 在Hive中，用来创建管理表结构的是什么？ 答案：B. Hive的元数据存储。 9. Hive的优势是什么？ 答案：C. 简化了对Hadoop数据的查询和分析。 10. 使用Hive时，可以通过什么方式进行数据的导入和导出？ 答案：D. 使用Hive的导入和导出命令。 以上是关于Hive基础知识的一些选择题的答案。Hive是一个功能强大且易于使用的工具，可以帮助用户更好地处理和分析大数据。掌握Hive基础知识对于进行数据仓库的建设和数据分析工作非常重要。 ### 回答3： Hive是一个开源的数据仓库基础架构，运行在Hadoop集群上。以下是关于Hive的基础知识选择题的回答： 1. Hive中的数据存储在哪里？ 答：Hive中的数据存储在Hadoop分布式文件系统(HDFS)中。 2. Hive中的数据是如何组织的？ 答：Hive中的数据是以表(Tables)的形式进行组织的。 3. Hive中的表的结构是如何定义的？ 答：Hive中的表的结构是通过DDL语句来定义的，包括表的名称、列名称、数据类型等信息。 4. Hive中的查询语言是什么？ 答：Hive中的查询语言类似于SQL，称为HiveQL或HQL。 5. Hive中的查询语句是如何转换为MapReduce作业的？ 答：Hive将查询语句转换为逻辑查询计划，然后将逻辑查询计划转换为物理查询计划，最后将物理查询计划转换为MapReduce作业。 6. Hive中的分区表是什么？ 答：Hive中的分区表是按照一个或多个列的值分成不同的目录，并且每个目录下存储相应分区的数据。 7. Hive中的桶是什么？ 答：Hive中的桶是将数据分成固定数量的文件的一种方式，目的是提高查询性能。 8. Hive中的内部表和外部表有什么区别？ 答：内部表的数据和元数据都由Hive管理，删除内部表时会删除表的数据；而外部表的数据和元数据存储在外部的文件系统中，删除外部表时只会删除元数据。 9. Hive中的UDF是什么？ 答：UDF全称为用户定义函数(User-Defined Functions)，是由用户自定义的用于特定数据处理操作的函数。 10. Hive中的压缩是如何实现的？ 答：Hive中的压缩是通过执行MapReduce作业时将数据进行压缩，以减少数据的存储空间和提高查询性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值