Hive基础知识（十二）：Hive的基本查询

最新推荐文章于 2024-06-18 21:36:33 发布
最新推荐文章于 2024-06-18 21:36:33 发布
阅读量961 收藏 21
点赞数 29
分类专栏： 大数据 文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zuodingquan666/article/details/135557467
版权

1. 全表和特定列查询

0）数据准备

原始数据

dept:
10 ACCOUNTING 1700
20 RESEARCH 1800
30 SALES 1900
40 OPERATIONS 1700
emp：
7369 SMITH CLERK 7902 1980-12-17 800.00 20
7499 ALLEN SALESMAN 7698 1981-2-20 1600.00 300.00 30
7521 WARD SALESMAN 7698 1981-2-22 1250.00 500.00 30
7566 JONES MANAGER 7839 1981-4-2 2975.00  20
7654 MARTIN SALESMAN 7698 1981-9-28 1250.00 1400.00 30
7698 BLAKE MANAGER 7839 1981-5-1 2850.00 30
7782 CLARK MANAGER 7839 1981-6-9 2450.00 10
7788 SCOTT ANALYST 7566 1987-4-19 3000.00 20
7839 KING PRESIDENT 8888 1981-11-17 5000.00 10
7844 TURNER SALESMAN 7698 1981-9-8 1500.00 0.00 30
7876 ADAMS CLERK 7788 1987-5-23 1100.00 20
7900 JAMES CLERK 7698 1981-12-3 950.00 30
7902 FORD ANALYST 7566 1981-12-3 3000.00 20
7934 MILLER CLERK 7782 1982-1-23 1300.00 10

（1）创建部门表

create table if not exists dept(
deptno int,
dname string,
loc int
)
row format delimited fields terminated by '\t';

（2）创建员工表

create table if not exists emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
row format delimited fields terminated by '\t';

（3）导入数据

load data local inpath '/home/zzdq/dept.txt' into table dept;
load data local inpath '/home/zzdq/emp.txt' into table emp;

1）全表查询

hive (default)> select * from emp; 
hive (default)> select empno,ename,job,mgr,hiredate,sal,comm,deptno from  emp ;

2）选择特定列查询

hive (default)> select empno, ename from emp;

注意：

（1）SQL 语言大小写不敏感。

（2）SQL 可以写在一行或者多行

（3）关键字不能被缩写也不能分行

（4）各子句一般要分行写。

（5）使用缩进提高语句的可读性。

2. 列别名

1）重命名一个列

2）便于计算

3）紧跟列名，也可以在列名和别名之间加入关键字‘AS’

4）案例实操

查询名称和部门

hive (default)> select ename as name,deptno as dept from emp;

3. 算术运算符

案例实操：查询出所有员工的薪水后加1 显示。

hive (default)> select mgr+100 from emp;

4. 常用函数

1）求总行数（count），这个有MR生成

hive (default)> select count(*) cnt from emp;

2）求工资的最大值（max），这个有MR生成

hive (default)> select max(mgr) from emp;

3）求工资的最小值（min）这个有MR生成

hive (default)> select min(mgr) from emp;

4）求工资的总和（sum）这个有MR生成

hive (default)> select sum(mgr) from emp;

5）求工资的平均值（avg）这个有MR生成

hive (default)> select avg(mgr) avg_sql from emp;

5. Limit 语句

典型的查询会返回多行数据。LIMIT 子句用于限制返回的行数。

hive (default)> select * from emp limit 5;
hive (default)> select * from emp limit 2;

6. Where 语句

1）使用 WHERE 子句，将不满足条件的行过滤掉

2）WHERE 子句紧随 FROM 子句

3）案例实操

查询出薪水大于1000 的所有员工

hive (default)> select * from emp where sal >1000;

注意：where 子句中不能使用字段别名。

7. 比较运算符（Between/In/ Is Null）

1）下面表中描述了谓词操作符，这些操作符同样可以用于 JOIN…ON 和 HAVING 语句中。

操作符支持的数据类型描述
A=B基本数据类型如果A等于B则返回TRUE,反之返回FALSE
A<=>B基本数据类型如果A和B都为NULL，则返回TRUE，如果一边为NULL,返回False
A<>B, A!=B基本数据类型A或者B为NULL则返回NULL;如果A不等于B，则返回TRUE，反之返回FALSE
A<B基本数据类型A或者B为NULL，则返回NULL;如果A小于B，则返回TRUE，反之返回FALSE
A<=B基本数据类型A或者B为NULL,则返回NULL;如果A小于等于B,则返回TRUE，反之返回FALSE
A>B基本数据类型A或者B为NULL，则返回NULL;如果A大于B，则返回TRUE，反之返回FALSE
A>=B基本数据类型A或者B为NULL,则返回NULL;如果A大于等于B,则返回TRUE，反之返回FALSE
A [NOT] BETWEEN B AND C基本数据类型如果A，B或者C任一为NULL，则结果为NULL。 如果A的值大于等于B而且小于或等于C,则结果为TRUE,反之为FALSE。 如果使用NOT关键字则可达到相反的效果。
A IS NULL所有数据类型如果A等于NULL，则返回TRUE，反之返回FALSE
A IS NOT NULL所有数据类型如果A不等于NULL，则返回TRUE，反之返回FALSE
IN(数值1,数值2)所有数据类型使用IN运算显示列表中的值
A [NOT] LIKE Bstring类型B是一个SQL下的简单正则表达式，也叫通配符模式， 如果A与其匹配的话，则返回TRUE;反之返回FALSE。 B的表达式说明如下: 'x%’表示A必须以字母'x’开头， ‘%x’表示A必须以字母’x'结尾，而‘%x%'表示A包含有字母’x’, 可以位于开头，结尾或者字符串中间。如果使用NOT关键字则可达到相反的效果。
A RLIKE B, A REGEXP Bstring类型B 是基于 java 的正则表达式，如果 A 与其匹配， 则返回 TRUE；反之返回 FALSE。 匹配使用的是 JDK 中的正则表达式接口实现的， 因为正则也依据其中的规则。 例如，正则表达式必须和整个字符串 A 相匹配， 而不是只需与其字符串匹配。

2）案例实操

（1）查询出薪水等于5000 的所有员工

hive (default)> select * from emp where mgr = 7902;
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7369  SMITH  CLERK 7902 1980-12-17 800.0 20.0  NULL
Time taken: 0.285 seconds, Fetched: 1 row(s)

（2）查询工资在500 到1000 的员工信息

hive (default)> select * from emp where mgr between 7500 and 7700;
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7499  ALLEN  SALESMAN 7698 1981-2-20 1600.0 300.0 30
7521  WARD  SALESMAN 7698 1981-2-22 1250.0 500.0 30
7654  MARTIN  SALESMAN 7698 1981-9-28 1250.0 1400.0 30
7788  SCOTT  ANALYST 7566 1987-4-19 3000.0 20.0  NULL
7844  TURNER  SALESMAN 7698 1981-9-8 1500.0 0.0 30
7900  JAMES  CLERK 7698 1981-12-3 950.0 30.0  NULL
7902  FORD  ANALYST 7566 1981-12-3 3000.0 20.0  NULL
Time taken: 0.576 seconds, Fetched: 7 row(s)

（3）查询 comm 为空的所有员工信息

hive (default)> select * from emp where comm is null;
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7839  KING  PRESIDENT  NULL 5000.00 10.0  NULL  NULL
Time taken: 0.229 seconds, Fetched: 1 row(s)

（4）查询工资是1500 或5000 的员工信息

hive (default)> select * from emp where sal in (1500,2600);
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7844  TURNER  SALESMAN 7698 1981-9-8 1500.0 0.0 30
Time taken: 0.176 seconds, Fetched: 1 row(s)

8. Like 和 RLike

1）使用 LIKE 运算选择类似的值

2）选择条件可以包含字符或数字: %代表零个或多个字符(任意个字符)。 _ 代表一个字符。

3）RLIKE子句 RLIKE 子句是 Hive 中这个功能的一个扩展，其可以通过 Java 的正则表达式这个更强大的语言来指定匹配条件。

4）案例实操

（1）查找名字以 A 开头的员工信息 hive (default)> select * from emp where ename LIKE 'A%';

（2）查找名字中第二个字母为 A 的员工信息 hive (default)> select * from emp where ename LIKE '_A%';

（3）查找名字中带有 A 的员工信息 hive (default)> select * from emp where ename RLIKE '[A]';

9. 逻辑运算符（And/Or/Not）

1）案例实操

（1）查询薪水大于1000，部门是30

hive (default)> select * from emp where sal>1000 and deptno=30;
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7499  ALLEN  SALESMAN 7698 1981-2-20 1600.0 300.0 30
7521  WARD  SALESMAN 7698 1981-2-22 1250.0 500.0 30
7654  MARTIN  SALESMAN 7698 1981-9-28 1250.0 1400.0 30
7844  TURNER  SALESMAN 7698 1981-9-8 1500.0 0.0 30
Time taken: 0.696 seconds, Fetched: 4 row(s)

（2）查询薪水大于1000，或者部门是30

hive (default)> select * from emp where sal>1000 or deptno=30;
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7499  ALLEN  SALESMAN 7698 1981-2-20 1600.0 300.0 30
7521  WARD  SALESMAN 7698 1981-2-22 1250.0 500.0 30
7566  JONES  MANAGER 7839 1981-4-2 2975.0 20.0  NULL
7654  MARTIN  SALESMAN 7698 1981-9-28 1250.0 1400.0 30
7698  BLAKE  MANAGER 7839 1981-5-1 2850.0 30.0  NULL
7782  CLARK  MANAGER 7839 1981-6-9 2450.0 10.0  NULL
7788  SCOTT  ANALYST 7566 1987-4-19 3000.0 20.0  NULL
7844  TURNER  SALESMAN 7698 1981-9-8 1500.0 0.0 30
7876  ADAMS  CLERK 7788 1987-5-23 1100.0 20.0  NULL
7902  FORD  ANALYST 7566 1981-12-3 3000.0 20.0  NULL
7934  MILLER  CLERK 7782 1982-1-23 1300.0 10.0  NULL
Time taken: 0.22 seconds, Fetched: 11 row(s)

（3）查询除了20 部门和30 部门以外的员工信息

hive (default)> select * from emp where not deptno=20 or not deptno=30;
OK
emp.empno  emp.ename  emp.job emp.mgr emp.hiredate  emp.sal emp.comm  emp.deptno
7499  ALLEN  SALESMAN 7698 1981-2-20 1600.0 300.0 30
7521  WARD  SALESMAN 7698 1981-2-22 1250.0 500.0 30
7654  MARTIN  SALESMAN 7698 1981-9-28 1250.0 1400.0 30
7844  TURNER  SALESMAN 7698 1981-9-8 1500.0 0.0 30
Time taken: 0.193 seconds, Fetched: 4 row(s)
​

依晴无旧
关注
  • 29
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Hadoop的数据仓库Hive基础知识
02-25
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行...
【Hive-基础】优缺点，架构原理，与数据库的差异
一个写湿的程序猿
07-31 1597
Hive-优缺点，架构原理，与数据库的差异 文章目录Hive-优缺点，架构原理，与数据库的差异1 Hive的概述2 Hive的优缺点3 Hive架构原理4 Hive和数据库比较4.1 查询语言4.2 数据更新4.3 执行延迟4.4 数据规模 1 Hive的概述 1） Hive简介 Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive是基于Hadoop的一个数据仓库工具（不是数据库），可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 2） Hive本质：将HQL转化成M
Hive 基础知识
STAR GAME
02-24 3795
1. Hive和HBase的区别 HBase是一个用来处理HDFS上文件的NoSQL数据库，建立于HDFS之上。 Hive是封装了MapReduce的操作，让用户可以通过写sql语句的方式，实现MapReduce操作。 Hive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行查询、统计和分析。 2. Hive是什么 （1）Hive是一个SQL解析引擎，将SQL语句转译成MR Job，然后再Hadoop平台上运行，达到快速开发的目的。 （2）Hive中的表示纯逻辑表，只有表的定
Hive：Hive基础知识 01
Xiao Miao的博客
05-03 2532
Hive基础知识 01
Hive：Hive基础知识 02
Xiao Miao的博客
05-05 1687
Hive基础知识 02
HIVE仓库基础知识：基本命令
世界之大
03-08 349
1.从hive中查询并导出为txt文件到Linux服务器上：hive -e "select * from xj6500.fct_vecl_insur_pft_2 where daypt between '2017-10-31' and '2017-11-28'" &gt; /home/data/hiveexport/fct_vecl_insur_pft_3/fct_vecl_insur_pft_3...
hive基础知识总结
09-18
本文档为总结的hive基础知识，包括hive服务、变量和属性、日志、表操作……等基础知识。
Hive入门基础知识.pdf
08-03
Hive入门基础知识.pdf
hive基础知识复习笔记.zip
05-11
hive基础知识复习笔记.zip
Hive基础知识
qq_52421831的博客
10-11 761
Hive基础知识
软件1班20240607
2301_80189168的博客
06-07 2621
【代码】软件1班20240607。
Hadoop 2.0：主流开源云架构（三）
Morse_Chen的博客
06-12 1665
本文讲解Hadoop2.0主流开源云架构，介绍Hadoop2.0的体系架构，包括公共组件Common、HDFS、Yarn和安全机制。
wpf textbox 有焦点 导致后台更新 前台不跟着改变
MaggieWon
06-18 99
如果您的数据模型实现了 INotifyPropertyChanged 接口,可以在属性值发生变化时手动触发 PropertyChanged 事件。这样当 TextBox 的值发生变化时,就会立即更新数据源。当 TextBox 有焦点时,它会独立于数据绑定进行更新,这可能会导致前台界面不能及时反映后台数据的变化。您可以监听 TextBox 的 LostFocus 事件,在事件处理程序中手动更新数据源。您也可以在代码中设置 Binding.UpdateSourceTrigger 属性,以控制数据源的更新时机。
Hadoop+Spark大数据技术（自命题试卷测试）
最新发布
qq_64684039的博客
06-18 578
1. Hadoop 核心组件包括：A. HDFS 和 HiveB. HDFS 和 MapReduceC. HBase 和 SparkD. YARN 和 ZooKeeper2. HDFS 数据块存储方式的优势不包括：A. 文件大小不受单一磁盘大小限制B. 简化存储过程C. 提高数据访问速度D. 提高数据容错能力3. NameNode 的主要功能是：A. 存储数据块B. 处理数据读写请求C. 管理文件系统命名空间和元数据D. 备份 NameNode 的元数据。
hadoop常见简单基础面试题
爱敲代码的小黑的博客
06-18 465
inputFile 通过 split 被切割为多个 split 文件，通过 Record 按行读取内容给map（自己写的处理逻辑的方法） ，数据被 map 处理完之后交给 OutputCollect收集器，对其结果key进行分区（默认使用的hashPartitioner），然后写入buffer，
C# WPF入门学习主线篇（二十三）—— 控件模板（ControlTemplate）和数据模板（DataTemplate）
weixin_56595425的博客
06-13 786
在本篇博客中，我们详细介绍了WPF中的控件模板（ControlTemplate）和数据模板（DataTemplate）的定义和应用。通过具体的代码示例，展示了如何自定义按钮的外观以及如何展示列表中的数据项。这些模板的使用不仅提升了应用程序的视觉效果，还增强了其灵活性和可维护性。希望通过这篇博客，读者能够深入理解和掌握WPF中模板的使用技巧。
Hadoop之HDFS分布式文件系统
ningkangming的博客
06-11 425
HDFS 是 Hadoop 的分布式文件系统，它设计用于存储大量数据，并提供 高吞吐率的数据访问，通过将数据分块存储在多个节点上，实现数据的冗余存储和容错。
银行数仓项目实战（一）--什么是数据仓库
qq_31727471的博客
06-17 851
数据仓库技术是为了有效的把操作型数据集成到统一的环境中以提供决策型数据访问的各种技术和模块的总称，所做的一切都是为了让用户更快更方便查询所需要的信息，提供决策支持。1.数仓管理系统（Data Warehouse Management System，DWMS）：用于管理银行数据仓库的建设，维护和运营，包括数据提取，清洗，转换，加载等功能。数据仓库是一个面向主题的，集成的，非易失的且随时间变化的数据集合，用来支持管理人员的决策。：用于确保报送数据的准确性，完整性和一致性，包括数据清洗，校验，修复等功能。
5.数据仓库与数据挖掘期末复习
a_black03的博客
06-11 786
利用3范式对区域表、店铺表、日期表、销售表、目标表进行建模？
hive基础知识选择题
07-03
### 回答1： Hive是一个基于Hadoop的数据仓库工具，它提供了一种类似SQL的查询语言，用于将结构化数据存储在Hadoop集群上，并进行查询和分析。下面是一些关于Hive基础知识的选择题： 1. Hive的主要特点是什么？ a) 提供类似SQL的查询语言 b) 可以在Hadoop集群上进行数据存储和分析 c) 可以处理结构化和半结构化数据 d) 所有选项都正确 答案：d) 所有选项都正确 2. Hive将数据存储在哪里？ a) HBase b) Hadoop Distributed File System (HDFS) c) Cassandra d) MySQL 答案：b) Hadoop Distributed File System (HDFS) 3. Hive中的表可以与以下哪种文件格式关联？ a) CSV b) JSON c) Parquet d) 所有选项都正确 答案：d) 所有选项都正确 4. Hive使用什么来对数据进行分区和排序？ a) HDFS b) Tez c) MapReduce d) Apache Spark 答案：c) MapReduce 5. Hive中的数据查询和分析通过什么来实现？ a) Hive Query Language (HQL) b) Structured Query Language (SQL) c) Apache Hive d) Apache Hadoop 答案：a) Hive Query Language (HQL) 总之，Hive是一个基于Hadoop的数据仓库工具，具有类似SQL的查询语言，可以在Hadoop集群上存储和分析结构化和半结构化数据。它使用HDFS来存储数据，可以与多种文件格式关联，并使用MapReduce来进行数据分区和排序。数据查询和分析通过Hive Query Language (HQL)来实现。 ### 回答2： Hive是一款基于Hadoop的数据仓库工具，它提供了方便的数据查询和分析的功能。接下来我将回答一些关于Hive基础知识的选择题。 1. Hive中的表是如何定义的？ 答案：C. 使用HiveQL语句创建表。 2. 在Hive中，数据是如何存储的？ 答案：B. 在Hadoop的HDFS文件系统中。 3. Hive中的分区是用来做什么的？ 答案：A. 对数据进行逻辑上的划分，便于查询优化和数据管理。 4. 在Hive中，可以使用哪种语言进行数据查询？ 答案：D. HiveQL。 5. 在Hive中，用来处理复杂逻辑和数据运算的是什么？ 答案：B. Hive的UDF（用户定义函数）和UDAF（用户定义聚合函数）。 6. Hive的数据存储格式有哪些？ 答案：A. 文本文件（TextFile）、序列文件（SequenceFile）和Parquet等。 7. Hive表中的数据可以通过什么方式进行加载？ 答案：C. 使用Hive的LOAD DATA语句。 8. 在Hive中，用来创建管理表结构的是什么？ 答案：B. Hive的元数据存储。 9. Hive的优势是什么？ 答案：C. 简化了对Hadoop数据的查询和分析。 10. 使用Hive时，可以通过什么方式进行数据的导入和导出？ 答案：D. 使用Hive的导入和导出命令。 以上是关于Hive基础知识的一些选择题的答案。Hive是一个功能强大且易于使用的工具，可以帮助用户更好地处理和分析大数据。掌握Hive基础知识对于进行数据仓库的建设和数据分析工作非常重要。 ### 回答3： Hive是一个开源的数据仓库基础架构，运行在Hadoop集群上。以下是关于Hive的基础知识选择题的回答： 1. Hive中的数据存储在哪里？ 答：Hive中的数据存储在Hadoop分布式文件系统(HDFS)中。 2. Hive中的数据是如何组织的？ 答：Hive中的数据是以表(Tables)的形式进行组织的。 3. Hive中的表的结构是如何定义的？ 答：Hive中的表的结构是通过DDL语句来定义的，包括表的名称、列名称、数据类型等信息。 4. Hive中的查询语言是什么？ 答：Hive中的查询语言类似于SQL，称为HiveQL或HQL。 5. Hive中的查询语句是如何转换为MapReduce作业的？ 答：Hive将查询语句转换为逻辑查询计划，然后将逻辑查询计划转换为物理查询计划，最后将物理查询计划转换为MapReduce作业。 6. Hive中的分区表是什么？ 答：Hive中的分区表是按照一个或多个列的值分成不同的目录，并且每个目录下存储相应分区的数据。 7. Hive中的桶是什么？ 答：Hive中的桶是将数据分成固定数量的文件的一种方式，目的是提高查询性能。 8. Hive中的内部表和外部表有什么区别？ 答：内部表的数据和元数据都由Hive管理，删除内部表时会删除表的数据；而外部表的数据和元数据存储在外部的文件系统中，删除外部表时只会删除元数据。 9. Hive中的UDF是什么？ 答：UDF全称为用户定义函数(User-Defined Functions)，是由用户自定义的用于特定数据处理操作的函数。 10. Hive中的压缩是如何实现的？ 答：Hive中的压缩是通过执行MapReduce作业时将数据进行压缩，以减少数据的存储空间和提高查询性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值