在 Apache Hive 中,联合查询(Union)是一种将多个 SELECT
语句的结果集合并起来的操作。联合查询的结果集包含了所有参与 SELECT
语句的行,并且会自动去除重复的行。
联合查询的基本语法如下:
SELECT column1, column2 FROM table1
UNION
SELECT column1, column2 FROM table2;
这里的 SELECT
语句可以是简单的查询,也可以是复杂的查询,只要它们的列数相同,对应列的数据类型也兼容即可。
联合查询的规则:
- 列数相同:每个
SELECT
语句选择的列数必须相同。 - 数据类型兼容:对应列的数据类型必须兼容。
- 去重:默认情况下,联合查询会去除结果集中的重复行。
- 排序:如果需要对结果集进行排序,只能对最终的结果集进行排序,而不是每个
SELECT
语句单独排序。
示例:
假设我们有两个表 table1
和 table2
,我们想将这两个表中的数据联合起来:
SELECT name, age FROM table1
UNION
SELECT name, age FROM table2;
这个查询会返回 table1
和 table2
中的所有行,并且自动去除重复的行。
联合查询与 UNION ALL
:
如果需要保留重复的行,可以使用 UNION ALL
:
SELECT name, age FROM table1
UNION ALL
SELECT name, age FROM table2;
在这个查询中,如果 table1
和 table2
中有相同的行,它会全部出现在结果集中,不会去重。
注意事项:
- 执行联合查询时,Hive 会将多个
SELECT
语句的结果集合并起来,这可能会消耗较多的资源,特别是当处理大量数据时。 UNION
操作符会尝试对结果集进行排序,如果无法排序,或者排序开销过大,可以尝试在每个SELECT
语句中添加ORDER BY
子句来分别对每个结果集进行排序。