报错与静态分区和动态分区混合使用插入

最新推荐文章于 2024-03-18 10:28:37 发布

zxc131405

最新推荐文章于 2024-03-18 10:28:37 发布

阅读量1.9k

点赞数 2

前言

CREATE TABLE 表名 AS SELECT……
INSERT
2.1 无分区表插入数据
2.2 分区表插入数据
2.2.1 静态分区插入
2.2.2 动态分区插入
2.2.3 静态分区和动态分区混合使用

前言
我们在入门篇（十）中介绍了如何将文件中的数据导入一个表中。但实际工作中，更常用的数据插入操作是：将查询出的数据插入一个表中。实现这个操作有两种方法，1：使用CREATE TABLE 表名 AS SELECT……语句；2：使用INSERT语句。下文中我们会分别详细介绍这两种语句的用法。

CREATE TABLE 表名 AS SELECT……
这个语句的含义是：创建一个表，将后面SELECT语句查询出的数据插入这个新创建的表，字段名和字段数据类型全都和查询出来的数据保持一致。

1.1 语法
CREATE TABLE 表名1 AS
SELECT *
FROM 表名2;
后面的select语句可以使用所有合法的查询语句，但只能跟一条HQL语句，因此复杂查询会需要多层子查询嵌套，而且此语句不支持使用with as 语句，所以逻辑复杂时可读性较差。

1.2 应用场景
当数据需求较为复杂时，我们会先建立一些逻辑较为简单的中间临时表，此时使用这个语句会十分方便。

1.3 举例
这里我们使用之前博客的语句进行演示，语句如下：

CREATE TABLE temp_test AS
SELECT user_id
,use_cnt
FROM app.t_od_use_cnt
WHERE date_8 = 20190101 limit 5;
运行后查询新建的表temp_test，运行结果如下：

hive (app)> select * from temp_test;
OK
temp_test.user_id temp_test.use_cnt
10004 29
10003 1
10002 23
10001 49
10000 6
Time taken: 0.085 seconds, Fetched: 5 row(s)
2. INSERT
INSERT语句可以将查询出的数据插入一个已经建好的表中，查询所得数据的列顺序必须与已存在表中的列顺序一致。

2.1 无分区表插入数据
无分区表插入数据的操作一般用于向临时表中插入数据，因为一般只有临时表才不需要分区。

2.1.1 语法
插入数据覆盖表中的原有数据

INSERT overwrite TABLE 表名
SELECT * FROM ……;
插入数据追加在表中原有数据的后面，原有数据不会删除

INSERT INTO TABLE 表名
SELECT * FROM ……;
这里的查询语句同样只能跟一条HQL语句，因此复杂查询会需要多层子查询嵌套，但是，此语句支持使用with as 语句。

当使用WITH AS语句时语法如下：

WITH a
AS (……)
,b
AS (……)
……
INSERT into | overwrite TABLE 表名
SELECT ……;
只要将WITH AS 语句最后的那个SELECT语句放在INSERT语句后即可。

2.1.2 应用场景
当需要建的临时中间表逻辑较为复杂，使用子查询可读性较差时，可以使用先建一个临时表，然后使用WITH AS ……INSERT语句将查询所得数据插入表中。

2.1.3 举例
这里我们向上文新建的temp_test表插入10条数据，并覆盖之前的数据，这里使用两种语句进行演示，效果是一样的：

直接插入
INSERT overwrite TABLE temp_test
SELECT user_id
,use_cnt
FROM app.t_od_use_cnt
WHERE date_8 = 20190101 limit 10;
WITH AS插入
WITH a
AS (
SELECT user_id
,use_cnt
FROM app.t_od_use_cnt
WHERE date_8 = 20190101 limit 10
)
INSERT overwrite TABLE temp_test
SELECT *
FROM a;
查询表temp_test，运行如下：

hive (app)> select * from temp_test;
OK
temp_test.user_id temp_test.use_cnt
10009 40
10008 25
10007 40
10006 12
10005 15
10004 29
10003 1
10002 23
10001 49
10000 6
Time taken: 0.075 seconds, Fetched: 10 row(s)
可见之前的数据已被覆盖，重新插入了10条数据。

2.2 分区表插入数据
在前面的博客我们讲过：Hive 是存储在 HDFS 上的，Hive 的一个分区名对应一个目录名，子分区名就是子目录名，分区字段并不是一个实际字段。在Hive中向分区表中插入数据有两种操作，一种是静态分区插入，一种是动态分区插入，下文我们来分别详细介绍。

2.2.1 静态分区插入
2.2.1.1 语法：

[WITH a
AS (……)
,b
AS (……)
……]
INSERT into | overwrite TABLE 表名 PARTITION(分区字段1=‘xxx’,分区字段2=‘xxx’……)
SELECT ……;
所谓静态分区就是在INSERT语句后指定要插入的分区的值，如果不写关键字partition直接插入，会报错；

分区字段有几个，插入时就要指定几个分区，否则会报错；

SELECT后的字段不能包含分区字段；否则会报错；

如果分区字段的数据类型为STRING，需要将内容用 ‘ ’ 括起来，如果是数值型则无需 ‘ ’。

2.2.1.2 应用场景：

静态分区插入数据一般用于日常的报表例行化操作中，每天脚本跑昨天的数据，然后指定插入到昨天的分区当中。

2.2.1.3 举例：

建立一个分区表temp_test1，语句如下：

CREATE TABLE temp_test1 (
user_id BIGINT comment ‘用户id’
,use_cnt INT comment ‘当日使用次数’
) partitioned BY (
date_8 INT
,hour INT
);
如果对分区表插入数据如果不写关键字partition直接插入，会报错，如下：
hive (app)>
> WITH a
> AS (
> SELECT user_id
> ,use_cnt
> FROM app.t_od_use_cnt
> WHERE date_8 = 20190101 limit 10
> )
> INSERT overwrite TABLE temp_test1
> SELECT *
> FROM a;
FAILED: SemanticException 8:23 Need to specify partition columns because the destination table is partitioned. Error encountered near token ‘temp_test1’
hive (app)>
如果只指定date_8或者hour其中一个分区插入数据，会报错，如下：
hive (app)> WITH a
> AS (
> SELECT user_id
> ,use_cnt
> FROM app.t_od_use_cnt
> WHERE date_8 = 20190101 limit 10
> )
> INSERT overwrite TABLE temp_test1 PARTITION(date_8=20190101)
> SELECT *
> FROM a;
FAILED: SemanticException [Error 10006]: Line 8:44 Partition not found ‘20190101’
hive (app)>
hive (app)> WITH a
> AS (
> SELECT user_id
> ,use_cnt
> FROM app.t_od_use_cnt
> WHERE date_8 = 20190101 limit 10
> )
> INSERT overwrite TABLE temp_test1 PARTITION(hour=1)
> SELECT *
> FROM a;
FAILED: SemanticException Line 0:-1 Partition not found ‘1’
hive (app)>
正确写法：

INSERT overwrite TABLE temp_test1 PARTITION (
date_8 = 20190101
,hour = 1
)
SELECT user_id
,use_cnt
FROM app.t_od_use_cnt
WHERE date_8 = 20190101 limit 10;
WITH a
AS (
SELECT user_id
,use_cnt
FROM app.t_od_use_cnt
WHERE date_8 = 20190101 limit 10
)
INSERT overwrite TABLE temp_test1 PARTITION (
date_8 = 20190101
,hour = 1
)
SELECT *
FROM a;
二者效果一致。

查询表temp_test1，运行效果如下：

hive (app)> select * from temp_test1 where date_8=20190101 and hour=1;
OK
temp_test1.user_id temp_test1.use_cnt temp_test1.date_8 temp_test1.hour
10009 40 20190101 1
10008 25 20190101 1
10007 40 20190101 1
10006 12 20190101 1
10005 15 20190101 1
10004 29 20190101 1
10003 1 20190101 1
10002 23 20190101 1
10001 49 20190101 1
10000 6 20190101 1
Time taken: 0.34 seconds, Fetched: 10 row(s)

hive (app)> select * from temp_test1 where date_8=20190101;
OK
temp_test1.user_id temp_test1.use_cnt temp_test1.date_8 temp_test1.hour
10009 40 20190101 1
10008 25 20190101 1
10007 40 20190101 1
10006 12 20190101 1
10005 15 20190101 1
10004 29 20190101 1
10003 1 20190101 1
10002 23 20190101 1
10001 49 20190101 1
10000 6 20190101 1
Time taken: 0.112 seconds, Fetched: 10 row(s)

hive (app)> select * from temp_test1 where hour=1;
OK
temp_test1.user_id temp_test1.use_cnt temp_test1.date_8 temp_test1.hour
10009 40 20190101 1
10008 25 20190101 1
10007 40 20190101 1
10006 12 20190101 1
10005 15 20190101 1
10004 29 20190101 1
10003 1 20190101 1
10002 23 20190101 1
10001 49 20190101 1
10000 6 20190101 1
Time taken: 0.073 seconds, Fetched: 10 row(s)
可见在查询分区表时，指定其中一个分区就不会报错，但插入时必须全部指定。

2.2.2 动态分区插入
启用 hive 动态分区，首先需要在 hive 会话中设置两个参数：

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
第一个参数的作用是启用动态分区，第二个参数的作用是将动态分区设为非严格模式，默认是严格模式。

2.2.2.1 语法：

[WITH a
AS (……)
,b
AS (……)
……]
INSERT into | overwrite TABLE 表名 PARTITION(分区字段1,分区字段2……)
SELECT ……分区字段1,分区字段2……
FROM ……;
动态分区插入数据时只需要写出分区字段名，并不指定具体的分区，然后在下面的查询中最后几个字段必须包含有动态分区的字段，且顺序必须和PARTITION后的分区字段完全一致。

因为hive 会先获取 select 的最后几个位置的分区字段的参数值，然后将这些值填写到 insert 语句 partition 中的几个分区字段中，即动态分区是通过位置来对应分区值的。原始表 select 出来的值和输出 partition 的值的关系仅仅是通过位置来确定的，和名字并没有关系！

2.2.2.2 应用场景：

动态分区插入数据多用于例行化表的回溯数据，比如要将过去30天每天的数据插入一张按天分区的表，如果使用静态分区回溯数据，需要跑30次脚本才行，而使用动态分区则可以一次性全部插入。

2.2.2.3 举例：

如果没有设置参数就使用动态分区，会报错：
hive (app)> INSERT overwrite TABLE temp_test1 PARTITION (
> date_8
> ,hour
> )
> SELECT user_id
> ,use_cnt
> ,date_8
> ,12 hour
> FROM app.t_od_use_cnt
> WHERE date_8 = 20190102 limit 10;
FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict
如果少查询一个分区字段，会报错：
hive (app)> INSERT overwrite TABLE temp_test1 PARTITION (
> date_8
> ,hour
> )
> SELECT user_id
> ,use_cnt
> ,date_8
> FROM app.t_od_use_cnt
> WHERE date_8 = 20190102 limit 10;
FAILED: SemanticException [Error 10044]: Line 1:23 Cannot insert into target table because column number/types are different ‘hour’: Table insclause-0 has 4 columns, but query has 3 columns.
如果顺序写错，代码不会报错，但插入的数据是错误的：
INSERT overwrite TABLE temp_test1 PARTITION (
date_8
,hour
)
SELECT user_id
,use_cnt
,12 hour
,date_8
FROM app.t_od_use_cnt
WHERE date_8 = 20190102 limit 10;
查询表中数据，可以看到虽然字段都有，但最后两个分区字段的内容是错误的：

正确写法：

先设置参数，这些设置只在本次会话中生效，如果想永久生效，可以将其写入.hiverc文件中，具体可参见入门篇（十一）。然后使用动态分区向表temp_test1中插入数据，这里因为表t_od_use_cnt中没有hour字段，所以hour我们直接人为设定一个12：

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
INSERT overwrite TABLE temp_test1 PARTITION (
date_8
,hour
)
SELECT user_id
,use_cnt
,date_8
,12 hour
FROM app.t_od_use_cnt
WHERE date_8 = 20190102 limit 10;
查询分区date_8=20190102,hour=12中的数据：

hive (app)> select * from temp_test1 where date_8=20190102 and hour=12;
OK
temp_test1.user_id temp_test1.use_cnt temp_test1.date_8 temp_test1.hour
10209 39 20190102 12
10208 26 20190102 12
10207 46 20190102 12
10206 39 20190102 12
10205 47 20190102 12
10204 30 20190102 12
10203 18 20190102 12
10202 31 20190102 12
10201 13 20190102 12
10200 46 20190102 12
Time taken: 0.077 seconds, Fetched: 10 row(s)
2.2.3 静态分区和动态分区混合使用
静态分区和动态分区混合使用时，静态分区值必须在动态分区值的前面，否则会报错。

举例：

如果动态分区值必须在静态分区值的前面，报错如下：

hive (app)> set hive.exec.dynamic.partition=true;
hive (app)> set hive.exec.dynamic.partition.mode=nonstrict;
hive (app)> INSERT overwrite TABLE temp_test1 PARTITION (
> date_8
> ,hour=1
> )
> SELECT user_id
> ,use_cnt
> ,12 hour
> FROM app.t_od_use_cnt
> WHERE date_8 = 20190101 limit 10;
FAILED: SemanticException [Error 10094]: Line 2:6 Dynamic partition cannot be the parent of a static partition ‘1’
正确写法：

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
INSERT overwrite TABLE temp_test1 PARTITION (
date_8=20190101
,hour
)
SELECT user_id
,use_cnt
,12 hour
FROM app.t_od_use_cnt
WHERE date_8 = 20190101 limit 10;

既然都看到这里了

那就右上角点个赞顺便关注下我吧~
https://blog.csdn.net/zxc131405/article/details/95739836
https://blog.csdn.net/zxc131405/article/details/95739686
https://blog.csdn.net/zxc131405/article/details/95740506
有问题欢迎大家留言讨论~

作者：风影楼前
来源：CSDN
原文：https://blog.csdn.net/qq_23897391/article/details/93377800
版权声明：本文为博主原创文章，转载请附上博文链接！

zxc131405

关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
报错与静态分区和动态分区混合使用插入

目录前言CREATE TABLE 表名 AS SELECT……INSERT2.1 无分区表插入数据2.2 分区表插入数据2.2.1 静态分区插入2.2.2 动态分区插入2.2.3 静态分区和动态分区混合使用前言我们在入门篇（十）中介绍了如何将文件中的数据导入一个表中。但实际工作中，更常用的数据插入操作是：将查询出的数据插入一个表中。实现这个操作有两种方法，1：使用CREAT...
复制链接

扫一扫

报错与静态分区和动态分区混合使用插入

那就右上角点个赞 顺便关注下我吧~ https://blog.csdn.net/zxc131405/article/details/95739836 https://blog.csdn.net/zxc131405/article/details/95739686 https://blog.csdn.net/zxc131405/article/details/95740506 有问题欢迎大家留言讨论~

那就右上角点个赞顺便关注下我吧~
https://blog.csdn.net/zxc131405/article/details/95739836
https://blog.csdn.net/zxc131405/article/details/95739686
https://blog.csdn.net/zxc131405/article/details/95740506
有问题欢迎大家留言讨论~