hdp3.x 中hive内部表不再能使用load data into

今天想在测试集群里搞些数据,于是兴冲冲的搞了个txt,且建了一个hive表,不过以前从来都是只用外部表,不用内部表,于是就想着建个内部表吧,建表很顺利,SQL如下:

CREATE TABLE IF NOT EXISTS student_info_tbl 

      id    BIGINT COMMENT 'ID'
    , name        STRING COMMENT ''
    , age    int COMMENT '',
    weight int comment ''
)
row format delimited
fields terminated by ','
lines terminated by '\n'
STORED AS TEXTFILE;

执行一把,建表成功。

好了,下一步就是把txt中的数据load到表中来,先看个数据截图:

load语句:load data local inpath '/usr/local/student_info.txt' into table student_info_tbl,执行一把,结果报错了:

Exception in thread "main" org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to alter table. Cannot change stats state for a transactional table without providing the transactional write state for verification (new write ID -1, valid write IDs null; current state {"BASIC_STATS":"true","COLUMN_STATS":{"age":"true","id":"true","name":"true","weight":"true"}}; new state null;
    at org.apache.spark.sql.hive.HiveExternalCatalog.withClient(HiveExternalCatalog.scala:106)
    at org.apache.spark.sql.hive.HiveExternalCatalog.loadTable(HiveExternalCatalog.scala:827)

有点懵,因为我记得我之前这么load过数据时没我呢提的,但是我很快找到一个关键点:transactional table,就目前来说我没有必要搞个支持事务的内部表啊,所以我的第一步思路就是禁用事务,但是我很快发现这是不可能的,为什么?找个官网图

我贴个地址:https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.5/using-hiveql/content/hive_hive_3_tables.html 大家可以过去看看对这些类型表的分别描述,目前我理解的就是除了外部表都时事务型的,图中虽然还有一个temporary,但是我没找到相关描述,所以主动忽略了。

而且我还在有些相关资料中看到,明确表示事务型表不支持load data into这种方式,大家可以参考:http://sqlandhadoop.com/hive-transactional-tables-everything-you-must-know-part-1/,其中有段:

接下来我会继续探索这种事务表的读写问题。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值