hive
文章平均质量分 66
曾阿伦
不成修士,终为蝼蚁
展开
-
hive之load data与alter table加载数据的区别
不管是内部表还是外部表,数据都不会到表路径下。不管是内部表还是外部表,都会复制一份数据到hdfs相应路径下。不管是内部表还是外部表,都会转移(mv)这份数据到表路径下。转移后的路径为 ${tbpath}/ds=xx/hs=xx/不管是内部表还是外部表,都会复制一份数据到表路径下。原创 2023-04-25 13:36:08 · 82 阅读 · 0 评论 -
hive自定义udf、udtf、udaf函数
继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF,实现initialize, process, close三个方法。org.apache.hadoop.hive.ql.exec.UDAFEvaluator(内部类Evaluator实现UDAFEvaluator接口)UDTF 操作作用于单个数据行,并且产生多个数据行-------一个表作为输出。key:value;org.apache.hadoop.hive.ql.exec.UDAF(函数类继承)原创 2023-04-25 13:34:48 · 179 阅读 · 0 评论 -
hive整合phoenix
一个简单表查询当hive.fetch.task.conversion=more and hive.exec.parallel=true.就可以像在Phoenix CLI一样快。最开始我用的hbase-0.96.2-hadoop2版本,不能整合,这个是需要hbase-client-0.98.21-hadoop2.jar包,更换这个jar包就解决了,但是还是会报下面的错。创建成功,插入也能成功,就是hive查询的时候报错找不到a1列,因为phoenix是aa列。hive表字段与phoenix字段一样就可以了。原创 2023-04-25 13:32:24 · 236 阅读 · 0 评论 -
hive从0.12.0升级到1.2.1步骤详解及填坑
5.拷贝 之前版本的mysql connector jar包到 现在hive的lib 目录,将之前版本配置好的hive-site.xml,hive-env.xml与hive-log4j.properties放回现在hive的conf下。查看PART_COL_STATS创建表sql,错误原因是hive-schema-0.13.0.mysql.sql中的PARTITIONS表创建不成功导致PART_COL_STATS缺少外键,手动创建PARTITIONS表即可。2.备份MySQL的hive数据库。原创 2023-04-25 13:30:06 · 145 阅读 · 0 评论