Hive
源神
天道酬勤
展开
-
Hive Tez报错:errorMessage=Cannot recover from this error:java.lang.OutOfMemoryError: Java heap space
ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex failed, vertexName=Reducer 2, vertexId=vertex_1582200549031_0142_2_02, diagnostics=[Task failed, ...原创 2020-02-26 14:20:21 · 1587 阅读 · 0 评论 -
ambari 2.7.3通过hdfs超级用户,来为普通用户分配访问hive权限
sudo -u hdfs hdfs dfs -setfacl -m user:root:rwx /warehouse/tablespace/managed/hive选项:-b: 删除基本ACL条目以外的所有条目。保留用户,组和其他条目以与权限位兼容。-k: 删除默认ACL。default-R: 以递归方式将操作应用于所有文件和目录。常用。-m: 修改ACL。新条目将添加到ACL,并保...原创 2020-01-20 13:33:02 · 1539 阅读 · 0 评论 -
迁移数据后,hive执行sql count统计语句报错
ERROR : Failed to execute tez graph.org.apache.tez.dag.api.TezUncheckedException: Invalid TaskLaunchCmdOpts defined for Vertex Map 1 : Invalid/conflicting GC options found, cmdOpts="-server -Djava.ne...原创 2019-09-16 12:44:57 · 1378 阅读 · 0 评论 -
hive数据迁移(跨集群,中文乱码问题)
命令:hadoop distcp -skipcrccheck -update hdfs://132.bd:8020/tmp/ds10/ hdfs://chinacreator/tmp/ds10/在目标集群上执行此命令源地址:hdfs://132.bd:8020/tmp/ds10/目标地址:hdfs://chinacreator/tmp/ds10/-skipcrccheck 因本次...原创 2019-09-12 15:07:10 · 545 阅读 · 0 评论 -
Hive自定义函数UDF在hue中或切换数据库后无法查询问题
当前库有效:CREATE FUNCTION to_char AS 'com.creator.hive.udf.to_char' using jar 'hdfs://hacluster/user/hive_udf_jars/hive_udf.jar';全局有效:add jar hdfs://hacluster/user/hive_udf_jars/hive_udf.jar;CREA...原创 2019-07-12 18:02:41 · 1259 阅读 · 0 评论 -
Hive跨集群数据迁移
参考链接:方式一:拷贝表结构:#!/bin/bashrm -f databaseshive -e " show databases; exit ;" > databases#sleep(2)rm -rf ./tables/*mkdir -p ./tablesrm -rf ./desc_table/*mkdir -p ./desc_tablefor databas...原创 2019-05-24 11:48:09 · 1516 阅读 · 0 评论 -
Hive增量更新方案
Hive增量更新方案方案一(总结出来业界可行方案):1、Hive原始表提前规划好以时间分区,初始化装载源库记录为base_table(最新数据)2、每个相关表都会有一个timestamp列,对每一行操作做了修改,都会重置这列timestamp为当前时间戳;3、新增数据通过sqoop(支持当天抽取)或者导出当天文件两种形式,抽取或导入到hive表,记录为新增表incremental_tabl...原创 2019-11-07 16:08:54 · 9098 阅读 · 1 评论 -
Hive常用shell命令
(1)创建数据库:create database zy_test;(2)显示所有数据库:show databases;(3)使用某数据库:use sgs_test;(4)显示所有表:show tables;(5)创建表:create table zy_test(name string);(6)描述表:desc sgs_test.zy_test;(7)本地导入hive:load data...原创 2018-11-16 09:22:10 · 717 阅读 · 0 评论 -
Hive查询count(*)和count(1)显示为0,但表中存在数据
进入hive shell,输入set hive.compute.query.using.stats=false,然后运行下查询语句,发现正常。对应Ambari中Hive组件的配置参数:修改后可能对查询性能稍微有点影响...原创 2018-11-06 13:11:13 · 8069 阅读 · 0 评论 -
HiveAccessControlException Permission denied: user[admin] does not have [USE] privilege on [Unknown
启用kerberos,通过Ambari的Hive View访问hive加载报错:{"trace":"org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [admin] do...原创 2018-08-08 14:53:04 · 15003 阅读 · 1 评论 -
Hive集群间数据迁移,Hive Metastore启动报错:Metastore state would be inconsistent !!
操作链接参考:https://blog.csdn.net/levy_cui/article/details/70156682报错信息:resource_management.core.exceptions.ExecutionFailed: Execution of 'export HIVE_CONF_DIR=/usr/hdp/current/hive-metastore/conf/con...原创 2018-08-09 17:39:18 · 3368 阅读 · 0 评论 -
禁用Kerberos失败,hive组件的HiveServer2启动失败
报错:2018-08-09 10:47:50,360 FATAL [main]: server.HiveServer2 (HiveServer2.java:execute(722)) - Error starting HiveServer2java.lang.Error: Max start attempts 5 exhausted at org.apache.hive.servic...原创 2018-08-09 11:10:38 · 1616 阅读 · 0 评论 -
ambari中hive启用kerberos进行jdbc连接操作正确方式
启用kerberos后,有两种操作方式连接hive;1、直接连接:jdbc:hive2://c2eng58:10000/default;principal=hive/c2eng58@EXAMPLE.COM2、通过zookerper连接jdbc:hive2://c2eng47:2181,c2eng48:2181,c2eng58:2181/;serviceDiscoveryMode=z...原创 2018-07-30 16:38:02 · 6606 阅读 · 0 评论 -
Kerberos环境测试hive,报错:main : run as user is test main : requested yarn user is tes User test not found
报错日志:log4j:WARN No such property [maxFileSize] in org.apache.log4j.DailyRollingFileAppender.Logging initialized using configuration in file:/etc/hive/2.6.1.0-129/0/hive-log4j.propertiesException in th...原创 2018-07-16 15:29:56 · 6986 阅读 · 2 评论 -
Hive计算unixtime,某些记录相差13个小时
原因:集群中某些机器采用的是纽约时区,而有的又是上海时区,统计为上海时区hive> set -v;hive >set system:user.timezone=Asia/Shanghai;后来发现退出后失效,查看操作系统的时区:ls -l /etc/localtime发现是纽约时区,删除链接到上海时区rm -rf /etc/localtimeln -s /usr/share/zonei...原创 2018-04-27 20:44:21 · 1831 阅读 · 0 评论 -
Ambari—Hive配置HA(四)
1、Hive4.1 Hive MetastoreHive Metastore HA解决方案旨在处理Metastore服务失败。每当部署的Metastore服务关闭时,Metastore服务在相当长的时间内都会保持不可用状态,直到恢复服务为止。为避免此类停机,在HA模式下部署Metastore服务。Hive Metastore客户端始终使用第一个URI连接Metastore服务器。如果Metasto...原创 2018-03-06 09:46:11 · 3426 阅读 · 1 评论 -
Hive Metastore启动报错:Communications link failure
发现hive中的mysql无法进去:# mysql -uhive -phive,即mysql启动报错网上有很多,个人解决办法,参考链接:http://www.cnblogs.com/aleafo/p/4946037.html总结起来,个人操作步骤如下:发现/var/log/目录下无mariadb目录,新建此目录,并授权。# cd /var/log# mkdir mariadb# chown -R ...原创 2018-03-02 19:47:28 · 2072 阅读 · 0 评论 -
Hive:KeeperErrorCode = InvalidACL for /hive/cluster/delegationMETASTORE/keys
禁用kerberos出现来hive报错,修改配置:hive.metastore.sasl.enabled=false原创 2017-09-28 22:09:32 · 2072 阅读 · 0 评论 -
Ambari的hive组件插入中文存在乱码问题
Ambari的hive组件插入中文,存在乱码:最初怀疑是编码问题,试了各种编码无效,后来发现ambari安装的hive组件是1.2.*版本的。然后下载了hive 1.2.*和hive 2.1.*单机模式安装进行了测试,发现确实1.2.*版本存在乱码,而2.1版本的正常;解决办法:使用hive2,但ambari中默认没有这个组件服务(默认使用hive1),无法安装。后原创 2017-08-29 14:03:23 · 1953 阅读 · 0 评论