hive
文章平均质量分 91
zhangyanhong198707
这个作者很懒,什么都没留下…
展开
-
hiveserver2 权限& jdbc连接
一、hiveserver2 身份认证hiveserver2的身份认证采用LDAP,使用LDAP的工具采用开源的apacheDS。1、apacheDS下载安装参考:apacheDS ldap 安装,配置,增删查该及备份恢复_亦非我所愿丶的博客-CSDN博客_apacheds openldap(1)ApacheDS服务: 下载地址:Downloads — Apache Directory 最新版本:apacheds-2.0.0.AM26.tar.gz(...原创 2022-05-12 15:38:47 · 1171 阅读 · 0 评论 -
hadoop异常 error in shuffle in fetcher
错误信息:Error:org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5 解决方法:限制reduce的shuffle内存使用 hive:set mapreduce.reduce.shuffle.memory.limit.percent原创 2016-07-02 15:46:23 · 1974 阅读 · 0 评论 -
hive regexp_extracl函数用法
函数功能:字符串正则表达式解析函数。 **函数语法:**gexp_extract(string subject, string pattern, int index) 参数说明: subject是被解析的字符串 pattern 是正则表达式 index 是返回结果 取表达式的哪一部分 默认值为1。 0表示把整个正则表达式对应的结果全部返回 1表示返回正则表达式中第一个() 对应的结果原创 2016-07-21 14:04:17 · 1116 阅读 · 0 评论 -
hive mapjoin
hive 版本:1.2.1 在Hive中,common join是很慢的,如果我们是一张大表关联多张小表,可以使用mapjoin加快速度。 mapjoin主要有以下参数:hive.auto.convert.join : 是否自动转换为mapjoin hive.mapjoin.smalltable.filesize : 小表的最大文件大小,默认为25000000,即25M hive.auto原创 2016-07-31 21:52:39 · 652 阅读 · 0 评论 -
hive 设置map端内存
set mapreduce.map.memory.mb=4096; set mapreduce.map.java.opts=-Xmx3600m;原创 2016-08-02 11:29:52 · 10530 阅读 · 1 评论