- 博客(5)
- 收藏
- 关注
RSS订阅原创 基于TEZ引擎的hivesql优化记录
环境说明：hive的版本：1.2，hive的引擎：TEZ一、现象描述：1、需求描述：两张表需要做笛卡尔积，这两张表的数据量为：8万左右，结果集数据量：6亿左右2、将hivesql语句提交至集群上时，发现给该任务分配的资源为：3个task,12G的内存资源，运行了10小时还是没出结果。二、问题现象分析：1、给这个任务分配更多的TASK，及内存资源(集群有充足的资源)，让任务运行更快。2、排除数据倾斜情况3、map端的task数是由原表的文件数和文件大小/是否合并参数决定：.
2020-10-23 14:42:11
1077
原创 HIVE中处理特殊字符
一、问题描述：根据公司研发提供的加密UDF函数，进行加密(电话号码属于敏感信息需加密)后存在换行现象！（hiveudfencode:加密UDF）二、问题定位及解决步骤：1)查看加密后的字段末尾是否含有换行符，根据16进制转换的函数进行查看，发现末尾带了0D0A，就是代表\r\n2)用hive的替换函数(regexp_replace)，对\r\n进行处理...
2020-08-18 14:13:40
2671
原创 oracle之spool使用总结--linesize不生效的问题
前言：最近事情不是特别多，配合同事实现平台的自动化运维工作，其中就需要用到oracle的spool，用于实现从oracle数据库中导出巡检数据，在此过程中就遇到了一个问题：使用spool导出来的数据每行只有80字符长度，当大于80个字符时就换行或被截取了？今天对此进行总结一下 一、关于spool使用的重点设置说明关于spool的详细说明，可以网上找找，资料一大堆...
2019-12-20 18:07:46
3233
原创 maven工程的plugins出现红色下划波浪线错误
创建maven工程后，plugins出现红色下划波浪线错误，具体如下图：看到这些错误，感觉就是maven仓库中没有下载这些jar包，那么接下来先到maven仓库中查看这些包是否有:1）查看maven位置：2）进入检查jar包是否下载下来，发现jar没有，则下载上面缺少的jar包，pom文件。下载地址为：http://repo1.maven.org/maven2/org/apache/m...
2019-01-22 14:02:25
13774
3
原创 hive之权限问题（org.apache.hadoop.security.AccessControlException Permission denied: user=root, access=WR）
问题描述：在集群上，用hive分析数据出现如下错误FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Perm...
2018-07-16 13:40:01
10633
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人