![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
zreodown
这个作者很懒,什么都没留下…
展开
-
spark-sql 优化
1. merger小文件set spark.sql.hive.mergeFiles = true;2.缓冲小表set spark.sql.autoBroadcastJoinThreshold = 838861000;set spark.sql.shuffle.partitions = 1000;原创 2019-12-31 17:58:34 · 369 阅读 · 0 评论 -
Hive外部表误删后的恢复
Hive中的外部表是比较安全的一种数据管理方式,有时也会误删使用外部表有一个很好的好处,如果不小心将表误删了,只需要重新创建外部表然后使用下面的语句修复分区即可。MSCK REPAIR TABLE table_name...原创 2019-12-30 16:41:51 · 1069 阅读 · 0 评论 -
Hive优化2
hive.optimize.cp=true:列裁剪hive.optimize.prunner:分区裁剪hive.limit.optimize.enable=true:优化LIMIT n语句hive.limit.row.max.size=1000000:hive.limit.optimize.limit.file=10:最大文件数http://www.cnblogs.com/原创 2013-12-16 11:41:18 · 1690 阅读 · 0 评论 -
Hive中对科学计数法表示的字符串的转换
Hive中int , float , double这些数值类型在存储大额度数字时,在前端展现上总是使用科学计数法来表示,例如:hive> select pow(10,8) from dual;OK1.0E8其实无论是普通的表示方式还是科学计数法表示,只是一个习惯问题,结果都是一样的。可是不能理解的是当把数值类型转化成字符串类型以后Hive竟然把数值转换成了科学计原创 2013-11-12 18:32:19 · 18855 阅读 · 1 评论 -
Hive中的一种假NULL
Hive中有种假NULL,它看起来和NULL一摸一样,但是实际却不是NULL。例如如下这个查询:hive> desc ljn004;OKa stringTime taken: 0.237 seconds hive> select a from ljn004;OKNULLTime taken: 46.232原创 2013-11-12 18:31:17 · 907 阅读 · 0 评论 -
Hive 优化
Hive 针对不同的查询进行了优化,优化可以通过配置进行控制,本文将介绍部分优化的策略以及优化控制选项。列裁剪(Column Pruning)在读数据的时候,只读取查询中需要用到的列,而忽略其他列。例如,对于查询:SELECT a,b FROM T WHERE e < 10;其中,T 包含 5 个列 (a,b,c,d,e),列 c,d 将会被忽略,只会读取a, b, e 列这个原创 2013-08-29 17:17:10 · 669 阅读 · 0 评论 -
hadoop 的一些错误
1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。/etc/security/limits.confvi /etc/原创 2013-05-12 21:06:03 · 696 阅读 · 0 评论 -
hive导出查询结果到本地文件
bin/hive -e "select * from test" >> res.csv 或者是: bin/hive -f sql.q >> res.csv 其中文件sql.q写入你想要执行的查询语句原创 2013-05-09 22:08:19 · 1129 阅读 · 0 评论 -
Hive中LIKE查询使用通配符'%'的一个BUG--当转义符'\'遇到通配符'%'或'_'
如果确实想写和Oracle中等价的查询:SELECT * FROM T001 WHERE COL1 LIKE ‘ABC\\%’;建议在Hive中用正则实现:SELECT * FROM T001 WHERE COL1 REGEXP ‘^ABC\\’;原创 2013-05-09 22:06:09 · 4583 阅读 · 0 评论 -
hive列
set hive.cli.print.header=true; // 打印列名set hive.cli.print.row.to.vertical=true; // 开启行转列功能, 前提必须开启打印列名功能set hive.cli.print.row.to.vertical.num=1; // 设置每行显示的列数原创 2013-05-09 22:05:01 · 952 阅读 · 3 评论 -
将Hive Thrift server 添加到服务后台运行
1. 将hive 的metastore用mysql连接储存2 在/etc/init.d/文件夹中编辑文件hive-thrift #!/bin/bash # init script for Hive Thrift Interface. # # chkconfig: 2345 90 10 # description: Hive Thrift Interface # Sourc原创 2013-03-28 14:58:47 · 1423 阅读 · 0 评论