Hive 性能调优

避免执行MR select * or select field1,field2 limit 10 where语句中只有分区字段或该表的本地字段 使用本地set hive.exec.mode.local.auto=true;EXPLAIN的使用 hive对sql的查询计划信息解析 EX...

2016-12-29 21:51:55

阅读数 1092

评论数 0

Hive Lateral View

lateral view       类似列转行,用于和split, explode等UDTF一起使用,它能够将一行数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。lateral view首先为原始表的每行调用UDTF,UTDF会把一行拆分成一或者多行,lateral view再把结果组合...

2016-12-28 00:06:10

阅读数 482

评论数 0

Hive 视图 索引 动态分区装载数据

视图 创建视图 create view v_emp AS select t.name, t.age, t.addr from t_emp; 删除视图 drop view if exists v_emp; 索引 创建索引 create index t_emp_i...

2016-12-21 00:36:52

阅读数 1458

评论数 0

Hive 之内/外表 与 分区表/桶表区别

内表 创建表时没加external,默认是内表所有的 Table 数据(不包括 External Table)都保存在warehouse这个目录中。 删除表时,元数据与数据都会被删除 创建过程和数据加载过程(这两个过程可以在同一个语句中完成),在加载数据的过程中,实际数据会被移动到数据仓库目录中...

2016-12-13 01:40:38

阅读数 1993

评论数 0

Hive DDL(Data Definition Language)之修改表

修改表具体用法请查看官网:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 继续沿用DDL之创建表中的t_worker表进行操作。 Rename Table ALTER TABLE table_name R...

2016-12-12 02:09:00

阅读数 384

评论数 0

Hive 脚本执行

继上篇DDL中load的数据继续进行脚本操作。 hive执行脚本hive -e “sql语句” 会将查询的结果打印在控制台上。 hive -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中,会显示OK和抓取的数据条数 hive -S -e “sql语句” >...

2016-12-11 23:30:09

阅读数 13786

评论数 3

Hive DDL(Data Definition Language)之创建表

具体还需要看官网文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL创建表CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_...

2016-12-11 02:49:20

阅读数 636

评论数 0

HIVE 基本概念

Hive架构 hive架构图 hive组件用户接口 CLI、JDBC/ODBC和WebGUI。其中,CLI为shell命令行;JDBC/ODBC是Hive的JAVA实现,与传统数据库JDBC类似;WebGUI是通过浏览器访问Hive。 元数据存储 Hive 将元数据存储在数据库中。...

2016-12-11 00:53:14

阅读数 795

评论数 0

Hive 本地环境搭建(mysql)

解压 apache-hive-2.1.0-bin.tar.gz 添加环境变量(vi /etc/profile) #hive_env export HIVE_HOME=/usr/hive-2.1.0 export PATH=${HIVE_HOME}/bin:$PATH ...

2016-12-05 01:04:04

阅读数 689

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭