Hive
zz657114506
这个作者很懒,什么都没留下…
展开
-
Hive 脚本执行
继上篇DDL中load的数据继续进行脚本操作。hive执行脚本hive -e “sql语句” 会将查询的结果打印在控制台上。 hive -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中,会显示OK和抓取的数据条数 hive -S -e “sql语句” >> xxx 会将查询的结果重定向到xxx文件中,不会显示OK和抓取的数据条数 hive -f sqlfile 执行原创 2016-12-11 23:30:09 · 16824 阅读 · 3 评论 -
HIVE 基本概念
Hive架构 hive架构图 hive组件用户接口 CLI、JDBC/ODBC和WebGUI。其中,CLI为shell命令行;JDBC/ODBC是Hive的JAVA实现,与传统数据库JDBC类似;WebGUI是通过浏览器访问Hive。元数据存储 Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。原创 2016-12-11 00:53:14 · 920 阅读 · 0 评论 -
Hive 之内/外表 与 分区表/桶表区别
内表 创建表时没加external,默认是内表所有的 Table 数据(不包括 External Table)都保存在warehouse这个目录中。删除表时,元数据与数据都会被删除创建过程和数据加载过程(这两个过程可以在同一个语句中完成),在加载数据的过程中,实际数据会被移动到数据仓库目录中;之后对数据对访问将会直接在数据仓库目录中完成。删除表时,表中的数据和元数据将会被同时删除外表 包含原创 2016-12-13 01:40:38 · 2777 阅读 · 0 评论 -
Hive DDL(Data Definition Language)之修改表
修改表具体用法请查看官网:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 继续沿用DDL之创建表中的t_worker表进行操作。Rename Table ALTER TABLE table_name RENAME TO new_table_name; Alter Table Properties原创 2016-12-12 02:09:00 · 592 阅读 · 0 评论 -
Hive 视图 索引 动态分区装载数据
视图 创建视图 create view v_emp AS select t.name, t.age, t.addr from t_emp; 删除视图 drop view if exists v_emp;索引 创建索引 create index t_emp_index on table t_emp (name) as ‘org原创 2016-12-21 00:36:52 · 2073 阅读 · 0 评论 -
Hive 本地环境搭建(mysql)
解压 apache-hive-2.1.0-bin.tar.gz 添加环境变量(vi /etc/profile) #hive_env export HIVE_HOME=/usr/hive-2.1.0 export PATH=${HIVE_HOME}/bin:$PATH source /etc/profile (生效)将 hive-default.xml.templa原创 2016-12-05 01:04:04 · 878 阅读 · 0 评论 -
Hive Lateral View
lateral view 类似列转行,用于和split, explode等UDTF一起使用,它能够将一行数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。lateral view首先为原始表的每行调用UDTF,UTDF会把一行拆分成一或者多行,lateral view再把结果组合,产生一个支持别名表的虚拟表。使用 查看表结果以及数据 列转行原创 2016-12-28 00:06:10 · 730 阅读 · 0 评论 -
Hive 性能调优
避免执行MR select * or select field1,field2 limit 10where语句中只有分区字段或该表的本地字段使用本地set hive.exec.mode.local.auto=true;EXPLAIN的使用 hive对sql的查询计划信息解析 EXPLAIN SELECT COUNT(1) FROM T_TABLE; EXPLAIN EXTENDE原创 2016-12-29 21:51:55 · 1568 阅读 · 0 评论 -
Hive DDL(Data Definition Language)之创建表
具体还需要看官网文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL创建表CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_comm原创 2016-12-11 02:49:20 · 806 阅读 · 0 评论