hive基础
小胖超凶哦!
睡觉了,别学了!
展开
-
旅游集市数仓建设
hive> create database ods;OKTime taken: 0.102 secondshive> create database dwd;OKTime taken: 0.017 secondshive> create database dwm;OKTime taken: 0.031 secondshive> create database dws;OKTime taken: 0.017 secondshive> ...原创 2022-04-10 21:52:17 · 482 阅读 · 2 评论 -
基于Hive数据仓库
Hive-数据仓库建模架构Hive-数据仓库建模方式1、分库分表,命名规范,库名以所在数据层开头命名,如:ods_dianxin_test2、星型和雪花型建模事实表维度表id time addr device platform action item我 今天上午9点 1 1 1 1 1小明 今天上午9点 1 ...原创 2022-04-10 19:19:14 · 833 阅读 · 0 评论 -
员工练习三
15.列出所有部门的详细信息和部门人数。hive> select t1.DEPTNO > ,t1.DEPTNAME > ,t1.DEPTADDR > ,t2.cnt > from dept t1 > left join( > select DEPTNO > ,count(distinct EMPNO)as cnt > from emp > group..原创 2022-04-09 10:49:07 · 71 阅读 · 0 评论 -
员工练习二
6. 列出所有“CLERK”(办事员)的姓名及其部门名称。hive> select t1.EMPNO > ,t1.ENAME > ,t1.DEPTNO > ,t2.DEPTNAME > from( > select EMPNO > ,ENAME > ,DEPTNO > ..原创 2022-04-09 10:28:59 · 126 阅读 · 0 评论 -
员工练习一
员工信息表emp:字段:员工id,员工名字,工作岗位,部门经理,受雇日期,薪水,奖金,部门编号英文名:EMPNO,ENAME,JOB,MGR,HIREDATE,SAL,BONUS,DEPTNO部门信息表dept:字段:部门编号,部门名称,部门地点英文名:DEPTNO,DEPTNAME,DEPTADDRhive> create database test7;OKTime taken: 0.041 secondshive> use test7;OKTime taken.原创 2022-04-08 21:40:40 · 492 阅读 · 0 评论 -
Hive With as 用法
hive> select t.id > ,t.name > ,t.clazz > ,t.score_id > ,t.score > ,c.subject_name > from( > select a.id > ,a.name > ,a.clazz .原创 2022-04-08 19:42:37 · 740 阅读 · 0 评论 -
Hive数据倾斜
hive> use test6;OKTime taken: 0.011 secondshive> create table data_skew( > key string > ,col string > )row format delimited fields terminated by ',';OKTime taken: 0.166 secondshive> load data local inpath '/usr/local/so.原创 2022-04-08 17:10:01 · 375 阅读 · 1 评论 -
自定义UDTF,Hive Shell
自定义UDTFpackage com.shujia.hive;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.metadata.HiveException;import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;import org.apache.hadoop.hive.serde2.objecti.原创 2022-04-08 15:58:36 · 608 阅读 · 0 评论 -
Hive 行转列,Hive 列转行, UDF,UDTF
Hive 行转列hive> create table testArray2( > name string, > weight array<string> > )row format delimited > fields terminated by '\t' > COLLECTION ITEMS terminated by ',';OKTime taken: 0.172 secondshive原创 2022-04-07 21:56:08 · 298 阅读 · 0 评论 -
连续登陆问题
连续登陆问题hive> create database test6;OKTime taken: 0.03 secondshive> use test6;OKTime taken: 0.01 secondshive> create table deal_tb( > id string > ,datestr string > ,amount string > )row format delimit原创 2022-04-07 16:56:30 · 413 阅读 · 0 评论 -
Hive练习一
模仿建表语句,创建subject表,并使用hdfs dfs -put 命令加载数据hive> create table subject( > subject_id bigint comment '科目id' > ,subject_name string comment '科目名称' > ,subject_score bigint comment '科目总分' > ) row format delimited fields termi.原创 2022-04-07 15:40:17 · 117 阅读 · 0 评论 -
定义窗口帧
Hive 提供了两种定义窗口帧的形式:ROWS 和 RANGE。两种类型都需要配置上界和下界。例如,ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW 表示选择分区起始记录到当前记录的所有行;SUM(close) RANGE BETWEEN 100 PRECEDING AND 200 FOLLOWING 则通过 字段差值 来进行选择。如当前行的 close 字段值是 200,那么这个窗口帧的定义就会选择分区中 close 字段值落在 100 至 400 区间的.原创 2022-04-07 15:08:17 · 252 阅读 · 0 评论 -
Hive常用函数
Ifhive> select if(1>0,1,0); OK1Time taken: 0.454 seconds, Fetched: 1 row(s)hive> select if(1>0,if(-1>0,-1,1),0);OK1Time taken: 0.438 seconds, Fetched: 1 row(s)hive> select score,if(score>120,'优秀',if(score>100,'良好',if(scor原创 2022-04-07 11:36:12 · 444 阅读 · 0 评论 -
DQL,order by, sort by,distribute by,cluster by
DQLhive> create database test5;OKTime taken: 0.538 secondshive> use test5;OKTime taken: 0.013 secondshive> create table students( > id bigint comment '学生id', > name string comment '学生姓名', > age int comme原创 2022-04-07 10:09:24 · 717 阅读 · 1 评论 -
array,map,struct
hive> select * from students limit 10;OK1500100001 施笑槐 22 女 文科六班1500100002 吕金鹏 24 男 文科六班1500100003 单乐蕊 22 女 理科六班1500100004 葛德曜 24 男 理科三班1500100005 宣谷芹 22 女 理科五班1500100006 边昂雄 21 男 理科二班1500100007 尚孤风 23 女 文科六班1500100008 符半双 22 女 理科六班1500100009.原创 2022-04-06 22:07:12 · 204 阅读 · 0 评论 -
分区,分桶,JDBC
分区hive> create database test3; OKTime taken: 0.051 secondshive> use test3;OKTime taken: 0.011 secondshive> create external table students_pt1 > ( > id bigint, > name string, > age int, > .原创 2022-04-06 21:22:37 · 1079 阅读 · 0 评论 -
建表语句,内部表,外部表
q原创 2022-04-06 19:23:07 · 1076 阅读 · 0 评论 -
HiveQL,存储格式
查询语言 HiveQL SQL 数据存储位置 HDFS RawDeviceor本地FS 数据格式 用户定义 系统决定 数据更新 不支持(1.x以后版本支持) 支持 索引 新版本有,但弱 有 ...原创 2022-04-06 10:54:39 · 713 阅读 · 0 评论 -
Hive配置
[root@master ~]# lsac.sh 模板anaconda-ks.cfg 视频apache-hive-1.2.1-bin.tar.gz 图片dump.rdb 文档initial-setup-ks.cfg ...原创 2022-04-02 17:00:52 · 853 阅读 · 0 评论