hive
文章平均质量分 82
Zzreal
这个作者很懒,什么都没留下…
展开
-
Hive安装
一、安装准备1.安装jdk2.伪分布式安装hadoop(参照http://blog.csdn.net/zonzereal/article/details/76873614)3.安装mysql(参照http://blog.csdn.net/zonzereal/article/details/78152053)创建hive数据库,并给root用户授予hive库远程及本地所有权限cr...原创 2017-11-15 15:06:03 · 2961 阅读 · 0 评论 -
Hive的字符串函数
1. 字符 ascii 码函数:ascii语法: ascii(string str)返回值: int说明:返回字符串 str 中第一个字符的ascii 码举例:hive> select ascii('ba') from test;OK982. base64 字符串语法: base64(binary bin)返回值: string说明:返回二进制 bin原创 2018-01-20 21:05:00 · 27881 阅读 · 0 评论 -
Hive的日期函数
1. UNIX 时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string format])返回值: string说明: 转化 UNIX 时间戳(从 1970-01-0100:00:00 UTC 到指定时间的秒数)到当前时区的时间格式举例:hive> select from_unixtime(1323308原创 2018-01-20 13:40:19 · 4414 阅读 · 0 评论 -
Hive的函数
Hive的函数1)UDF--标准函数函数大全2)UDAF--聚合函数个数统计--count; 总和统计--sum; 平均值统计--avg; 最小值--min; 最大值--max;直方图--histogram_numeric; 集合去重函数--collect_set; 集合不去重函数--collect_list;3)UDTF--制表函数★explode---可以将数组和集合拆分成多行自定义函数1)自原创 2017-11-20 21:15:55 · 3049 阅读 · 0 评论 -
Hive的条件函数、聚合函数(UDAF)和制表函数(UDTF)
一、条件函数1. If 函数: if语法: if(boolean testCondition, T valueTrue, TvalueFalseOrNull)返回值: T说明: 当条件 testCondition为 TRUE 时,返回 valueTrue;否则返回 valueFalseOrNull举例:hive> select if(1=2,100,200) from原创 2018-01-22 20:58:28 · 4347 阅读 · 0 评论 -
深入浅出认识Hive
1、什么是Hive?---Hive是一个数据仓库,不是数据库hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。◆数据仓库和数据原创 2017-11-20 20:41:57 · 4009 阅读 · 0 评论 -
Hive的优化
hive优化1)多表join优化代码结构: select .. from JOINTABLES (A,B,C) WITH KEYS (A.key, B.key, C.key) where ....关联条件相同多表join会优化成一个job2)LeftSemi-Join是可以高效实现IN/EXISTS子查询的语义 SELECT a.key,a.value FROM a WHERE原创 2018-01-12 11:17:22 · 2999 阅读 · 0 评论 -
Hive的DML
Hive的DML---对表的操作,load数据、增删改查1)loadload data [local] inpath '文件路径' [overwrite] into table datetable02; -->加载数据到对应的表,关键字 local是本地文件,如果没有那么是HDFS上的文件。关键字overwrite是是否覆盖,如果有,覆盖。2)insert--into Hive原创 2018-01-12 15:14:03 · 3160 阅读 · 0 评论 -
Hive的shell命令以及HQL
Hive的shell命令以及HQL1、CLI①hive----直接进入hive命令行界面,在hive命令行界面可以使用以下命令:exit;/quit; -->都是退出hivereset; -->重置hive配置。主要是针对set和hive --hiveconf的set (name)=(value); -->set命令,用来更改hive-site.xml中的配置,name和va原创 2017-11-20 21:03:51 · 4542 阅读 · 0 评论 -
Hive配置详解
hive的配置:hive.ddl.output.format:hive的ddl语句的输出格式,默认是text,纯文本,还有json格式,这个是0.90以后才出的新配置;hive.exec.script.wrapper:hive调用脚本时的包装器,默认是null,如果设置为python的话,那么在做脚本调用操作时语句会变为python <script command>,null的话就是直...转载 2018-03-11 10:36:46 · 3354 阅读 · 0 评论