hive
zjh_746140129
这个作者很懒,什么都没留下…
展开
-
Hive概述、体系架构、分区、桶与倾斜、环境搭建
一、Hive介绍和架构Hive 是基于Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。Hive 是建立在Hadoop上的数据仓库基础构架。它提供了...原创 2018-03-26 23:35:13 · 456 阅读 · 0 评论 -
使用hive的beeline连接报错hadoop is not allowed to impersonate hadoop (state=08S01,code=0)解决方案
笔者在使用Java api操作hive时遇到如下错误:hadoop is not allowed to impersonate hadoop (state=08S01,code=0)原因:hiveserver2增加了权限控制,需要在hadoop的配置文件中配置解决方法:在hadoop的core-site.xml中添加如下内容,然后重启hadoop,再使用beeline连接即可参考官...原创 2018-10-18 22:05:48 · 5471 阅读 · 4 评论 -
大数据入门教程系列之Hive内置函数及自定义函数
本篇文章主要介绍Hive内置函数以及自定义UDF函数和UDFT函数,自定义UDF函数通过一个国际转换中文的例子说明。操作步骤:①、准备数据和环境②、演示Hive内置函数③、自定义UDF函数编写、演示 详细步骤:一、准备数据和环境(需启动Hadoop)注:环境和程序基于上一篇java api操作hive:大数据入门教程系列之Hive的Java API ...原创 2018-10-18 22:00:35 · 903 阅读 · 0 评论 -
大数据入门教程系列之Hive的Java API 操作
Java 想要访问Hive,需要通过beeline的方式连接Hive,hiveserver2提供了一个新的命令行工具beeline,hiveserver2 对 之前的hive做了升级,功能更加强大,它增加了权限控制,要使用beeline需要先启动hiverserver2,再使用beeline连接操作步骤:①、修改hadoop的core-site.xml配置文件②、启动hadoo...原创 2018-10-18 21:33:21 · 903 阅读 · 0 评论 -
Hive2.x版本创建表报错:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
错误信息: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient创建表...原创 2018-09-22 15:33:00 · 1323 阅读 · 1 评论 -
Hive启动hiveserver2报错:Could not open client transport with JDBC Uri解决方案
报错信息:Error: Could not open client transport with JDBC Uri: jdbc:hive2://node1:10000/hive_metadata;user=hadoop: java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)Beeline vers...原创 2018-09-22 15:20:46 · 58306 阅读 · 21 评论 -
大数据入门教程系列之Hive环境搭建--Linux(Centons7)下配置安装Hive
本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Hive。简要步骤:①、下载hive解压包②、安装mysql服务器,教程可参照笔者博客 yum方式安装mysql数据库③、进入hive的conf目标新建一个hive-site.xml④、在hive-site.xml中写入mysql连接信息⑤、将mysql的驱动包复制到hive...原创 2018-09-12 20:55:32 · 625 阅读 · 0 评论 -
Hadoop2.7.4 编译 支持5种压缩
按博客中的操作步骤操作后,hadoop 编译完成后可以支持5种本地压缩:zlib、snappy、lz4、bzip2、openssl笔者环境配置为:JDK1.8、Maven3.5.2、Hadoop2.7.4、Hive2.3.2,你也可以使用其它版本,注意版本兼容即可一、安装压缩插件1.安装bzip2(图1、图2)命令yum -y install wget gcc gcc-c++ bzip2 bzip...原创 2018-04-10 22:08:04 · 471 阅读 · 0 评论 -
Hive DDL DML及SQL操作
一、Hive DDL 操作1.数据准备:student.txt(学生)、score.txt(成绩)、subject.txt(科目)2.创建Hive表(1) 创建学生表:create table student(id int,name string,sex string,age int)row format delimited fields terminated by ',';(2) 创...原创 2018-03-27 23:05:29 · 369 阅读 · 0 评论 -
Hive环境搭建
一、Hive安装步骤1、下载hive解压包2、安装mysql服务器,教程可参照笔者博客yum方式安装mysql数据库3、进入hive的conf目标新建一个hive-site.xml4、在hive-site.xml中写入mysql连接信息5、将mysql的驱动包复制到hive的lib下6、执行 sh /usr/local/hive/bin/hive,启动hive...原创 2018-03-27 23:00:32 · 495 阅读 · 0 评论 -
大数据入门教程系列之Hive篇汇总
大数据入门教程系列之Hive篇汇总1、Hive概述、体系架构、分区、桶与倾斜2、大数据入门教程系列之Hive环境搭建--Linux(Centons7)下配置安装Hive3、Hive DDL DML及SQL操作4、Hadoop2.7.4 编译 支持5种压缩(Hive压缩)5、大数据入门教程系列之Hive的Java API 操作6、大数据入门教程系列之Hive内置函数及自定义函...原创 2018-10-18 22:13:48 · 767 阅读 · 0 评论