离线计算系统（hive部分）

最新推荐文章于 2023-01-15 12:07:57 发布

小博和小新

最新推荐文章于 2023-01-15 12:07:57 发布

阅读量445

点赞数 2

分类专栏： hive 文章标签： hive

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/zhangboboshuai/article/details/103151384

版权

hive 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

什么是HIVE

Hive是一个语句Hadoop的一个数据仓库工具，是将结构化数据文件映射成为一个数据表，并提供类SQL的查询功
能。
Hive可以对数据进行存储于计算
数据存储依赖于HDFS
数据计算依赖于MapReduce

Hive意义（目的）

在hadoop是个好软件，但是不好使用（学习成本太高，坡度陡，难度大）的前提下
降低了程序员使用hadoop的学习成本，降低了难度。

Hive特点

可扩展性：与集群的扩展性相同
延展性：Hive提供自定义函数接口，支持HQL语句直接调用java方法
容错性：节点出现问题SQL仍可完成执行。

Hive架构

在这里插入图片描述

元数据

描述数据的数据就是元数据
表的名字，
表的列
列的类型

Hive内部执行过程

解释器 -> 编译器（会使用到元数据） -> 优化器 -> 执行器

Hive与传统数据库对比

在这里插入图片描述

Hive基本介绍

Hive中没有定义专门的数据格式，用户提供的数据是什么格式，hive直接将数据拷贝到集群。不会对数据格式进行改
变。
用户定义数据格式需要指定三个属性：
列分隔符（通常为空格、”\t”、”\x001″）、
行分隔符（”\n”）
读取文件数据的方法（Hive 中默认有三个文件格式 TextFile，SequenceFile 以及 RCFile）
不会对数据本身进行任何修改，甚至不会对数据进行扫描。
Hive 中不支持对数据的改写和添加（在一个文本中添加新数据）
Hive 在加载数据的过程中不会对数据中的某些 Key 建立索引。
总结：hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析

Hive内的基本概念
DB、数据库
Table，表（内部表）
External Table，外部表
Partition，分区
Bucket。分桶
Hive支持的数据格式
可支持Text， SequenceFile ，ParquetFile，ORC格式RCFILE等

Hive的安装部署

小博和小新

关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
离线计算系统（hive部分）

什么是HIVEHive是一个语句Hadoop的一个数据仓库工具，是将结构化数据文件映射成为一个数据表，并提供类SQL的查询功能。Hive可以对数据进行存储于计算数据存储依赖于HDFS数据计算依赖于MapReduceHive意义（目的）在hadoop是个好软件，但是不好使用（学习成本太高，坡度陡，难度大）的前提下降低了程序员使用hadoop的学习成本，降低了难度。Hive特点...
复制链接

扫一扫

专栏目录

小博和小新 CSDN认证博客专家 CSDN认证企业博客

码龄5年

8: 原创

75万+: 周排名

113万+: 总排名

2360: 访问

: 等级

107: 积分

10: 粉丝

13: 获赞

4: 评论

4: 收藏

私信

关注

热门文章

分类专栏

hbase 3篇
hive 3篇
haddoop 4篇

最新评论

HBaseAPI
dakesong: //连接数据库 Configuration conf = new Configuration(); conf.set("hbase.zookeeper.quorum", "node01:2181,node02:2181,node03:2181"); Connection connection = ConnectionFactory.createConnection(conf); //读取表 Table hbase_comments = connection.getTable(TableName.valueOf("hbase_comments")); Scan scan = new Scan(); ResultScanner scanner = hbase_comments.getScanner(scan); for (Result result : scanner) { //遍历一行内的所有的列 Cell[] cells = result.rawCells(); for (Cell cell : cells) { if (Bytes.toString(CellUtil.cloneQualifier(cell)).equals("comments")); System.out.println(Bytes.toString(CellUtil.cloneFamily(cell))+":"+Bytes.toString(CellUtil.cloneQualifier(cell))+"-"+Bytes.toString(CellUtil.cloneValue(cell))); } } connection.close();
HBaseAPI
dakesong: //连接数据库 Configuration conf = new Configuration(); conf.set("hbase.zookeeper.quorum", "node01:2181,node02:2181,node03:2181"); Connection connection = ConnectionFactory.createConnection(conf); //读取表 Table hbase_rate = connection.getTable(TableName.valueOf("hbase_rate")); Scan scan = new Scan(); scan.setStartRow("7u6UaIPfLC0".getBytes()); scan.setStopRow("1WBxfCRS2ag".getBytes()); ResultScanner scanner = hbase_rate.getScanner(scan); for (Result result : scanner) { System.out.println(Bytes.toString(result.getRow())); System.out.println(Bytes.toString(result.getValue("cf".getBytes(), "age".getBytes()))); } connection.close();
HBaseAPI
dakesong: //单值列的过滤器 SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter("f1".getBytes(), "name".getBytes(), CompareFilter.CompareOp.NOT_EQUAL, "刘备".getBytes()); scan.setFilter(singleColumnValueFilter); ResultScanner scanner = myuser.getScanner(scan); for (Result result : scanner) { String rowkey = Bytes.toString(result.getRow()); String name = Bytes.toString(result.getValue("f1".getBytes(), "name".getBytes())); System.out.println(rowkey+" "+name); } }
HBaseAPI
dakesong: [code=html] //连接数据库 Configuration conf =new Configuration(); conf.set("hbase.zookeeper.quorum","node01:2181,node02:2181,node03:2181"); Connection connection=ConnectionFactory.createConnection(conf); Table myuser = connection.getTable(TableName.valueOf("myuser")); Scan scan=new Scan(); // 行的过滤器 // RowFilter rowFilter=new RowFilter(CompareFilter.CompareOp.GREATER_OR_EQUAL,new BinaryComparator("0005".getBytes())); // scan.setFilter(rowFilter); // 列族的过滤器 // FamilyFilter familyFilter = new FamilyFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator("f2".getBytes())); //scan.setFilter(familyFilter); //列名的过滤器 // QualifierFilter name1 = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("name")); // scan.setFilter(name1); //单值列的过滤器 SingleColumnValueFilter singleColumnValueFilter = new SingleColumnValueFilter("f1".getBytes(

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。