Hive是一款基于Hadoop的数据仓库工具，提供类SQL查询接口处理大规模结构化数据。它简化了MapReduce编程，支持自定义函数，但执行效率较低，适合一次性写入、多次读取的场景。Hive架构包括客户端、元数据存储、HDFS存储和驱动器，元数据存储在如MySQL的外部数据库中，查询经过解析、编译、优化和执行等多个阶段。
1.简介
Hive是基于Hadoop的一个开源数据仓库工具，将海量结构化数据文件映射为一张表，并在其上提供类SQL（HQL）查询功能。Hive本质是将HQL转化成MapReduce，以处理存储在HDFS上的数据。
优点
- 避免写MapReduce，减少学习成本。提供HQL操作接口，易上手。
- 适合处理大数据，处理小数据意义不大。
- 支持自定义函数处理数据。
缺点
- HQL表达能力有限。
- 执行效率低。基于MapReduce，天然延迟高。
- 不支持修改，一次写入多次读取。
- 不支持事务。
2.架构
Client 客户端
- Cli（command-line interface）
- JDBC/ODBC
- WebUI
Metastore 元数据
元数据：包括表名、表所属的数据库、表的拥有者、列/分区字段、表类型、表数据所在路径等
默认自带derby数据库，推荐配置MySQL来存储Metastore。
HDFS Hadoop文件系统
使
最低0.47元/天 解锁文章
231
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
