离线数仓-Hive介绍

最新推荐文章于 2024-08-08 21:27:35 发布
最新推荐文章于 2024-08-08 21:27:35 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangtikang134/article/details/104362133
版权
Hive是一款基于Hadoop的数据仓库工具，提供类SQL查询接口处理大规模结构化数据。它简化了MapReduce编程，支持自定义函数，但执行效率较低，适合一次性写入、多次读取的场景。Hive架构包括客户端、元数据存储、HDFS存储和驱动器，元数据存储在如MySQL的外部数据库中，查询经过解析、编译、优化和执行等多个阶段。
摘要由CSDN通过智能技术生成

1.简介

Hive是基于Hadoop的一个开源数据仓库工具，将海量结构化数据文件映射为一张表，并在其上提供类SQL（HQL）查询功能。Hive本质是将HQL转化成MapReduce，以处理存储在HDFS上的数据。

优点
  • 避免写MapReduce，减少学习成本。提供HQL操作接口，易上手。
  • 适合处理大数据，处理小数据意义不大。
  • 支持自定义函数处理数据。
缺点
  • HQL表达能力有限。
  • 执行效率低。基于MapReduce，天然延迟高。
  • 不支持修改，一次写入多次读取。
  • 不支持事务。

2.架构

在这里插入图片描述

Client 客户端
  • Cli（command-line interface）
  • JDBC/ODBC
  • WebUI
Metastore 元数据

元数据：包括表名、表所属的数据库、表的拥有者、列/分区字段、表类型、表数据所在路径等

默认自带derby数据库，推荐配置MySQL来存储Metastore。

HDFS Hadoop文件系统

使

最低0.47元/天 解锁文章
.Mr Zhang
关注
专栏目录
Hive 这些基础知识，你忘记了吗？
终极冥帝
01-19 239
Hive 其实是一个客户端，类似于navcat、plsql 这种，不同的是Hive 是读取 HDFS 上的数据，作为离线查询使用，离线就意味着速度很慢，有可能跑一个任务需要几个小时甚至更长时间都有可能。 在日常开发中 Hive 用的还是挺广泛的，常做一些统计工作，就我自己工作来看其实 80% 的工作由 Hive 的基础部分就能完成了，只有很少的情况需要用到一些复杂查询或者调优工作。 ...
Hive离线数据仓库
将懒惰进行到底
11-22 4547
Hive是基于Hadoop的数据仓库工具，提供了一系列的工具，可以用来进行数据提取、转化、加载，是一种可以存储、查询和分析存储在Hadoop中的大规模数据机制。它可以将结构化的数据文件映射成一张表，并提供完成的sql查询功能，可以将sql语句转换成MapReduce任务进行运行。 Hive本质上是基于Hadoop的一种分布式计算框架，底层仍然是MR，本质上是离线大数据分析工具。 数据仓库 VS ...
离线数仓之Hive的基础操作
最新发布
m0_74319575的博客
08-08 2029
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。
二百二十九、离线数仓——离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程(1)
2401_84170190的博客
04-13 994
4)][外链图片转存中…(img-LM7OXUq6-1713005466285)][外链图片转存中…(img-Uy8QQzfr-1713005466285)][外链图片转存中…(img-EkDNz2pj-1713005466285)][外链图片转存中…(img-6wwn0rgA-1713005466286)]
数仓环境搭建
weixin_45417821的博客
10-22 490
文章目录Hive环境搭建Hive引擎简介Hive on Spark配置Yarn配置增加ApplicationMaster资源比例数仓开发环境启动HiveServer2配置DataGrip连接测试使用数据准备用户行为日志业务数据 Hive环境搭建 Hive引擎简介 Hive引擎包括：默认MR、tez、spark Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存
电商离线数仓从0到1系列之二 hive，flume环境搭建
manshiai的博客
11-15 1827
hive安装 hive内置元数据库Derby，但一般采用自有的元数据库，这里用mysql hive集群分配： 软件 warehouse101 warehouse102 warehouse103 hadoop √ √ √ hive √ √ √ mysql √ 元数据（metastore）采用远程模式配置，配置规划： 服务 warehouse101 warehouse102 warehouse103 metastore √ √ HiveServer2 √
大数据-数仓-数仓工具：Hive（离线数据分析框架）【替代MapReduce编程；插入、查询、分析HDFS中的大规模数据；机制是将HiveSQL转化成MR程序；不支持修改、删除操作；执行延迟较高】
u013250861的博客
01-14 876
Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。Hive数据仓库⎩⎨。
[数仓]三、离线数仓（Hive数仓系统）
weixin_44428807的博客
07-08 905
Hive引擎包括：默认MR、tez、sparkHive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。Spark on Hive: Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spark负责采用RDD执行。
二百二十九、离线数仓——离线数仓Hive从Kafka、MySQL到ClickHouse的完整开发流程
2401_84167046的博客
04-18 732
这里的ADS层，其实就是用Kettle把Hive的DWS层结果数据同步到ClickHouse中，也是一个Kettle任务而已。(img-WFyHGrKX-1713371724542)]这样用海豚进行调度每一层的任务，整个离线数仓流程就跑起来了。
离线数仓项目-生鲜甄选
2301_80004159的博客
11-23 158
甄选生鲜新零售项目。
Hive+Spark离线数仓工业项目实战--数仓设计及数据采集（1）
技术专家
12-23 1984
Hive+Spark离线数仓工业项目实战--数仓设计及数据采集
大数据面试hive 看这一篇就够了（离线数仓 ）
HelloWowofei的博客
07-03 855
当 DataNode 突然挂掉了，客户端接收不到这个 DataNode 发送的 ack 确认，客户端会通知 NameNode，NameNode 检查该块的副本与规定的不符，NameNode 会通知 DataNode 去复制副本，并将挂掉的 DataNode 作下线处理，不再让它参与文件上传与下载。静态分区的分区值是自己设置的，动态分区的分区值是通过select查询出来的某个列的值，动态分区需要打开动态分区的开关和打开nostrict非严格模式的开关，效率比静态分区要低。
离线数仓（hive）面试看这一篇就够了
HelloWowofei的博客
06-25 643
静态分区的分区值是自己设置的，动态分区的分区值是通过select查询出来的某个列的值，动态分区需要打开动态分区的开关和打开nostrict非严格模式的开关，效率比静态分区要低。内部表：通过create table 表名的方法，生成的表格，表格的文件夹的位置在/user/hive/warehouse/数据库名.db，并且表格的文件夹是自动生成的。分桶在表连接的时候，才会用到，可以加快两张表联合查询的速度，只有当联合表格的分桶数量相等，或者分桶数量是倍数关系的时候，才有加速的效果。
【大数据之路5-3】离线数据仓库（Hive 搭建）
程序员五哥
06-09 775
数据仓库（Data Warehouse），简写为DW或DWH，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业提供指导业务流程改进、监视时间、成本、质量及控制。
hive数仓相关
weixin_42644102的博客
03-28 1663
最近在做hive相关的项目，以前做spark也没有太关注数仓，这更多的是关于切入问题解决问题的思路记录。 主要就是基于主题库的数据建立对应的专题库以供对应专题服务。一开始因为spark招的我，结果让我来做hive，没办法，拿人钱财，替人解忧，于是乎哼哧哼哧做数仓去了，但是没有经验的我，又没人带只有自己加油搞了咯。好歹自己还有些hive的底子。 速成策略： 1.首先了解数仓相关知识 2.了解事实表与...
黑马Hive+Spark离线数仓工业项目--项目总结
技术专家
01-04 2306
黑马Hive+Spark离线数仓工业项目--项目总结
离线数仓
sinat_35134201的博客
09-02 794
云上数据仓库解决方案：https://www.aliyun.com/solution/datavexpo/datawarehouse 云上数据集成解决方案：https://www.aliyun.com/solution/datavexpo/cdp
Hive+Spark离线数仓工业项目实战--环境构建（3）
技术专家
12-23 1058
项目环境配置，根据需求实现项目环境配置
设计一个基于hive的网站访问数据的离线数仓
06-08
好的，下面是一个简单的基于Hive的网站访问数据的离线数仓的设计： 1. 数据采集：从网站访问日志中采集数据，可以使用Flume或Kafka等工具进行实时采集，也可以使用定时任务将日志文件导入到HDFS中。 2. 数据清洗：对采集到的数据进行清洗，包括去除无效的记录、过滤掉爬虫访问等不需要的数据。 3. 数据存储：将清洗后的数据存储到Hive中，可以使用Hive的外部表将数据直接关联到HDFS中的文件，也可以将数据导入到Hive的内部表中进行关联查询。 4. 数据分析：使用Hive进行离线数据分析，可以通过SQL语句进行数据统计、计算、聚合等操作，生成各种报表和数据可视化图表。 5. 数据挖掘：对存储在Hive中的数据进行数据挖掘，可以使用机器学习算法进行数据建模和预测分析，生成各种预测模型和数据挖掘报告。 6. 数据展示：将数据分析和数据挖掘的结果展示在网站上，可以使用Web框架和JavaScript等工具进行开发，将生成的图表和报表嵌入到网页中展示给用户。 以上就是一个基于Hive的网站访问数据的离线数仓的设计，可以根据实际需求进行调整和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值