数据仓库

最新推荐文章于 2024-06-15 14:00:00 发布
最新推荐文章于 2024-06-15 14:00:00 发布
阅读量322 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zx_666888/article/details/104584634
版权
数据仓库是一个支持管理决策的面向主题、集成、随时间变化且数据稳定的集合。其特点包括面向主题的数据存储，通过ETL过程集成来自多个源的数据。数据仓库框架包含数据采集层、数据存储与分析层、数据共享层和数据应用层，涉及HDFS、Hive、MapReduce、Spark等工具用于数据处理和分析。
摘要由CSDN通过智能技术生成

1.1数据仓库概念

学习Hive之前,我们需要理解一个概念——数据仓库

数据仓库(Data Warehouse)可以简称为DW或者DWH,它是一个支持管理决策的数据集合。数据是面向主题的，集成的,不易丢失的并且是时变的。

1.2数据仓库的特点

面向主题:数据仓库都是基于某个明确的主题,比如关于订单的,关于商品的等,它里面只存储与该主题相关的数据,其他与该主题无关的数据都不会进行存储.

集成:从多个其他的数据源(如MySQL,Oracle等数据库)到一个数据源,该过程会伴随ETL操作,ETL(extract-transform-load)用来对源端的数据进行抽取,转换,加载到目的端。

随时间变化：数据显示或隐式的随着时间变化

最低0.47元/天 解锁文章
cmj_971218
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习 - 14.TF x Keras 共享层与共享模型
BITDDD小栈
05-10 1461
一.引言 函数式 API 的重要特性是能够多次重复使用一个层实例，如果对一个层实例调用两次，而不是每次调用都实例化一个新层，那么每次调用就可以重复使用相同的权重。这样可以构建具有共享分支的模型。 二.共享层权重 1.模型结构 假设模型判断两个句子的相似度，模型有两个输入，分别为句子A，句子B，并输出一个 0-1 的分数代表相似度。在这种前提下，句子AB是具备交换性的，即A与B的相似性应该与B与A的相似性是一致的，所以只需要用一个 LSTM 处理即可，其权重是根据两个输入共同学习的，模型也成为连.
离线数仓分层（基础）
wind96的博客
11-01 1707
数仓分层基础知识，面试复习
数据仓库之离线数仓
最新发布
youziguo的专栏
06-15 1107
离线数据仓库（Offline Data Warehouse）是一种以批处理方式为主的数据仓库系统，旨在收集、存储和分析大量历史数据。离线数据仓库通常用于定期（如每日、每周、每月）更新数据，以支持各种业务分析、报表生成和数据挖掘任务。
数据平台的4个阶段：从数据库到数仓再到中台，超详细的架构全解
Leo的博客
07-15 8647
在大数据时代，凡是AI类项目的落地，都需要具备数据、算法、场景、计算力四个基本元素，缺一不可。 处理大数据已经不能仅仅依靠计算力就能够解决问题，计算力只是核心的基础，还需要结合不同的业务场景与算法相互结合，沉淀出一个完整的智能化平台。 数据中台就是以云计算为数据智能提供的基础计算力为前提，与大数据平台提供的数据资产能力与技术能力相互结合，形成数据处理的能力框架赋能业务，为企业做到数字化、智能化运营。 目前，外界与业内很多人对于数据中台的理解存在误区，一直只是在强调技术的作用，强调技术对于业务的推动作用
Python将str转换为路径类型？(Python convert a str to path type?)
热门推荐
COCO56的博客
10-14 1万+
文章目录1. 按2. 使用案例3. 测试案例3.1. 代码3.2. 结果 1. 按 在Python3.4+中，我们可以使用pathlib模块中的Path类方法进行转换， 关于pathlib模块的更多介绍，可以参考：https://docs.python.org/3/library/pathlib.html#module-pathlib 2. 使用案例 from pathlib import Path str_path = "my_path" # eg: str_path = "D:\360Downloads
什么是数据共享？如何做好数据交换与共享？
顺其自然~专栏
04-24 5072
无论政府部门或企业，在日常管理过程中，由于业务需求，通常需要与一个或多个内部外部的组织交换共享数据，但加快数据共享并不是搭建一个数据平台那么简单。从数据的采集，到对数据的加工清洗，再将数据运用到日常管理，予以价值化，都需要大量基础工作的铺垫。
oracle数据仓库国宝级资料(全套)
09-19
oracle数据仓库国宝级资料(全套) 1、Oracle+10g数据仓库实践--数据仓库基础.pdf 2、Oracle+10g数据仓库实践--总体方案.pdf 3、Oracle+10g数据仓库实践--方案的总体优势.pdf 4、Oracle+10g据仓库实践--数据仓库工具的...
数据仓库需求文档.pdf
03-19
"数据仓库需求文档.pdf" 数据仓库是企业关键业绩指标报告系统的核心内容，能够从大量的企业经营的关键知识及信息中抽取出潜在的、有价值的知识或规则的过程。数据仓库的主要功能是建立集中存储的基于业务主题的统一...
「大数据概述四」数据中台建设
qq_35789269的博客
12-05 1110
数据采集层：既包括传统的ETL离线采集、也有实时采集、互联网爬虫解析等等。 数据处理层：根据数据处理场景要求不同，可以划分为HADOOP、MPP、流处理等等。 数据分析层：主要包含了分析引擎，比如数据挖掘、机器学习、 深度学习 数据访问层：主要是实现读写分离，将偏向应用的查询等能力与计算能力剥离，包括实时查询、多维查询、常规查询等应用场景。 数据应用层：根据企业的特点不同划分不同类别的应用，比如针对运营商，对内有精准营销、客服投诉、基站分析等，对外有基于位置的客流、基于标签的广告应用等等。 数据管
Python深度学习11——Keras实现共享层模型（多输入多输出）
weixin_46277779的博客
07-10 9577
Functional API，共享层模型，多输入多输出，神经网络中间层的可视化，中间层的权重信息
数据仓库分层
qq_55961709的博客
10-10 3439
数据仓库分层
数据架构设计
weixin_43461465的博客
07-15 1万+
数据仓库实施方案
面向未来的大数据核心技术都有什么？
m0_57290404的博客
06-29 1041
数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。数据源的种类比较多：网站日志：作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，一般是在每台网站日志服务器上部署flume agent，实时的收集网站日志并存储到HDFS上；业务数据库：业务数据库的种类也是多种多样，有Mysql、Oracle、SqlServer等，这时候，我们迫切的需要一种能从各种数据库中将数据同步到HDFS上的工具，Sqoop是一种，但是Sqoop太过繁重，而且不管数据量大
大数据环境下该如何优雅地设计数据分层
weixin_34101784的博客
12-21 195
2019独角兽企业重金招聘Python工程师标准>>> ...
7.数据中台 --- 数据开发：数据体系建设
enlyhua的专栏
04-21 2095
7.1　数据体系规划 各种系统产生的原始数据堆积在一起导致使用成本非常高，这类数据只能在某些数据技术基础非常好的部门使用，而且会经常出现 命名不一、口径不一的问题，从而导致整个企业的数据无法真正用起来。数据中台数据体系是在全域原始数据的基础上，进行标准定义 及分层建模，数据体系建设最终呈现的结果是一套完整、规范、准确的数据体系，可以方便的支撑数据应用。 中台数据体系应具备以下特征： 1.覆盖全域数据 数据集中建设，覆盖所有业务过程数据，业务在中台数据体系中总能找到需要的数据。 .
数据增量更新定义_数据仓库
weixin_39755824的博客
11-22 1948
数据仓库分层没有绝对的规范，适合的就是最好的，特别是企业已经有一个初版的数仓的时候，需要做好改造成本和可理解性之间的平衡。数据仓库是一套方法论，从规范定义、模型设计到数据服务，再到数据可管理、可追溯、可复用。背景在之前的文章高威：浅谈数仓模型（维度建模）​zhuanlan.zhihu.com中，有读者比较关注数仓分层的意义和作用，以及如何建立一个比较完善且能落地的数仓体系，所以在这里单独开一栏主要...
企业级大数据项目建设之数据仓库搭建与数据治理概况版
是故事啊~关注我~
08-11 1788
本文分为数据仓库建设和数据治理，篇幅比较长，耐心看完。
数据中台 第7章 数据体系建设:数仓分层设计、数据建模
.
02-13 8861
数据中台数据体系是在全域原始数据的基础上，进行标准定义及分层建 模，数据体系建设最终呈现的结果是一套完整、规范、准确的数据体 系，可以方便支撑数据应用。 中台数据体系应具备以下特征：·覆盖全域数据：数据集中建设，覆盖所有业务过程数据，业务在中台 数据体系中总能找到需要的数据。·结构层次清晰：纵向的数据分层，横向主题域、业务过程划分，让整 个层次结构清晰易理解。 ·数据准确一致：定义一致性指标，统一命名、统一业务含义、统一计 算口径，并有专业团队负责建模，保证数据的准确一致。 ·性能提升：统一的规划设计，选用
数据仓库与元数据解析
"数据仓库扫盲-理解元数据和其在数据仓库中的重要性" 数据仓库是一种专门用于数据分析和决策支持的系统，它从各种各样的事务处理系统中收集、整合和存储历史数据，以供分析使用。元数据在数据仓库中扮演着至关重要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值