Apache Doris系列之：数据模型

最新推荐文章于 2024-05-28 11:03:20 发布
最新推荐文章于 2024-05-28 11:03:20 发布
阅读量857 收藏 2
点赞数 1
分类专栏： 大数据 文章标签： Apache Doris系列 数据模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/126127532
版权
大数据 专栏收录该内容
551 篇文章 566 订阅 ¥49.90 ¥99.00
订阅专栏
Apache Doris提供了三种数据模型：Aggregate、Unique和Duplicate。Aggregate模型适用于预聚合，通过聚合Key列的数据减少存储空间，但不支持高效count(*)查询。Unique模型保证Key唯一性，适合主键约束场景，而Duplicate模型则不聚合数据，适合无聚合需求的情况。在选择数据模型时，需根据查询场景和性能需求进行权衡。
摘要由CSDN通过智能技术生成

Apache Doris系列之：数据模型

一、数据模型基本概念

数据以表的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。

  • Column 可以分为两大类：Key 和 Value。
  • 从业务角度看，Key 和 Value 可以分别对应维度列和指标列。

Doris 的数据模型主要分为3类:

  • Aggregate
  • Unique
  • Duplicate

二、聚合模型Aggregate 模型

1.导入数据聚合

假设业务有如下数据表模式：

在这里插入图片描述
建表语句如下：

CREATE TABLE IF
了解本专栏 订阅专栏 解锁全文
doris通关之doris三种数据模型
u011624157的专栏
09-12 998
doris三种模型
Apache Doris：高级数据建模与大规模数据管理
最新发布
Programming Talk
11-18 579
在前几篇文章中，我们已经介绍了 Apache Doris 的基本概念、安装配置、性能优化、数据导入导出功能、外部系统集成、以及监控与运维。通过本文，读者将能够更好地设计和管理复杂的数据仓库，确保其高效性和可扩展性。通过本文，读者将能够更好地设计和管理复杂的数据仓库，确保其高效性和可扩展性。合理管理数据的生命周期，定期删除不再需要的历史数据，可以节省存储空间并提高查询性能。通过数据分片，可以将数据分散到多个节点上，提高系统的并发处理能力和存储容量。假设我们有一个电子商务数据仓库，包含订单表、用户表和地址表。
Apache Doris 数据模型介绍
锋哥聊DORIS数仓
06-11 548
本文档主要从逻辑层面描述 Doris 的数据模型以帮助用户更好的使用 Doris 应对不同的业务场景。 基本概念 在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。 Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。 Doris 的数据模型主要分为3类: Duplicate 明细模型 Aggreg
Doris数据模型
好好学习天天向上
04-16 1544
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。
Apache Doris 基础 -- 数据表设计（数据模型）
chinusyan的专栏
05-28 1962
Apache Doris 基础 -- 数据表设计（数据模型）
下一代实时数据库：Apache Doris 【七】数据模型(1)
2301_79988566的博客
04-28 829
注意： Insert into 单条数据这种操作在 Doris 里只能演示不能在生产使用， 会引发写阻 塞。3)查看表可以看到，用户 10000 只剩下了一行聚合后的数据。而其余用户的数据和原始数据保 持一致。经过聚合，Doris 中最终只会存储聚合后的数据。换句话说， 即明细数据会丢失， 用户不能够再查询到聚合前的明细数据了。
基于Apache Doris的数据中台建设思路规划
03-06
### 基于Apache Doris的数据中台建设思路规划 #### 一、概述 随着大数据技术的发展，数据中台的概念逐渐被广泛接受并应用于实际业务中。数据中台旨在通过集中管理和处理数据，为企业提供更加高效、灵活的数据服务...
Apache Doris (十二) ：数据存储模型之Unique数据存储模型
qq_32020645的博客
06-30 674
因此，我们引入了 Unique 数据模型，该模型可以根据相同的Primary Key 来保留后插入的数据，确保数据的唯一，只要UNIQUE KEY 相同时，新记录覆盖旧记录。由于聚合模型的实现方式是读时合并（merge on read)，因此在一些聚合查询上性能不佳（参考3.3.4小节聚合模型的局限性的描述），在1.2版本我们引入了Unique模型新的实现方式——写时合并（merge on write），通过在写入时做一些额外的工作，实现了最优的查询性能。通过以上验证，我们发现。
Apache Doris (二) ：Doris架构原理及特点
qq_32020645的博客
06-23 2107
Doris整体架构如下图所示：Doris 架构非常简单，只有两类进程FE和BE，这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。主要负责用户请求的接入、查询解析规划、元数据的存储、节点管理相关工作。FE又分为，默认一个Doris集群中只能有一个Leader，可以有多个Follwer和Observer。
Apache Doris数据分析超级工具 学习手册
05-07
### Apache Doris 数据分析超级工具学习手册 #### 一、Apache Doris 概述 **1.1 前言** Apache Doris 是一款专为高效数据分析设计的强大工具，最初由百度大数据部门开发，名为百度Palo。2017年，这款软件被开源，...
Apache Doris (Incubating) 原理与实践.pdf
12-10
6. 数据模型和查询处理：Doris的数据模型以Key列和Value列为主，支持对Key列进行快速查询定位，并且实现了数据的合并操作（如SUM, MIN, MAX, REPLACE）。查询处理能力体现在其分布式逻辑计划和物理计划的高效执行。 ...
深入解析实时数仓Doris：三大数据模型详解
码到三十五
03-29 3813
在 Doris 中，数据以表（Table）的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。 Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。Doris 的 key 列是建表语句中指定的列，建表语句中的关键字'unique key'或'aggregate key'或'duplicate key'后面的列就是 Key 列，除了 Key 列剩下的就是
Apache Doris基本使用和数据模型
a934079371的博客
06-23 431
一. 基础使用1.1 创建数据库MySQL>CREATEDATABASEexample_db; MySQL>SHOWDATABASES; +--------------------+ |Database| +--------------------+ |example_db| |information_s...
Doris实战——结合Flink构建极速易用的实时数仓
爱吃辣条的博客
02-25 6178
Doris实战——结合Flink构建极速易用的实时数仓
【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计
书山有路，学海无涯。记录成长，追逐梦想
09-19 7939
有时候我们还会在 DWS 层的基础上增加 DWT（Data Warehouse Topic），作为宽表，但是我们也可以将这一层保留在 DWS 中，作为 DWS 层的一部分。DM 层是数据集市层，在 OLAP 查询不理想的情况下，DM 层是需要大力建设的。现在技术发展了，OLAP 查询不再是瓶颈，我们将建设的重心下移到提供一致性对外数据服务的 DWS 层，DM 层的开发工作逐步减少。
【Doris】美团外卖实时数仓建设实践
m0_54252387的博客
07-13 1410
**导读：**本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL标准化、快速响应变化、数据统一为目标。在实践中，我们总结的最佳实践是：一个通用的实时生产平台 + 一个通用交互式实时分析引擎相互配合同时满足实时和准实时业务场景。两者合理分工，互相补充，形成易于开发、易于维护、效率最高的流水线，兼顾开发效率与生产成本，以较好的投入产出比满足业务多样需求。1 实时场景实时数据在美团外卖的场景是非常多的，主要有以下几点：运营层面：比如实时业务变化，实时营销效果，当日营业情况以及当日实时业
Doris实战——天眼查Doris实时数仓构建
爱吃辣条的博客
03-20 2126
Doris实战——天眼查Doris实时数仓构建
应用实践 | 数仓体系效率全面提升！同程数科基于 Apache Doris 的数据仓库建设
锋哥聊DORIS数仓
07-08 1781
作者｜同程数科大数据高级工程师 王星同程数科是同程集团旗下的旅游产业金融服务平台，前身是同程金服，正式成立于 2015 年。同程数科以“数字科技引领旅游产业”为愿景，坚持以科技的力量，赋能我国旅游产业。目前，同程数科的业务涵盖产业金融服务、消费金融服务、金融科技及数字科技等板块，累计服务覆盖超过千万用户和 76 座城市。图1.1 业务场景-业务介绍主要包含四大类：图1.2 业务场景-业务需求综合以上业务需求，我们进行了系统架构建设。图2.1 架构演变-架构1.0架构1.0 是前几年非常流行的以 SteamS
Apache Doris：高性能数据分析利器
从2008年的Doris1，用于提升百度凤巢统计报表的数据更新频率，到2013年的Palo1.0，引入新的数据模型和MPP框架，再到2015年的Palo2.0，实现架构简化和高可用性，最后在2017年开源，成为Apache Doris，其社区活跃，有...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值