Doris 创建复合分区表和动态分区表

最新推荐文章于 2024-06-24 14:20:32 发布

快乐骑行^_^

最新推荐文章于 2024-06-24 14:20:32 发布

阅读量4.6k

点赞数

分类专栏：大数据文章标签： Doris 分区 Doris 分桶 Doris复合分区表 Doris动态分区表

本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/107123575

版权

大数据专栏收录该内容

537 篇文章 546 订阅 ¥49.90 ¥99.00

订阅专栏

本文详细介绍了Doris的分区与分桶机制，包括如何创建复合分区表和动态分区表。复合分区表支持Partition和Bucket两层划分，Partition通常是时间列，用于数据管理；Bucket影响查询吞吐和并发。动态分区在Doris 0.12版引入，支持动态添加和删除，便于生命周期管理。创建动态分区表需开启相应功能，可通过FE配置或MySQL协议实现。

摘要由CSDN通过智能技术生成

一、分区与分桶

Doris 支持两层的数据划分。createdate是字段。
第一层是 Partition，PARTITION BY RANGE(createdate)。
第二层是 Bucket（Tablet），DISTRIBUTED BY HASH(createdate) BUCKETS 10。
在 Doris 的存储引擎中，用户数据被水平划分为若干个数据分片（Tablet，也称作数据分桶）。每个 Tablet 包含若干数据行。各个 Tablet 之间的数据没有交集，并且在物理上是独立存储的。
多个 Tablet 在逻辑上归属于不同的分区（Partition）。一个 Tablet 只属于一个 Partition。而一个 Partition 包含若干个 Tablet。因为 Tablet 在物理上是独立存储的，所以可以视为 Partition 在物理上也是独立。Tablet 是数据移动、复制等操作的最小物理存储单元。
若干个 Partition 组成一个 Table。Partition 可以视为是逻辑上最小的管理单元。数据的导入与删除，都可以或仅能针对一个 Partition 进行。