Doris--基础--10--数据模型

最新推荐文章于 2024-03-15 15:33:45 发布
最新推荐文章于 2024-03-15 15:33:45 发布
阅读量1.1k 收藏 6
点赞数 2
分类专栏： Doris 文章标签： 数据库 java mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhou920786312/article/details/129347561
版权

Doris–基础–10–数据模型

1、基本概念

  1. 在 Doris 中，数据以表(Table)的形式进行逻辑上的描述。
  2. 一张表包括行(Row)和列(Column)。
    1. Row：用户的一行数据。
    2. Column：用于描述一行数据中不同的字段。

1.1、Column 可以分为两大类

  1. Key：从业务角度看，对应维度
  2. Value：从业务角度看，对应指标列

1.2、Doris 的数据模型

  1. Aggregate 模型
  2. Unique 模型
  3. Duplicate 模型

2、Aggregate(聚合)模型

我们以实际的例子来说明什么是聚合模型，以及如何正确的使用聚合模型。

2.1、示例1：导入数据聚合

2.1.1、数据

在这里插入图片描述

CREATE TABLE IF NOT EXISTS  example_site_visit
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);
  1. 可以看到，这是一个典型的用户信息和访问行为的事实表。
  2. 在一般星型模型中，用户信息和访问行为一般分别存放在维度表和事实表中。这里我们为了更加方便的解释 Doris 的数据模型，将两部分信息统一存放在一张表中。

2.1.2、维度列，指标列

  1. 表中的列按照是否设置了 AggregationType，分为 Key(维度列) 和 Value(指标列)。
  2. 没有设置 AggregationType：称为Key
    1. 对应的字段：user_id, date, city, age, sex
  3. 设置了 AggregationType： 称为 Value
    1. 对应的字段：last_visit_date, cost, max_dwell_time, min_dwell_time
  4. 当我们导入数据时，对于 Key 列相同的行会聚合成一行，而 Value 列会按照设置的 AggregationType 进行聚合。

2.1.3、AggregationType 目前有以下四种聚合方式：

  1. SUM：求和，多行的 Value 进行累加。
  2. REPLACE：替代，下一批数据中的 Value 会替换之前导入过的行中的 Value。
  3. MAX：保留最大值。
  4. MIN：保留最小值。

2.1.4、导入数据测试

在这里插入图片描述

insert into test_db.example_site_visit values(10000,'2020-10-01','北京',20,0,'2020-10-01 06:00:00',20,10,10);
insert into test_db.example_site_visit values(10000,'2020-10-01','北京',20,0,'2020-10-01 07:00:00',15,2,2);
insert into test_db.example_site_visit values(10001,'2020-10-01','北京',30,1,'2020-10-01 17:05:45',2,22,22);
insert into test_db.example_site_visit values(10002,'2020-10-02','上海',20,1,'2020-10-02 12:59:12',200,5,5);
insert into test_db.example_site_visit values(10003,'2020-10-02','广州',32,0,'2020-10-02 11:20:00',30,11,11);
insert into test_db.example_site_visit values(10004,'2020-10-01','深圳',35,0,'2020-10-01 10:00:15',100,3,3);
insert into test_db.example_site_visit values(10004,'2020-10-03','深圳',35,0,'2020-10-03 10:20:22',11,6,6);

可以看到，用户 10000 只剩下了一行聚合后的数据。而其余用户的数据和原始数据保持一致。这里先解释下用户 10000 聚合后的数据：

前5列没有变化，从第6列 last_visit_date 开始：

2017-10-01 07:00:00：因为 last_visit_date 列的聚合方式为 REPLACE，所以 2017-10-01 07:00:00 替换了 2017-10-01 06:00:00 保存了下来。 
	注：在同一个导入批次中的数据，对于 REPLACE 这种聚合方式，替换顺序不做保证。如在这个例子中，最终保存下来的，也有可能是 2017-10-01 06:00:00。而对于不同导入批次中的数据，可以保证，后一批次的数据会替换前一批次。
35：因为 cost 列的聚合类型为 SUM，所以由 20 + 15 累加获得 35。
10：因为 max_dwell_time 列的聚合类型为 MAX，所以 10 和 2 取最大值，获得 10。
2：因为 min_dwell_time 列的聚合类型为 MIN，所以 10 和 2 取最小值，获得 2。

经过聚合，Doris 中最终只会存储聚合后的数据。换句话说，即明细数据会丢失，用户不能够再查询到聚合前的明细数据了。

2.2、示例2：保留明细数据

2.2.1、数据

  1. 示例1表结构新增一列 timestamp，记录精确到秒的数据灌入时间。
  2. 将AGGREGATE KEY设置为AGGREGATE KEY(user_id, date, timestamp, city, age, sex)
CREATE TABLE IF NOT EXISTS test_db.example_site_visit2
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `timestamp` DATETIME COMMENT "数据灌入时间，精确到秒",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `timestamp`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 10;

2.2.2、导入数据测试

insert into test_db.example_site_visit2 values(10000,'2017-10-01','2017-10-01 08:00:05','北京',20,0,'2017-10-01 06:00:00',20,10,10);
insert into test_db.example_site_visit2 values(10000,'2017-10-01','2017-10-01 09:00:05','北京',20,0,'2017-10-01 07:00:00',15,2,2);
insert into test_db.example_site_visit2 values(10001,'2017-10-01','2017-10-01 18:12:10','北京',30,1,'2017-10-01 17:05:45',2,22,22);
insert into test_db.example_site_visit2 values(10002,'2017-10-02','2017-10-02 13:10:00','上海',20,1,'2017-10-02 12:59:12',200,5,5);
insert into test_db.example_site_visit2 values(10003,'2017-10-02','2017-10-02 13:15:00','广州',32,0,'2017-10-02 11:20:00',30,11,11);
insert into test_db.example_site_visit2 values(10004,'2017-10-01','2017-10-01 12:12:48','深圳',35,0,'2017-10-01 10:00:15',100,3,3);
insert into test_db.example_site_visit2 values(10004,'2017-10-03','2017-10-03 12:38:20','深圳',35,0,'2017-10-03 10:20:22',11,6,6);

2.2.3、结果

在这里插入图片描述

我们可以看到，存储的数据，和导入数据完全一样，没有发生任何聚合。这是因为，这批数据中，因为加入了 timestamp 列，所有行的 Key 都不完全相同。也就是说，只要保证导入的数据中，每一行的 Key 都不完全相同，那么即使在聚合模型下，Doris 也可以保存完整的明细数据。

2.3、示例3：导入数据与已有数据聚合

2.3.1、接示例1。现在表中已有数据如下：

在这里插入图片描述

2.3.2、我们再导入一批新的数据

在这里插入图片描述

2.3.3、结果

在这里插入图片描述

  1. 用户 10004 的已有数据和新导入的数据发生了聚合。
  2. 新增了 10005 用户的数据。

2.4、数据的聚合，发生的三个阶段

  1. 每一批次数据导入的 ETL 阶段。该阶段会在每一批次导入的数据内部进行聚合。
  2. 底层 BE 进行数据 Compaction 的阶段。该阶段，BE 会对已导入的不同批次的数据进行进一步的聚合。
  3. 数据查询阶段。在数据查询时，对于查询涉及到的数据，会进行对应的聚合。

数据在不同时间，可能聚合的程度不一致。比如一批数据刚导入时，可能还未与之前已存在的数据进行聚合。但是对于用户而言，用户只能查询到聚合后的数据。即不同的聚合程度对于用户查询而言是透明的。用户需始终认为数据以最终的完成的聚合程度存在，而不应假设某些聚合还未发生。

3、Unique 模型

  1. 在某些多维分析场景下，用户更关注的是如何保证 Key 的唯一性，即如何获得 Primary Key 唯一性约束。因此，我们引入了 Unique 的数据模型。
  2. Unique 模型 本质上是聚合模型的一个特例，也是一种简化的表结构表示方式。
  3. 主要面向留存分析或者订单分析的场景，他们需要一个 Unique Key 的约束去保证整个数据不丢不重。

3.1、案例1

3.1.1、建表语句

 

CREATE TABLE IF NOT EXISTS test_db.user
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `username` VARCHAR(50) NOT NULL COMMENT "用户昵称",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `phone` LARGEINT COMMENT "用户电话",
    `address` VARCHAR(500) COMMENT "用户地址",
    `register_time` DATETIME COMMENT "用户注册时间"
)
UNIQUE KEY(`user_id`, `username`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 10;
  1. 这是一个典型的用户基础信息表。这类数据没有聚合需求，只需保证主键唯一性。
  2. 这里的主键为： user_id + username

3.1.2、插入数据

insert into test_db.user values(10000,'zhangsan','北京',20,0,13112345312,'北京西城区','2020-10-01 07:00:00');
insert into test_db.user values(10000,'zhangsan','北京',20,0,13112345312,'北京海淀区','2020-11-15 06:10:20');

3.2、为什么说 Unique模型 本质上是聚合模型的一个特例

案例1的表结构，完全 等同于 以下使用聚合模型描述的表结构

在这里插入图片描述

对应的建表语句

CREATE TABLE IF NOT EXISTS  test_db.user2
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `username` VARCHAR(50) NOT NULL COMMENT "用户昵称",
    `city` VARCHAR(20) REPLACE COMMENT "用户所在城市",
    `age` SMALLINT REPLACE COMMENT "用户年龄",
    `sex` TINYINT REPLACE COMMENT "用户性别",
    `phone` LARGEINT REPLACE COMMENT "用户电话",
    `address` VARCHAR(500) REPLACE COMMENT "用户地址",
    `register_time` DATETIME REPLACE COMMENT "用户注册时间"
)
AGGREGATE KEY(`user_id`, `username`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
"replication_allocation" = "tag.location.default: 1"
);

即 Unique 模型完全可以用聚合模型中的 REPLACE 方式替代。其内部的实现方式和数据存储方式也完全一样。

4、Duplicate 模型

4.1、介绍

  1. 数据完全按照导入文件中的数据进行存储，不会有任何聚合。即使两行数据完全相同，也都会保留。
  2. 在建表语句中指定的 DUPLICATE KEY，只是用来指明底层数据按照那些列进行排序。
  3. 适用场景：既没有聚合需求，又没有主键唯一性约束的原始数据的存储

4.2、场景

  1. 对于有些日志分析它不太在意数据多几条或者少几条，可能只关心排序，这个时候 可能 Duplicate 模型 会更加有效果。
  2. 在某些多维分析场景下，数据既没有主键，也没有聚合需求。这个时候 可能 Duplicate 模型 会更加有效果。

4.3、举例

4.3.1、建表语句

在这里插入图片描述

CREATE TABLE IF NOT EXISTS test_db.example_log
(
    `timestamp` DATETIME NOT NULL COMMENT "日志时间",
    `type` INT NOT NULL COMMENT "日志类型",
    `error_code` INT COMMENT "错误码",
    `error_msg` VARCHAR(1024) COMMENT "错误详细信息",
    `op_id` BIGINT COMMENT "负责人id",
    `op_time` DATETIME COMMENT "处理时间"
)
DUPLICATE KEY(`timestamp`, `type`)
DISTRIBUTED BY HASH(`timestamp`) BUCKETS 10;

4.3.2、插入数据

insert into test_db.example_log values('2020-10-01 08:00:05',1,404,'not found page', 101, '2020-10-01 08:00:05');
insert into test_db.example_log values('2020-10-01 08:00:05',1,404,'not found page', 101, '2020-10-01 08:00:05');
insert into test_db.example_log values('2020-10-01 08:00:05',2,404,'not found page', 101, '2020-10-01 08:00:06');
insert into test_db.example_log values('2020-10-01 08:00:06',2,404,'not found page', 101, '2020-10-01 08:00:07');

4.3.3、查询

select * from test_db.example_log;

在这里插入图片描述

5、聚合模型的局限性

5.1、Aggregate 模型(包括 Unique 模型)的局限性

在聚合模型中，模型对外展现的，是最终聚合后的数据。也就是说，任何还未聚合的数据(比如说两个不同导入批次的数据)，必须通过某种方式，以保证对外展示的一致性。我们举例说明。

假设表结构如下：

在这里插入图片描述

假设存储引擎中有如下两个已经导入完成的批次的数据：

在这里插入图片描述

可以看到，用户 10001 分属在两个导入批次中的数据还没有聚合。但是为了保证用户只能查询到如下最终聚合后的数据：

在这里插入图片描述

我们在查询引擎中加入了聚合算子，来保证数据对外的一致性。

另外，在聚合列(Value)上，执行与聚合类型不一致的聚合类查询时，要注意语意。比如我们在如上示例中执行如下查询：

SELECT MIN(cost) FROM table;

得到的结果是 5，而不是 1。

同时，这种一致性保证，在某些查询中，会极大的降低查询效率。

我们以最基本的 count(*) 查询为例：

SELECT COUNT(*) FROM table;

在其他数据库中，这类查询都会很快的返回结果。因为在实现上，我们可以通过如 “导入时对行进行计数，保存 count 的统计信息”，或者在查询时"仅扫描某一列数据，获得 count 值" 的方式，只需很小的开销，即可获得查询结果。但是在 Doris 的聚合模型中，这种查询的开销非常大。

我们以刚才的数据为例：

在这里插入图片描述

因为最终的聚合结果为：

在这里插入图片描述

所以，select count(*) from table; 的正确结果应该为 4。但如果我们只扫描 user_id 这一列，如果加上查询时聚合，最终得到的结果是 3(10001, 10002, 10003)。而如果不加查询时聚合，则得到的结果是 5(两批次一共5行数据)。可见这两个结果都是不对的。

为了得到正确的结果，我们必须同时读取 user_id 和 date 这两列的数据，再加上查询时聚合，才能返回 4 这个正确的结果。也就是说，在 count() 查询中，Doris 必须扫描所有的 AGGREGATE KEY 列(这里就是 user_id 和 date)，并且聚合后，才能得到语意正确的结果。当聚合列非常多时，count() 查询需要扫描大量的数据。

因此，当业务上有频繁的 count() 查询时，我们建议用户通过增加一个值恒为 1 的，聚合类型为 SUM 的列来模拟 count()。如刚才的例子中的表结构，我们修改如下：

在这里插入图片描述

增加一个 count 列，并且导入数据中，该列值恒为 1。则 select count() from table 的结果等价于 select sum(count) from table;。而后者的查询效率将远高于前者。不过这种方式也有使用限制，就是用户需要自行保证，不会重复导入 AGGREGATE KEY 列都相同的行。否则，select sum(count) from table; 只能表述原始导入的行数，而不是 select count() from table; 的语义。

另一种方式，就是 将如上的 count 列的聚合类型改为 REPLACE，且依然值恒为 1。那么 select sum(count) from table; 和 select count(*) from table; 的结果将是一致的。并且这种方式，没有导入重复行的限制。

5.2、Duplicate 模型

Duplicate 模型没有聚合模型的这个局限性。因为该模型不涉及聚合语意，在做 count(*) 查询时，任意选择一列查询，即可得到语意正确的结果。

5.3、key 列

Duplicate、Aggregate、Unique 模型，都会在建表指定 key 列，然而实际上是有所区别的：

  1. 对于 Duplicate 模型，表的key列，可以认为只是 “排序列”，并非起到唯一标识的作用。
  2. 而 Aggregate、Unique 模型这种聚合类型的表，key 列是兼顾 “排序列” 和 “唯一标识列”，是真正意义上的" key 列"。

6、数据模型的选择建议

因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。

6.1、Aggregate 模型

  1. 该模型 可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，非常适合有固定模式的报表类查询场景。
  2. 该模型 对 count(*) 查询很不友好。同时因为固定了 Value 列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语意正确性。

6.2、Unique 模型

  1. 该模型 针对需要唯一主键约束的场景，可以保证主键唯一性约束。
  2. 该模型 无法利用 ROLLUP 等预聚合带来的查询优势(因为本质是 REPLACE，没有 SUM 这种聚合方式)。
  3. 注意:
    1. 该模型 仅支持整行更新，如果用户既需要唯一主键约束，又需要更新部分列(例如将多张源表导入到一张 doris 表的情形)，则可以考虑使用 Aggregate 模型，同时将非主键列的聚合类型设置为 REPLACE_IF_NOT_NULL。

6.3、Duplicate 模型

  1. 该模型 适合任意维度的 Ad-hoc 查询。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势(只读取相关列，而不需要读取所有 Key 列)。

7、总结

在这里插入图片描述

勤径苦舟
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Doris-简介、架构、编译、安装和数据表的基本使用
eagle89的专栏
06-21 3652
Doris-简介、架构、编译、安装和数据表的基本使用
Doris数据仓库介绍
ruijungao的博客
11-16 1202
Doris数据仓库介绍
一文看懂Doris数据模型（含样例，建议收藏）
最新发布
luckcxy的专栏
03-15 1247
一文看懂Doris数据模型，包含：3种模型总结，模型必备知识，以及3种模型场景体验。
Doris 数据类型
cai_and_luo的博客
07-09 1万+
Doris 数据类型TINYINT数据类型SMALLINT数据类型INT数据类型BIGINT数据类型LARGEINT数据类型FLOAT数据类型DOUBLE数据类型DECIMAL数据类型DATE数据类型CHAR数据类型VARCHAR数据类型HLL 数据类型BITMAP 数据类型 TINYINT数据类型 长度: 长度为1个字节的有符号整型。 范围: [-128, 127] 转换: Doris可以自动将该类型转换成更大的整型或者浮点类型。使用CAST()函数可以将其转换成CHAR。 举例: mysql>
DORIS数据格式
09-04
描述DORIS数据格式https://passport.csdn.net/account/login?username=stonespark&activeCode=a4f6c6944b0703709050f5823a827923&service=http%3A%2F%2Fdownload.csdn.net%2Fdownload%2Fgaopu126%2F1494862
apache-doris-spark-connector-2.3_2.11-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-2.3_2.11-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：2.x Scala Version：2.11 Apache Doris是一个现代MPP分析数据库产品。它可以提供亚秒级查询和高效的实时数据分析。通过它的分布式架构，高达10PB级的数据集将得到很好的支持，易于操作。 Apache Doris可以满足各种数据分析需求，包括历史数据报告、实时数据分析、交互式数据分析和探索性数据分析。让您的数据分析更容易!
Apache Doris支持的数据类型详解
Bulut0907
08-10 1万+
16字节高精度定点数，M 代表一共有多少个有效数字(precision，范围1 ~ 27)，D 代表小数位有多少个数字(scale，范围0 ~ 9)。3字节，日期时间类型，取值范围是：[‘0000-01-01 00:00:00’, ‘9999-12-31 23:59:59’]，打印的形式是’YYYY-MM-DD HH:MM:SS’：3字节，取值范围是：[‘0000-01-01’, ‘9999-12-31’], 默认的打印形式是’YYYY-MM-DD’变长字符串，M代表的是变长字符串的字节长度。...
Doris进阶——数据模型初识
weixin_59812175的博客
06-15 1757
Doris中数据模型的初识
Doris系列之数据模型
Allen_人工智能与大数据
08-17 2480
Doris系列之3种数据模型
doris的三种数据模型
qq_28203321的博客
09-22 2342
doris的三种数据模型： 一、Doris三种数据模型 Doris 的数据模型主要分为3类: - Aggregate - Uniq - Duplicate Aggregate 模型 聚合模型： 聚合模型需要用户在建表时显式的将列分为 Key 列和 Value 列。该模型会自动的对 Key 相同的行，在 Value 列上进行聚合操作。 当我们导入数据时，对于 Key 列相同的行会聚合成一行，而 Value 列会按照设置的 AggregationType 进行聚合。 AggregationType 目前有以下
大数据Doris（十五）：Doris表的字段类型
Lansonli（蓝深李）的博客
11-02 851
M的范围是[1,27]，D的范围是[1,9]，另外，M必须要大于等于D的取值。转换：用户可以通过CAST函数将CHAR类型转换成TINYINT,，SMALLINT，INT，BIGINT，LARGEINT，DOUBLE，DATE或者DATETIME类型。转换：用户可以通过CAST函数将CHAR类型转换成TINYINT,，SMALLINT，INT，BIGINT，LARGEINT，DOUBLE，DATE或者DATETIME类型。范围: char(length)，变长字符串，长度length范围1~65535。
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
apache-doris-flink-connector-1.11_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.11_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.11 Scala Version：2.12 Apache Doris是一个现代MPP分析...
apache-doris-spark-connector-3.1_2.12-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-3.1_2.12-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：3.x Scala Version：2.12 Apache Doris是一个现代MPP分析...
apache-doris-flink-connector-1.13_2.12-1.0.3
05-05
Flink Doris Connector 源码（apache-doris-flink-connector-1.13_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.13 Scala Version：2.12 Apache Doris是一个现代...
Doris(一)-简介、架构、编译、安装和数据表的基本使用
热门推荐
大数据知识梳理
12-26 1万+
Doris的基本介绍和基本使用
Doris 数据模型与存储结构
悦上心灵的博客
05-16 3174
Apache Doris 为分析而生
大数据Doris（二）：Doris原理篇
Lansonli（蓝深李）的博客
09-29 2097
在SQL优化器中最重要的一个组件是查询优化器（Query Optimization），在海量数据分析中一条SQL生成的执行计划搜索空间非常庞大，查询优化器的目的就是对执行计划空间进行裁剪减少搜索空间的代价，查询优化器对于SQL的执行来说非常重要，不管是关系型数据库系统Oracle、MySQL还是大数据领域中的Hive、SparkSQL、Flink SQL都会有一个查询优化器进行SQL执行计划优化。从寄存器中访问数据的速度，是从内存访问数据速度的300倍，是从磁盘中访问数据速度的30万倍。
Doris：数据表设计
m0_37559973的博客
10-06 863
Doris的数据表设计及基本操作
mysql-doris-connector
11-01
MySQL-Doris Connector是一种用于将MySQL数据库中的数据同步到Doris分析型数据仓库的工具。它可以通过Flink-CDC和flink-doris-connector技术，实现MySQL全量或增量数据同步至Doris中。该工具可以帮助用户快速地将MySQL数据库中的数据导入到Doris中，以便进行更高效的数据分析和处理。同时，MySQL-Doris Connector还支持多种数据格式和数据源，可以满足不同场景下的数据同步需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值